Introduction au tutoriel Globalisation des ressources informatiques et des donn

1
Introduction au tutorielGlobalisation des
ressources informatiques et des données

• Michel Cosnard et Thierry Priol
• INRIA Sophia Antipolis

• Contenu de la présentation
• Grille informatique
• Les types de grilles informatiques et leur
  déploiement
• Quelques grands défis
• ACI Globalisation des ressources informatiques et
  des données (GRID)

2
Le concept de Grille
Approche pour la distribution de la puissance
électrique le réseaux électrique et la
haute-tension
3
Le concept de Grille informatique (GRID)
Approche pour la distribution de la puissance
informatique le réseau Internet et la
haute-performance (parallélisme et distribution)
4
Et ses différentes incarnations
Grid computing
P2P
WEB
Internet computing
Metacomputing
Web services
Global computing
5
Une tentative de classification

• Grille dinformations
• Faire partager la connaissance
• Grille de données
• Stockage distribué à grande échelle
• Grille de calcul
• Agréger la puissance de calcul

6
Modèles de déploiement

• Client-serveur
• Centralisé ou Distribué
• Utilisation de caches pour éviter la congestion
• Information centralisée
• Pair-à-Pair (P2P)
• Chaque pair est à la fois client et serveur
• Distribution de la charge dans le réseau (si
  parité!)
• Information distribuée

Zone de congestion
Internet
Client/Serveur
Client/Serveur
Client/Serveur
Client/Serveur
serveur
serveur
Client/Serveur
Client/Serveur
Zone de congestion
Client/Serveur
Client/Serveur
Client/Serveur
7
Modèle client/serveur pour les Grilles
dinformation Le cas des sites WEB

• Sans doute la première incarnation du concept de
  grille
• Accès à linformation
• A partir dune adresse http
• A partir dun moteur de recherche
• Transparence lors de laccès à linformation
• On ne sait pas toujours doù vient linformation

Moteur de Recherche
Serveur Web
Serveur Web
Serveur Web
Serveur Web
Client
8
Modèle client/serveur pour les Grilles de données
Le cas NAPSTER

• Entre le client/serveur et le P2P
• Accès à des données via un site unique contenant
  un index
• Stockage de données
• Partage des données
• Données  inaltérables 
• Copies multiples sans aucun contrôle
• Limites de lapproche
• Plutôt du client/serveur que réellement P2P
• Serveur  attaquable 
• Par les tribunaux
• Ou par dautres

9
Modèle client/serveur pour les Grilles de calcul
lInternet Computing

• Principe
• Des millions de PC en attente
• Utilisation des cycles processeurs inutilisés
  (environ 47 en moyenne dans une entreprise )
  via un économiseur décran
• Exemples
• SETI_at_HOME (ce nest pas du P2P!)
• Recherche de signaux extra-terrestres
• 33.79 Teraflop/s (à comparer aux 12.3 Teraflop/s
  de lordinateur le plus puissant au monde au LLNL
  !)
• DECRYPTHON
• Etablir la carte des 500 000 protéines du vivant
• RSA-155
• Casser des codes cryptographiques

daprès une enquête dOmni Consulting Group
10
Modèle client/serveur pour les Grilles de calcul
Le metacomputing

• Principe
• Acheter du service de calcul sur lInternet
• Service applications préinstallées
  calculateurs
• Exemples
• Netsolve (Univ. Tennessee)
• NINF (Univ. Tsukuba)
• DIET (ENS-Lyon/INRIA)

Requête
AGENT(s)
S2 !
A, B, C
Réponse (C)
Op(C, A, B)
S1
S3
S4
S2
Serveur
Serveur
Serveur
Serveur
11
Modèle client/serveur pour les Grilles de calcul
Le grid computing

• Principe
• Utiliser un supercalculateur parallèle virtuel
• Faire exécuter ses applications sur des
  ressources distantes

• Exemples
• Globus
• Légion
• Unicore

Service dinformation localisation sélection
Quels ordinateurs ? Quelle vitesse
? Disponibilité ?
Metacomputing Directory Service
Courtier deressource
20 Mb/sec
Allocateurs deressources de GLOBUS
GRAM
50 processeurs stockage de 1020 à 1040 pm
GRAM
GRAM
GRAM
Fork LSF EASYLL Condor etc.
12
Modèles de déploiement des grillesle modèle
distribué Pair-à-Pair

• Grille de données Gnutella, Freenet
• Grille dinformation
• Recherche décentralisée à la google
• Grille de calcul CG2P

Gnutella
Web
CG2P
13
En résumé
Déploiement Grilles / Client/serveur P2P
Grilles de données Napster Datagrid Gnutella, Kazaa, Freenet, JXTA
Grilles dinformation Sites Web Moteurs de recherche (Altavista, Google, ) Web ?
Grilles de calcul SETI-HOME, Decrypthon Netsolve, Ninf, DIET GLOBUS, Legion, Unicore CGP2P ?
14
Quelques grands défis

• Middleware et systèmes
• Internet computing
• Metacomputing
• Vers un Grid-aware OS ?
• La programmation des grilles
• Algorithmique
• Génie logiciel

15
Les défis du  Internet computing 

• Cela marche bien pour un spectre étroit
  dapplications
• Parallélisme embarrassant
• Usage exclusivement  non-commercial 
• Casser des codes cryptographiques (défi RSA-155)
• Recherche de signaux extra-terrestre (SETI_at_HOME)
• Décryptage du génome (Decrypton)
• Cette approche est-elle généralisable ?

16
Quels sont les problèmes
Distribution du calcul

• Elargir le spectre dapplications
• De vraies applications parallèles
• Autoriser la communication
• Sécurité
• Etes vous prêt à laisser exécuter nimporte quoi
  sur votre PC ?
• Technique du sandbox (isolation du code de
  calcul)
• Comment communiquer avec le monde lorsquon est
  isolé ?
• Parité
• cela marche si tout le monde joue le même jeux
• Modèle de déploiement rudimentaire
• Essentiellement client/serveur
• A terme, nécessité du P2P

17
Les défis du metacomputing

• Quels sont les problèmes et défis ?
• Stockage des données pour éviter les transferts
  multiples entre client et serveurs
• Sécurité dans les transferts
• Modèle de déploiement P2P

Requête
AGENT(s)
S2 !
A, B, C
Réponse (C)
Op2(C, A, B)
Op1(C, A, B)
S1
S3
S4
S2
Serveur
Serveur
Serveur
Serveur
Service de gestion des données distribuéespersist
antes
18
Vers de nouveaux systèmes dexploitation
Grid-aware ?

• Conception de systèmes dexploitation GRID-aware
• Actuellement essentiellement middleware
• Gestion des ressources rôle de lOS !

19
Programmer les grilles de calcul

• Un champ applicatif vaste avec des besoins
  variés
• Codes parallèles
• Une grille de calcul est vue comme un calculateur
  parallèle virtuel (la genèse du Grid)
• Couplages de codes
• Une application est un assemblage de plusieurs
  codes de calcul

20
Vers une algorithmique des grilles de calcul

• Programmer une grille de calcul comme un
  calculateur parallèle virtuel
• Repenser lalgorithmique parallèle
• Essentiellement conçu pour des architectures
  parallèles régulières et à configuration statique
• Caractéristiques des grilles informatiques
• Unité de calcul hétérogène
• Non-prédictibilité des performances des réseaux
• Aspect dynamique des ressources de calcul
• Problèmes et défis
• Politique dordonnancement des calculs
• Equilibrage dynamique par redistribution
  intensive des données
• Recouvrement calcul/communication

21
Couplage de codes
Mécanique des structures
Optique
Thermique
Dynamique

• Utilisation des exécutifs conçus pour la
  programmation parallèle
• Une grille de calcul est un calculateur parallèle
  virtuel, la programmation par échange de message
  simpose

SAN
LAN
process
process
process
process
Code 1
Grappe de PC
process
process
WAN
process
SAN
process
process
process
process
Supercomputer
Grappe de PC
process
Code 2
Code 3
22
Une approche plus moderne
Mécanique des structures

• Objets distribués / composants
• Structuration de lapplication
• Encapsulation des codes
• Couplage de codes parallèles
• Interconnexion des objets / composants -gt un réel
  défi !

Optique
Thermique
Dynamique
SAN
LAN
Composantparallèle
Composantséquentiel
process
processus
processus
process
processus
processus
Grappe de PC
WAN
SAN
middleware
process
process
processus
processus
processus
processus
Supercalculateur
Grappe de PC
Composantséquentiel
Composantparallèle
23
ACI GRID

• dynamiser et rendre opérationnelle la
  contribution des équipes de recherche françaises
• déploiement doutils logiciels pour la mise en
  œuvre de  grilles expérimentales  pour des
  applications diverses
• systèmes et environnements pour le calcul
  distribué ou pour lexploitation densembles de
  données de très grande taille
• modélisation, algorithmique, couplage de codes,
  visualisation, pré et post-traitements

24
LACI GRID et les défis

• Grilles de calcul
• Internet Computing
• CGP2P (F. Cappello, LRI/CNRS)
• Metacomputing
• ASP (F. Desprez, ENS-Lyon/INRIA)
• Programmation des Grilles
• Algorithmique
• GRID2 - Thème 3 (J-L. Pazat, IRISA/INSA)
• TAG (S. Genaud, LSIIT)
• ANCG (N. Emad, PRISM)
• Composants
• RMI (C. Perez, IRISA/INRIA)
• CONCERTO (Y. Maheo, VALORIA)

25
En conclusion

• Une grande variété dans les grilles informatiques
• Pas de nouvelle thématique
• Mais plutôt une adaptation de lexistant
• Une  combinaison  de technologies du
  parallélisme et du distribué pour les grilles de
  calcul
• Une approche nécessairement pluridisciplinaire
• Système, réseaux, sécurité, applications,
• Ne pas seulement encourager les aspects purement
  calcul
• Bien identifier ce qui est technologique
• Les effets de mode...
• De ce qui est plus fondamental
• Les nouveaux concepts...
• Encourager toutes recherches visant à utiliser
  des réseaux à grande échelle pour des
  applications innovantes
• Ne pas se concentrer sur une seule approche

26
Quelques remarques

• Il existe dautres programmes du MR pour
  lutilisation des grilles en milieu industriel
• Importance de la coopération européenne et
  internationale dans ce domaine
• Importance des standards
• Renforcer la recherche dans les domaines du
  logiciel et dans les nouvelles applications
• http//www-sop.inria.fr/aci/grid