CGP2P Calcul Global Pair - PowerPoint PPT Presentation

Loading...

PPT – CGP2P Calcul Global Pair PowerPoint presentation | free to download - id: 29e85c-ZDc1Z



Loading


The Adobe Flash plugin is needed to view this content

Get the plugin now

View by Category
About This Presentation
Title:

CGP2P Calcul Global Pair

Description:

Aspects administratifs. Budget/financement. 22 Novembre 2001. R union ACI GRID CGP2P. 5 ... Aspects administratifs. Budget/financement. 22 Novembre 2001. R union ... – PowerPoint PPT presentation

Number of Views:40
Avg rating:3.0/5.0
Slides: 44
Provided by: lri
Learn more at: http://www.lri.fr
Category:

less

Write a Comment
User Comments (0)
Transcript and Presenter's Notes

Title: CGP2P Calcul Global Pair


1
ACI GRID
CGP2PCalcul Global Pair à Pair
2
CGP2PCalcul Global Pair à Pair
ACI GRID
  • Première réunion
  • 22 Novembre 2001

3
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

4
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

5
Objectifs de cette journée
  • Présentation des participants
  • Présentation des objectifs et des moyens
  • Organisation / administration
  • Réponses aux questions immédiat
  • Premières discussions entre groupes

6
  • La matinée
  • Présentation des équipes (thèmes de recherche,
    effectif, degré de participation, etc.) 10h00
    10h45 présentation du projet (et des aspects
    financiers), F. Cappello 10h45 11h00 équipe
    IMAG, O. Richard 11h00 11h15 équipe LRI
    Clusters et Grilles, F. Cappello 11h15 11h30
    break 11h30 11h45 équipe LRI parallélisme /
    LIX, Brigitte Rozoy11h45 12h00 équipe
    ASCI/LIFL, S. Petiton 12h00 12h15 équipe
    LARIA/ENS Lyon, G. Utard 12h00 12h30 équipe
    LAL, Christian Helft
  • Déjeuner
  • Repas au CNRS de Gif Sur Yvette pris en charge
    par l'ACI ? 20 personnes prévues, 5 voitures
    fin 13h30-14h00
  • L'après midi
  • Première présentation des sous-projets (problème
    aborde, piste, relation avec les autres
    sous-projet, etc.)
  • 14h30 14h45 équipe IMAG, O. Richard 14h50
    15h10 équipe LRI Clusters et Grilles, C.
    Germain 15h10 15h30 équipe LRI parallélisme /
    LIX, F. Magniette 15h30 15h50 équipe
    ASCI/LIFL, S. Petiton 15h50 16h00 break 16h55
    16h15 équipe LARIA/ENS Lyon, G. Utard
  • 16h15 16h35 équipe LAL, ?
  • 16h40 17h10 discussions (pour le démarrage
    effectif - qui travaille avec qui) 17h10 17h30
    établissement d'une fréquence de réunion et à
    létablissement  

7
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

8
ACI GRID Globalisation des Ressources
Informatiques et des Données
Connecter et fédérer des ressources de
calcul/stockage/instruments géographiquement
distribuées Globalisation des Ressources Informati
ques et des Données
Apples
USA
Application-Level Scheduling
Bricks
USA
Performance evaluation for analysis and
comparison of various scheduling
DOCT
USA
The Distributed Object Computation Testbed (DOCT)
is for handling complex documents
Entropia.com
USA
Desktop software that should provide universal
and pervasive source of computing power
CERN Data Grid
EU
middleware for the data-intensive applications
Folding_at_Home
USA
Covise
DE
Collaborative, Visualization and Simulation
Environment
Understanding how proteins self-assemble.  
DAS
NL
Wide-area distributed cluster, parallel and dist.
computing
EROPPA
EU
Software to design, implement, and experiments
with remote/distributed access to 3D graphic
applications
GLOBUS
USA
Basic software infra. for computations that
integrate geo. distributed computational and
information resources
Globe
EU
Study and implement a unifying paradigm for the
large-scale wide area distributed shared objects
HARNESS
USA
Based on PVM. Parallel plug-ins, Peer-to-peer
distributed control, and multiple virtual
machines
JaCo3
EU
Java and CORBA Collaborative Env. for Coupled
Simulations..
JaWs
GR
JaWS is an economy-based computing model
HTC
USA
Develop,deploy, and evaluate mechanisms and
policies that support high throughput computing
MetaMPI
DE
MetaMPI supports the coupling of heterogeneous
MPI
METODIS
DE
Metacomputing Tools for Distributed Systems - A
metacomputing MPI for TCP/IP and ATM
InfoSpheres
USA
The Caltech Infospheres Project researches
compositional systems,
MOL
DE
Metacomputer OnLine is a toolbox for the
coordinated use of WAN/LAN connected systems.
Javelin
USA
Javelin Internet-Based Parallel Computing Using
Java
Poznan Metacom.
PL
Development of tools and methods for
metacomputing
LEGION
USA
Object-based metasystem. Transparent scheduling,
data management, fault tolerance, site autonomy,
WAMM
IT
WAMM (Wide Area Metacomputer Manager) is a
graphical tool, built on top of PVM.
NASA IPG
USA
Testbed that provides access to a grid
UNICORE
DE
The UNiform Interface to Computer Resources
allows users to submit jobs to remote high perf.
Comp. resources
NETSOLVE
USA
PSE. RPC based client/agent/server system for
remote access both hardware and software
components
DesignDrug
Molecular Modelling on Peer-to-Peer Grid
PARDIS
USA
Building PARallel DIStributed applications from
CORBA to implement application-level interaction
DISCWorld
An infrastructure for service-based metacomputing
(GridSim)
A Java-based Toolkit for Modeling and Simulation
of World Wide Grids.
WebFlow
USA
WebFlow can be regarded as a high level, visual
user interface and job broker for Globus
Nimrod/G
A global scheduler for parametric computing
WebSubmit
USA
PSE
A Web-based Interface to High-Performance
Computing Resources
NINF
 
 
     
9
Différents types de GRID
Les Grilles de calcul ou  GRID 
3 types de grands systèmes distribués
Les systèmes distribués à grande échelle
Les systèmes de Calcul Global ou  Mega
Computing  ou  Internet Computing 
Les systèmes Pair à Pair
 
 
     
10
Calcul Global Global Computing
Définition Pragmatique Calcul
Maître-esclave Par vol de cycles sur Internet
Client Lanceur de tâches, ordonnanceur
collect. de résultats
Requête
Résultat
Internet Ou réseau propriétaire
Requête
Résultat
Application(s)
Application(s)
PC serveur
PC serveur
  • Modèle Client-Serveur inversé 1 client et n
    serveurs
  • Lapplication exécutée sur les serveurs est
    fournie par le client
  • Type de services principalement calcul
    distribué (SETI_at_home)

11
Pas de consensus autour dune définition. Un
système dans lequel toutes les ressources peuvent
agir comme des clients, des serveurs et/ou
maintiennent le système lui même
Pair à Pair (entre pair)
Gnutella Servent SERveur et cliENT
PC client/serveur
PC client/serveur
Répertoire de services
Internet ou réseau propriétaire
Répertoire de services
  • Le service exécuté par le serveur est proposé par
    le serveur
  • Type de services partage de documents, calcul
    délocalisé

Requête
  • En principe X clients, Y serveurs, XY

Résultat
PC client/serveur
Systèmes Pair à Pair
XtremWeb
Mode de communication Après la phase de
découverte (mise en relation) les nœuds
communiquent directement
Mode dinteraction inter-ressource Toutes les
ressources sont à la fois client et serveur
Mode dorganisation système Système sans serveur
centralisé. Système auto-organisé (découverte de
ressources,
12
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

13
Objectif du projet
  • Augmenter les fonctionnalité des systèmes de
    calcul global
  • stockage
  • communications entre les participants
  • possibilité à nimporte quel participants de
    soumettre des requêtes
  • Produire des logiciels interopérants qui
    assemblés forment une plate-forme CGP2P

14
Projet CGP2P Une plate-forme pour le Calcul
Global Pair à Pair
Un environnement de recherche offrant une image
système unique à partir de lagrégation de
ressources faiblement couplées
un PC
accepte
PC
Mon PC
communications potentielles pour les
applications parallèles
PC
requête
PC
fournit
PC
PC
System CGP2P
accepte
PC
résultat
PC
PC
Un autre PC
PC
fournit
Les requêtes correspondent à des des demandes de
calcul et/ou à des demandes de stockage
15
Point de départ XtremWebUne plate-forme pour
le Calcul Global Pair à Pair
PC Serveur Calcul Global (centralisé)
PC Serveur Pair à Pair (centralisé)
PC Client/worker
Internet ou LAN
PC Worker
PC Client/Worker
PC Client/worker
16
Point de départ XtremWebUne plate-forme pour
le Calcul Global Pair à Pair
  • Download www.xtremweb.net
  • RedHat 7.1 mysql apachephp
  • RPM (installation en 5 secondes)
  • serveur worker demo Pov
  • Forum, Faq, prototypes, demo,
  • www.cgp2p.org, www.cgp2p.net ???

17
Problèmes posés
  • Ordre alphabétique
  • Architecture du système distribué
  • Communications inter-nœuds
  • Interface utilisateur / aide à la décision
  • Interopérabilité avec les autres systèmes de
    GRID
  • Ordonnancement
  • Sécurité
  • Stockage/Fouille
  • Validation sur des applications réelles
  • Vérification théorique des protocoles

18
Diversité/Richesse thématique des participants au
projet
  • Environnements dexécution (Lri)
  • Protocoles de communication hautes performances
  • (Lri/Imag)
  • Environnements de programmation/interface
  • (LIFL/ASCI)
  • Systèmes de GRID (Globus et DataGrid) (LAL)
  • Ordonnancement (SDSC/UCSD)
  • Sécurité (Lri/Imag)
  • Ressource stockage dans les applications
  • parallèles (Laria)
  • Recherche/tri/fouille de données (Laria)
  • Utilisateurs (LAL, EADS)
  • Théorie des systèmes distribués (Lri)

19
Architecture CGP2P (1/4) Une plate-forme pour
le Calcul Global Pair à Pair
Entités logiques
Client
Serveur
Worker
Client
Client
Client
Serveur
Serveur
Worker
Serveur
Worker
Worker
Client
Worker
Nœuds physiques
20
Architecture CGP2P (2/4) Une plate-forme pour
le Calcul Global Pair à Pair
Infrastructure Centralisé ou distribuée
  • Calcul Global avec infrastructure centralisée
  • Calcul Pair à Pair avec infrastructure
    centralisée
  • Calcul Pair à Pair avec infrastructure distribuée

PC Serveur Pair à Pair (distribué)
PC Serveur (centralisé)
PC Serveur Pair à Pair (centralisé)
PC Serveur/ Client
PC Serveur/ worker
PC Client/worker
Internet ou LAN
PC Worker
PC Client/Worker
21
Architecture CGP2P (3/4) Une plate-forme pour
le Calcul Global Pair à Pair
Fonctionnalités CGP2P ? modules du système
Communications tolérantes aux pannes
Collecteur de résultats
Serveur de stockage
Serveur de tâches
P2P?
P2P?
P2P?
P2P?
PC Client/worker
Internet ou LAN
PC Worker
PC Client/Worker
Organisation des modules Centralisée,
Hiérarchisée, P2P totalement distribuée, P2P
coordination avec voisins directes ? Nécessité
de simulateurs
22
Architecture CGP2P (4/4) Une plate-forme pour
le Calcul Global Pair à Pair
23
Décomposition en sous-projets
I
Application
Application
Interface utilisateur Aide à la décision (7)
II
Sandboxing (1)
Certification de résultats (8)
Couches service
V
Interface GRID (Globus) (10)
III
Vérification théorique (6)
Fouille/opération données (9)
Stockage (2)
IV
Ordonnancement (5)
Couches système
Comm. inter-ressource (3)
Protocole (4)
Couche réseau
TCP/UDP - IP
24
Interactions entre sous-tâches
Aide à la décision
Séc. par confinement
Iso. logicielle de fautes
Intégration SPIN XtremWeb
Certification application
Langage de tâches
Certification système
Adaptation et tests dapplications
Vérif. théo tolé. défail.
Anonymat
Interface GRID 1
Vérif. théo protocoles.
Ordon. sans com.
Interface GRID 2
Stock. dans XW
Communication directes
Services
Ordon. avec Com.
Fouille de données
Communications indirectes
25
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

26
Liste des participants
George Bosilca Adberhamanne Djilali Gilles
Fedak Oleg Lodygensky Aton Selikov Marta
Gonzalez Thomas Hérauet Liste des doctorants
associés Laboratoires ASCI, IMAG,
ID LAL , LARIA, LIFL, LRI, Polytechnique,
Guillaume Alléon Joffroy Beauquier Jacques Briat
Franck Cappello Henri Casanova Christophe Cérin
Bernadette Charron Bost Alain Cordier Cécile
Germain Michel Jouvin Oleg Lodygensky Vincent
Néri Franck Petit Serge Petiton Cyril
Randriamo Olivier Richard Brigitte Rozoy Gil
Utard Vincent Villain
27
Organisation du projet
Rôle du coordinateur aider à la collaboration
gérer la progression du projet gestion du
budget responsable devant la direction de
lACI Responsables de tâches sous-projet I
? Serge Petiton sous-projet II ? Olivier
Richard sous-projet III ? Gil Utard sous-projet
IV ? Cécile Germain, Franck Cappello sous-projet
V ? Joffroy Beauquier
28
Planning  prévisionnel 
Sous-projets
Sous-projet I
Intégration, Tests et Validation sur
Applications Poursuite des actions de
recherche dans les sous-projets
Sous-projet II
Projets Existants (XW)
Sous-projet III
Sous-projet IV
Sous-projet V
CGP2P
t0
t06
t012
t018
t024
t030
t036
29
Planning sous-projet I
Tâches 1) Adapter SPIN (Scientific programming
on Internet) à XtremWeb 2) définition dun
langage de tâches 3) aide à la décision pour le
choix des composants numériques 4) Adaptation et
tests sur des applications
30
Planning sous-projet II
  • Tâches
  • Sécurisation par confinement dexécution
  • Sécurisation par isolation logicielle de fautes
  • Certification de résultats (approche système et
    application)

Sécur. par confinement
Iso. logicielle de fautes
Intégra- tion, Rech. Certif.
Tâches
Certification application
Certifications système
CGP2P
t0
t06
t024
t030
t036
t012
t018
31
Planning sous-projet III
  • Tâches
  • Stockage dans XW
  • Services associés aux données (fiabilité,
    disponibilité, cohérence,
  • etc.
  • 3) Anonymat
  • 4) Fouille de données (algorithmes de tri, etc.)

Stock. dans XW
Services
Anonymat
Intégration, Services/ Fouille
Tâches
Fouille de données
CGP2P
t0
t06
t024
t030
t036
t012
t018
32
Planning sous-projet IV
  • Tâches
  • Communications indirectes
  • Communications directes et globales.
  • 3) Ordonnancement sans communication
  • 4) Ordonnancement avec communication

33
Planning sous-projet V
  • Tâches
  • Interface avec globus (GSI, MDS, GRID, RSL)
  • Interface avec Globus (GRAM, DUROC, GASS)
  • Vérification théorique des protocoles
  • vérification théorique tolérance aux défaillances

34
Coordination du projet
  • Réunion plénières en alternance Paris Province
  • Périodicité des réunions plénières 6 mois
  • Réunions de travail possibles (conseillées)
    entre temps
  • Site web www.lri.fr/fci/CGP2P.html
  • Un rapport davancement après chaque réunion
    plénière
  • Copies des transparents après chaque réunion
    plénière
  • Il est possible que la direction des ACI
    conseille dautres
  • moyens de coordination

35
Relation avec nos collègues étrangers
  • Henri Casanova
  • Ian Foster
  • Mitsuhisa Sato
  • échange de chercheurs
  • M. Sato au LRI en Juillet 2002 (1 mois)
  • H. Casanova  peut être   au LRI en Août 2002
    (1 sem)
  • nhésiter pas à faire venir des étrangers pour
    les faire
  • participer à nos réunions plénières (1 talk),
    Sips et Epema
  • étaient au LRI le 8 et 9 Novembre.
  • lorsquils sont de passage en France ou en
    Europe

36
Sommaire
  • Cette journée
  • Les GRands systèmes Informatiques Distribués
  • Objectif et aspects scientifiques du projet CGP2P
  • Aspects administratifs
  • Budget/financement

37
Budget
Budget total sur 3 ans 2 MFs, 304.878 E
Budget distribué sur 3 sites Orsay,
Amiens/Lyon, Grenoble
38
Budget
12 mois
PostDoc I
24 mois
PostDoc II
Durée
t0
t06
t012
t018
t024
t030
t036
187,5 Kfrs
62,5 Kfrs
Coût
187,5 Kfrs
62,5 Kfrs
250 Kfrs
250 Kfrs
312,5Kfrs
187,5 Kfrs
39
Budget
  • Disponibilité à priori fin décembre 2001
  • mail en fin décembre sur le montant précis
  • pour chaque participant matériel,
    fonctionnement
  • mais normalement, les montants ont été
    communiqués
  • au ministère

40
Questions / discussions
  • Certaines tâches sont déjà presque terminées
    (sécurisation des workers)
  • Dautres tâches sont devenues   moins
    intéressantes  (sécurisation par isolation de
    fautes logicielles)
  • Certaines tâches devraient être terminées
    rapidement (communication indirecte
    inter-ressources)
  • En revanche, il y a un gros besoin de simulation
    et létude et létude de lordonnancement peut
    devenir plus importante que prévue.
  • Accepter une souplesse dans la définition et
    lavancement des
  • tâches dans la mesure où cela reste cohérent
    avec lobjectif
  • Discuter dun simulateur pour létude de
    larchitecture et dun simulateur
    dordonnancement (totalement distribué,
    centralisé, hiérarchisé, etc.)

41
Ordonnancement simulateurs Spécification stable
sur plus dune semaine interface entre les sous
projets Architecture générale Faut-il installer
? des machines serveurs sur les différents sites.
42
Questions / discussions
  • Quelle est la meilleure structure de partage pour
    le développement par dessus XtremWeb
  • ASCI/LIFL
  • IMAG
  • LAL
  • LARIA/ENS Lyon

Mailing list, Forum, Faq, prototypes,
demo, www.cgp2p.org, www.cgp2p.net ???
43
Prochaine réunion
  • Fréquence des réunions plénières ? tous les 6
    mois (sauf avis contraire de la direction des ACI
    GRID)
  • En Mai, la semaine qui suit CCGRID 17-18, 25,
    28-29
  • Inviter des intervenants étrangers pendant leur
    séjour en Europe
  • Genre de Workshop avec scientifiques et
    industriels du domaine
  • réunion CGP2P
  • Deux jours (1,5 jour pour CGP2P)
  • Possibilité de réunions conjointes dautres ACI
  • Si workshop aide au financement par ACI GRID2
  • Ordre du jour
  • rappel des objectifs du projet et aspects
    administratifs
  • progression des travaux dans chaque sous-projet
  • démonstration de premiers prototypes (version
    0.00 Alpha)
  • identification des problèmes rencontrer et
    discussion avec
  • les autres groupes pour trouver des solutions
About PowerShow.com