Diapositive 1

1
Le calcul et linformatique à lIN2P3 et au
DAPNIA Prospectives, La colle sur Loup 2004

• Linformatique des laboratoires de lIN2P3 et du
  Dapnia
• Le calcul pour les astroparticules
• Le calcul pour le LHC

Fairouz O-Malek
ContributionsB. Boutherin (sécurité), J.
Delabrouille (Astro-particules), F. Etienne
(Coordination, IN2P3), F. Hernandez (CC-IN2P3 et
LCG), P. Micout (Dapnia), G. Wormser (EGEE)
2
Organisation de lInformatique et du calcul
F. Le Diberder (IN2P3) F. Etienne (IN2P3)
J-P. Génin (CEA/DSM) J. Le Foll (DAPNIA)
Calcul LHC LCG
BaBar
D0
Resp. Calcul exp.
Resp. Calcul exp.
Resp. Calcul exp.
Resp. Calcul exp.
Théorie
Comité des utilisateurs
Responsables Informatique des labos
Gestion des ressources
CC-IN2P3 D. Linglin
Informatique labo IN2P3
Informatique labo IN2P3
Utilisateurs IN2P3/Dapnia
3

• Linformatique des laboratoires de lIN2P3 et du
  Dapnia
• Le calcul pour les astroparticules
• Le calcul pour le LHC

4
233 Informaticiens à lIN2P3(juin 2004)
Informaticiens 6 effectifs Informaticiens
15 ITA
Développeurs OfflineOnline ASRadministrateurs
systèmes et réseaux
5
La sécurité informatique
Buffer overflow
SQL injection
Code pénal

• Enjeux de la sécurité informatique à lIN2P3
• Continuité du service
• Risque juridique
• Vol de ressources
• Image de marque
• Menace liée au nombre de machines visibles sur
  Internet (3000)
• Vulnérabilité 500 avis de sécurité par an

• Juridique mettre en place une structure pour
  pour dégager la responsabilité de lIN2P3 en cas
  de plainte.

• Actions mises en place
• Filtrage en entrée, cloisonnement des réseaux,
• chiffrement des communications (SSH),
• surveillance réseau.

6
Le CC-IN2P3

• Chiffres
• 54 personnes (07/10/04) dont CDDs 25 (46) ,
  Permanents 29 (54) financements des CDDs Sur
  convention 13 personnes (EPT)
• CNRS 4 personnes (2 EPT)
• EGEE (Grille de calcul) 7 personnes -- bientôt
  10
• RUGBI (Grille bio) 1 personne
• Budget (2004)

Origine k Total
CNRS 4750 68
DSM-CEA 1500 20
Autres, CDD (EGEE, Grille, ) 890 12
Total 6940 100
7
Le CC-IN2P3

• Chiffres (suite)
• CPU 1,2 MSI2K Linux (environ 700 machines
  biprocesseurs)
• disque 100 TO
• bande 700 TO
• 2500 comptes
• 40 expériences (groupes bio)
• Évolution
• Dun centre de ressources vers un centre de
  services
• Mise en place de solutions élaborées adaptées aux
  expériences y compris des services autres que le
  calcul et le stockage (hébergement web,
  visio-conférence, webcast,)

8
Le CC-IN2P3
Les ressources demandées sont au delà des
capacités du Centre de calcul !!!!
10 expériences consomment 85 des ressources
du CC-IN2P3
Gestion des ressources un comité IN2P3 qui se
réunit 1 fois par trimestre pour régler et
corriger les répartitions calcul par expérience
http//cc.in2p3.fr/rubrique.php3?id_rubrique144
9
Le CC-IN2P3

• Croissance
• 100 par an de la puissance CPU et de la capacité
  de stockage sur bande (à budget constant)
• Légèrement moins en stockage disque
• DAPNIA depuis 1993 Une convention triennale le
  lie à lIN2P3 pour lutilisation des moyens de
  calcul centraux.

Annèe Contribution au CC en k
2004 1500
2005 1600
2006 1700
10
Le CC-IN2P3
11
Le CC-IN2P3

• Les expériences LHC deviennent prioritaires
• Budget et ressources humaines actuellement
  disponibles ne permettront pas de satisfaire les
  besoins à venir
• Rôle prépondérant du CC-IN2P3 pour la composante
  française de ces expériences en tant que centre
  de services connecté à la grille
• Travail Collaboratif
• Dans un modèle de calcul global, le travail en
  étroite collaboration entre le représentant
  expert de chaque expérience au CC-IN2P3 est
  fondamental
• Success Stories Babar et D0
• En cours de mise en place LCG
• Le CC souhaite que la composante française de
  chaque expérience tienne compte des besoins en
  ressources humaines correspondantes

12

• Linformatique des laboratoires de lIN2P3 et du
  Dapnia
• Le calcul pour les astroparticules
• Le calcul pour le LHC

13
Expériences astroparticule
14

• Besoins spécifiques à l'Astroparticule
• Augmentation du stockage disque (données
  modestes mais beaucoup d'accès)
• Besoin de bande passante spécifiquement pour la
  visualisation
• Besoin de manipuler des dizaines de GO en
  mémoire (ou des centaines)

• Questions ouvertes
• Pic dans les besoins de disque et de CPU en même
  temps que LHC (2007) pour les expériences HESS,
  Planck, VIRGO, GLAST
• Rôle du CC pour l'organisation / la distribution
  des données astroparticule ? (implication pour
  les moyens humains au CC et dans les labos)

• Evaluation des besoins
• Dépend fortement du taux d'implication du CC (de
  0 à 100 des moyens)
• Dépend fortement du rôle du CC (e.g. service pour
  la composante française de l'expérience, pour
  toute l'expérience ou pour toute la communauté
  scientifique ?)
• Dépend des méthodes de traitement encore en cours
  de développement
• Dépend de la qualité ultime des données (ex.
  Planck, problème de "trivial" à "insoluble")

15
Préliminaire
TO/an science Total TO produits Stockage (TO) Disque (TO) RAM (GO) "partagée"
AMS 100 100 ? nans 100 ? nans lt1
Archeops 2 10 2 16
ANTARES 100 100 ? nans 100 ? nans lt1
AUGER 1 1 ? nans 10 300
EDELWEISS 4 4 ? nans 20 lt1
GLAST 30 50 30
HESS 15-30 (15-30) ? nans 30 ? nans lt1
LISA 0,05 (TBC) ? ? ? ?
NEMO ? ? ? ?
Planck 4 240 3000 (TBC) 300 600 (TBC)
SNLS 10 10 ? nans 10 ? nans 3 (TBC)
VIRGO 100 100 ? nans 100 ? nans 2 ?
16
UI 2004 demandé Gflop/s à prévoir à terme Dates approx. Heures CPU 1GHz Personnes dédiées CC au CC pour l'exp.
AMS 0.3M ? 2007 - 2011 ? ?
Archeops 0.6M 20 2005 - 2006 5 MHr/an 0 100
ANTARES 0.5M 40 2007 - 10 MHr/an ?
AUGER 7M 40 2005 - 10 MHr/an
EDELWEISS 2005 - 100
GLAST ? 2007 - ? ? 20 (TBC)
HESS 4M 3 2005 - 2008 2009 - 1. MHr/an 1.5 MHr/an 100
LISA ? 2010 - ? ? 20-50
NEMO 6M ? ? ?
Planck 200 2007 - 2012 15 MHr/an 1 ? 10-30 (en négociation avec lINSU)
SNLS 2 2004 - 2009 0.5 MHr/an
VIRGO 2M 100 2005 - 15 MHr/an 0 50
Préliminaire
17

• Le calcul astroparticule est en augmentation au
  centre (en )
• (Remarque 16 demandé, 38 consommé les 4
  premiers mois de 2004 !)
• Ceci correspond à un besoin réel et traduit
  l'investissement croissant des équipes IN2P3 dans
  le traitement des données des expériences
  astroparticule et cosmologie
• La montée en puissance des activités VIRGO,
  Planck, LISA va encore augmenter considérablement
  les besoins d'ici quelques années

18
Estimation des demandes pour les 5 ans à
venir Stockage 3-6 PO Disque 700
TO MHr 1GHz 70 MHr/an soit 8000
CPU à 1 GHz (1500 machines
actuelles) PLANCK Une machine dédiée au calcul
parallèle disposant de 500 processeurs et dun
réseau haute performance est actuellement
envisagée (1 M)
Préliminaire
19

• Linformatique des laboratoires de lIN2P3 et du
  Dapnia
• Le calcul pour les astroparticules
• Le calcul pour le LHC

20

• LHC Computing Grid Project LCG

21
LHC Computing Grid Project LCG

• 40 million de collisions par seconde
• Après filtrage, 100 collisions dintérêt
  physique par seconde
• 1-10 Megabytes de données digitisées pour chaque
  collision ? taux stockage 0.1-1 GigaBytes/sec
• 1010 collisions enregistrées par an
• ? quelques PetaBytes/an

CMS
LHCb
ATLAS
ALICE
22
La communauté du CERN
Europe 267 instituts 4603
utilisateurs Hors Europe 208 instituts 1632
utilisateurs
23
Le LHC Computing GRID - LCG

• Objectif fournir LINFRASTRUCTURE de calcul
  pour LHC
• 4 expériences , 1 seule infrastructure
• 20 des ressources seront présentes au CERN (80
  du temps du LEP, 50 BABAR,..)
• Quatre zones dactivités
• Applications area (POOL, GEANT4, outils
  logiciels,..)
• Fabric management
• Grid technology area
• Grid deployment area
• Deux phases
• RD 2001-2005 (Contribution volontaires des
  états membres)
• Déploiement 2006-2008

24
Tier-1
Tier-2
RAL
Petits centres
IN2P3
FNAL
CNAF
FZK
Postes de travail
PIC
ICEPP
BNL
LHC 140 sites actuellement connectés sur la
grille de calcul mondiale 3 différentes
technologie (protocoles) de grille LCG-2, GRID3,
NorduGrid
Mais dautres grilles HEP existent et sont
performantes SAM-GRID (D0)
25
LCG-2
Compagnie générale de géologie
2 sitesFrançais
Actuellement 80 sites
26
Current Grid3 Status(http//www.ivdgl.org/grid200
3)

• 30 sites, multi-VO

27
NorduGrid Co. Resources

• 7 countries
• Sites for ATLAS 22
• Dedicated 3, the rest is shared
• CPUs for ATLAS 3280
• Effectively available 800
• Storage Elements for ATLAS 10
• Capacity 14 TB, all shared

30 sites
28
LCG-2 et les générations futures du logiciel
(Middleware)
LCG-2
Nouvelle Génération
prototype
produit en développement
Service principal

• LCG-2 est le service principal pour 2004 pour les
  data challenges
• Le logiciel (middleware) LCG-2 va être mantenu et
  développé jusquà ce que la nouvelle génération
  aura été éprouvée (et aura fait preuve de
  stabilité et defficacité)

29
Tier-1
Petits centres
Postes de travail portables
RAL
IN2P3
Budget global 2005-2008 200M Tier-0Tier-1
CERN 90 M
FNAL
CNAF

• Le modèle de computing du LHC
• Tier-0 Le lieu de laccélérateur
• Données brutes
• Reconstruction des données ESD
• Stockage données brutes et ESD
• Distribution données brutes et ESD aux Tier-1
• Tier-1
• Management du stockage de mass ? services de la
  grille indispensables
• Retraitement données brutes? ESD
• Support National et régional

FZK
PIC
ICEPP
BNL
Tier-2

• Tier-2
• stockage disque
• Simulation
• Travail danalyse du physicien

30
Estimations préparées pour la Task Force du MoU,
Juin 2004, Guy Wormser
31
LCG-POB, Août 2004, Les Robertson
32
Data Challenges

• Un effort de production à grande échelle pour les
  expériences LHC dans le cadre du projet LCG
• Tests et validation des modèles de calcul
  (computing models)
• Production des données nécessaires de simulation
• Test de la production dans le cadre de
  larchitecture du logiciel de lexpérience
• Test des logiciels de la grille de calcul
• Test des services fournis par LCG-2
• Toutes les expériences ont utilisé LCG-2 en tout
  ou en partie de leur production

33
(No Transcript)
34
Brookhaven
CERN
INFN 1
Espagne
UK
35
(No Transcript)
36
Phase 1 finie

• 186 M events et 61 TBytes
• Total CPU 424 CPU an sur 43 sites LCG-2 et 20
  sites DIRAC
• Jusquà 5600 jobs en compétition sur LCG-2

37
Partage DIRAC-LCG
424 CPU Years
Jun 8020 25 of DC04
Aug 2773 42 of DC04
5 à 6 fois plus que possible au CERN seul
38
EGEE Enabling Grids for EsciencE
But Créer une infrastructure de qualité de la
Grille Européenne (HEP Bio Météo
) Status Plus grande collaboration
développement de la grille dans le
monde Budget 100 millions /4
ans Moyens Soutenir les efforts actuels et
plannifiés des programmes GRID nationaux et
régionaux (e.g. LCG) Travailler étroitement avec
les développements de la grille dans lIndustrie
et collaborer avec les recherches hors Europe
(US)
applications
 
EGEE
Geant network
39
La complémentarité EGEE-LCG

• EGEE est un projet MultiSciences Européen
• LCG est un projet de la Physique des Particules
  au niveau mondial
• EGEE et LCG utilisent la même INFRASTRUCTURE
  constituée par des noeuds répartis à travers le
  monde (80 aujourdhui) et dun logiciel
  (actuellement LCG-2). La grande majorité de ces
  ressources et d'utilisateurs appartient à la
  communauté HEP.
• Le développement du middleware (logiciel
  intermédiaire) est assuré par EGEE , qui
  délivrera LCG-3EGEE-1 au printemps 2005.
• EGEE exploitera l'infrastructure qui sera
  utilisée par  LCG.

40
Le projet LCG-France http//grid.in2p3.fr/lcg/
01/06/2004
Projet LCG

• responsable scientifique F.OM (LPSC)
• responsable technique F. Hernandez (CC-IN2P3)
• comité de pilotage (incluant resp. LCG/CERN)
• comité direction

SC2, POB, GDB, GDA,
Resp. calcul expériences ALICE Y. Schutz ATLAS
A. Rozanov CMS C. Charlot LHCb A. Tsaregorodtsev
Equipe LCG Tier-1 Services Grid, Exploitation
Support
Groupe Applications LHC
CC-IN2P3 Direction
Tier-2 LPCClermontFerrand
Tier-2 Labo IN2P3/DAPNIALAL
Tier-2 ? Subatech
Financements locaux gt 80
Data-Challenges ALICE
Nœuds EGEE
41
Le Centre Tier-1 Français hébergé au CC-IN2P3

• Au démarrage du LHC, il devra fournir
• CPU 12M SpectInt2000 (équivalent 6000 machines
  biprocesseurs)
• Stockage disque et stockage permanent 6
  PétaOctets
• Connectivité réseau (RENATER) avec le Tier-0
  (CERN) de 10 Gbps
• Service et Support à la communauté
  d'utilisateurs de LCG, 24h/24 et 365 jours/an

42
Demandes budgétaires et de ressources humaines
Tier-1
Budget 2005-2008 requis 26 M
Année Personnel CC-IN2P3 affecté à LCG (ETP) Embauches nécessaires (ETP) Total (ETP)
2005 16 3 19
2006 23 4 27
2007 31 4 35
2008 38 2 40
Année Budget
2005 2,3 M
2006 3,3 M
2007 4,6 M
2008 6,2 M
TOTAL 16,4 M

Budget requis au-delà de 2008
Année Renouvellement du matériel LCG et frais de fonctionnement (M) Coût Annuel Ressources Humaines(M) Total annuel (M)
2009 3,0 2,2 5,2
2010 3,0 2,2 5,2
--- --- --- ---
2014 3,0 2,2 5,2
2015 3,0 2,2 5,2
43
Conclusions

• La sécurité est un domaine critique, important,
  sérieux et il faudra sattendre à des
  limitations des modes de travail
• Laugmentation des ressources du centre de
  calcul CC-IN2P3 par la loi de Moore (1.6) ne
  semble pas satisfaire les expériences LHC (et
  peut-être aussi les Astro)
• A la demande de LCG-France, le DG du CNRS semble
  avoir été réceptif à la nécessité daugmenter les
  ressources en calcul des expériences LHC
• Comment tout ceci sintègre-t-il au CNRS dans le
  cadre de la mise en place des TGE ??

?
?
?
?