Alice France Computing kSI2K et petaBytes, Xeon2'8GHz, middleware, Mass Storage, EGEE, gLite ou AliE

1
Alice France Computing kSI2K et petaBytes,
Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite
ou AliEn, PROOF, globus, LCG

• Journées ALICE France Physique
• AFP

23-24 mai 2004
Christophe Suire
2
Alice France Computing Status

• Plan AFP Alice Computing
• Les bases (Y. Schutz)
• Résultats des sondages
• Discussions

3
AFP Alice Computing
Quels sont les points importants qui
peuvent/doivent être discutés au niveau de
l'AFP?

• s'assurer que les ressources sont suffisantes et
  utilisables
• (TIER-2/Laurent Aphecetche)
• mettre à jour un système de tutorial
• AliRoot installation et bases
• ccin2p3 script/batch, hpss
• OU AliEn (opérationnel au ccin2p3
  ??)
• s'assurer que chacun aura accès à des ressources
  pour
• faire tourner ses analyses de physique
• autres ?

2
Christophe Suire
4
Le calcul
5
Un nouveau paradigme

• Les données du problème
• Une quantité de données sans précédant gt Po/an
• Une grande collaboration gt 1000 collaborateurs
• Une répartition mondiale gt 80 Instituts, dans gt
  30 pays
• Une seule solution la Grille
• Fédérer les ressources informatiques distribuées
  dans les Instituts
• Un intergiciel (middelware) permettant a tout
  utilisateur daccéder aux ressources de façon
  transparente

6
Intergiciel ?
PCFarm
PCF
PCF
PCF
PCF
PCF
PCF
PCF
PCF
PCF
Christophe Suire
7
Réponse au défis LHC

• LCG (LHC Grid Computing)
• Collecte les ressources informatiques
• Développe, teste et distribue lintergiciel
  (ensemble de services)
• Met le tout a la disposition des expériences
• EGEE (Enabling Grids for E-sciencE)
• Développe lintergiciel  universel 
• Les expériences
• Adapte les services aux besoins (interface
  intergiciel)
• Développe et distribue les services propres
  (AliEn)
• Développe linterface utilisateur (gShell)

8
Intergiciel pour le LHC ?

• L'intergiciel "officiel" de LCG sera g-Lite (en
  retard par-rapport à AliEn).
• Intergiciel commun à Alice-CMS-ATLAS-LHCb ?!

Christophe Suire
9
Modèles de calcul

• Hiérarchique Tier
• 0 au CERN
• Stockage permanent des données brutes, calibrage,
  ESD
• Premier passage de reconstruction
• 1s CERN et ailleurs ( CCIN2P3)
• Stockage permanent dune 2eme copie des données
  brutes, MC, ESD, AOD
• Stockage temporaire dune fraction des données
  brutes, ESD, AOD, MC
• Passage supplémentaire de reconstruction
• Analyse organisée
• 2s CERN et ailleurs ( Clermont, CCIN2P3,
  Nantes, Paris,)
• Stockage temporaire des données MC, EESD, AOD
• Production MC
• Analyses individuelles

10
Model Hierarchique / Model Flou
Note en théorie, chaque "catégorie" de TIER
est capable d'effectuer tous les types de tâches
(cela dépend du middleware). mais - les
rawdata sont dans le TIER-0 (copie partagée dans
les Tier-1) - la reconstruction sera prioritaire
et occupera très largement les CPUs/disks des
TIER-0 et TIER-1 ? Les analyses (dites chaotiques
?) vont certainement etre circonscrites au niveau
des TIER-2
Christophe Suire
11
Modèles de calcul

• Flou (cloud model)
• Chaque site peut effectuer nimporte quel type de
  tache en fonction
• Des ressources de calcul disponibles
• De la localisation des données
• Minimise le transport des données
• Optimise lusage du CPU
• Nécessite toutes les
  fonctionnalités de la GRILLE

12
Traitement des données

• pp (identique aux autres expériences)
• Distribution des données et première
  reconstruction quasi en ligne dans T0
• Reconstructions additionnelles dans T1s pendant
  le reste de lannée
• AA (trop gourmand en temps de calcul)
• Calibrage, alignement et reconstruction tests
  pendant la prise de données au T0
• Distribution des données et première
  reconstruction dans T0 pendant les 4 mois suivant
  la prise de données
• Reconstructions additionnelles dans T1s pendant
  le reste de lannée

13
(No Transcript)
14
Les ressources requises
15
Les ressources requises
TIER-2 Français
TIER-1 ccin2p3
TIER-0
16
Unités
Note le kSI2k. ou le kilo SpecInt2000 1
kSI2k puissance d'un pentium Xeon
2.8GHz Besoin d'Alice en 2009 estimés à 32
MSI2k ? equivalent à 32000 processeurs (Xeon
2.8GHz)
Christophe Suire
17
PAF (Parallel Analysis Facility)

• Une analyse parallèle en ligne des données (pas
  forcément distribuées)
• Utilise une grappe (1000 nuds) dédiée (ne fait
  rien dautre) re-configurable, ROOT
  
  et PROOF

18
France

• T1_at_CC Fournit de lordre de 15 (CPU, disque,
  MS) des besoins requis par ALICE dans T1s
• AF_at_CC ALICE demande un minimum, de lordre de 3
  des besoins requis par ALICE dans T2s
• T2s Prévoit de fournir de lordre de 5 des
  ressources requis par ALICE dans T2s
• Questions
• AF, PAF pour AFP ?
• Quel usage ? Pour qui ? Quelle taille ?

19
Parallel ROOT Facility

• The Parallel ROOT Facility, PROOF, is an
  extension of the ROOT system. It enables
  physicists to analyse large sets of ROOT files in
  parallel on computer clusters.
• Due to the increasing amount of data in High
  Energy Physics the ROOT developers at CERN
  decided to set ROOT on a parallel base.
• PROOF ( Parallel ROOT Facility ) is an extension
  of ROOT which allows a transparent and fast
  analysis of large sets of ROOT-files
  (ROOT-trees).
• The goal of PROOF is not only to increase the
  CPU-power by using multiple hosts, it also takes
  advantage of the possibility to access and
  analyse parallel one or more ROOT-files which are
  stored on several hosts, so you can increase the
  I/O-speed depending on the quantity of hosts.

2
Christophe Suire
20
Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting
2
Christophe Suire
21
Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting
2
Christophe Suire
22
Etudes d'habitudes
Comment travaillent les AliRooteurs ? (les plus
jeunes)
Les simulations/analyses en cours

• Strasbourg (étrangeté)
• Nantes (W's,Jpsi cent. dep.)
• Clermont (beauté pp et PbPb dans le bras Dimuon)

Quelles ressources utilisent-ils ?

• Surtout des ressources locales
• Peu d'utilisation du ccin2p3 (sauf PDCs et
  Rachid)
• Clermont TIER-2 peu utilisé pour l'instant
  ça démarre
• Nantes TIER-2 les Nantais

2
Christophe Suire
23
Tour des TIERs
Yves (DimuonNet'05 - Nantes)
15 (only !) of the resources at CCIN2P3 goes to
ALICE (sharing of cost not of resources)
Le CERN fait un vrai partage ?
2
Christophe Suire
24
Tour des TIERs
Yves (DimuonNet'05 - Nantes)
Question récurrente, pour 1 ferme de PC
donné à LCG ? donné à Alice ?
Christophe Suire
25
Tour des TIERs
Pour l'instant seul Alice-SPhN/DAPNIA contribue à
ce Tier-2
Question récurrente, pour 1 ferme de PC
donné à LCG ? donné à Alice ?

• Lettre d'intention
• répartition des ressources décidé par un comité
  de pilotage
• 20 des ressources pourrqient etre dédiée aux
  laboratoires pour leurs besoins spécifiques

Christophe Suire
26
Production de données PDCs04,05...
Qui utilise les données des PDCs ?

• en France, (très peu de) personne(s)
• Strangeness les évènements HIJING n'étaient
  pas assez étranges (Hijing feature) MAIS
  rectifié pour PDC05
• ? simulation en local (5h/event)
• Dimuon pas de données avant PDC05 (vrai?)

De toute façon, c'est pas facile !

• Les données produites par les PDC sont sur
  bandes au CERN
• ? Cern Advanced STORage manager.

Christophe Suire
3
27
CASTOR
Apparemment impossible à utiliser hors du CERN !?
Christophe Suire
3
28
Ressources au CCIN2P3
CPU ?? au moins quelques centaines(max jobs
242) HPSS 20 TO dont 12 disponibles (à
vérifier) NFS 1.6 TO (?5 T0 demandés) (
home/afs et scratch directories)

• Et pourquoi pas
• 1 queue pour la production (prioritaire pendant
  les PDCs)
• 1 queue pour les utilisateurs (toujours
  ouverte). Parfait pour l'apprentissage
  d'AliEn/gLite (si installé au ccin2p3 !).

Utilisation des machines Alice
4
Christophe Suire
29
Conclusions à débattre

• Problèmes et solutions pour le Tier-2 Ile de
  France ?!
• Migration des simulations/analyses vers le
  Tier-1 ccin2p3
• Analyse (future) dans Alice utilisation de la
  Grid.
• Se familiariser avec les outils (software) dès
  que possible
• Questions (from Yves)
• AF, PAF pour AFP ?
• Quel usage ? Pour qui ? Quelle taille ?
• autres

Christophe Suire
30
To Be Continued.
31
PARADIGME, subst. masc.A. 1. GRAMM. Ensemble
des formes que peut prendre un élément
(généralement un mot). Synon. déclinaison,
flexion. Il suffit d'y jeter un coup d'oeil pour
apercevoir la relation qui existe entre les
paradigmes grec et latin (SAUSS., Ling. gén.,
1916, p.15). Jamais il ne serait tenté de
restituer un paradigme sans pronom aime, aimes,
aime, aimons, etc., auquel l'écriture
traditionnelle fait croire (BALLY, Lang. et vie,
1952, p.25). QUI - QUE - QUOI forment un
paradigme pronominal, ils constituent un pronom
fléchi (G. MOIGNET, Ét. de psycho-systématique
fr., 1974, p.163). En partic., vieilli.
Ensemble des formes que peut prendre un mot
présenté comme modèle des formes pour ce type de
mot. Paradigme de flexion. La conjugaison d'aimer
est le paradigme de la première conjugaison des
verbes français (Ac. 1798, 1878).2. P. anal.
Exemple type présentant toutes les variations du
type. Il faut bien qu'un certain produit entre
tous, celui dont la valeur paraîtra la plus
authentique (...) soit pris pour type,
c'est-à-dire tout à la fois pour instrument de
circulation et paradigme des autres valeurs
(PROUDHON, Syst. contrad. écon., t.2, 1846,
p.87). M. Georges Seurat, le premier, a présenté
un paradigme complet et systématique de cette
nouvelle peinture (F. FÉNÉON, Les
Impressionnistes ds PLOWERT 1888). Judas est leur
type leur prototype et leur surtype, ou, si l'on
veut, le paradigme certain des ignobles et
sempiternelles conjugaisons de leur avarice
(BLOY, Salut par Juifs, 1892, p.75).B. LING.
Ensemble des unités d'un certain type
apparaissant dans un même contexte et qui sont de
ce fait dans un rapport d'opposition, de
substituabilité (p.oppos. à syntagme). Dans
l'article que je viens de citer, Sechehaye
construit (...) un paradigme dont les termes sont
des phrases françaises (R. GODEL, Limites de
l'analyse segmentale ds Cah. F. Sauss. t.32 1978,
p.133).C. ÉPISTÉMOL. Conception théorique
dominante ayant cours à une certaine époque dans
une communauté scientifique donnée, qui fonde les
types d'explication envisageables, et les types
de faits à découvrir dans une science donnée.
Changement de paradigme. Au-delà de leurs
divergences, ce qui rapproche Kuhn et Feyerabend,
c'est leur insistance sur le manque de
convergence du développement scientifique. Le cri
de ralliement de l'opposition à l'empirisme,
c'est la découverte de l'incommensurabilité entre
des paradigmes séparés par une révolution
scientifique (P. JACOB, L'Empirisme logique,
Paris, éd. de Minuit, 1980, p.27).Prononc. et
Orth. . Att. ds Ac. dep. 1762. Étymol. et
Hist.1. 1584 exemple, modèle (THEVET, Hommes
ill., fo 340 vo ds GDF. Compl.) 2. a) 1752
mot-type qui est donné comme modèle pour une
déclinaison, une conjugaison ensemble typique
des formes fléchies d'un mot pris comme modèle
(Trév.) b) 1967 ensemble des termes qui peuvent
figurer en un point de la chaîne parlée, axe des
substitutions (DUB.). Empr. au b. lat. paradigma
exemple, comparaison, également terme de
gramm., gr. modèle, exemple (de mettre en
regard, en parallèle, montrer, de auprès de
et de montrer). Bbg. GODEL (R.). Cah. F.
Sauss. 1978, no32, p.134.
2
Christophe Suire