Title: Alice France Computing kSI2K et petaBytes, Xeon2'8GHz, middleware, Mass Storage, EGEE, gLite ou AliE
1Alice France Computing kSI2K et petaBytes,
Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite
ou AliEn, PROOF, globus, LCG
- Journées ALICE France Physique
- AFP
23-24 mai 2004
Christophe Suire
2Alice France Computing Status
- Plan AFP Alice Computing
- Les bases (Y. Schutz)
- Résultats des sondages
- Discussions
3AFP Alice Computing
Quels sont les points importants qui
peuvent/doivent être discutés au niveau de
l'AFP?
- s'assurer que les ressources sont suffisantes et
utilisables - (TIER-2/Laurent Aphecetche)
- mettre à jour un système de tutorial
- AliRoot installation et bases
- ccin2p3 script/batch, hpss
- OU AliEn (opérationnel au ccin2p3
??) - s'assurer que chacun aura accès à des ressources
pour - faire tourner ses analyses de physique
- autres ?
2
Christophe Suire
4Le calcul
5Un nouveau paradigme
- Les données du problème
- Une quantité de données sans précédant gt Po/an
- Une grande collaboration gt 1000 collaborateurs
- Une répartition mondiale gt 80 Instituts, dans gt
30 pays - Une seule solution la Grille
- Fédérer les ressources informatiques distribuées
dans les Instituts - Un intergiciel (middelware) permettant a tout
utilisateur daccéder aux ressources de façon
transparente
6Intergiciel ?
PCFarm
PCF
PCF
PCF
PCF
PCF
PCF
PCF
PCF
PCF
Christophe Suire
7Réponse au défis LHC
- LCG (LHC Grid Computing)
- Collecte les ressources informatiques
- Développe, teste et distribue lintergiciel
(ensemble de services) - Met le tout a la disposition des expériences
- EGEE (Enabling Grids for E-sciencE)
- Développe lintergiciel universel
- Les expériences
- Adapte les services aux besoins (interface
intergiciel) - Développe et distribue les services propres
(AliEn) - Développe linterface utilisateur (gShell)
8Intergiciel pour le LHC ?
- L'intergiciel "officiel" de LCG sera g-Lite (en
retard par-rapport à AliEn). - Intergiciel commun à Alice-CMS-ATLAS-LHCb ?!
Christophe Suire
9Modèles de calcul
- Hiérarchique Tier
- 0 au CERN
- Stockage permanent des données brutes, calibrage,
ESD - Premier passage de reconstruction
- 1s CERN et ailleurs ( CCIN2P3)
- Stockage permanent dune 2eme copie des données
brutes, MC, ESD, AOD - Stockage temporaire dune fraction des données
brutes, ESD, AOD, MC - Passage supplémentaire de reconstruction
- Analyse organisée
- 2s CERN et ailleurs ( Clermont, CCIN2P3,
Nantes, Paris,) - Stockage temporaire des données MC, EESD, AOD
- Production MC
- Analyses individuelles
10Model Hierarchique / Model Flou
Note en théorie, chaque "catégorie" de TIER
est capable d'effectuer tous les types de tâches
(cela dépend du middleware). mais - les
rawdata sont dans le TIER-0 (copie partagée dans
les Tier-1) - la reconstruction sera prioritaire
et occupera très largement les CPUs/disks des
TIER-0 et TIER-1 ? Les analyses (dites chaotiques
?) vont certainement etre circonscrites au niveau
des TIER-2
Christophe Suire
11Modèles de calcul
- Flou (cloud model)
- Chaque site peut effectuer nimporte quel type de
tache en fonction - Des ressources de calcul disponibles
- De la localisation des données
- Minimise le transport des données
- Optimise lusage du CPU
- Nécessite toutes les
fonctionnalités de la GRILLE
12Traitement des données
- pp (identique aux autres expériences)
- Distribution des données et première
reconstruction quasi en ligne dans T0 - Reconstructions additionnelles dans T1s pendant
le reste de lannée - AA (trop gourmand en temps de calcul)
- Calibrage, alignement et reconstruction tests
pendant la prise de données au T0 - Distribution des données et première
reconstruction dans T0 pendant les 4 mois suivant
la prise de données - Reconstructions additionnelles dans T1s pendant
le reste de lannée
13(No Transcript)
14Les ressources requises
15Les ressources requises
TIER-2 Français
TIER-1 ccin2p3
TIER-0
16Unités
Note le kSI2k. ou le kilo SpecInt2000 1
kSI2k puissance d'un pentium Xeon
2.8GHz Besoin d'Alice en 2009 estimés à 32
MSI2k ? equivalent à 32000 processeurs (Xeon
2.8GHz)
Christophe Suire
17PAF (Parallel Analysis Facility)
- Une analyse parallèle en ligne des données (pas
forcément distribuées) - Utilise une grappe (1000 nuds) dédiée (ne fait
rien dautre) re-configurable, ROOT
et PROOF
18France
- T1_at_CC Fournit de lordre de 15 (CPU, disque,
MS) des besoins requis par ALICE dans T1s - AF_at_CC ALICE demande un minimum, de lordre de 3
des besoins requis par ALICE dans T2s - T2s Prévoit de fournir de lordre de 5 des
ressources requis par ALICE dans T2s - Questions
- AF, PAF pour AFP ?
- Quel usage ? Pour qui ? Quelle taille ?
19Parallel ROOT Facility
- The Parallel ROOT Facility, PROOF, is an
extension of the ROOT system. It enables
physicists to analyse large sets of ROOT files in
parallel on computer clusters. - Due to the increasing amount of data in High
Energy Physics the ROOT developers at CERN
decided to set ROOT on a parallel base. - PROOF ( Parallel ROOT Facility ) is an extension
of ROOT which allows a transparent and fast
analysis of large sets of ROOT-files
(ROOT-trees). - The goal of PROOF is not only to increase the
CPU-power by using multiple hosts, it also takes
advantage of the possibility to access and
analyse parallel one or more ROOT-files which are
stored on several hosts, so you can increase the
I/O-speed depending on the quantity of hosts.
2
Christophe Suire
20Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting
2
Christophe Suire
21Parallel ROOT Facility
Fons Rademakers Dernier Alice offline meeting
2
Christophe Suire
22Etudes d'habitudes
Comment travaillent les AliRooteurs ? (les plus
jeunes)
Les simulations/analyses en cours
- Strasbourg (étrangeté)
- Nantes (W's,Jpsi cent. dep.)
- Clermont (beauté pp et PbPb dans le bras Dimuon)
Quelles ressources utilisent-ils ?
- Surtout des ressources locales
- Peu d'utilisation du ccin2p3 (sauf PDCs et
Rachid) - Clermont TIER-2 peu utilisé pour l'instant
ça démarre - Nantes TIER-2 les Nantais
2
Christophe Suire
23Tour des TIERs
Yves (DimuonNet'05 - Nantes)
15 (only !) of the resources at CCIN2P3 goes to
ALICE (sharing of cost not of resources)
Le CERN fait un vrai partage ?
2
Christophe Suire
24Tour des TIERs
Yves (DimuonNet'05 - Nantes)
Question récurrente, pour 1 ferme de PC
donné à LCG ? donné à Alice ?
Christophe Suire
25Tour des TIERs
Pour l'instant seul Alice-SPhN/DAPNIA contribue à
ce Tier-2
Question récurrente, pour 1 ferme de PC
donné à LCG ? donné à Alice ?
- Lettre d'intention
- répartition des ressources décidé par un comité
de pilotage - 20 des ressources pourrqient etre dédiée aux
laboratoires pour leurs besoins spécifiques
Christophe Suire
26Production de données PDCs04,05...
Qui utilise les données des PDCs ?
- en France, (très peu de) personne(s)
- Strangeness les évènements HIJING n'étaient
pas assez étranges (Hijing feature) MAIS
rectifié pour PDC05 - ? simulation en local (5h/event)
- Dimuon pas de données avant PDC05 (vrai?)
De toute façon, c'est pas facile !
- Les données produites par les PDC sont sur
bandes au CERN - ? Cern Advanced STORage manager.
Christophe Suire
3
27CASTOR
Apparemment impossible à utiliser hors du CERN !?
Christophe Suire
3
28Ressources au CCIN2P3
CPU ?? au moins quelques centaines(max jobs
242) HPSS 20 TO dont 12 disponibles (à
vérifier) NFS 1.6 TO (?5 T0 demandés) (
home/afs et scratch directories)
- Et pourquoi pas
- 1 queue pour la production (prioritaire pendant
les PDCs) - 1 queue pour les utilisateurs (toujours
ouverte). Parfait pour l'apprentissage
d'AliEn/gLite (si installé au ccin2p3 !).
Utilisation des machines Alice
4
Christophe Suire
29Conclusions à débattre
- Problèmes et solutions pour le Tier-2 Ile de
France ?! - Migration des simulations/analyses vers le
Tier-1 ccin2p3 - Analyse (future) dans Alice utilisation de la
Grid. - Se familiariser avec les outils (software) dès
que possible - Questions (from Yves)
- AF, PAF pour AFP ?
- Quel usage ? Pour qui ? Quelle taille ?
- autres
Christophe Suire
30To Be Continued.
31PARADIGME, subst. masc.A. 1. GRAMM. Ensemble
des formes que peut prendre un élément
(généralement un mot). Synon. déclinaison,
flexion. Il suffit d'y jeter un coup d'oeil pour
apercevoir la relation qui existe entre les
paradigmes grec et latin (SAUSS., Ling. gén.,
1916, p.15). Jamais il ne serait tenté de
restituer un paradigme sans pronom aime, aimes,
aime, aimons, etc., auquel l'écriture
traditionnelle fait croire (BALLY, Lang. et vie,
1952, p.25). QUI - QUE - QUOI forment un
paradigme pronominal, ils constituent un pronom
fléchi (G. MOIGNET, Ét. de psycho-systématique
fr., 1974, p.163). En partic., vieilli.
Ensemble des formes que peut prendre un mot
présenté comme modèle des formes pour ce type de
mot. Paradigme de flexion. La conjugaison d'aimer
est le paradigme de la première conjugaison des
verbes français (Ac. 1798, 1878).2. P. anal.
Exemple type présentant toutes les variations du
type. Il faut bien qu'un certain produit entre
tous, celui dont la valeur paraîtra la plus
authentique (...) soit pris pour type,
c'est-à-dire tout à la fois pour instrument de
circulation et paradigme des autres valeurs
(PROUDHON, Syst. contrad. écon., t.2, 1846,
p.87). M. Georges Seurat, le premier, a présenté
un paradigme complet et systématique de cette
nouvelle peinture (F. FÉNÉON, Les
Impressionnistes ds PLOWERT 1888). Judas est leur
type leur prototype et leur surtype, ou, si l'on
veut, le paradigme certain des ignobles et
sempiternelles conjugaisons de leur avarice
(BLOY, Salut par Juifs, 1892, p.75).B. LING.
Ensemble des unités d'un certain type
apparaissant dans un même contexte et qui sont de
ce fait dans un rapport d'opposition, de
substituabilité (p.oppos. à syntagme). Dans
l'article que je viens de citer, Sechehaye
construit (...) un paradigme dont les termes sont
des phrases françaises (R. GODEL, Limites de
l'analyse segmentale ds Cah. F. Sauss. t.32 1978,
p.133).C. ÉPISTÉMOL. Conception théorique
dominante ayant cours à une certaine époque dans
une communauté scientifique donnée, qui fonde les
types d'explication envisageables, et les types
de faits à découvrir dans une science donnée.
Changement de paradigme. Au-delà de leurs
divergences, ce qui rapproche Kuhn et Feyerabend,
c'est leur insistance sur le manque de
convergence du développement scientifique. Le cri
de ralliement de l'opposition à l'empirisme,
c'est la découverte de l'incommensurabilité entre
des paradigmes séparés par une révolution
scientifique (P. JACOB, L'Empirisme logique,
Paris, éd. de Minuit, 1980, p.27).Prononc. et
Orth. . Att. ds Ac. dep. 1762. Étymol. et
Hist.1. 1584 exemple, modèle (THEVET, Hommes
ill., fo 340 vo ds GDF. Compl.) 2. a) 1752
mot-type qui est donné comme modèle pour une
déclinaison, une conjugaison ensemble typique
des formes fléchies d'un mot pris comme modèle
(Trév.) b) 1967 ensemble des termes qui peuvent
figurer en un point de la chaîne parlée, axe des
substitutions (DUB.). Empr. au b. lat. paradigma
exemple, comparaison, également terme de
gramm., gr. modèle, exemple (de mettre en
regard, en parallèle, montrer, de auprès de
et de montrer). Bbg. GODEL (R.). Cah. F.
Sauss. 1978, no32, p.134.
2
Christophe Suire