Why Grid Computing

1
GRILLES DE CALCUL
Sun Grid Engine S?minaire
X-Aristote Jeudi 11 Avril
2002 Antoine Petitet antoine.petitet_at_sun.com
2
Sommaire

• Positionnement
• Description et caract?ristiques
• Int?gration
• Exemples d'utilisation

3
Positionnement de Sun Grid Engine
4
(No Transcript)
5
Mod?les d'utilisation
Maximise les ressources par projet, ?quipe, ou
d?partements, Ordonnancement des taches, G?re
les taches du d?but a la fin

• SUN GRID ENGINE
• Plus de 15,000 t?l?chargements,
• Approximativement 1000 t?l?chargements par mois.

6
(No Transcript)
7
SGE Édition Entreprise multiples entit?s, un
site.
Demande en ressources pour le projet A
Mod?le Campus multiples entit?s
8
Ressources inutilis?es sont disponibles pour tous.
9
Challenge cl? du mod?le "Campus"
Mes ressources ne seront pas dis-ponibles quand
j'en ai besoin.
Confiance
10
Solution modes automatis?s de fonctionnement
Utilisateur n?gocie le mode de
fonctionnement, Outils automatiques de mise en
place des modes, Flexibilit? Exceptions pour
des besoins sp?cifiques, Surveillance assure
le respect des modes d'utilisation.
11
SGEEE Modes de fonctionnement
12
Mode "partage par actions", compensation pour
l'utilisation pass?e

A reoit compensation pour l'utilisation
pass?e de B.
Projet A (B) utilise 50 de ressources
Activit? de A ralentit, B peut utiliser plus de
ressources.
Activit? de A augmente a nouveau.
13
Mode fonctionnel

• Les droits sur les ressources sont d?rives de
  l'association de la tache (son type) avec
  l'utilisateur (son groupe),
• L'utilisation relative des ressources est
  contrôl?e durant l'ex?cution en fonction des
  privil?ges accordes a l'organisation et
  l'affiliation de l'utilisateur,
• L'utilisation pass?e n'est pas prise en compte.

14
Mode prioritaire
Rupture d'un mode automatique, respect d'une date
limite
A a besoin de plus de ressour- ces
temporaire- ment
Projet A (B) utilise 50 de ressources
Tache A se termine
Utilisation redevient normale
15
Mode manuel
Permet a l'administrateur d'interrompre les modes
automatiques
Projet A (B) utilise 50 de ressources
L'Administrateur syst?me suspend manuellement le
mode de fonctionnement automatique pour 1)
Donner a A plus de ressources, 2) Donner a B
plus de ressources.
16
Contrôle des allocations
Campus 99 utilisation effective
17
Description et Caract?ristiques
18
Sun Grid Engine (SGE)

• SGE est un syst?me de gestion de charge,
• Distribution transparente et automatique des
  taches,
• Ordonnancement optimal des taches sur les
  ressources de calcul,
• SGE est conu pour un grand nombre de taches et
  de ressources (scalabilite horiz.).

19
SGE Objectifs

• Assurer l'utilisation optimale des ressources,
• En augmentant la productivit?,
• R?partition transparente de la charge,
• Contrôle pr?cis du partage, notamment grâce aux
  modes de fonctionnement,
• Facile a installer et a utiliser.

20
Composants logiciels
Scheduler
Master Daemon
Execution Daemon
Submit Graphical Control
Clients
21
Architecture logicielle
22
SGE Caract?ristiques

• Batch queueing
• Load balancing
• Failover capability
• Job accounting statistics
• User specifiable resources
• Fault tolerant
• Suspend / resume jobs
• Job, host status
• Interactive jobs
• Parallel (mpi, pvm, qmake)

23
Sc?nario Type
24
SGE Sc?nario
Event
Job placement
Control request
Request
Acknowledge
Load
Finished
25
Modes de fonctionnement

• Fonctionnel,
• Partage par actions,
• Prioritaire,
• Manuel.

26
Exemples d'utilisation
27
Simulation de crash

• Each model line has its entitlement
• Each outside component supplier has its
  entitlement
• Consensus policies meet demand
• Every entity gets the resources it needs
• More iterations, more collaboration, more
  creativity

28
Grid Engine Enterprise Edition Government

• Agencies pool budgets for supercomputing Campus
  Grid
• Allocation corresponds to budget contribution
• Agencies request detailed usage reports
• Grid Engine policy tool delivers
• Predictable usage
• Up to 24,000 simult. jobs
• Monthly reports
• Explosive growth

29

• Caprion Pharmaceuticals / biology ? protein
  analysis, number of SF 4800, SF 3800 and 280R
  servers, all linked and managed by SGE,
• Sony Devices Europe created a grid in 2 days,
• Durham University Cosmology engine performs 465
  billions arithmetic operations per second,
• Sun 4000-CPU grid, 3 cities, 98 CPU
  utilization, 50000 EDA jobs per day.

30
Int?gration avec d'autres outils logiciels
31
SunHPC ClusterTools / SGE/EE IntegrationCurrent
status

• Loose integration between CRE and SGE/EE (PBS)
• SGE/EE reserves resources --gt CRE
• CRE launches processes
• SGE cannot enforce limits no accounting
• Tight integration between CRE and LSF
• LSF replaces CRE
• Difficult to maintain

32
SunHPC ClusterTools / SGE/EE IntegrationFuture

• HPC ClusterTools 5 (Gryphon)
• Tight integration between CRE and SGE (and PBS,
  LSF)
• CRE remains present
• SGE/EE allocates resources
• CRE (mprun) creates parallel environment
• CRE asks SGE/EE to spawn each process
• SGE/EE and CRE can monitor and manage jobs
• Best of both worlds, e.g. parallel I/O
• Thread reservation mprun -np 8x4

33
Links with SRM

• Complementary products
• SRM for optimal management of a single host
• SGE/EE for clusterwide resource sharing
• Currently loose integration only (special job
  starter sets SRM project ID)
• Much more potential
• SGEEE interface into SRM O/S scheduler for better
  dynamic scheduling
• S9M memory management integration for effective
  oversubscription of CPUs
• Integration with BRM for managing bandwith
• Obstacle binary incompatibility

34
Conclusions
35
Plan de travail

• SGE/EE 6.0
• D?ploiement, configuration, utilisation
• TCP int?gration
• Grilles globales ?

SGE/EE maj. Documentation
Avril 02
Milieu 03
Sep 02

• SGE/EE 5.3
• SGEEE Disponibilit?
• Inter-operabilit? (SGEEEOS)
• Scalabilit?
• Sun compliance
• Robustesse

36
Ressources pour la communaut? d'utilisateurs
Grid Engine Open Source Projet
www.gridengine.sunsource.net
Depuis Juillet 2001, binaires non-Solaris,
HOWTOs, mailing listes d'utilisateurs.
Sun Grid Engine Enterprise Edition (beta)
sun.com/gridware/beta/sgeee53b
Depuis SC01, 450 sites tests, en progression
quotidienne.
37
Liens Utiles

• http//www.sun.com/grid
• Position de Sun sur les grilles de calcul,
• http//www.sun.com/gridware
• Logiciels Sun pour le calcul sur grille,
• http//gridengine.sunsource.net
• Site de d?veloppement du logiciel ouvert Sun Grid
  Engine.