Clusters

1
Clusters

• Mécanismes Fault Tolerant
• -
• Exécution parallele et répartie

2
Sources

• Linux France Magazine n 1,12,15,17,18,20,23,24,32
  ,35
• Doc TANDEM Hard Soft Functionnal Description
• www.stratus.com
• Linux Parallel Processing HOWTO
• Linux SMP HOWTO
• Beowulf HOWTO

• These de Denis Conan
• Tolérance aux fautes par recouvrement arrière
• Documents du LAAS
• R J Chevance
• Système HP définitions et solutions
• Mémoire de recherche de Anne-Marie Kermarrec
• Mémoire répartie recouvrable

3
On ne verra pas

• L'environnement Main-Frame
• Le fonctionnement des Clusters Windows
• Les clusters de stockage

4
Sommaire

• Pourquoi j'ai choisit ce sujet ?
• Les différents types de cluster
• Les méchanismes Fault Tolérant
• Comment exécuter du code en paralelle ?
• Comment répartir l'exécution ?
• Packages sous linux

5
Pouquoi ?

• Découverte lors des séquences industrielles
• Supervision temps reels du trafic téléphonique
• Supervision temps réels du réseaux de diffusion
  hertzien
• Le 4ieme plus gros cluster au monde est en FRANCE
  http// www.top500.org

6
Supermarché et exécution parallele
7
Supermarché et exécution parallele (1)

• Une seule caisse et un seul client

8
Supermarché et exécution parallele (2)

• Une caisse mais plusieurs clients
• On répartie le temps entre tous les clients

9
Supermarché et exécution parallele (3)

• On ouvre d'autres caisses
• Plusieurs caissières avec plusieurs clients

10
Supermarché et exécution parallele (4)

• Plusieurs caissières et un seul client.

11
Supermarché et exécution parallele (5)

• Plusieurs ilots de caisses et une caisse centrale

12
Rappels

• Fault Tolérant
• Haute Disponibilité
• Haute Performance

13
Le Fault Tolerant

• IBM,Sun Netcraft,Stratus, Tandem (maintenant
  HP-Compaq)
• Architecture spécialisée
• Matériel extrèmement couteux
• Methode Pair Spare

14
Le  pair and Spare 
(stratus)
Pair Le processus est exécuté en paralelle par
plusieurs processeurs au sein d'un meme
bloc Spare Doublement des organes actifs(un
primaire et un secondaire). Les deux blocs
exécutent le meme processus. En cas de
défaillance du maitre, on bascule sur le
secondaire Changement des organes à chaud
CPU, Mémoire, Disques
15
(No Transcript)
16
Tandem le HP/Compaq S5000

• Processeurs MIPS RISC R10000 et R12000
• Networking
• Data link protocol ATM FDDI Ethernet X.25 SS7
• Compliant standards IEEE POSIX 1003.1 ANSI X.3
  159-1989 C
• Niveau de sécurité C2
• Non-Stop UNIX (System V based)

17
Architecture

• CPU MIPS de Sillicon Graphic cadensés à 200 ou
  300 Mhz
• 2 blocs de 2 CPU
• 2 Go de RAM/ bloc
• 4 Mo de cache par CPU
• Bus Mémoire 400 MB/s par CPU
• Bus IO 150 MB/s par CPU
• Consomation 3500 Watts

18
Approche IBM
19
La Haute Disponibilité

• Les Offres commerciales
• HP MC - Service Guard
• IBM HACMP (High Availability Cluster
  Multi-Processing)
• Sun Cluster

20
La Haute Disponibilité (2)
21
La Haute Performance

• Comment exécuter un programme sur plusieurs CPU ?
• Concurrence et parallelisme
• En local
• Threads
• Messages
• NUMA No Uniform Memory Access
• NORMA No Remote Memory Access

22
Symetrical Multi-Processor

• Plusieurs CPU
• Dialogue inter-processus via la mémoire
• ( idem IPC)
• Problèmes
• Gestion des accès à la mémoire
• Dimentionnement du bus mémoire

23
Le NORMA

• Interconnection de  machines simple 
• Chaque CPU accède à sa propre mémoire
• Communication par messages

24
Le passage de messages

• Attention à la taille des messages ?
• Que transfert t'on et avec quelles politiques?
• PVM et MPI

25
NUMA

• Gestion de la mémoire globalMVP
• Chaque programme voit la mémoire comme une
  ressource local
• Localisation de l'accès
• Cohérence de la mémoire entre noeuds
• migration réplication

26
Monter son cluster
27
Les différentes offres

• Beawulf
• Mosix
• Alinka
• Kimberlite
• Linux Virtual Server
• Linux HA

28
Conclusions

• Bien analyser le besoin et les impacts sur
  l'architecture
• La mémoire est toujours trop lente dans les PC !
• Les procésseurs vectoriels ne sont pas morts

29
(No Transcript)
30
(No Transcript)
31
(No Transcript)