Balance de Carga Adaptable bajo Cmputo Paralelo en Clusters

1
Balance de Carga Adaptable bajo Cómputo Paralelo
en Clusters

• Miguel A. Castro García
• Directores
• Jorge Buenabad Chávez (CINVESTAV)
• Graciela Román Alonso (UAMI)

2
Contenido

• Antecedentes
• Planteamiento del problema
• Objetivo
• Soluciones reportadas por otros autores
• Soluciones propuestas en la investigación
• Resultados
• Publicaciones
• Trabajo futuro y conclusiones

3
Antecedentes (1)

• Demanda de cómputo
• Predicción del clima
• Evolución de galaxias

4
Antecedentes (2)

• Cómputo paralelo

5
Antecedentes (3)

• Taxonomía de Flynn
• SIMD (Single Instruction Multiple Data)
• Aplicaciones específicas
• Arreglos de procesadores específicos
• Una unidad de control
• Costo Alto
• MIMD (Multiple Instruction Multiple Data)
• Aplicaciones generales
• Hardware de comunicación específico
• Altamente Costosas
• Varias unidades de control
• Alguien se debe encargar de la asignación de
  carga

6
Antecedentes (4)

• Arquitecturas MIMD
• Shared Memory Multiprocessor System
• Pentium quad pack, Cray T3E
• Message-Passing Multicomputer
• Intel Paragon, IBM SP-2
• Distributed Shared Memory
• AP3000 Fujitsu
• Modelos de programación
• Memoria compartida
• Intercambio de mensajes

7
Clusters

• Arquitectura
• Características
• Precio menor
• Componentes de propósito general
• Escalables

8
Pregunta

• Basta con tener un cluster para hacer cómputo
  paralelo?

9
Problema de la Asignación de Carga
aplicación
divide
N procesos
M procesadores
10
Problema de la Asignación de Carga
Conjunto de datos de la aplicación
divide
N datos
M procesadores 1 proceso por procesador
11
Tipos de Asignación (1)

• Características de la aplicación
• Características de la arquitectura
• Ej. Suma de matrices

Asignación Estática
12
Tipos de Asignación (2)

• Uso del procesador de manera no determinista
• Cluster heterogéneo
• Multiusuario

Asignación Dinámica
13
Ejemplo de una aplicación paralela

• Se tiene un conjunto de datos
• Se dividen los datos equitativamente entre los
  nodos
• Repite
• Hacer cálculos sobre los datos
• Se comunican todos en un punto
• Pero
• La cantidad de datos aumenta o disminuye
• El tiempo de procesamiento de cada dato es
  diferente

14
Balance de carga (1)

• Definición
• Redistribución de tareas balanceando la carga de
  los nodos para lograr un mejor rendimiento

15
Balance de carga (2)

• Elemento de información
• Elemento de control
• tipo de elementos ? tipo de algoritmo

global
parcial
centralizado
distribuido
16
Balance de carga (3)

• Métricas
• Frecuencia de colecta de información

17
Balance de carga (4)

• Métricas
• Fronteras de carga

F
F1
F2
descargado
carga normal
sobrecargado
uso del procesador
recibir carga
transferir carga
18
Balance de carga (5)

• Algoritmo adaptable
• Automático
• Tiempo de ejecución

F1
F2
descargado
carga normal
sobrecargado
uso del procesador
19
Parámetros

• Frecuencia de colecta de información
• Fronteras de carga

20
Objetivo

• Desarrollo de un servicio de balance de datos
  adaptable en clusters para aplicaciones
  irregulares Adaptive Load Balancing Service
  (ALBS)

21
Soluciones reportadas por otros autores

• Herramientas que hacen balance

22
Propuesta (1)

• Creación de un mecanismo de balance de datos de
  fácil uso para aplicaciones irregulares
• Se tiene un conjunto de datos
• Se dividen los datos equitativamente entre los
  nodos
• Repite
• Hacer cálculos sobre los datos
• Se comunican todos en un punto
• BALANCEAR DATOS()

23
Propuesta de Interfaz entre el balance y la
aplicación dinámica (2)

• Se tiene un conjunto de datos
• Se dividen los datos equitativamente entre los
  nodos
• Repite
• Hacer cálculos sobre los datos
• Enviar conjunto de datos a balancear(mínimo-máxi
  mo)
• Se comunican todos en un punto
• Recibir conjunto de datos balanceados()

24
Propuesta del mecanismo de balance
25
Plataforma de comparación

• MPI
• Balance de procesos
• Athapascan
• Balance de hilos
• Sincronización
• MPI
• ALBS (Adaptive Load Balancing Service)
• Balance datos
• 1 proceso por procesador
• Paso de Mensajes
• MPI

26
Resultados (1)

• Algoritmo evolutivo paralelo

27
Resultados (2)

• Algoritmo evolutivo paralelo

28
Publicaciones

• Servicio de balance de carga, LAFMI, Primera
  Escuela Franco-Mexicana de Sistemas Distribuidos,
  Jalapa Ver. (2002)
• Integration of a Load Balancing Mechanism into a
  Parallel Evolutionary Algorithm(ISSADS 2004),
  Guadalajara Jal. (consideración)
• Load Balancing for Image Processing Applications
  (PDCS 2004), San Francisco Cal.(proceso)

29
Qué esta hecho y qué hace falta?

• Estudio y Evaluación de las herramientas Zoltan,
  Athapascan, etc. así como el tipo de aplicaciones
  que se ejecutan en estas
• Diseño del servicio de asignación y balance de
  carga
• Construcción del servicio
• Construcción del ambiente de comparación
• Evaluación del desempeño del servicio
• Elaboración de reportes y escritura de la Tesis
• Revisión y Corrección de Tesis

30
Conclusiones

• Se presentó una propuesta de balance de datos
  para aplicaciones irregulares
• Es conveniente tener un servicio adaptable de
  balance de carga
• El servicio se puede extender a otro tipo de
  aplicaciones
• Se consideró una plataforma de comparación en
  base a balance de procesos, hilos y datos para
  aplicaciones irregulares