Performance Evaluation of the PVFS2 Architecture Julian M'Kunkel, Thomas Ludwig

1
Performance Evaluation of the PVFS2
ArchitectureJulian M.Kunkel, Thomas Ludwig

• Diseño de Sistemas Distribuídos
• 2008/2009
• Sergio Pastrana Portillo

2
CONTENIDOS

• Introducción.
• Estado del arte.
• Repaso a PVFS2
• Limitaciones en el rendimiento.
• Plan de evaluación.
• Resultados.
• Conclusiones.

3
INTRODUCCIÓN

• El rendimiento de un PFS escala bien con el
  número de nodos.
• El rendimiento depende de varios factores.
• En este artículo se pretende evaluar una
  arquitectura PFS. Para ello
• Se simulará el acceso a disco.
• Varios tipos de peticiones.
• Benchmark sobre esta simulación.

4
ESTADO DEL ARTE

• Herramientas para la evaluación
• On-line
• Muestran resultados en tiempo real
• Proceso paralelo -gt Limitan la ejecución!
• Paradyn.
• Off-line
• Recolectan mediciones que almacenan para su
  posterior consulta.
• Menos flexibles, pero más fáciles de implementar.
• Librería MPE para MPI.

5
ESTADO DEL ARTE

• No hay benchmarks para PFS que engloben un gran
  número de patrones de acceso. Uno bueno es
  b_eff_io.
• Reemplazar el subsistema físico de E/S por un
  programa básico ayuda a encontrar problemas de
  cuellos de botella.
• Espacio de almacenamiento en memoria.
• Linux tmpfs.
• Espacio acotado por la memoria. Válido para
  pequeños conjuntos de datos y metadatos.

6
PVFS2

• Servidor PVSF2 1 espacio de almacenamiento
  varios FS lógicos.
• Un nodo puede ser servidor de datos, de metadatos
  o de ambos.
• Arquitectura en capas.

7
PVFS2
8
LIMITACIONES DEL RENDIMIENTO

• 3 componentes
• Red latencia, ancho de banda.
• Discos duros t. de acceso, tasa de
  transferencia, buffering SO.
• CPU velocidad y arquitectura. Determina el nº de
  peticiones/tiempo.
• Peticiones pequeñas dependen de la latencia de la
  red y t. acceso a disco.
• Peticiones grandes dependen de rendimiento de la
  red y tasa de transferencia del disco.
• Los discos son más lentos que las redes, por lo
  que son los principales limitadores.

9
LIMITACIONES DEL RENDIMIENTO

• Estimación del rendimiento de peticiones largas y
  continuas.
• 5 servidores, con 1GBit/s Ethernet y disco duro
  con tasa transferencia40MB/s.
• Variable número de clientes, también con 1GBit/s
  Ethernet.
• Uso de netperf, analizador del rendimiento de
  red.

10
LIMITACIONES DEL RENDIMIENTO
11
LIMITACIONES DEL RENDIMIENTO

• Comportamiento interno de PVFS2.
• Ausencia de caching de operaciones E/S en el
  cliente.
• Pequeños accesos caben en peticiones y/o
  respuestas.
• Para accesos más grandes (gt16KB aprox.)
• Protocolo de encuentro (handshake) anterior a las
  lecturas.
• Tiempo de red extra para escrituras.
• Modificar metadatos requiere varias peticiones
• Ejemplo, para crear un archivo -gt 5 operaciones

12
PLAN DE EVALUACIÓN

• Trove Analyzation Stub (TAS).
• Estructura de datos arbórea para facilitar el
  manejo de metadatos en memoria.
• Peticiones E/S se descartan, pero los metadatos
  se actualizan y se notifica a capas superiores.
• Para comparar TAS vs DBPF
• Mpi_io_test -gt escribe en fichero, abre y lee el
  fichero. Durante el proceso se realizan
  mediciones sobre el tiempo requerido.
• Mpi_md_test -gt mismo nº de llamadas open en
  cada cliente para crear un nuevo fichero.
• Estudio de la influencia del nº de clientes y
  servidores, así como de el tamaño de fichero
  accedido.

13
PLAN DE EVALUACIÓN

• Configuraciones con 5 servidores y variable nº de
  clientes.
• El rendimiento varía entre tests -gt para cada
  configuración, 3 ejecuciones.
• Para garantizar las mismas condiciones entre los
  tests se restablecen los servidores y se recrea
  el espacio de almacenamiento.
• Uso de un clúster de 10 nodos, cada uno
• 2 Intel Xeon 2000 Mhz
• 1 Gb RAM
• Disco Duro IDE con throughput 40Mb/s
• Nodos conectados a través de una Gigabit Ethernet
  con cable de cobre y topología en estrella

14
RESULTADOS

• Operaciones sobre metadatos
• Mpi_md_test
• 1 servidor, varios clientes
• Evaluación del nº de operaciones create_file