Un An

1
Un Análisis Cuantitativo de Spec95

• Agustín Fernández
• Departament dArquitectura de Computadors
• Universitat Politècnica de Catalunya

Todo lo que usted quiso saber sobre Spec95 y
nunca se atrevió a simular.
2
Guión

• Objetivos y antecedentes
• Análisis de Instrucciones
• Análisis de localidad
• Análisis de comportamiento dinámico
• Conclusiones, Trabajos pendientes e Ideas Futuras

3
Objetivos y antecedentes

• SPEC es una compañía creada por varios
  fabricantes de workstations
• Objetivo definir un benchmark para evaluar
  computadores de nivel medio
• standarizado
• realista
• consensuado (el benchmark y la forma de
  utilizarlo)
• Spec89, Spec92, Spec95, ???
• Actualmente disponen de otros tests
• Plataformas Java (SPECjvm98).
• Sistemas de ficheros (SPEC SFS 2.0).
• Servidores WWW (SPECweb96).
• Supercomputadores (SPEChpc96).

4
Objetivos y antecedentes

• Spec95
• 10 programas aritmética en coma flotante
• 8 programas de aritmética entera
• Para cada test tres conjuntos de datos de
  entrada
• /data/ref, /data/train, /data/test
• En cada conjunto puede haber 1 ejecución o
  varias
• 101.tomcatv (1 ejecución)
• 126.gcc (56 ejecuciones)

5
Objetivos y antecedentes

• Uso de benchmarks en el DAC (junio95-junio98)
• 48 artículos utilizan Spec95, Spec92 o Perfect
  Club
• 46 artículos utilizan otro tipo de benchmarks (o
  ninguno)
• Microarquitectura 85 de los artículos utilizan
  Spec95, Spec92 o Perfect Club
• Uso de benchmarks en el MICRO-31 (diciembre 1998)
• 17 artículos utilizan Spec95
• 2 artículos utilizan Spec92
• 2 artículos utilizan Perfect Club
• 7 artículos utilizan otros benchmarks (Multimedia)

6
Objetivos y antecedentes

• No es un objetivo presentar ninguna propuesta
  nueva ni idea revolucionaria.
• Si es un objetivo elaborar un documento que
  sirva de consulta a los investigadores que están
  utilizando Spec95 para evaluar sus propuestas.
• Utilidad
• estudio TLB en 145.fpppp (32 páginas)
• Predicción saltos en 102.swim (99,61 taken)
• cache de instrucciones en 101.tomcatv (4.256
  bytes código)
• comportamiento subrutinas en 101.tomcatv (7
  calls)
• . . .

7
Objetivos y antecedentes

• Características de los tests realizados
• Se ha utilizado el Spec95 completo, es decir con
  los conjuntos de datos que se utilizan para
  obtener el Specratio.
• Las simulaciones se han realizado utilizando ATOM
• Los programas se han compilado con las opciones
  por defecto
• Se han utilizado las librerías shared.
• Todas las simulaciones se han ejecutado en abrell
  (Alpha 21164) y romeu (Alpha 21064).

8
Análisis de instrucciones

• Objetivo comportamiento dinámico del Spec95 a
  nivel de instrucciones (ISA Alpha 21164).
• Para cada test se dispone de la siguiente
  información dinámica
• instrucciones
• loads
• stores
• bloques básicos
• subrutinas
• saltos condicionales ( not taken)
• Esta misma información está disponible a nivel de
  subrutina

9
Análisis de instrucciones

• Información que se puede obtener
• porcentaje de referencias
• porcentaje de loads
• porcentaje de stores
• porcentaje de saltos condicionales realizados
• instrucciones por bloque básico
• instrucciones por subrutina

10
Análisis de instrucciones

• Ejecución dinámica de instrucciónes en el SPEC95
  FP

11
Análisis de instrucciones

• Ejecución dinámica de instrucciónes en el SPEC95
  INT

12
Análisis de instrucciones

• Datos relevantes en el SPEC95 FP

13
Análisis de instrucciones

• Datos relevantes en el SPEC95 INT

14
Análisis de instrucciones

• Resumen ejecución dinámica SPEC95

15
Análisis de instrucciones

• Tipos de instrucciones ejecutadas

16
Análisis de localidad datos

• Objetivo estudiar como se comportan las
  referencias a datos.
• Caches de datos (L1), variando parámetros
  básicos
• Tamaño 1Kbyte hasta 8 Mbytes
• Asociatividad 1-way hasta 8-way
• Tamaños de línea 16 bytes hasta 256 bytes
  (1-way)
• Sólo loads.
• Loads y Stores (write allocate y copy back).
• Mapas de memoria
• footprint
• histogramas de localidad

17
Análisis de localidad datos

• Cache de datos (tasa de fallos)
• 101.tomcatv (only loads)
• Características similares en muchos programas FP
• Sensible al tamaño de línea (localidad espacial)
• Sensible a la asociatividad en caches pequeñas
• Punto de inflexión

18
Análisis de localidad datos

• Cache de datos (tasa de fallos)
• 110.mgrid (only loads)

19
Análisis de localidad datos

• Cache de datos (tasa de fallos)
• 145.fpppp (only loads)

20
Análisis de localidad datos

• Cache de datos (tasa de fallos)
• 099.go (only loads)
• Características similares en muchos programas INT
• Sensible al tamaño de línea (poca localidad
  espacial)
• Sensible a la asociatividad en caches pequeñas

21
Análisis de localidad datos

• Cache de datos (tasa de fallos)
• 126.gcc (only loads)

22
Análisis de localidad datos

• Cache de datos (only loads, respecto a loads
  stores)
• 126.gcc
• La localidad puede comportarse de forma similar,
  pero las tasas de fallos pueden ser muy
  diferentes.

23
Análisis de localidad datos

• Cache de datos (only loads, respecto a loads
  stores)
• 110.mgrid

24
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 101.tomcatv
• Comportamiento similar en la mayoría de los
  programas FP
• footprint con grandes bloques
• Baja reutilización

25
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 102.swim

26
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 099.go
• Comportamiento similar en la mayoría de los
  programas INT
• footprint con grandes picos
• Alta reutilización reutilización

27
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 099.go

45
28
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 147.vortex

29
Análisis de localidad datos

• Mapas de memoria footprints e Histogramas
• 147.vortex

500
30
Análisis de localidad instrucciones

• Objetivo estudiar como se comportan las
  referencias a datos.
• Caches de instrucciones (L1), variando
  parámetros básicos
• Tamaño 1Kbyte hasta 8 Mbytes
• Asociatividad 1-way hasta 8-way
• Tamaños de línea 32 bytes
• Mapas de memoria
• histogramas de localidad

31
Análisis de localidad instrucciones

• Cache de datos (tasa de fallos)
• FP
• Características similares en muchos programas FP
• Poca influencia de la asocitividad
• Tasas de fallos pequeñas (excepción del
  145.fpppp, hasta 12)
• Poca reutilización

32
Análisis de localidad instrucciones

• Cache de datos (tasa de fallos)
• INT
• Características similares en muchos programas FP
• Poca influencia de la asocitividad (excepto
  1-way)
• Tasas de fallos algo mayores
• Alta reutilización

33
Análisis de la localidad

• Working sets y TLB

34
Análisis de la localidad

• Working sets y TLB

35
Análisis del comportamiento dinámico

• Es necesario, simular el programa completo para
  obtener un determinado dato? (p.e. la tasa de
  fallos de la cache)
• cache 32 Kbytes, directa, 32 bytes/línea
• 103.su2cor

36
Análisis del comportamiento dinámico

• 110.applu

37
Análisis del comportamiento dinámico

• 130.li

38
Análisis del comportamiento dinámico

• 145.fpppp

39
Análisis del comportamiento dinámico

• 132.ijpeg

40
Conclusiones, Trabajos pendientes e Ideas futuras

• Hemos realizado un análisis cuantitativo de
  Spec95. Los resultados obtenidos pueden servir
  para explicar el comportamiento de un programa al
  aplicarle alguna transformación (hardware o
  software).
• Trabajos Pendientes
• Caches unificadas de datos e instrucciones
• Estudio más específico del comportamiento de los
  stores en la cache
• nivel L2 de cache
• Ideas futuras
• Es necesario utilizar el conjunto de datos
  ref, o podríamos utilizar el conjunto de datos
  de test (train) y extrapolar los resultados?
• Estudiar el comportamiento dinámico de los
  programas, para realizar estimaciones de
  rendimiento sin tener que simular todo el test.