Reducing memory penalty by a programmable prefetch engine for on-chip caches

1
Reducing memory penalty by a programmable
prefetch engine for on-chip caches

• Presentatie voor het vak computerarchitectuur
  door
• Armin van der Togt

2
Indeling

• Probleemstelling
• De prefetch architectuur
• Resultaten
• Conclusies
• Gerelateerd werk

3
Probleemstelling

• Verschil tussen snelheid van geheugen en CPU
  wordt steeds groter dus cache en prefetching
• Hardware prefetching duur en complexe geheugen
  structuren moeilijk
• Software prefetching veel executie overhead

4
Software prefetching
5
De prefetch architectuur
Run-Ahead Table
address base stride count start
I4
I5
PC
ORQ
Memory system
Processor chip
6
Nieuwe instructie voor de prefetch
engine fill_run_ahead iaddr, ltbase, stridegt ,
ltcount, startgt

• iaddr PC om prefetch te starten
• ltbase, stridegt prefetch adres en stapgrootte
• ltcount, startgt prefetch condities
• count eens in de count keer dat PCiaddr wordt
  een prefetch gestart
• start pas na start keer dat aan de bovenstaande
  conditie is voldaan mag begonnen worden met
  prefetchen

7
Voorbeeld
8
Code met prefetch instructies
memory latency 5 cycles
9
Resultaten
10
(No Transcript)
11
Conclusies

• Prefetching kan geheugen penalty tot 80 verlagen
• Een programeerbare prefetch engine verlaagt de
  penalty ten opzichte van software prefetching
• Bij kleine caches (1-2k) is de programmerbare
  prefetch engine relatief duur
• de compiler moet prefetching ondersteunen

12
Gerelateerd werk

• Fu and Patel stride directed prefetching in
  scalar processors (hardware)
• Mowry and Gupta software controlled prefetching
• Chiueh A programmable hardware prefetch
  architecture for numerical loops (lijkt hier op)

13
Literatuur

• Tien-Fu Chen, Reducing memory penalty by a
  programmable prefetch engine for on-chip caches,
  Microprocessors and Microsystems, 21 (1997)
  121-130