Wat is een cache-misserstraf?

* Cachehit: Wanneer de CPU gegevens nodig heeft, controleert deze eerst de cache (een klein, snel geheugen). Als de gegevens daar worden gevonden, is het een 'cachehit' en is de toegang snel.

* Cachemisser: Als de gegevens *niet* in de cache staan, is er sprake van een 'cachemisser'.

* Missstraf in cache opslaan: De tijd die nodig is om de gegevens uit het hoofdgeheugen (RAM) op te halen en in de cache te laden *na* een cachemisser is de "cache miss penalty". Dit omvat verschillende stappen:

* Het detecteren van de misser.

* Toegang tot het hoofdgeheugen, dat veel langzamer is dan de cache.

* Overbrengen van de gevraagde gegevens van het hoofdgeheugen naar de cache.

* Het leveren van de gegevens aan de CPU.

Invloed op de prestaties:

1. Vertraging van de uitvoering: Het meest directe effect is dat de CPU moet wachten totdat de gegevens uit het hoofdgeheugen zijn opgehaald. Gedurende deze tijd loopt de CPU vaak vast (stationair) en kan hij niet verder gaan met de instructies. Dit wachten vertraagt ​​de algehele uitvoering van het programma aanzienlijk.

2. Verhoogde gemiddelde geheugentoegangstijd (AMAT): De AMAT is een belangrijke maatstaf voor het meten van de prestaties van het geheugensysteem. Het wordt berekend als:

`AMAT =Hittijd + (Misspercentage * Missstraf)`

* Tiktijd: De tijd die nodig is om toegang te krijgen tot gegevens in de cache wanneer er een hit optreedt.

* Mistpercentage: Het percentage geheugentoegangen dat resulteert in een cachemisser.

* Misstraf: De tijd die nodig is om een ​​cachemisser af te handelen (zoals hierboven gedefinieerd).

Naarmate de miss-straf toeneemt, neemt ook de AMAT toe. Een hogere AMAT betekent dat geheugentoegang gemiddeld langer duurt, wat leidt tot een langzamere programma-uitvoering.

3. Prestatieknelpunt: Een hoge miss-straf kan een groot prestatieknelpunt worden. Als een programma een hoge miss-rate en een grote miss-straf heeft, besteedt de CPU onevenredig veel tijd aan het wachten op gegevens uit het geheugen, in plaats van daadwerkelijk berekeningen uit te voeren. Dit geldt vooral voor geheugenintensieve toepassingen zoals wetenschappelijke simulaties, data-analyse en grafische verwerking.

4. Impact op multicore-systemen: In multicore-systemen kan een hoge miss-straf strijd opleveren voor de geheugenbandbreedte. Wanneer meerdere cores tegelijkertijd cachemissers ervaren, hebben ze allemaal toegang tot het hoofdgeheugen nodig. Als de geheugenbus verzadigd raakt, neemt de effectieve miss-straf nog verder toe, waardoor het prestatieprobleem wordt verergerd.

5. Energieverbruik: Toegang tot het hoofdgeheugen kost meer energie dan toegang tot de cache. Een hoog aantal missers en een grote misstraf zorgen ervoor dat het systeem meer tijd en energie besteedt aan toegang tot het hoofdgeheugen, wat leidt tot een hoger energieverbruik.

Factoren die van invloed zijn op de missstraf:

* Hoofdgeheugenlatentie: De snelheid van de RAM-modules. Sneller RAM vermindert over het algemeen de miss-straf.

* Geheugenbusbandbreedte: De snelheid waarmee gegevens kunnen worden overgedragen tussen het RAM en de CPU. Een bredere en snellere bus is beter.

* Cachehiërarchie: Het gebruik van meerdere cacheniveaus (L1, L2, L3) kan de missstraf helpen verminderen. Als de gegevens zich niet in L1 bevinden, bevindt deze zich mogelijk in L2, wat sneller is dan het hoofdgeheugen.

* Schijftoegang (voor virtueel geheugen): Als de opgevraagde gegevens zich niet in het hoofdgeheugen bevinden, maar op de harde schijf (virtueel geheugen), wordt de miss-straf *enorm* (milliseconden in plaats van nanoseconden of microseconden). Dit wordt een 'paginafout' genoemd.

Mitigatietechnieken:

Omdat de cache-miss-straf zo schadelijk is, worden er veel technieken gebruikt om deze te minimaliseren:

* Grotere caches: Grotere caches kunnen meer gegevens bevatten, waardoor het aantal gemiste gegevens wordt verminderd.

* Meer associatieve caches: Door de grotere associativiteit kunnen gegevens op meer locaties in de cache worden geplaatst, waardoor ook het aantal gemiste gegevens wordt verminderd.

* Prefetchen: Voorspellen welke gegevens in de toekomst nodig zullen zijn en deze in de cache laden *voordat* deze daadwerkelijk worden opgevraagd. Dit kan de latentie van geheugentoegang verbergen.

* Cachevriendelijk programmeren: Code schrijven die op een voorspelbare, sequentiële manier toegang krijgt tot het geheugen. Dit vergroot de cachelocatie en vermindert het aantal missers. Voorbeelden zijn onder meer:

* Ruimtelijke locatie: Toegang krijgen tot gegevenselementen die zich dicht bij elkaar in het geheugen bevinden (bijvoorbeeld opeenvolgend door een array itereren).

* Tijdelijke plaats: Hergebruik van gegevens die onlangs zijn geopend.

* Uitvoering buiten bestelling: De CPU kan andere instructies blijven uitvoeren terwijl hij wacht tot de gegevens uit het geheugen worden opgehaald.

* Multithreading/multiverwerking: Terwijl één thread/proces wacht tot een cachefout is opgelost, kan een andere thread/proces worden uitgevoerd, waardoor de CPU bezig blijft.

Samenvattend verslechtert een grote cache-miss-straf de prestaties van het computersysteem aanzienlijk door de CPU te vertragen, de gemiddelde geheugentoegangstijd te verlengen en mogelijk een groot knelpunt te creëren. Daarom is het minimaliseren van zowel het misspercentage als de missstraf cruciaal voor het behalen van goede prestaties.