Op hardware gebaseerde speculatie wordt uitgevoerd door de hardware zelf, zonder enige directe tussenkomst van de software. De hardware voorspelt welke tak van een voorwaardelijke instructie waarschijnlijk zal worden genomen, en voert vervolgens speculatief de instructies voor die tak uit. Als de voorspelling juist is, zijn de instructies van tevoren uitgevoerd, waardoor de tijd die nodig is om de bewerking te voltooien, wordt verkort. Als de voorspelling echter onjuist is, moeten de instructies worden weggegooid en moet de juiste vertakking worden uitgevoerd, wat kan resulteren in een prestatiestraf.

Softwarespeculatie , aan de andere kant, wordt uitgevoerd door de software zelf. Het compiler- of runtimesysteem identificeert delen van de code die waarschijnlijk baat zullen hebben bij speculatie, en voegt vervolgens instructies in die expliciet de uitkomst van voorwaardelijke instructies voorspellen. Als de voorspellingen kloppen, wordt de code efficiënter uitgevoerd. Als de voorspellingen echter niet kloppen, zal de code meerdere keren moeten worden uitgevoerd, wat ook kan resulteren in een prestatiestraf.

Het belangrijkste voordeel van op hardware gebaseerde speculatie is dat het zeer snel en efficiënt kan worden uitgevoerd, omdat het rechtstreeks door de hardware wordt gedaan. Het is echter ook gevoeliger voor foutieve voorspellingen, omdat de hardware niet over dezelfde informatie beschikt als de software. Softwarespeculatie daarentegen is minder vatbaar voor onjuiste voorspellingen, omdat de software beter geïnformeerde voorspellingen kan doen op basis van de staat van het programma. Het is echter ook minder efficiënt, omdat de software expliciet de speculatie-instructies moet invoegen.

Over het algemeen is op hardware gebaseerde speculatie effectiever voor eenvoudige, voorspelbare code, terwijl softwarespeculatie effectiever is voor complexe, onvoorspelbare code.