Parallel computergebruik:

* Focus: Meerdere berekeningen *gelijktijdig* uitvoeren binnen één computersysteem. Dit maakt gebruik van meerdere verwerkingseenheden (cores, threads, enz.) binnen dezelfde machine.

* Communicatie: De communicatie tussen de verwerkingseenheden is relatief snel en efficiënt omdat ze dezelfde geheugenruimte delen (of op zijn minst een snelle verbinding hebben). Het delen van gegevens is vaak eenvoudig.

* Programmeermodel: Vaak gaat het om het gebruik van technieken zoals multithreading, multiprocessing of SIMD-instructies (Single Instruction, Multiple Data). Bibliotheken zoals OpenMP, MPI (hoewel ook gedistribueerd gebruikt) en CUDA worden vaak gebruikt.

* Schaalbaarheid: Beperkt door de fysieke bronnen (aantal kernen, geheugen, I/O-bandbreedte) van een enkele machine. Voor het toevoegen van meer verwerkingskracht is een krachtigere machine nodig.

* Voorbeeld: Een complexe simulatie uitvoeren met meerdere cores op één high-end werkstation.

Gedistribueerd computergebruik:

* Focus: Het *gelijktijdig* uitvoeren van meerdere berekeningen op meerdere onafhankelijke computers (knooppunten) die zijn verbonden door een netwerk.

* Communicatie: Communicatie tussen knooppunten is afhankelijk van een netwerk (bijvoorbeeld Ethernet, Infiniband), dat inherent langzamer en complexer is dan interne communicatie binnen een enkele machine. Het delen van gegevens vereist expliciete communicatiemechanismen. Netwerklatentie en bandbreedte worden kritische factoren.

* Programmeermodel: Vaak gaat het om het gebruik van technieken voor het doorgeven van berichten (bijvoorbeeld MPI) of architecturen die niets delen (bijvoorbeeld het gebruik van databases). Coördinatie tussen knooppunten is een grotere uitdaging.

* Schaalbaarheid: Kan zeer grote problemen oplossen door meer computers aan het netwerk toe te voegen. De theoretische limiet is veel hoger dan parallel computergebruik op één machine.

* Voorbeeld: Een grootschalige webzoekmachine, waarbij veel servers samenwerken om webpagina's te indexeren en op te halen. Cloud computing is een prominent voorbeeld van gedistribueerd computergebruik.

Belangrijkste verschillen samengevat:

| Kenmerk | Parallel computergebruik | Gedistribueerde computers |

|---------------|-------------------------------------|-----------------------------------|

| Hardware | Eén machine, meerdere processors | Meerdere onafhankelijke machines |

| Communicatie | Snel, gedeeld geheugen (vaak) | Langzamer, netwerkgebaseerd |

| Schaalbaarheid | Beperkt door afzonderlijke machinebronnen | Zeer schaalbaar |

| Complexiteit | Relatief eenvoudiger te programmeren | Aanzienlijk complexer om te programmeren |

| Gegevens delen | Makkelijker, vaak impliciet | Complexere, expliciete communicatie |

In sommige gevallen kunt u beide benaderingen combineren – door een cluster van computers te gebruiken (distributed computing), waarbij elke computer zelf parallelle berekeningen uitvoert. Dit biedt het beste van twee werelden:hoge schaalbaarheid en efficiënt gebruik van individuele machinebronnen.