1. Architectuur en hardware:

* Parallel computergebruik:

* Meestal gaat het om nauw gekoppeld processors binnen een enkele machine of een klein cluster.

* Processors delen vaak een gemeenschappelijke geheugenruimte (gedeelde geheugenarchitectuur) of zeer snelle verbindingen hebben voor het doorgeven van berichten (bijvoorbeeld binnen een supercomputer).

* De nadruk ligt op het minimaliseren van de latentie voor de communicatie tussen processors.

* Vertrouwt vaak op gespecialiseerde hardware-architecturen zoals multi-core CPU's, GPU's of gespecialiseerde processors.

* Gedistribueerd computergebruik:

* Betreft losjes gekoppeld processors verspreid over meerdere machines, vaak geografisch verspreid.

* Machines delen geen gemeenschappelijke geheugenruimte . Elke machine heeft zijn eigen lokale geheugen.

* Communicatie is afhankelijk van netwerkverbindingen , die over het algemeen langzamer en minder betrouwbaar zijn dan de verbindingen die in parallelle systemen worden gebruikt.

* Maakt gebruik van standaardhardware (standaardservers, desktops, enz.) die is verbonden via een netwerk (bijv. LAN, WAN, internet).

2. Communicatie:

* Parallel computergebruik:

* Gedeeld geheugen: Processoren communiceren door te lezen en te schrijven naar een gedeelde geheugenlocatie. Vereist zorgvuldige synchronisatiemechanismen (sloten, semaforen) om raceomstandigheden te voorkomen.

* Bericht doorgeven: Er worden expliciete berichten tussen verwerkers verzonden. Dit komt vaker voor in nauw gekoppelde clusters waar het direct delen van geheugen niet haalbaar of efficiënt is.

* De communicatie is over het algemeen snel en met een lage latentie .

* Gedistribueerd computergebruik:

* Bericht doorgeven: Communicatie vindt voornamelijk plaats via berichten die via het netwerk worden doorgegeven. Voorbeelden hiervan zijn TCP/IP, HTTP of gespecialiseerde protocollen.

* Remote Procedure Calls (RPC): Een veel voorkomende abstractie waarbij een programma op de ene machine een procedure op een andere machine aanroept.

* De communicatie is over het algemeen langzamer en met een hogere latentie vanwege netwerkoverhead. Netwerkstoringen zijn ook een groot probleem.

3. Programmeermodel:

* Parallel computergebruik:

* Programmeermodellen gaan vaak uit van een gedeelde geheugenruimte en vereisen zorgvuldig beheer van synchronisatie en gegevensconsistentie.

* Veel voorkomende programmeermodellen zijn onder meer:

* Gedeeld geheugen: OpenMP, Pthreads

* Bericht doorgeven: MPI (interface voor het doorgeven van berichten)

* Gemakkelijker te programmeren vergeleken met gedistribueerd computergebruik, *bij gebruik van gedeeld geheugen*, omdat ontwikkelaars de communicatiedetails niet expliciet hoeven te beheren. Het doorgeven van berichten bij parallel computergebruik is nog steeds complex, maar over het algemeen eenvoudiger dan bij gedistribueerde systemen.

* Gedistribueerd computergebruik:

* Programmeermodellen zijn vaak gericht op fouttolerantie, gegevensdistributie en het omgaan met netwerkproblemen.

* Veel voorkomende programmeermodellen zijn onder meer:

* MapReduce (Hadoop): Voor grootschalige gegevensverwerking.

* Microservices: Applicaties ontwerpen als een verzameling kleine, onafhankelijke services.

* Berichtenwachtrijen (bijvoorbeeld RabbitMQ, Kafka): Voor asynchrone communicatie tussen services.

* Complexere programmering vergeleken met parallel computergebruik, omdat ontwikkelaars expliciet moeten omgaan met communicatie, dataserialisatie en fouttolerantie.

4. Fouttolerantie:

* Parallel computergebruik:

* Het falen van een enkele processor kan vaak het hele systeem platleggen, vooral in gedeelde geheugenarchitecturen.

* Fouttolerantie is doorgaans minder een probleem vergeleken met gedistribueerde systemen, omdat deze vaak in gecontroleerde omgevingen worden gebruikt.

* Gedistribueerd computergebruik:

* Fouttolerantie is een kritische ontwerpoverweging. Het systeem moet kunnen blijven functioneren, zelfs als sommige machines uitvallen.

* Technieken omvatten:

* Replicatie: Gegevens en berekeningen worden over meerdere machines gedupliceerd.

* Controlepunten: Het periodiek opslaan van de status van een berekening, zodat deze opnieuw kan worden gestart als er een fout optreedt.

* Consensusalgoritmen (bijv. Paxos, Raft): Om overeenstemming tussen machines te garanderen in geval van storingen.

5. Schaalbaarheid:

* Parallel computergebruik:

* Schaalbaarheid wordt vaak beperkt door de architectuur van de machine. Opschalen betekent doorgaans dat er meer processors of geheugen aan dezelfde machine moeten worden toegevoegd, wat duur kan zijn en fysieke beperkingen kent.

* Schalen naar zeer grote aantallen processors wordt steeds moeilijker vanwege communicatieoverhead en synchronisatieknelpunten.

* Gedistribueerd computergebruik:

* Zeer schaalbaar. Eenvoudig opschalen door meer machines aan het netwerk toe te voegen.

* Kan enorme hoeveelheden gegevens en berekeningen verwerken door de werklast over een groot cluster te verdelen.

* Horizontaal schalen (meer machines toevoegen) is vaak kosteneffectiever dan verticaal schalen (een enkele machine upgraden).

6. Voorbeelden:

* Parallel computergebruik:

* Wetenschappelijke simulaties (weersvoorspellingen, computationele vloeistofdynamica).

* Hoogwaardige databases die draaien op een multi-core server.

* Beeld- en videoverwerking op een GPU.

* Gedistribueerd computergebruik:

* Zoekmachines (Google, Bing).

* Sociale netwerken (Facebook, Twitter).

* Cloud computing-platforms (AWS, Azure, GCP).

* E-commerceplatforms (Amazon, eBay).

* Cryptocurrency-netwerken (Bitcoin, Ethereum).

Samengevat:

| Kenmerk | Parallel computergebruik | Gedistribueerde computers |

|------------------|--------------------------------------- ----------|-------------------------------------------------|

| Architectuur | Nauw verbonden, vaak gedeelde herinnering. | Losjes gekoppeld, geen gedeelde herinnering. |

| Communicatie | Snel, lage latentie (gedeeld geheugen of snelle verbindingen). | Langzamer, hoge latentie (netwerkgebaseerd). |

| Programmeren | Eenvoudiger (gedeeld geheugen), complex met het doorgeven van berichten | Complexer (expliciete communicatie, fouttolerantie). |

| Fouttolerantie | Minder nadruk, single point of Failure. | Kritische ontwerpoverwegingen, redundantie. |

| Schaalbaarheid | Beperkt door hardwarearchitectuur. | Zeer schaalbaar, horizontaal schalen. |

Denk er zo over na:

* Parallel computergebruik: Een team van chef-koks die zij aan zij in *dezelfde keuken* werken en ingrediënten en apparatuur delen om snel een maaltijd te bereiden.

* Gedistribueerd computergebruik: Een netwerk van restaurants in verschillende steden, elk met een eigen keuken en personeel, die samenwerken om een ​​grote cateringbestelling te vervullen. Ze moeten bestellingen communiceren en de levering coördineren.