| Een token in computerprogrammering is een reeks tekens die door de compiler of tolk wordt herkend als één logische entiteit. Tokens worden gebruikt om trefwoorden, identificatiegegevens, operators en andere lexicale elementen van een programmeertaal weer te geven.
In de programmeertaal C zijn het volgende bijvoorbeeld allemaal tokens:
* `int` (trefwoord)
* `hoofd` (identificatie)
* `=` (operator)
* `;` (terminator)
Tokens worden doorgaans geïdentificeerd door een lexicale analysator, de eerste fase van een compiler of tolk. De lexicale analysator leest de broncode en verdeelt deze in een reeks tokens. De tokens worden vervolgens doorgegeven aan de parser, die ze gebruikt om een ontleedboom van het programma te bouwen.
Het proces van tokenisatie is essentieel voor het correct parseren en uitvoeren van een programma. Als de lexicale analysator tokens niet correct identificeert, kan de compiler of tolk onjuiste of onverwachte resultaten genereren.
Hier zijn enkele aanvullende voorbeelden van tokens in verschillende programmeertalen:
* JavaScript:`var`, `function`, `+`, `-`, `()`, `{}`
* Python:`def`, `klasse`, `if`, `else`, `for`, `in`
* Java:`openbaar`, `statisch`, `void`, `int`, `String`, `.`
Tokens vormen een fundamenteel onderdeel van computerprogrammering en spelen een belangrijke rol bij het samenstellen en uitvoeren van programma's. |
