Java-programma's kunnen creëren tokens van elke input string waarden of variabelen . Als een programma wordt met behulp van de split -methode van de klasse String te creëren tokens , kan de string waarde worden toegekend aan een variabele referentie zoals in de volgende voorbeeldcode :

String myWords
= " Hier zijn enkele woorden " ; < br >

als een programma wordt met behulp van de StringTokenizer klasse te creëren tokens , kan de constructormethode van de klasse de eerste reeks waarde als een parameter met de volgende syntaxis te nemen :

StringTokenizer myTokenizer = new StringTokenizer ( " hier zijn enkele woorden " ) ;

Zodra een programma maakt een van deze variabele types , is het klaar om te creëren tokens van de input string
Scheidingstekens
.

Java-programma's kunt invoeren tekenreeksen verdeeld over specifieke scheidingstekens . Een scheidingsteken is een teken of reeks tekens om de string te splitsen op . Bijvoorbeeld , kan Java een zin splitsen in woorden met behulp van de spatie als scheidingsteken . Wanneer een programma met de klasse String kan het scheidingsteken worden doorgegeven als een parameter aan de methode split . Wanneer een programma wordt met behulp van de StringTokenizer klasse , kan de begrenzer worden doorgegeven aan de constructor van de klasse -methode , samen met de input string als volgt :

StringTokenizer myTokenizer = new StringTokenizer ( " Hier zijn enkele woorden " , " " ) ;

Java-programma's
kan elk teken of combinatie van tekens te gebruiken om op te treden als scheidingstekens , evenals optioneel definiëren van deze met behulp van reguliere expressies . Gemeenschappelijke begrenzers zijn nieuwe lijn en carriage return tekens .
Token Resultaten

Java-programma's kunnen tekst tokens op verschillende manieren verwerken . Wanneer een programma wordt de splits werkwijze van de klasse String kan de tokens worden opgeslagen en verwerkt in een matrix . Wanneer code roept de string split methode , Java retourneert een string array. De code kan dan doorlopen deze , of toegang krijgen tot bepaalde onderdelen binnen het als noodzakelijk . Wanneer de StringTokenizer klasse beheert touwtje tokens , programma's gebruiken een instantie van de klasse zelf object te doorlopen de string penningen een tegelijk .
Implementatie

Implementatie van Madame tekenreeks tokens in een Java- programma is afhankelijk van welke klassen zijn betrokken . De volgende voorbeeldsyntaxis toont splitsen een string variabele in een array van tokens :

String
[ ] myTokens = myWords.split ( " " ) ;

De volgende code toont itereren door tekenreeks tokens met behulp van de StringTokenizer klasse:

terwijl ( myTokenizer.hasMoreTokens ( ) ) {

String thisToken = myTokenizer.nextToken ( ) ;

System.out.println
( thisToken ) ; < br

}

> de officiële hulpmiddelen voor Java ontwikkelaars te stimuleren de klasse String in plaats van de StringTokenizer gebruiken , hoewel de recente taal releases zijn blijven de klasse te bieden .