Tokenisering är processen att bryta text eller data i mindre enheter, kallade tokens. Tokens kan vara ord, fraser eller enskilda tecken, och denna process används ofta i naturlig språkbehandling (NLP) och dataanalys.
I NLP innebär tokenisering att dela upp en mening eller stycke i enskilda ord eller fraser för att underlätta analys. Till exempel skulle meningen ”Naturlig språkbehandling är fascinerande” tokeniseras till ["Naturligt”, ”språk”, ”bearbetning”, ”är”, ”fascinerande"].
