Tokenisering er processen med at opdele tekst eller data i mindre enheder, kaldet tokens. Tokens kan være ord, sætninger eller individuelle tegn, og denne proces bruges almindeligvis i naturlig sprogbehandling (NLP) og dataanalyse.
I NLP involverer tokenisering at opdele en sætning eller et afsnit i individuelle ord eller sætninger for at lette analysen. For eksempel ville sætningen „Naturlig sprogbehandling er fascinerende“ blive tokeniseret til ["Naturligt“, „sprog“, „behandling“, „er“, „fascinerende"].
