Tokenisierung ist der Prozess, bei dem Text oder Daten in kleinere Einheiten, sogenannte Token, aufgeteilt werden. Tokens können Wörter, Phrasen oder einzelne Zeichen sein. Dieses Verfahren wird häufig bei der Verarbeitung natürlicher Sprache (NLP) und der Datenanalyse verwendet.
Im NLP wird bei der Tokenisierung ein Satz oder Absatz in einzelne Wörter oder Phrasen aufgeteilt, um die Analyse zu erleichtern. Zum Beispiel würde der Satz „Natürliche Sprachverarbeitung ist faszinierend“ in ["Natürlich“, „Sprache“, „Verarbeitung“, „ist“, „faszinierend"] tokenisiert werden.
