Kurz erklärt
Tokens sind die kleinsten Informationseinheiten, in die Sprachmodelle Texte (oder andere Daten) zerlegen, um sie mathematisch verarbeiten und Antworten berechnen zu können.
Ein Token kann ein kurzes Wort, ein Wortbestandteil (Silbe) oder ein einzelnes Satzzeichen sein. Im Englischen entspricht ein Token im Durchschnitt ungefähr vier Schriftzeichen beziehungsweise rund 0,75 Wörtern (im Deutschen sind es aufgrund längerer zusammengesetzter Wörter und Umlaute oft etwas weniger Zeichen pro Token).