La tokenisation découpe un texte en unités appelées tokens : mots, sous-mots ou caractères. C'est la première étape de tout traitement de texte, et chaque token est ensuite associé à un identifiant numérique. Les modèles de langage modernes utilisent des tokens de sous-mots, qui évitent les mots inconnus.
Exemple
'apprentissage' -> ['appr', 'entissage']