Tokenizacja
Découpage du texte en tokens - première étape de tout traitement linguistique par le modèle.
La tokenisation est le processus de découpage du texte en tokens selon un vocabulaire établi lors de l'entraînement du modèle. Les mots fréquents obtiennent leur propre token, les plus rares sont composés de fragments plus petits - c'est pourquoi les noms atypiques ou les mots avec des fautes se décomposent en de nombreux tokens. Le mode de tokenisation explique certaines bizarreries des modèles : difficultés à compter les lettres d'un mot, sensibilité aux variations d'écriture ou différences de coûts entre langues. Conclusion pratique pour l'utilisateur : un texte concis et propre signifie moins de tokens, donc un coût réduit et plus d'espace dans le contexte.