Dictionnaire IA / Token
⚙️ Technika
Token
Fragment de texte (partie d'un mot) manipulé par le modèle. Les limites et les tarifs se calculent en tokens.
Le token est l'unité de base manipulée par un modèle de langage - un fragment de texte, généralement plus court qu'un mot. En anglais, un mot représente en moyenne un peu plus d'un token ; le français, avec ses conjugaisons et accents, peut être « plus coûteux » et la même phrase peut occuper davantage de tokens. Les tokens sont la monnaie du monde de l'IA : ils servent à mesurer la fenêtre de contexte, les limites d'utilisation et les tarifs API (coût par million de tokens en entrée et en sortie). Quand un outil indique qu'un texte est trop long, il s'agit du nombre de tokens, pas de caractères.
Concepts associés