Token

Unité de découpage du texte manipulée par le modèle, sous-mot le plus souvent.

Le token est la brique élémentaire que le modèle lit et écrit, le plus souvent un fragment de mot. Tout se compte en tokens : la longueur d'une entrée, celle d'une réponse, le prix d'un appel d'API et la place disponible dans la fenêtre de contexte.

Pour une agence qui industrialise la production, le token est l'unité économique. Un prompt verbeux, des sources mal découpées ou des réponses non bornées font grimper le coût et la latence sans gain de qualité. Raisonner en tokens, c'est arbitrer en continu entre le volume traité et le budget disponible.

On mesure le nombre de tokens en amont pour estimer le coût d'un lot d'articles, plafonner la longueur des sorties et calibrer la quantité de documents injectés en récupération. En français, retenir l'ordre de grandeur d'un token pour trois à quatre caractères suffit à cadrer un devis. La tokenisation explique pourquoi ce ratio varie d'un contenu à l'autre.