Token (IA)

Token (IA) : les enjeux pour la PME

Le token est l’unité de compte de l’IA générative. Selon la documentation de Claude, un token peut correspondre à un mot, à une partie de mot, à un caractère, voire à un octet, et le nombre de caractères qu’il représente dépend du modèle et de la langue. Anthropic indique par exemple que ses modèles les plus récents découpent un même texte en environ 30 % de tokens de plus que les précédents : à texte égal, le décompte change d’un modèle à l’autre.

Dès qu’une entreprise utilise un modèle par API, dans une automatisation ou un agent, la consommation se compte en tokens, à l’entrée (ce que l’on envoie) comme à la sortie (ce que le modèle produit). Selon la documentation de Claude, l’historique d’une conversation est renvoyé et compté comme entrée à chaque requête. Trois leviers pèsent donc sur la facture : la longueur des documents envoyés, la longueur des réponses demandées et le nombre d’allers-retours. Les mêmes tokens remplissent la fenêtre de contexte.

Notre méthode en trois étapes pour un projet d’intelligence artificielle à l’usage : estimer le volume de texte traité chaque mois, mesurer la consommation réelle sur un échantillon (les éditeurs l’indiquent à chaque réponse et proposent des outils de comptage avant envoi), puis supprimer le texte inutile avant de généraliser. Notre revue des usages IA intègre ce point.

Exemple

Une PME fictive de maintenance de 50 personnes automatise le résumé de 2 000 comptes rendus d’intervention par mois. Le test montre en moyenne 1 500 tokens envoyés et 300 produits par compte rendu, soit 3,6 millions de tokens par mois. En retirant les en-têtes et signatures répétés, elle ramène l’entrée à 1 000 tokens : le total passe à 2,6 millions, soit environ 28 % de moins.