C'est quoi un token IA ?

Vous avez certainement déjà croisé le mot token en lisant une page d'abonnement IA, une doc OpenAI, ou un article sur les modèles. Pour les développeurs, ce mot n'est pas nouveau : on générait déjà des tokens JWT bien avant 2022 pour gérer l'authentification. Mais ici, il faut oublier ce réflexe : un token IA n'a rien à voir avec un token JWT.

Un token IA, c'est simplement un petit morceau de texte que le modèle utilise pour lire ta demande et écrire sa réponse. Ce n'est pas exactement un mot, ni exactement une lettre. Selon le texte, un token peut être un mot court, un bout de mot, un espace, une ponctuation ou même une partie d'un caractère spécial.

Concrètement, quand tu écris une question à ChatGPT, Claude ou Codex, ton texte est découpé en tokens avant d'être envoyé au modèle. La réponse est ensuite produite token par token. C'est pour ça que les formules d'abonnement, les APIs et les articles techniques parlent souvent de tokens : c'est l'unité qui permet de mesurer ce que le modèle reçoit et ce qu'il génère.

Les tokens servent aussi à comprendre la notion de contexte, qu'on verra dans un autre article. Quand on dit qu'un modèle a une fenêtre de contexte de 128k tokens, cela veut dire qu'il peut garder environ cette quantité de texte sous les yeux : ta demande, les fichiers, l'historique, les instructions et sa réponse en cours.

En pratique, retiens juste ceci : dans l'IA, un token est l'unité de lecture et d'écriture d'un modèle. Plus tu donnes de texte, plus tu consommes de tokens. Plus la réponse est longue, plus elle consomme aussi. C'est une petite unité technique, mais elle explique beaucoup de choses : le coût, la mémoire disponible, la longueur des réponses et parfois les limites que tu rencontres dans les outils IA.