Token
Le petit morceau de texte (un mot, une partie de mot, une ponctuation) que le modèle traite un par un.
En bref
- Le petit morceau de texte (un mot, une partie de mot, une ponctuation) que le modèle traite un par un.
- On dit aussi : jeton.
Pratiquer en formation : L'IA dans mon métier
Définition
Un modèle de langage ne lit pas des mots mais des tokens. Un mot courant peut tenir en un seul token, un mot long ou rare en plusieurs.
Les limites d'un outil (taille de la conversation, longueur de la réponse) et le prix des usages par API se comptent en tokens.
Au travail
Si un outil refuse un document trop long, c'est souvent une limite de tokens : découpez le document ou demandez un résumé par partie.
À surveiller
Le nombre de tokens dépend de la langue et du modèle : on ne peut pas le déduire exactement du nombre de mots.
Voir aussi
- Contexte
- Tout ce que l'IA a sous les yeux au moment de répondre : votre demande, la conversation, les documents joints.
- Grand modèle de langage
- Le programme au cœur des IA qui écrivent : il prédit, mot après mot, la suite la plus probable d'un texte.
- API
- La porte d'entrée qui permet à deux logiciels d'échanger des informations automatiquement.
Le glossaire
Questions fréquentes
Que veut dire « Token » en intelligence artificielle ?
Le petit morceau de texte (un mot, une partie de mot, une ponctuation) que le modèle traite un par un.