concept · Comprendre l’IA
Token
Unité de représentation du texte ou d’un autre contenu utilisée par un modèle ; ce n’est pas nécessairement un mot.
Contenu éditorialRevu le 15 septembre 2026
Exemple d’usage
Dans une situation réelle
Un mot arabe ou français peut être représenté par plusieurs tokens.