Un token est un petit morceau de texte : souvent un mot court, parfois une partie de mot, un espace ou un signe de ponctuation. L’IA ne lit pas des mots comme nous : elle découpe tout texte en tokens, et c’est en tokens qu’elle mesure sa mémoire, ses limites et son prix.
Une image simple : les pièces d’un puzzle
Imaginez qu’avant de lire votre message, l’IA le découpe en pièces de puzzle. Les mots très fréquents forment une seule pièce. Les mots rares ou longs sont coupés en plusieurs pièces. Par exemple, avec le découpage utilisé par les modèles récents d’OpenAI :
- « human resources » → 2 pièces : human | resources
- « الموارد البشرية » → 4 pièces : الم | و | ارد | البشرية
Même idée, deux langues, et deux fois plus de pièces en arabe. C’est tout le sujet de cet article.
Pourquoi les tokens comptent pour une entreprise
- Le prix : les outils d’IA facturés à l’usage (les API utilisées dans les logiciels) comptent les tokens envoyés et reçus. Plus de tokens, plus de dépenses.
- Les limites : les abonnements ont des quotas. Un texte qui « coûte » plus de tokens consomme votre quota plus vite.
- La mémoire : chaque modèle ne peut lire qu’un nombre maximal de tokens à la fois (sa « fenêtre de contexte »). Un long document peut dépasser cette limite.
- La vitesse : plus il y a de tokens à produire, plus la réponse est longue à arriver.
Le test : le même message en trois langues
Nous avons compté les tokens d’une même consigne RH (« Tu es assistant RH… classe les cinq candidats les plus pertinents… ») avec les outils de comptage publics d’OpenAI (tiktoken) :
- Anglais : 65 tokens
- Français : 65 tokens avec le découpage récent (78 avec l’ancien)
- Arabe : 88 tokens avec le découpage récent (194 avec l’ancien)
Deux enseignements. D’abord, l’anglais reste la langue la plus économique : la même consigne coûte environ 35 % de tokens en plus en arabe sur les modèles récents. Ensuite, l’écart s’est fortement réduit : sur les anciens modèles, l’arabe coûtait près de trois fois plus. Pour la darja, écrite en lettres arabes, l’écart est encore un peu plus grand que pour l’arabe standard dans nos essais.
Ce phénomène est bien documenté par la recherche : des chercheurs de l’université d’Oxford ont montré que le même texte traduit peut demander jusqu’à 15 fois plus de tokens selon la langue (Petrov et al., NeurIPS 2023), ce qui pèse sur le coût, la vitesse et la quantité de texte qu’un modèle peut traiter.
Faut-il donc tout écrire en anglais ?
Pas forcément. Voici une règle simple, que nous appliquons avec nos clients :
- Instructions longues, répétées ou automatisées (un assistant qui tourne toute la journée, un traitement de centaines de documents) : écrivez la consigne en anglais. Vous économisez des tokens à chaque appel, et les modèles sont en général un peu plus précis dans la langue où ils ont été le plus entraînés.
- Le contenu final destiné à vos clients ou à vos équipes : demandez la réponse dans la langue voulue (« Answer in French » ou « Réponds en arabe »). La consigne peut être en anglais et la réponse en arabe.
- Questions courtes du quotidien : écrivez dans la langue où vous êtes le plus précis. Une demande claire en arabe vaut mieux qu’une demande floue en anglais.
Quatre gestes pour consommer moins de tokens
- Allez droit au but : supprimez les formules de politesse et les répétitions dans les consignes automatisées.
- Ne collez que la partie utile d’un document, pas le fichier entier.
- Demandez un format court (« en 5 points », « en 100 mots maximum »).
- Utilisez un petit modèle (moins cher) pour les tâches simples, et gardez les grands modèles pour l’analyse et la rédaction difficile.
Quand BE-NEXT intègre l’IA dans les logiciels d’une entreprise (CRM, ERP, outils internes), l’optimisation des tokens fait partie du travail : choix du modèle, langue des consignes, découpage des documents. Sur des milliers d’appels par mois, la différence se voit directement sur la facture. Contactez-nous pour estimer le coût d’un projet.
Questions fréquentes
Combien de mots représente un token ?
En anglais, on compte en moyenne environ trois quarts de mot par token, soit à peu près 750 mots pour 1 000 tokens. En arabe, il faut plus de tokens pour le même nombre de mots.
Les tokens comptent-ils dans les abonnements ChatGPT, Claude ou Gemini ?
Indirectement : vous ne payez pas au token, mais vos limites d’usage dépendent de la longueur des échanges et des documents que vous envoyez.
Écrire en arabe donne-t-il de moins bonnes réponses ?
Les modèles récents répondent bien en arabe standard. La qualité baisse plus souvent sur la darja et sur les sujets très techniques. Pour un usage professionnel répété, une consigne en anglais avec une réponse demandée en arabe est souvent le meilleur compromis.
