التوكن قطعة صغيرة من النص: غالبًا كلمة قصيرة، وأحيانًا جزء من كلمة أو مسافة أو علامة ترقيم. الذكاء الاصطناعي لا يقرأ الكلمات كما نقرؤها: فهو يقطّع كل نص إلى توكنات، وبالتوكنات يقيس ذاكرته وحدوده وسعره.
صورة بسيطة: قطع الأحجية
تخيّل أن الذكاء الاصطناعي، قبل قراءة رسالتك، يقطّعها إلى قطع أحجية. الكلمات الشائعة جدًا تشكّل قطعة واحدة، والكلمات النادرة أو الطويلة تُقطّع إلى عدة قطع. مثلًا، مع التقطيع الذي تستعمله نماذج OpenAI الحديثة:
- « human resources » ← قطعتان: human | resources
- « الموارد البشرية » ← 4 قطع: الم | و | ارد | البشرية
الفكرة نفسها بلغتين، وضعف عدد القطع بالعربية. هذا هو موضوع هذا المقال.
لماذا تهمّ التوكنات المؤسسة؟
- السعر: أدوات الذكاء الاصطناعي التي تُفوتر حسب الاستعمال (واجهات API المدمجة في البرمجيات) تحسب التوكنات المرسلة والمستلمة. توكنات أكثر تعني مصاريف أكثر.
- الحدود: للاشتراكات حصص استعمال. النص الذي «يكلّف» توكنات أكثر يستهلك حصتك أسرع.
- الذاكرة: لكل نموذج حد أقصى من التوكنات يستطيع قراءته في المرة الواحدة («نافذة السياق»). وقد تتجاوز وثيقة طويلة هذا الحد.
- السرعة: كلما زادت التوكنات المطلوب إنتاجها، تأخر وصول الجواب.
التجربة: الرسالة نفسها بثلاث لغات
حسبنا توكنات تعليمة واحدة في الموارد البشرية («أنت مساعد موارد بشرية… رتّب أكثر خمسة مترشحين ملاءمة…») بأدوات العدّ العمومية لشركة OpenAI (tiktoken):
- الإنجليزية: 65 توكنًا
- الفرنسية: 65 توكنًا مع التقطيع الحديث (78 مع القديم)
- العربية: 88 توكنًا مع التقطيع الحديث (194 مع القديم)
درسان من هذه التجربة. أولًا، الإنجليزية تبقى اللغة الأكثر اقتصادًا: التعليمة نفسها تكلّف نحو 35% توكنات إضافية بالعربية على النماذج الحديثة. ثانيًا، الفارق تقلّص كثيرًا: على النماذج القديمة كانت العربية تكلّف قرابة ثلاثة أضعاف. أما الدارجة المكتوبة بالحروف العربية، فالفارق فيها أكبر قليلًا من العربية الفصحى في تجاربنا.
هذه الظاهرة موثّقة جيدًا في البحث العلمي: أظهر باحثون من جامعة أكسفورد أن النص نفسه بعد ترجمته قد يحتاج إلى عدد توكنات أكبر بـ15 مرة حسب اللغة (Petrov et al., NeurIPS 2023)، ما يؤثّر على التكلفة والسرعة وكمية النص التي يمكن للنموذج معالجتها.
هل يجب إذن كتابة كل شيء بالإنجليزية؟
ليس بالضرورة. إليك قاعدة بسيطة نطبّقها مع زبائننا:
- التعليمات الطويلة أو المتكررة أو المؤتمتة (مساعد يعمل طوال اليوم، معالجة مئات الوثائق): اكتب التعليمة بالإنجليزية. توفّر توكنات في كل طلب، والنماذج عمومًا أدق قليلًا باللغة التي دُرّبت عليها أكثر.
- المحتوى النهائي الموجّه لزبائنك أو فرقك: اطلب الجواب باللغة المطلوبة («Answer in Arabic» أو «أجب بالعربية»). يمكن أن تكون التعليمة بالإنجليزية والجواب بالعربية.
- الأسئلة اليومية القصيرة: اكتب باللغة التي تكون فيها أدق. طلب واضح بالعربية أفضل من طلب غامض بالإنجليزية.
أربع عادات لاستهلاك توكنات أقل
- ادخل في صلب الموضوع: احذف عبارات المجاملة والتكرار في التعليمات المؤتمتة.
- الصق الجزء المفيد فقط من الوثيقة، لا الملف كاملًا.
- اطلب صيغة قصيرة («في 5 نقاط»، «في 100 كلمة كحد أقصى»).
- استعمل نموذجًا صغيرًا (أرخص) للمهام البسيطة، واحتفظ بالنماذج الكبيرة للتحليل والكتابة الصعبة.
عندما تدمج BE-NEXT الذكاء الاصطناعي في برمجيات المؤسسة (CRM، ERP، أدوات داخلية)، يكون تحسين التوكنات جزءًا من العمل: اختيار النموذج، ولغة التعليمات، وتقطيع الوثائق. على آلاف الطلبات شهريًا، يظهر الفرق مباشرة في الفاتورة. تواصل معنا لتقدير تكلفة مشروع.
أسئلة شائعة
كم كلمة يمثّل التوكن الواحد؟
بالإنجليزية، يمثّل التوكن في المتوسط نحو ثلاثة أرباع كلمة، أي قرابة 750 كلمة لكل 1000 توكن. بالعربية، نحتاج إلى توكنات أكثر للعدد نفسه من الكلمات.
هل تُحسب التوكنات في اشتراكات ChatGPT و Claude و Gemini؟
بشكل غير مباشر: لا تدفع حسب التوكن، لكن حدود استعمالك تتعلق بطول المحادثات والوثائق التي ترسلها.
هل الكتابة بالعربية تعطي أجوبة أضعف؟
النماذج الحديثة تجيب جيدًا بالعربية الفصحى. تتراجع الجودة أكثر مع الدارجة ومع المواضيع التقنية جدًا. للاستعمال المهني المتكرر، غالبًا ما تكون التعليمة بالإنجليزية مع طلب الجواب بالعربية أفضل حل وسط.
