إطلاق ميزات النماذج اللغوية: مطالبات بإصدارات، ومجموعات تقييم، وبوابات اختبار انحدار

باختصار: حين تخطئ ميزة نموذج لغوي في الإنتاج، نادرًا ما يكون النموذج نفسه هو السبب. في الغالب عدّل أحدهم المطالبة مباشرة، أو لم يتحقق أحد من صيغة المخرجات، أو تغيّر النموذج ولم يُعِد أحد الاختبار. ندير المطالبات كما ندير الشيفرة، ونفحص كل مخرج بمخطط وقواعد عمل قبل أن يستخدمه أي جزء لاحق، ونحتفظ بمجموعة تقييم لكل ميزة، ونشغّل اختبار انحدار في CI كلما تغيّرت مطالبة أو نموذج. إذا انخفضت النتيجة، لا يُدمج التغيير.

مخطط تسليم ميزة نموذج لغوي. في الأعلى مسار وقت التشغيل: ملف مطالبة محفوظ في المستودع يمر عبر بوابة ذات محوّل للمزوّد، ثم تمر المخرجات بفحص المخطط والقواعد، وتُعاد نتيجة أو مسار بديل؛ عند الفشل إعادة مرة واحدة ثم المسار البديل. في الأسفل مسار التغيير: أي تغيير في المطالبة أو النموذج أو المخطط يمر بمجموعة التقييم واختبار انحدار في CI بالنموذج الحقيقي، ولا يُدمج إلا إذا صمد خط الأساس.
الشكل 1. مسار وقت التشغيل ومسار التغيير. لا يعمل في الإنتاج إلا إصدار مطالبة دُمج واجتاز اختبار الانحدار.

1.0 لماذا تنجح في العرض التجريبي وتنحرف في الإنتاج

في العرض التجريبي يكون كل شيء بيد من بناه: المطالبة في محرّره، والمدخلات من اختياره، ويعرف بنظرة واحدة إن كانت الإجابة جيدة. الإنتاج يُسقط كل ذلك:

  • تتوزع المطالبات بين نصوص داخل الشيفرة ولوحة إدارة وملاحظات شخصية، ولا يعرف أحد أي إصدار يعمل فعلًا.
  • المخرجات نص حر تحلّله الشيفرة اللاحقة على أنه “على الأرجح JSON”، فينكسر أول مرة يضيف فيها النموذج جملة مجاملة.
  • يطرح المزوّد إصدارًا جديدًا من النموذج، فيتغير سلوك المطالبة نفسها دون أن ينتبه أحد.
  • لا توجد مدخلات اختبار ثابتة، فيصبح الحكم “أفضل أم أسوأ” مسألة رأي.

2.0 المطالبات تعيش في المستودع

ملف واحد لكل مطالبة، محفوظ في المستودع ويُراجَع مع الشيفرة التي تستدعيه. يذكر رأس الملف الغرض ومتغيرات الإدخال وبنية المخرجات المتوقعة والنموذج المستهدف. إذا احتاج مزوّدان صياغتين مختلفتين، فاستخدموا ملفين بدل تفرعات شرطية داخل قالب واحد.

تسجّل سجلات التشغيل بصمة ملف المطالبة ومعرّف النموذج، فيمكن إرجاع أي مخرج إلى المطالبة والنموذج اللذين أنتجاه بالضبط.

لا ننصح بجعل المطالبات قابلة للتعديل من لوحة الإدارة. يبدو ذلك مرنًا، لكنه يتخطى المراجعة والاختبارات ويغيّر منطق الإنتاج مباشرة. إن احتاج فريق التشغيل فعلًا إلى ضبط شيء ما، كالنبرة أو نصوص الأمثلة، فقدّموه في صورة عدد قليل من المعاملات المحدودة، لا المطالبة كاملة.

3.0 افحصوا المخرجات قبل أن يستخدمها أحد

الطبقةما تفعله
البنيةطلب مخرجات منظَّمة والتحقق منها بمخطط JSON Schema أو نوع مكافئ؛ عند الفشل إعادة مرة واحدة ثم المسار البديل
قواعد العملشيفرة حتمية تتحقق من قيم التعداد والنطاقات والحقول الإلزامية ومن وجود المعرّفات المشار إليها فعلًا
الأمانطبقة محلية من الكلمات المفتاحية والقواعد لا تعتمد على حسن تصرف النموذج؛ أي تطابق يسلك مسار معالجة ثابتًا
المسار البديلما يحصل عليه المستخدم عند انتهاء المهلة أو تقييد المعدل أو فشل التحقق يُحدَّد مسبقًا وتغطيه الاختبارات

ما تستطيع الشيفرة الحتمية حسمه لا يُترك للنموذج. إذا كان لمعايير التقييم خصومات ثابتة، فمحرّك القواعد يحسبها، ويتولى النموذج ما يجيده: الفهم والتلخيص والصياغة. تصبح النتائج قابلة للتكرار، ويصبح لسؤال “لماذا خُصمت مني نقاط؟” جواب.

4.0 مجموعات التقييم وبوابة الانحدار

لكل ميزة مجموعة تقييم: مدخلات نموذجية، وحالات حدّية، ومدخلات سببت مشكلات من قبل. يحمل كل عنصر تأكيدات على البنية والحقول الأساسية والمحتوى الذي يجب ألا يظهر. أما الجودة الذاتية فيقيّمها نموذج وفق معايير محددة، ويتحقق شخص دوريًا من أن هذا التقييم نفسه سليم.

هذه التغييرات تطلق اختبار انحدار في CI: المطالبة، ومخطط المخرجات، والنموذج أو إصداره، وشيفرة التحليل. تُكتب العتبة مسبقًا، مثل ألا تقل نسبة نجاح التأكيدات عن آخر خط أساس، والتغيير الذي لا يبلغها لا يُدمج. مخرجات النموذج غير حتمية، لذا فإن تشغيل كل مدخل عدة مرات وقياس الاتساق يقول أكثر من تشغيل واحد.

الاستدعاءات الحقيقية تكلّف مالًا ووقتًا، ولذلك هناك مستويان. تستخدم اختبارات الوحدة اليومية مزوّدًا وهميًا يعيد بيانات حتمية، فتعمل السلسلة كلها دون اتصال. أما اختبار انحدار المطالبات فيستخدم النموذج الحقيقي، ولا يعمل إلا عند تغيّر ملفات متعلقة بالمطالبات.

5.0 المزوّدون والتكلفة

  • للبوابة محوّل لكل مزوّد، ولا تستورد شيفرة العمل حزمة SDK لأي مزوّد مباشرة. تغيير المزوّد أو إضافة مزوّد احتياطي لا يمس إلا المحوّل.
  • ثبّتوا النماذج على لقطة محددة، لا على اسم مستعار مثل latest. ترقية النموذج إصدار قائم بذاته ويمر أولًا باختبار الانحدار.
  • سجّلوا استهلاك الرموز لكل ميزة، وطبّقوا الحصص على الخادم، لا وفق أرقام يبلّغ عنها العميل.
  • إذا وجب أن يُستضاف النظام ذاتيًا، فاختاروا خادم استدلال بواجهة متوافقة مع OpenAI، مثل vLLM، واستخدموا خادمًا وهميًا محليًا أثناء التطوير حتى لا تتغير شيفرة العميل.

6.0 ما الذي تتسلمونه

  • ملفات المطالبات وسجل تغييراتها.
  • مخططات المخرجات وفحوص القواعد والمسارات البديلة، مع اختباراتها.
  • مجموعات التقييم ومعايير التقييم وإعدادات اختبار الانحدار في CI ونتائج خط الأساس الحالية.
  • طبقة محوّلات المزوّدين وسجلات الاستهلاك.

لإضافة ميزات ذكاء اصطناعي إلى منتج جديد أو قائم، راجعوا الويب والسحابة وإدارة الأجهزة. وللحديث عن وضعكم تحديدًا: حدثونا عن مشروعكم.

المراجع

الأسئلة الشائعة

ما الحجم المناسب لمجموعة التقييم؟

ابدؤوا بالمدخلات الحقيقية المتوفرة لديكم وبالحالات التي سببت مشكلات من قبل. تغطية السيناريوهات الرئيسية وأنماط الفشل المعروفة تكفي لالتقاط معظم حالات الانحدار. بعد ذلك تضيف كل حادثة في الإنتاج مدخلها إلى المجموعة، فتنمو مع المشكلات بدل أن تحاول الاكتمال من اليوم الأول.

هل يمكن الوثوق بنموذج يقيّم نموذجًا آخر؟

مع معايير تقييم مكتوبة بوضوح يصلح لفرز دفعات كبيرة، لكن للمقيِّم انحيازاته الخاصة. يراجع شخص عيّنات من التقييمات بانتظام، وأي معيار يختلف فيه المقيِّم مع البشر باستمرار ينتقل إلى فحص قائم على القواعد أو إلى مراجعة بشرية.

ما الجهد اللازم للانتقال إلى نموذج أرخص؟

يتوقف ذلك على وجود مجموعة التقييم. إن وُجدت، فالانتقال يعني تغيير إعدادات المحوّل وتشغيل اختبار الانحدار ومقارنة النتائج والتكلفة، فيتضح أين الفجوة بالضبط. وإن لم توجد، فبناؤها هو الخطوة الأولى.

هل سيدرّب مزوّد النموذج نماذجه على بياناتنا؟

يحدد ذلك شروط البيانات لدى المزوّد والعقد الذي توقّعونه، وينبغي التحقق منه عند اختيار المزوّد. مع البيانات الحساسة، الخيار المعتاد خادم استدلال مستضاف ذاتيًا أو إخفاء البيانات قبل أن يغادر الطلب نظامكم.