لماذا تقل الذاكرة؟
كل وزن مخزن بعدد أقل من البتات يشغل مساحة أصغر، ما يسمح بتشغيل نماذج على عتاد أقل أو زيادة حجم batch ضمن نفس الذاكرة.
أين تظهر المقايضة؟
التقريب العددي قد يغير المخرجات، وبعض الطبقات أكثر حساسية من غيرها. لهذا توجد أساليب mixed precision و calibration واختبارات task-specific.
ما الذي يتغير عدديًا عند Quantization؟
تمثّل الأوزان عادة بقيم عددية ذات دقة محددة. عند تحويلها إلى دقة أقل، تُقرب القيم وفق مقياس أو مجموعة مستويات تسمح بتخزينها بعدد بتات أقل، مثل الانتقال من تمثيل أعلى إلى 8-bit أو 4-bit. هذا يقلل حجم تخزين الأوزان وقد يقلل متطلبات نقلها من الذاكرة، لكن حجم الذاكرة النهائي يشمل كذلك KV cache والتنشيطات وأعباء تنفيذ أخرى. لا تفترض أن كل انخفاض في حجم ملف النموذج يقابله انخفاض مماثل في الذاكرة التشغيلية.
الفرق بين PTQ و QAT
تعني Post-Training Quantization تطبيق التقريب على نموذج سبق تدريبه، وقد تحتاج بيانات معايرة لتقدير نطاقات القيم بحسب الأسلوب. أما Quantization-Aware Training فتعرض النموذج خلال التدريب لتأثيرات الدقة المنخفضة كي يتكيف معها. لكل خيار تكلفة وتوقعات جودة مختلفة. يمكن أن تكون PTQ مناسبة لتجربة سريعة لمهمة محددة، لكن بعض النماذج والطبقات شديدة الحساسية تستفيد من طرق تعويض أو تدريب إضافي.
لماذا قد تتحسن السرعة أو تسوء؟
السرعة تعتمد على دعم العتاد وال ـKernel والدقة المستخدمة وحجم Batch ونوع العملية. في بعض الأجهزة تقل عمليات نقل الذاكرة بما يفيد الاستدلال، بينما يتطلب تنفيذ آخر فك ضغط أو تحويلات متكررة تضيف وقتًا. لذلك اختبر Tokens per Second و Latency لأول Token واستهلاك الذاكرة على الجهاز المستهدف بدل تعميم نتائج بطاقة رسومية مختلفة. قارن الإعدادات نفسها وطول السياق نفسه كي تكون الأرقام عادلة.
كيف تكتشف تدهور جودة النموذج؟
أنشئ عينة أسئلة تمثل مهامك الفعلية، مثل الاستخراج المنظم والتلخيص بالعربية والرياضيات القصيرة والتعليمات البرمجية. شغلها على النموذج الأصلي والمكمم مع ضبط ظروف الاختبار، ثم قارن الدقة وأخطاء البنية والتناقضات وليس الانطباع العام فقط. قد يؤدي التكميم إلى فروق صغيرة في معظم الأسئلة لكنه يزيد الأخطاء على حالات حدودية مهمة. راجع النتائج بشريًا عندما تؤثر الأخطاء على المستخدمين.
تكميم مختلط بدلاً من قيمة واحدة للجميع
يمكن إبقاء أجزاء حساسة بدقة أعلى وتكميم أجزاء أخرى لتوازن الجودة والحجم. تختلف الاستراتيجيات بين كتل الأوزان والتنشيطات والنماذج المتخصصة؛ ليس هناك إعداد موحد يصلح دائمًا. إذا كان النظام يعمل على عدة أجهزة، راجع توافق صيغة الملف وال ـRuntime مع كل جهاز وتكاليف فك الضغط. قد لا يكون نموذج بأقل بتات هو الأفضل إذا زاد التأخير أو فشل في مهمة أساسية.
سيناريو نشر نموذج محلي
حدّد أولاً حد الذاكرة وزمن الاستجابة المقبول وجودة المهمة، ثم جرّب أكثر من دقة على جهاز المستخدم الفعلي. وثق إصدار النموذج وأداة التكميم وملف الإعداد ومجموعة الاختبار، واحتفظ بنسخة أصلية قابلة للاستعادة. عند تغيير ال ـRuntime أو التعريفات أعد قياس النتائج لأن التحسينات قد تختلف. اختيار الدقة الأقل قرار هندسي تقوده تجربة قابلة لإعادة الإنتاج وليس رقمًا تسويقيًا.
شارك في تقييم ونقاش المقال
رأيك يضيف قيمة للمقال ويساعدنا على تحسين المحتوى والنقاش حوله.
النقاش
جارٍ تحميل التعليقات…