مادة تحريريةنماذج Mixture of Experts تستخدم router لاختيار مجموعة فرعية من الخبراء لكل token، ما يسمح بسعة كبيرة مع تكلفة حسابية أقل من تشغيل كل المعاملات دائمًا.
نماذج Mixture of Experts تستخدم router لاختيار مجموعة فرعية من الخبراء لكل token، ما يسمح بسعة كبيرة مع تكلفة حسابية أقل من تشغيل كل المعاملات دائمًا.
يمكن أن يحتوي النموذج على عدد كبير من المعاملات إجمالًا، بينما يستخدم جزءًا منها فقط لكل خطوة، لذلك يجب التفريق بين total parameters وactive parameters.
إذا اختار router نفس الخبراء بكثرة تظهر مشكلة imbalance، كما أن توزيع experts على accelerators يجعل حركة البيانات والتواصل جزءًا مهمًا من الأداء.
عند دمج نموذج في برنامج، المخرجات المنظمة تقلل parsing الهش وتسمح بالتحقق من الحقول قبل تنفيذ أي خطوة لاحقة.
التعليقات
كن أول من يكتب تعليقًا.