رفع Concurrency من 3 إلى 30 لا يعني أن العمل سينتهي أسرع بعشرة أضعاف. كل Browser task تستهلك Renderer وذاكرة واتصالات شبكة، والوجهة نفسها قد تفرض Rate limits. عند نقطة معينة تبدأ المهام في منافسة بعضها: وقت تحميل أطول، timeouts أكثر، retries، ثم إنتاجية كلية أسوأ. الهدف هو إيجاد النقطة التي تزيد Throughput بدون تضخيم error rate أو latency.
افصل Throughput عن عدد المهام النشطة
المقياس الصحيح هو مهام ناجحة في الدقيقة أو الساعة، لا عدد Tabs المفتوحة. شغل Concurrency 1 و 3 و 5 و 10 على نفس batch، وسجل completion time و success rate و P95 duration. قد تجد أن 10 نشطة تنجز أقل من 5 بسبب retries والضغط. لا تنس أن بعض المهام network-bound وأخرى CPU-bound، لذلك النتيجة تختلف حسب السيناريو.
راقب موارد الجهاز وال ـProfile isolation
كل Profile قد يملك Process أو Renderer مستقل. عند زيادة التزامن راقب Available RAM و CPU saturation و event loop lag و GPU memory إذا كانت الصفحات رسومية. إذا بدأ النظام يستخدم swap باستمرار، غالبًا تجاوزت الحد العملي. كذلك تأكد أن Queue لا تشغل مهمتين على نفس Profile إذا كان ذلك غير مسموح.
خطوات عملية
- ثبت نفس مجموعة المهام.
- ابدأ بتزامن منخفض.
- زد خطوة صغيرة كل تجربة.
- سجل الموارد والنجاح والزمن.
- اختر آخر مستوى قبل تدهور واضح واترك هامش أمان.
الوجهة الخارجية لها حد أيضًا
حتى لو جهازك يتحمل 30 Browser، الموقع أو API قد لا يتحمل هذا المعدل من نفس الحساب أو الشبكة. 429 و 503 وزيادة زمن الاستجابة علامات تحتاج adaptive throttling. لا تستخدم تدوير IP لتجاوز سياسات الخدمة؛ اضبط معدل المهام بما يتوافق مع الحدود المسموحة. Queue مركزية تسهّل فرض حد لكل domain أو account.
قائمة مراجعة
- Rate limit responses مراقبة.
- هناك حد لكل domain عند الحاجة.
- Retry يستخدم backoff ولا يبدأ فورًا.
- المهام الحساسة لا تعمل بالتوازي على نفس الحساب.
- الحد قابل للتعديل دون تغيير Workflow.
استخدم Adaptive Concurrency عند تغير الحمل
يمكن البدء بحد آمن مثل 3 ثم زيادته عندما تكون latency منخفضة والموارد متاحة، وتقليله عند زيادة الأخطاء أو P95. هذا أفضل من رقم ثابت للجميع. لكن اجعل الخوارزمية بطيئة في التغيير حتى لا تتذبذب بين حالات كثيرة، وضع حدًا أدنى وأقصى معروفين.
اختبر الحد مع أكثر من نوع مهمة
لا تعتمد على Benchmark واحد إذا كانت المنصة تشغل أنواعًا مختلفة من الأتمتة. مهمة قراءة صفحات خفيفة قد تتحمل تزامنًا أعلى من مهمة تفتح محررًا ثقيلًا أو تنفذ رفع ملفات. صنف المهام إلى فئات حمل، وحدد حدًا مستقلًا لكل فئة أو تكلفة وزن داخل ال ـQueue. بهذه الطريقة لا تمنع المهام الخفيفة من الاستفادة من السعة، ولا تسمح لمجموعة صغيرة من المهام الثقيلة باستهلاك الجهاز كله.
شارك في تقييم ونقاش المقال
رأيك يضيف قيمة للمقال ويساعدنا على تحسين المحتوى والنقاش حوله.
النقاش
جارٍ تحميل التعليقات…