2026-11-04 · المصدر：Unite AI p3
نظام التوجيه المبني على Kubernetes والمدرك لوحدات معالجة الرسوميات لاستدلال النماذج اللغوية الكبيرة يُنشر كإضافة مُدارة واحدة لـ Amazon EKS، ويمكن، وفق AWS، أن يخفض زمن أول رمز بنسبة تصل إلى 82%.
أطلقت Amazon Web Services بوابة Amazon SageMaker HyperPod Inference Gateway، وهي نظام توجيه مبني على Kubernetes ومدرك لوحدات معالجة الرسوميات لاستدلال النماذج اللغوية الكبيرة. أُعلنت البوابة في 18 سبتمبر 2026، وتُنشر كإضافة مُدارة واحدة لـ Amazon EKS وتعمل على بنية HyperPod القائمة. ووفق AWS، يستطيع النظام خفض زمن أول رمز (first-token latency) بنسبة تصل إلى 82% — مقياس يقيس مدى سرعة بدء النموذج في إعادة المخرجات، ومؤشر استجابة رئيسي للتطبيقات التفاعلية.
ويستهدف الإطلاق ما يؤطره AWS بوصفه ضعفًا بنيويًا في كيفية توزيع عناقيد الاستدلال للمرور. ففي رواية الشركة، خوارزميات موازنة الحمل الافتراضية في Kubernetes مثل round-robin وleast-connections لا تمتلك أي رؤية، تاركة الطلبات تهبط دون اعتناء بوحدات التسريع التي تخدمها فعليًا. وصُممت بوابة الاستدلال لإغلاق تلك الفجوة باتخاذ قرارات توجيه مدركة لتوفر وحدات معالجة الرسوميات بدل معاملة نقاط نهاية الاستدلال قابلةً للتبادل.
وللفرق التي تشغّل خدمة النماذج اللغوية الكبيرة على EKS، نموذج الإضافة المُدارة يعني وصول القدرة دون مستوى تحكم منفصل يُبنى أو يُصان، ولأنها تعمل على بنية HyperPod القائمة، لا يتطلب التبني إقامة عناقيد جديدة. أما التحسن البالغ حتى 82% في زمن أول رمز فهو رقم من المزود؛ وسيرغب المشغلون الذين يقيّمون البوابة لتطبيقات حساسة للاستجابة في قياسها مقابل أحمال عملهم ومزيج نماذجهم قبل الالتزام.
واستراتيجيًا، يعمق الإعلان دور SageMaker HyperPod في خدمة الأحمال، ويرسل إشارة إلى دفع AWS لجعل الاستدلال نفسه طبقة مُدارة ومحسّنة من ترسانة سحابته. ومع تشكيل استجابة الخدمة لاقتصاديات تطبيقات الذكاء الاصطناعي التوليدي تزايدًا، يبرز ذكاء التوجيه عامل تمايز بين مزودي السحابة فائقي النطاق — وAWS تراهن على تلك الطبقة بأدوات أصلية في Kubernetes يستطيع عملاؤها الحاليون تفعيلها مباشرة.
الوسوم: AWS · SageMaker HyperPod Inference Gateway · Amazon EKS · LLM Inference · Kubernetes · GPU-Aware Routing
萬安算交所 AIXX · AIXX · بورصة الحوسبة الموثقة · قاعة التداول