تظهر نتائج MLPerf Inference 3.0 زيادة في الأداء بنسبة 30٪ عبر عدة موردين

مع استمرار تزايد الطلب على الذكاء الاصطناعي (AI) والتعلم الآلي (ML) ، هناك حاجة مقابلة لمستويات أعلى من الأداء لكل من التدريب والاستدلال.

من أفضل الطرق التي تتبعها صناعة الذكاء الاصطناعي / تعلم الآلة اليوم لقياس الأداء هي استخدام مجموعة MLPerf من معايير الاختبار ، والتي طورتها منظمة MLCommons متعددة أصحاب المصلحة. اليوم ، أصدرت MLCommons معايير MLPerf Inference 3.0 الشاملة ، مما يمثل أول تحديث رئيسي للنتائج منذ تحديث MLPerf Inference 2.1 في سبتمبر 2022.

عبر أكثر من 5000 نتيجة أداء مختلفة ، تُظهر النتائج الجديدة مكاسب تحسن ملحوظة لجميع قدرات أجهزة الاستدلال تقريبًا ، عبر مجموعة متنوعة من النماذج والأساليب لقياس الأداء.

من بين البائعين الذين شاركوا في جهد MLPerf Inference 3.0 Alibaba و ASUS و Azure و cTuning و Deci و Dell و GIGABYTE و H3C و HPE و Inspur و Intel و Krai و Lenovo و Moffett و Nettrix و Neuchips و Neural Magic و Nvidia و Qualcomm و Quanta Cloud Technology و التمردات و SiMa و Supermicro و VMware و xFusion.

توفر MLCommons أيضًا درجات لاستخدام الطاقة ، والتي أصبحت ذات أهمية متزايدة مع اكتساب استدلال الذكاء الاصطناعي انتشارًا أوسع. قال ديفيد كانتر ، المدير التنفيذي في MLCommons ، خلال مؤتمر صحفي: “هدفنا هو جعل ML أفضل للجميع ، ونحن نؤمن حقًا بقدرة ML على جعل المجتمع أفضل”. “يتعين علينا مواءمة الصناعة بأكملها بشأن ما يعنيه جعل ML أسرع.”

كيف ينظر MLPerf إلى الاستدلال

هناك قدر كبير من التعقيد في درجات MLPerf Inference 3.0 عبر مختلف الفئات وخيارات التكوين.

باختصار ، أوضح كانتر أن الطريقة التي تعمل بها نتائج MLPerf Inference هي أن المنظمات تبدأ بمجموعة بيانات: على سبيل المثال ، مجموعة من الصور في نموذج مدرب. تتطلب MLCommons بعد ذلك من المنظمات المشاركة أداء الاستدلال بمستوى معين من الدقة.

المهام الأساسية التي تنظر فيها مجموعة MLPerf Inference 3.0 هي: التوصية ، والتعرف على الكلام ، ومعالجة اللغة الطبيعية (NLP) ، وتصنيف الصور ، واكتشاف الكائنات ، والتجزئة ثلاثية الأبعاد. تشمل الفئات التي يتم قياس الاستدلال فيها مباشرة على الخدمة ، وكذلك عبر الشبكة ، والتي قال كانتر إنها من المرجح أن تكون نموذجًا لعمليات نشر مركز البيانات.

”MLPerf هي أداة مرنة للغاية لأنها تقيس كثيرًا ، “قال كانتر.

اتجاهات مفتاح MLPerf الاستدلال 3.0

عبر مجموعة النتائج المذهلة التي تشمل البائعين ومجموعات لا تعد ولا تحصى من الأجهزة والبرامج ، هناك عدد من الاتجاهات الرئيسية في نتائج هذه الجولة.

الاتجاه الأكبر هو مكاسب الأداء المذهلة التي حققها البائعون في جميع المجالات في أقل من عام.

قال كانتر إنهم رأوا في كثير من الحالات “تحسنًا بنسبة 30٪ أو أكثر في بعض المعايير منذ الجولة الماضية”. ومع ذلك ، قال ، قد تكون مقارنة النتائج عبر البائعين صعبة لأنها “قابلة للتطوير ولدينا أنظمة في كل مكان من نطاق 10 أو 20 واط حتى نطاق 2 كيلو واط.”

يرى بعض البائعين مكاسب تزيد عن 30٪ ؛ ولا سيما من بينها نفيديا. أبرز Dave Salvator ، مدير تسويق المنتجات في Nvidia ، المكاسب التي أبلغت عنها شركته لوحدات معالجة الرسومات H100 المتوفرة حاليًا. على وجه التحديد ، أشار سالفاتور إلى أن هناك زيادة بنسبة 54٪ في الأداء على نموذج اكتشاف كائن RetinaNet.

قدمت Nvidia بالفعل نتائج H100 في عام 2022 ، قبل أن تصبح متاحة بشكل عام ، وحسنت نتائجها من خلال تحسينات البرامج.

قال سالفاتور: “نحن في الأساس نقدم النتائج على نفس الجهاز”. “خلال دورة حياة المنتج ، عادة ما نتناول ضعف الأداء بمرور الوقت” باستخدام تحسينات البرامج.

تبلغ إنتل أيضًا عن مكاسب أفضل من المتوسط ​​لأجهزتها. سلط جوردان بلاونر ، كبير مديري منتجات إنتل للذكاء الاصطناعي ، الضوء على الجيل الرابع من معالجات Intel Xeon Scalable ومسرعه المتكامل المسمى AMX (امتدادات المصفوفة المتقدمة). مثل Nvidia ، قدمت Intel أيضًا نتائج أولية للسيليكون الذي تم تحسينه الآن.

قال بلاونر: “في التقديم الأول ، كنا في الحقيقة نحصل على AMX وللبناء على وجهة نظر Nvidia ، نحن الآن نقوم بالفعل بضبط وتحسين البرنامج”. “إننا نشهد تحسنًا في الأداء على نطاق واسع في جميع الطرازات بين 1.2 و 1.4 مرة ، في غضون بضعة أشهر فقط.”

مثل Nivida ، قال بلاونر إن إنتل تتوقع أن ترى زيادة أخرى في الأداء بمقدار الضعف مع الجيل الحالي من أجهزتها بعد إجراء مزيد من التحسينات على البرامج.

“كلنا نحب قانون مور في شركة إنتل ، ولكن الشيء الوحيد الأفضل من قانون مور هو في الواقع ما يمكن أن يمنحك إياه البرنامج بمرور الوقت داخل نفس السيليكون.”