نموذج Deci’s NLP يسجل 100000 استفسار في الثانية في أحدث نتائج MLPerf

أعلن اليوم Deci ، صانع برمجيات التعلم العميق الذي يستخدم أدوات مدعومة بالذكاء الاصطناعي لمساعدة الفرق على إنشاء نماذج الذكاء الاصطناعي ونشرها على نطاق واسع ، أن نموذج معالجة اللغة الطبيعية (NLP) من خلال تقنيته الداخلية قد سجل أكثر من 100000 استعلام في الثانية . في نتائج الاختبار MLPerf Inference v3.0.

قال ديسي إن الأداء هو أعلى سرعة استدلال يتم نشرها على الإطلاق في MLPerf من أجل البرمجة اللغوية العصبية. كمرجع ، كانت مدخلات مقدمي الطلبات الآخرين (استفسارات في الثانية) أبطأ بنحو سبع مرات في نفس الفئة. تأتي نتائج الشركة الإسرائيلية في الوقت الذي تحاول فيه وضع نفسها كميسر لتطبيقات الذكاء الاصطناعي للمؤسسات ، وتتنافس مع أمثال Matlab و Dataloop و Deepcube.

ما هو MLPerf؟

تم إطلاق MLPerf من قبل قادة من الأوساط الأكاديمية ومختبرات الأبحاث وكبار عمالقة التكنولوجيا ، وهو عبارة عن مجموعة معيارية تهدف إلى تقديم تقييمات للتدريب وأداء الاستدلال للأجهزة والبرامج والخدمات. بالنسبة لأحدث اختبار الاستدلال ، أنشأ Deci نموذجًا بتقنية بناء العمارة العصبية الآلية (AutoNAC) وقدمها في إطار السيناريو غير المتصل في قسم MLPerf المفتوح في فئة BERT 99.9.

يتيح محرك AutoNAC للفرق تطوير بنى نموذجية مدركة للأجهزة مصممة للوصول إلى أهداف أداء محددة على أجهزة الاستدلال الخاصة بهم. في هذه الحالة ، استخدمتها الشركة لإنشاء بنى مصممة لمختلف مسرعات NVIDIA. كان الهدف هو تعظيم الإنتاجية مع الحفاظ على الدقة ضمن هامش خطأ بنسبة 0.1٪ من خط الأساس 90.874 F1 (SQUAD).

كيف كان أداء نموذج Deci’s NLP في الاختبارات؟

عند استخدام Nvidia A30 GPU للمعيار ، قدم نموذج Deci أداء إنتاجية قدره 5885 QPS لكل TeraFLOPs بينما سجلت عمليات الإرسال الأخرى 866 QPS فقط. وبالمثل ، عند استخدام Nvidia A100 80GB GPU و Nvidia H100 PCIe GPU ، بلغت الإنتاجية 13377 QPS و 17.584 QPS على التوالي – مرة أخرى أعلى بكثير من تلك المقدمة من قبل مقدمي الخدمات الآخرين (1756 QPS و 7921 QPS). في جميع الحالات الثلاث ، كانت الدقة أعلى من خط الأساس المستهدف.

والجدير بالذكر أن المعيار أصبح أكثر إثارة للاهتمام عندما تم اختبار النماذج على ثماني وحدات معالجة رسومات Nvidia A100. في هذه الحالة ، تعامل نموذج Deci’s NLP مع 103،053 استفسارًا في الثانية لكل TeraFLOPs ، مما أدى إلى تقديم أداء أسرع 7 مرات من عمليات الإرسال الأخرى (13967 QPS) ودقة أعلى.

قال ران اليانيف ، كبير العلماء والمؤسس المشارك لـ Deci ، “مع منصة Deci ، لم تعد الفرق بحاجة إلى التنازل عن الدقة أو سرعة الاستدلال وتحقيق التوازن الأمثل بين هذه العوامل المتضاربة من خلال تطبيق تقنيات التحسين المتقدمة لـ Deci بسهولة”. وأضافت الشركة أيضًا أن هذه النتائج تظهر أن الفرق التي تستخدم تقنيتها يمكنها تحقيق إنتاجية أعلى مع تقليصها إلى الأجهزة منخفضة السعر ، مثل الانتقال من A100 إلى A30.

جاءت النتائج القياسية بعد شهر واحد فقط من طرح Deci إصدارًا جديدًا من منصة تطوير التعلم العميق التي تعمل بنظام AutoNac مع دعم تحسين نموذج الذكاء الاصطناعي التوليدي. حاليًا ، تعمل الشركة مع شركات مثل Ibex و Intel و Sight و RingCentral وتدعي خفض عملية تطوير الذكاء الاصطناعي بنسبة تصل إلى 80٪ مع ضمان انخفاض تكاليف التطوير بنسبة 30٪ لكل نموذج في المتوسط.