أطلقت MosaicML خدمة الاستدلال لأول مرة لجعل النشر التوليدي للذكاء الاصطناعي ميسور التكلفة

أطلقت MosaicML ومقرها كاليفورنيا ، وهي مزود للبنية التحتية التوليدية للذكاء الاصطناعي ، خدمة استدلال مُدارة بالكامل لمساعدة الشركات على نشر نماذج الذكاء الاصطناعي التوليدية بسهولة وبتكلفة معقولة.

يأتي هذا العرض مع استمرار نمو الطلب على نماذج اللغات الكبيرة (LLMs) عبر الصناعات. وفقًا لـ MosaicML ، يمكن أن يجعل من الممكن خدمة LLMs لما يصل إلى 15 مرة أقل من الخدمات المماثلة الأخرى في السوق.

يعمل الإطلاق على توسيع قدرات MosaicML ، مما يجعله أداة كاملة لتدريب ونشر الذكاء الاصطناعي. قبل ذلك ، ركزت الشركة بشكل كبير على توفير البنية التحتية للبرامج لتدريب نماذج الذكاء الاصطناعي التوليدية.

استنتاج MosaicML: كيف يساعد؟

نظرًا لظهور LLMs مثل ChatGPT ، فقد نمت الشركات حريصة على تنفيذ قدرات الذكاء الاصطناعي التوليدية في تطبيقاتها ومنتجاتها. ومع ذلك ، نظرًا لتحديات الخصوصية (انتقال البيانات إلى طرف ثالث) والتكاليف المرتفعة التي ينطوي عليها بناء ونشر مثل هذه النماذج ، فإن المهمة لم تكن مجرد نزهة.

من خلال خدمة الاستدلال الجديدة ، تعمل MosaicML على تبسيط عملية النشر من خلال منح المؤسسات خيار الاستعلام إما عن نماذج LLMs المصممة خصيصًا أو مجموعة منتقاة من النماذج مفتوحة المصدر ، بما في ذلك نماذج سلسلة Instructor-XL و Databricks Dolly و GPT NeoX و MosaicML . .

في جوهرها ، تشتمل الخدمة على مستويين منفصلين: المبتدئين والمؤسسة. تقدم طبقة المبتدئين نماذج مفتوحة المصدر برعاية واستضافة MosaicML كنقاط نهاية لواجهة برمجة التطبيقات لبدء التشغيل السهل عند إضافة الذكاء الاصطناعي التوليدي إلى التطبيقات. يمكن نشرها كما هي.

تذهب طبقة المؤسسة إلى أبعد من ذلك ، مما يسمح للفرق بنشر أي نموذج تريده ، بما في ذلك النماذج المخصصة التي تم تطويرها لمعالجة حالات استخدام محددة في شبكتها الخاصة (VPC). بهذه الطريقة ، لا تترك بيانات الاستدلال أبدًا البيئة الآمنة للبنية التحتية للمستخدم ، مما يضمن الخصوصية والأمان الكاملين.

وهو يوفر المال

والأهم من ذلك ، أنه بفضل زمن الوصول المنخفض وقدرات استخدام الأجهزة العالية ، يمكن أيضًا أن يكون MosaicML Inference أرخص عدة مرات في نشر النماذج مقارنة بالعروض الأخرى المماثلة.

في تقييم للتكلفة ، قالت MosaicML إن النسخة الأولى من خدمة الاستدلال الخاصة بها استضافت إكمال النص المنسق ونماذج التضمين بأربع مرات أقل من عرض OpenAI ، بينما وجد أن فئة المؤسسة أرخص بـ 15 مرة. وأضافت الشركة أنه تم أخذ جميع القياسات على 40 جيجا بايت NVIDIA A100s مع تسلسل إدخال 512 رمزًا قياسيًا أو 512 × 512 صورة.

بينما لم تشارك MosaicML أسماء الشركات التي تستخدم خدمة الاستدلال الجديدة ، لاحظ CO Naveen Rao أن العملاء بدأوا بالفعل في مشاهدة النتائج مع العرض.

قال راو لموقع VentureBeat: “يستخدم عميلنا الذي يتم تداوله علنًا في مجال الامتثال المالي خدمة الاستدلال MosaicML لنشر GPT المخصصة الخاصة به والتي تم تدريبها من البداية على MosaicML”. “شهد هذا العميل توفيرًا في الاستدلال بمقدار 10 أضعاف مقارنةً بمقدمي الخدمة الآخرين. كانت التكلفة الإجمالية للملكية (التكلفة الإجمالية للملكية) لطرازها الأول أقل من 100000 دولار أمريكي “.