أطلقت OctoML خدمات الحوسبة ذاتية التحسين للذكاء الاصطناعي التوليدي
انضم إلى كبار المديرين التنفيذيين في سان فرانسيسكو يومي 11 و 12 يوليو ، لمعرفة كيف يدمج القادة استثمارات الذكاء الاصطناعي ويحسنونها لتحقيق النجاح.. يتعلم أكثر
أطلقت شركة OctoML الناشئة في سياتل اليوم خدمة البنية التحتية الجديدة OctoAI ذاتية التحسين لمساعدة المؤسسات على بناء ونشر تطبيقات الذكاء الاصطناعي التوليدية.
بدأت OctoML بدايتها في عام 2019 بصفتها فرعًا من جامعة واشنطن مع تأسيس مجموعة تقنيات الشركة التي تعتمد على إطار عمل مترجم Apache TVM للتعلم الآلي (ML) مفتوح المصدر. كان تركيزها الأصلي هو مساعدة المؤسسات على تحسين نماذج ML للنشر ، وهو جهد ساعد الشركة على جمع ما مجموعه 131.9 مليون دولار حتى الآن ، بما في ذلك 85 مليون دولار من جولة السلسلة C في عام 2021. في يونيو 2022 ، أضافت OctoML تقنية للمساعدة في تحويل نماذج ML في وظائف البرنامج. الآن ، تمضي الشركة خطوة إلى الأمام مع خدمة OctoAI ، والتي تدور حول تحسين نشر ML على البنية التحتية للمساعدة في تحسين الأداء وإدارة التكاليف.
قال لويس سيز ، الرئيس التنفيذي لشركة Octo ML ، لموقع VentureBeat: “إن الطلب على الحوسبة أمر سخيف”. “نظرًا لأن نماذج الذكاء الاصطناعي التوليدية تستخدم الكثير من الحوسبة ، فإن جعل الحوسبة فعالة للذكاء الاصطناعي هو في صميم عرض القيمة لـ OctoML.”
حل مشكلة الميل الأخير مع الذكاء الاصطناعي
من خلال نظامها الأساسي الجديد ، تساعد OctoML في حل مشكلة الميل الأخير باستخدام الذكاء الاصطناعي: نشر النماذج حتى يتمكن المستخدمون من الاستفادة من قوة الذكاء الاصطناعي التوليدي.
حدث
تحويل 2023
انضم إلينا في سان فرانسيسكو يومي 11 و 12 يوليو ، حيث سيشارك كبار المسؤولين التنفيذيين في كيفية دمج استثمارات الذكاء الاصطناعي وتحسينها لتحقيق النجاح وتجنب المزالق الشائعة.
سجل الان
قال سيز ، الذي لا يزال أستاذًا في جامعة واشنطن ، إنه عندما تم تأسيس OctoML ، كان التركيز على علماء البيانات الذين يبنون أنظمة تعلم الآلة. من هناك ، تطورت الشركة إلى نظام أساسي مع خدمة تحسين النموذج التي تأخذ مدخلات النموذج ، ثم تقوم بتحسين الحزم إلى حاويات.
مع تحسين النموذج ، قال Ceze إنه لا يزال يتعين على المؤسسات أخذ الحاوية والعثور على البنية التحتية لتهيئة الاستضافة المناسبة للنشر. تتناول منصة OctoAI الجديدة هذا التحدي من خلال خدمة حوسبة مُدارة بالكامل.
قال سيز “يمكننا التخلص من كل تعقيدات تحسين النموذج والتعبئة والنشر باستخدام بنية تحتية مُدارة بالكامل”.
جزء من الخدمة الجديدة عبارة عن مكتبة من نماذج اللغات الكبيرة (LLMs) الشائعة والمفتوحة المصدر والتي يمكن للمطورين استخدامها للبناء والتوسيع. عند الإطلاق ، تشتمل الطرز المدعومة على Stable Diffusion 2.1 و Dolly v2 و LLaMA 65B و Whisper و FlanUL و Vicuna.
كيف تعمل خدمة OctoAI
OctoML ليس البائع الوحيد الذي يتطلع إلى مساعدة المطورين على نشر LLMs المشتركة مفتوحة المصدر.
من بين البائعين الذين قدموا مؤخرًا أنواعًا مماثلة من الخدمات ، Anyscale ، الراعي التجاري الرئيسي وراء إطار عمل Ray ML مفتوح المصدر لتوسيع نطاق عبء العمل. في نهاية شهر مايو ، أطلقت Anyscale مشروعها Aviary مفتوح المصدر كتقنية لمساعدة المطورين على نشر وتوسيع نطاق LLM مفتوح المصدر.
أوضح Ceze أن خدمة OctoAI لا تستخدم Ray لتوسيع أعباء العمل ؛ لقد طورت نهج الملكية الخاص بها. يستمر مشروع Apache TVM في لعب دور أساسي ، مما يساعد على تحويل النموذج إلى رمز يعمل بكفاءة على البنية الأساسية لوحدة معالجة الرسومات.
“لقد بنينا محركًا بشكل أساسي لأي طراز معين ، نقوم بتحسين النموذج بشكل كبير لهدف الأجهزة وإنتاج قطعة أثرية قابلة للنشر ،” قال Ceze.
تقوم الخدمة أيضًا بتجريد البنية الأساسية المادية للسحابة التي تعمل عليها النماذج. عند الإطلاق ، تعمل خدمة OctoAI على Amazon Web Services (AWS) ، مع خطط للتوسع إلى موفري السحابة الآخرين. قال Ceze إنه لا يريد أن يضطر المستخدمون للتعامل مع التعقيد الأساسي لاختيار نوع معين من المعالج أو المثيل السحابي لتشغيل عبء العمل.
“نريد أن نتأكد من أن المستخدمين يخبروننا بالأداء المتوقع ، ثم سنذهب ونختار الأجهزة المناسبة التي تناسبهم ولديها هيكل التكلفة المناسب ،” قال سيز.
مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.
