منصة كاملة مفتوحة المصدر للذكاء الاصطناعي تتحدى OpenAI (وتدعم LLaMA 2)

كان إصدار Meta LLaMA 2 بالأمس ، بموجب ترخيص تجاري ، بلا شك بمثابة انخفاض في ميكروفون AI مفتوح المصدر. لكن شركة Startup Together ، المعروفة بإنشاء مجموعة بيانات RedPajama في أبريل ، والتي قامت بتكرار مجموعة بيانات LLaMA ، كانت لها أخبارها الخاصة خلال اليومين الماضيين: لقد أصدرت نظامًا أساسيًا متكاملًا جديدًا وخدمة سحابية للمطورين في الشركات الناشئة والمؤسسات من أجل بناء ذكاء اصطناعي مفتوح المصدر – والذي بدوره يمثل تحديًا لـ OpenAI عندما يتعلق الأمر باستهداف المطورين.

ستدعم الشركة ، التي تدعم بالفعل أكثر من 50 من أفضل نماذج الذكاء الاصطناعي مفتوحة المصدر ، LLaMA 2.

تأسست في العام الماضي من قبل Vipul Ved Prakash و Ce Zhang و Chris Ré و Percy Liang ، وتقول معًا إنها “في مهمة لجعل نماذج الذكاء الاصطناعي أكثر انفتاحًا ويمكن الوصول إليها في سوق يقود فيه لاعبو Big Tech الابتكار حاليًا”. أعلنت الشركة الناشئة في مينلو بارك بولاية كاليفورنيا في مايو أنها جمعت 20 مليون دولار في جولة تمويل أولي لبناء ذكاء اصطناعي مفتوح المصدر ومنصة سحابية.

قال براكاش لـ VentureBeat: “هناك نقاش واضح بين الأنظمة مفتوحة المصدر والأنظمة المغلقة ، والآن هناك نظام بيئي مفتوح المصدر يزداد قوة” ، ويرى أن الشركة تتجه بشكل متزايد نحو المصدر المفتوح بسبب الرغبة في البيانات. خصوصية. والآن ، “هناك اعتماد أكبر لنماذج مفتوحة المصدر لأن نماذج المصادر المفتوحة تزداد قوة.”

واجهة برمجة تطبيقات جديدة وخدمات السحابة الحاسوبية لنماذج الذكاء الاصطناعي مفتوحة المصدر الرائدة

يوم الجمعة الماضي ، أطلقت الشركة Together API and Together Compute ، الخدمات السحابية لتدريب نماذج الذكاء الاصطناعي الرائدة مفتوحة المصدر في العالم وضبطها وتشغيلها. تعمل Together API بواسطة “نظام تدريب موزع فعال لضبط نماذج الذكاء الاصطناعي الكبيرة بدقة ، مما يوفر نقاط نهاية API خاصة ومحسّنة للاستدلال بزمن انتقال منخفض.” بالنسبة لمجموعات بحث AI / ML الذين يرغبون في تدريب النماذج مسبقًا على مجموعات البيانات الخاصة بهم ، تقدم Together Compute مجموعات من وحدات معالجة الرسومات المتطورة المقترنة بمكدس التدريب الموزع الخاص بـ Together.

وقال براكاش إن النتيجة هي كفاءة تكلفة أكبر بكثير. “إنها 4 دولارات في الساعة لوحدة معالجة رسومات A100 على AWS – لقد أنشأنا تقنية يمكننا من خلالها استضافة مثيلات نموذج لمستخدم – على سبيل المثال ، استضافة نموذج معلمة RedPajama 7 مليارات على A100 على نظامنا الأساسي هو 12 سنتًا في الساعة . ”

وأوضح أنه بإمكانهما فعل ذلك معًا بسبب شيء أفادت عنه صحيفة وول ستريت جورنال الشهر الماضي: ترك مخزون ضخم من رقائق GPU المستخدمة في أعقاب التغييرات في تعدين العملات المشفرة.

قالت المقالة: “أصبحت عشرات الملايين من وحدات معالجة الرسومات متاحة بعد أن أزالت شبكة Ethereum – موطن ثاني أكبر عملة مشفرة بعد البيتكوين – الحاجة إلى هذه الرقائق من خلال إنهاء ممارسة التعدين للعملات الجديدة والحوسبة المكثفة التي تتطلبها” . ، وحوالي 20٪ من هذه الرقائق يمكن إعادة توظيفها لتدريب نماذج الذكاء الاصطناعي. استأجروا معًا الآلاف من وحدات معالجة الرسومات هذه للمساعدة في تشغيل خدماتها السحابية الجديدة.

سيكون هناك أنظمة بيئية متوازية مغلقة ومفتوحة

بينما تتحدى شركة Together شركة OpenAI وغيرها من شركات النماذج المغلقة والمملوكة ملكية خاصة ، لا سيما في مجال المؤسسات ، قال براكاش إنه يعتقد أنه سيكون هناك أنظمة بيئية متوازية مغلقة ومفتوحة.

قال: “إن شعوري الشخصي هو أن الشركات النموذجية المغلقة ستصبح في النهاية أكثر تركيزًا على التطبيقات” ، مشيرًا إلى Character AI وجهودها في استهلاك برامج الدردشة الآلية. “إنهم يفعلون ذلك بشكل جيد حقًا وجهودهم في عرض الأزياء هي نوع من التركيز أكثر وأكثر في هذا الاتجاه.”

على غرار المجالات الأخرى من أنظمة التشغيل إلى قواعد البيانات ، سيكون الذكاء الاصطناعي مفتوح المصدر مجموعة من التقنيات القابلة للتطبيق على نطاق واسع ، كما هو موضح. “أعتقد أنه سيكون من الصعب على الموديلات المغلقة فرض علاوة نظرًا لوجود حلول مفتوحة موجودة وهي الآن جيدة للعديد من المشكلات.”

كبير العلماء الجدد وشراكة Snorkel AI

بالإضافة إلى أخبار المنصة ، أعلنت Together هذا الأسبوع أنها عينت كبير العلماء الجديد ، Tri Dao ، الذي تخرج مؤخرًا بدرجة دكتوراه في علوم الكمبيوتر في جامعة ستانفورد وهو أيضًا أستاذ مساعد جديد في جامعة برينستون. والجدير بالذكر أن Dao معروف بأبحاثه الخارقة في Flash Attention لتحسين التدريب والاستدلال على LLMs ، والتي تُستخدم الآن على نطاق واسع من قبل جميع النماذج القائمة على Transformer. يتوفر FlashAttention-2 الآن – مما يسرع التدريب وضبط LLM بنسبة تصل إلى 4x ويحقق استخدام نماذج FLOP بنسبة 72٪ للتدريب على NVIDIA A100s.

بالإضافة إلى ذلك ، أعلنت شركة Together هذا الأسبوع أيضًا عن شراكة مع Snorkel AI لتمكين المؤسسات من إنشاء LLMs مخصصة على بياناتها في بيئاتها الآمنة. يشمل حل تطوير الذكاء الاصطناعي الشامل تطوير البيانات وتدريب النموذج والضبط الدقيق والنشر.