يكشف الذكاء الاصطناعي للثبات عن نماذج لغة FreeWilly الجديدة المدربة باستخدام الحد الأدنى من البيانات الاصطناعية للغاية
توجه إلى مكتبتنا عند الطلب لعرض الجلسات من VB Transform 2023. سجل هنا
هناك نموذج جديد للغة كبيرة (LLM) في المدينة – اثنان منهم في الواقع – وسيتعرف أطفال التسعينيات على الفور على أسمائهم: FreeWilly1 و FreeWilly2.
كشف النقاب يوم الجمعة عن Stability AI ، الشركة التي تقف وراء توليد صور Stable Diffusion AI والتي أسسها ممول التحوط البريطاني السابق عماد مستاك ، الذي اتُهم بالمبالغة في سيرته الذاتية ، كلاهما LLM الجديدان يعتمدان على نسختين من طرازات Meta LLaMA و LLaMA 2 مفتوحة المصدر ، لكن تم تدريبهما على مجموعة بيانات تركيبية جديدة تمامًا ، والتي تتضمن مجموعة بيانات تركيبية أصغر حجمًا.
يتفوق كلا النموذجين في الاستدلال المعقد والتفاصيل اللغوية والإجابة على الأسئلة المعقدة المتعلقة بمجالات متخصصة مثل القانون والرياضيات.
أصدرت شركة CarperAI التابعة لشركة Stability FreeWillys بموجب “ترخيص غير تجاري” – مما يعني أنه لا يمكن استخدامها في أغراض جني الأموال / المؤسسات / الأعمال ، وتهدف بدلاً من ذلك إلى تطوير البحث وتعزيز الوصول المفتوح في مجتمع الذكاء الاصطناعي.
حدث
VB Transform 2023 حسب الطلب
هل فاتتك جلسة من VB Transform 2023؟ سجل للوصول إلى المكتبة عند الطلب لجميع جلساتنا المميزة.
سجل الان
أصغر الحيتان ، أكثر صداقة للبيئة
أسماء النماذج عبارة عن مسرحية لمنهجية تدريب الذكاء الاصطناعي “Orca” التي طورها باحثون في Microsoft ، والتي تسمح للنماذج “الأصغر” (تلك المعرضة لبيانات محدودة أكثر) بتحقيق أداء النماذج التأسيسية الكبيرة المعرضة لمجموعات بيانات أكثر ضخامة. (ليست إشارة إلى حيتان الأوركا الغارقة في IRL.)
على وجه التحديد ، تم تدريب FreeWilly1 و FreeWilly2 باستخدام 600000 نقطة بيانات – 10٪ فقط من حجم مجموعة بيانات Orca الأصلية – باستخدام تعليمات من أربع مجموعات بيانات تم إنشاؤها بواسطة Enrico Shippole ، مما يعني أنها كانت أقل تكلفة بكثير وأكثر صداقة للبيئة (باستخدام طاقة أقل وبصمة كربونية أقل) من طراز Orca الأصلي ومعظم LLMs الرائد. لا تزال النماذج تنتج أداءً رائعًا ، يمكن مقارنته بل وتجاوزه في ChatGPT على GPT-3.5 في بعض الحالات.
يُظهر التدريب على البيانات التركيبية نتائج واعدة
إحدى المشكلات التي ظهرت مع تكاثر LLM هي: ماذا يحدث عندما يتم إنشاء المزيد من المحتوى باستخدامها ، ثم يتم تدريب التحديثات المستقبلية لهذه النماذج والنماذج المستقبلية على المحتوى / البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي؟
وصفت ورقة مفتوحة الوصول عملية “انهيار النموذج” ، حيث كان أداء LLM على كميات متزايدة مدربة من البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي أقل أداءً من سابقاتها المدربين على البيانات التي تم إنشاؤها بواسطة الإنسان.
ومع ذلك ، عند تدريب FreeWillys ، استخدم Stability AI اثنين من LLMs لتوليد 500000 مثال و 100000 مثال تركيبي ، على التوالي ، ووجد أن FreeWillys لا تزال تقدم أداءً جيدًا ، وأن البيانات التركيبية قد تكون إجابة لانهيار النموذج – ولتجنب استخدام البيانات المحمية بحقوق النشر أو الملكية.
السباحة في المستقبل مع الاستقرار AI
الاستقرار تتصور منظمة العفو الدولية أن هذه النماذج تضع معايير جديدة في مجال LLMs ذات الوصول المفتوح ، وتمكين فهم اللغة الطبيعية وتمكين المهام المعقدة.
قال فريق Stability AI: “نحن متحمسون للإمكانيات اللانهائية التي ستوفرها هذه النماذج لمجتمع الذكاء الاصطناعي والتطبيقات الجديدة التي ستلهمها”. يعبرون عن امتنانهم للباحثين والمهندسين والمتعاونين الذين جعل تفانيهم هذا الإنجاز ممكنًا.
يمكن للباحثين والمطورين الوصول إلى أوزان FreeWilly2 كما هي ، بينما يتم إصدار أوزان FreeWilly1 كدلتا على النموذج الأصلي.
مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.
