أطلق Arize Phoenix ، مكتبة مفتوحة المصدر لرصد هلوسة LLM

أعلنت شركة Arize AI ، وهي شركة مقرها كاليفورنيا توفر إمكانات ملاحظة التعلم الآلي (ML) ، اليوم عن Phoenix ، وهي مكتبة مفتوحة المصدر لمراقبة نماذج اللغات الكبيرة (LLMs) من أجل الهلوسة.

يأتي حل البرنامج مع إعادة أدوات الصناعة حول LLMs وعلماء البيانات يطبقون نماذج أساسية كبيرة لحالات الاستخدام الجديدة ، بما في ذلك تلك التي تنطوي على بيانات طبية وقانونية – حيث يمكن حتى لأدنى مستوى من الهلوسة أو التحيز أن يخلق مشكلة كبيرة في العالم الحقيقي . .

وقالت الشركة إنه مصمم ليكون عرضًا مستقلاً يوفر إمكانية الملاحظة ML في بيئة دفتر ملاحظات لعلوم البيانات حيث يقوم علماء البيانات ببناء النماذج.

كيف بالضبط تساعد Phoenix في LLMs؟

أصبحت نماذج اللغات الكبيرة مثل GPT-4 من OpenAI و Google Bard في غاية الغضب اليوم ، حيث يتسابق علماء البيانات ومهندسو ML لبناء تطبيقات فوقهم. يمكن أن يكون هذا أي شيء من منتجات المحامين الافتراضية التي تقدم المشورة القانونية إلى برامج الدردشة الخاصة بالرعاية الصحية المصممة لتلخيص اجتماعات الطبيب والمريض أو تقديم معلومات حول التغطية التأمينية الحالية.

الآن ، في حين أن هذه التطبيقات يمكن أن تكون فعالة للغاية ، فإن النماذج التي تشغلها تظل عرضة للهلوسة – بمعنى آخر ، إنتاج نتائج خاطئة أو مضللة. يستهدف Phoenix ، الذي تم الإعلان عنه اليوم في قمة Arize AI’s Observe 2023 ، هذه المشكلة بالتحديد من خلال تصور عملية صنع القرار المعقدة في LLM والإبلاغ عن متى وأين تفشل النماذج أو تسوء أو تعطي ردودًا سيئة أو تعمم بشكل غير صحيح.

يعمل Phoenix محليًا ، في بيئة تتفاعل مع خلايا Notebook على خادم Notebook. تستخدم مكتبتها الزخارف (المتجهات التي تمثل معنى وسياق نقاط البيانات التي يعالجها النموذج ويولدها) وتجميع تلك الزخارف كطريقة لتصور البيانات وتصحيح الأخطاء “.

في العالم الحقيقي ، هذا يعني أن على المستخدم فقط تحميل محادثة chatbot – كاملة بالمطالبات والردود – وبدء البرنامج. ستستخدم المكتبة تلقائيًا عمليات التضمين التأسيسية (تعيين كيفية اتصالهم وكيفية ارتباطهم وكيفية تقدمهم عند إنشاء جمل) والتقييم بمساعدة LLM لإنشاء درجات للردود وتصورهم لإظهار المكان الذي قدم فيه الروبوت استجابة جيدة . وحيث فشلت.

أثناء إنتاج التصور ، يمكن للمستخدم التحقيق ، والحصول على مجموعات من الردود التي تمثل مشكلة (مثل أسئلة من المستخدمين النهائيين الناطقين بالإسبانية حيث استجابت LLM بشكل غير صحيح) واستكشاف الأخطاء وإصلاحها من أجل ضبط النموذج وتحسين نتائجه.

مرة واحدة في بيئة الكمبيوتر الدفتري ، يمكن للبيانات التي تم تنزيلها تشغيل تدفقات عمل المراقبة التي تتسم بدرجة عالية من التفاعل. يمكن استخدام Phoenix للعثور على مجموعات من مشاكل البيانات وتصدير تلك المجموعات مرة أخرى إلى منصة المراقبة لاستخدامها في عمليات سير عمل التعلم النشط والمراقبة “، أضاف Lopatecki.

وأشارت الشركة إلى أنه يمكن أن يساعد أيضًا في ظهور مشكلات مثل انحراف البيانات للذكاء الاصطناعي التوليدي ، والماجستير ، ورؤية الكمبيوتر ، والنماذج المجدولة.

مساحة سريعة التطور

بينما تدعي Arize AI أن Phoenix ، المتاح اعتبارًا من اليوم ، هي أول مكتبة برامج مصممة للمساعدة في تقييم LLM وإدارة المخاطر ، يجب على الشركات أن تضع في اعتبارك أن هذه مساحة سريعة التطور مع ظهور لاعبين جدد كل يوم تقريبًا.

“الجيل الحالي من نماذج الذكاء الاصطناعي هو صندوق أسود للجميع تقريبًا. لا أحد تقريبًا يفهم كيف يفعلون ما يفعلونه. فينيكس هي الخطوة الأولى لبناء البرمجيات التي تساعد على رسم التفاصيل الداخلية لكيفية تفكير هذه النماذج وما هي القرارات التي يتخذونها ، والمصممة لمستخدمي LLMs ، “قال الرئيس التنفيذي.

وأضاف أن أكثر من 100 مستخدم وباحث في شركات ومؤسسات مختلفة قدموا نصائحهم بشأن تطوير فينيكس ، وكانت التعليقات الأولية إيجابية للغاية.

وصف كريستوفر براون ، الرئيس التنفيذي والمؤسس المشارك لأنماط القرار والمحاضر السابق في جامعة كاليفورنيا في بيركلي ، الحل بأنه تقدم “يحظى بتقدير كبير” في مراقبة النماذج والإنتاج. وقال إن دمج مرافق المراقبة مباشرة في عملية التطوير لا يوفر الوقت فحسب ، بل يشجع تطوير النموذج – وفرق الإنتاج على التفكير بنشاط في استخدام النموذج والتحسينات المستمرة قبل إطلاقه للإنتاج.