شراكة Comet مع Snowflake لتعزيز إمكانية تكرار مجموعات بيانات التعلم الآلي

أعلنت منصة MLOps Comet اليوم عن شراكة إستراتيجية مع Snowflake تهدف إلى تقديم حلول مبتكرة تمكّن علماء البيانات من بناء نماذج تعلّم آلي فائقة (ML) بوتيرة متسارعة ، مما يعزز عملية صنع القرار التي تعتمد على البيانات.

قالت الشركة أن حلول Comet ستدمج حلول Comet في منصة Snowflake الموحدة ، مما يتيح للمطورين تتبع وإصدار استعلامات Snowflake ومجموعات البيانات الخاصة بهم داخل بيئة Snowflake الخاصة بهم.

يتوقع Comet أن هذا التكامل سيسهل تتبع النسب للنماذج والأداء ، مما يوفر رؤية محسنة وفهمًا لعملية التطوير وتأثير تغييرات البيانات على أداء النموذج. من خلال الاستفادة من بيانات Snowflake ، يمكن للعملاء الآن الاستفادة من عملية تطوير نموذج مبسطة وشفافة.

تدريب نموذج أسرع ونشره ومراقبته

ستسمح منصة Snowflake’s Data Cloud و Comet’s ML مجتمعة للعملاء في جميع أنحاء العالم ببناء النماذج وتدريبها ونشرها ومراقبتها بشكل أسرع ، وفقًا للشركات.

“بالإضافة إلى ذلك ، تعزز هذه الشراكة حلقة تغذية مرتدة بين تطوير النموذج في Comet وإدارة البيانات في Snowflake ،” قال الرئيس التنفيذي لشركة Comet ، جيديون مندلز لـ VentureBeat.

يمكن لهذه الحلقة باستمرار تحسين النماذج وسد الفجوة بين التجريب والنشر ، والوفاء بالوعد الرئيسي لـ ML – القدرة على التعلم والتكيف بمرور الوقت. يمكن لمسح الإصدار بين مجموعات البيانات والنماذج تمكين المؤسسات من تحديد خطوات قابلة للتنفيذ لمعالجة تغييرات البيانات وتأثيرها على النماذج في الإنتاج.

يأتي عرض Comet الجديد بعد إصداره الأخير لمجموعة من الأدوات والتكاملات المصممة لتسريع سير العمل لعلماء البيانات الذين يعملون مع نماذج اللغات الكبيرة (LLMs).

تحسين نماذج ML من خلال التغذية الراجعة المستمرة

عندما يقوم علماء البيانات أو المطورون بتنفيذ استعلامات لاستخراج مجموعات البيانات من Snowflake لنماذج ML الخاصة بهم ، يمكن لـ Comet تسجيل هذه الاستعلامات وإصدارها وربطها مباشرةً بالنماذج الناتجة.

قال مندلز إن هذا النهج يوفر العديد من المزايا ، بما في ذلك زيادة قابلية التكرار والتعاون وقابلية التدقيق والتحسين التكراري.

وأوضح أن “التكامل بين Comet و Snowflake يهدف إلى توفير إطار عمل أكثر قوة وشفافية وفعالية لتطوير ML من خلال تمكين تتبع وإصدار استعلامات Snowflake ومجموعات البيانات داخل Snowflake نفسها”. “من خلال تعيين إصدارات من استعلامات SQL ومجموعات البيانات ، يمكن لعلماء البيانات دائمًا تتبع النسخة الدقيقة من البيانات التي تم استخدامها لتدريب إصدار نموذج معين. هذا أمر بالغ الأهمية لإمكانية إعادة إنتاج النموذج “.

ربط التغييرات في أداء النموذج بتعديلات البيانات

في ML ، تحمل بيانات التدريب أهمية متساوية للنموذج نفسه. يمكن أن تؤثر التغييرات في البيانات ، مثل إدخال ميزات جديدة أو معالجة القيم المفقودة أو التعديلات في توزيعات البيانات ، بشكل عميق على أداء النموذج.

تقول الشركة أنه من خلال تتبع نسب النموذج ، يصبح من الممكن إنشاء علاقة بين التغييرات في أداء النموذج والتعديلات المحددة في البيانات. هذا لا يساعد فقط في تصحيح الأخطاء وفهم الأداء ولكن يوجه جودة البيانات وهندسة الميزات.

قال ميندلز إن تتبع الاستعلامات والبيانات بمرور الوقت يمكن أن يخلق حلقة تغذية مرتدة تقود التحسينات المستمرة في كل من إدارة البيانات ومراحل تطوير النموذج.

قال مندلز: “يمكن لسلالة النموذج أن تسهل التعاون بين فريق من علماء البيانات ، لأنها تتيح لأي شخص فهم تاريخ النموذج وكيف تم تطويره دون الحاجة إلى توثيق مكثف”. “هذا مفيد بشكل خاص عندما يغادر أعضاء الفريق أو عندما ينضم أعضاء جدد إلى الفريق ، مما يسمح بنقل المعرفة بسلاسة.”

ما التالي بالنسبة للمذنب؟

تدعي الشركة أن العملاء الذين يستخدمون Comet – مثل Uber و Etsy و Shopify – يبلغون عادةً عن تحسن بنسبة 70٪ إلى 80٪ في سرعة ML.

قال مندلز: “يرجع هذا إلى دورات البحث الأسرع ، والقدرة على فهم أداء النموذج واكتشاف المشكلات بشكل أسرع ، وتحسين التعاون والمزيد”. “مع الحل المشترك ، يجب أن يزداد هذا بشكل أكبر حيث لا تزال هناك تحديات اليوم في بناء الجسور بين النظامين. يوفر العملاء تكاليف الدخول والاستهلاك عن طريق الاحتفاظ بالبيانات داخل Snowflake بدلاً من نقلها عبر الأسلاك وحفظها في مواقع أخرى “.

قال مندلز أن كوميت تهدف إلى ترسيخ نفسها كمنصة تطوير للذكاء الاصطناعي بحكم الواقع.

وقال: “وجهة نظرنا هي أن الشركات لن ترى قيمة حقيقية من الذكاء الاصطناعي إلا بعد أن تنشر هذه النماذج بناءً على بياناتها الخاصة”. “سواء كانوا يتدربون من البداية ، أو يقومون بضبط نموذج OSS أو يستخدمون حقن السياق في ChatGPT ، فإن مهمة Comet هي جعل هذه العملية سلسة وسد الفجوة بين البحث والإنتاج.”