يجلب Datadog مراقبة نموذج OpenAI إلى الحظيرة ، ويطلق تكاملًا جديدًا

أعلنت شركة Datadog ومقرها نيويورك ، والتي توفر منصة مراقبة سحابية لتطبيقات المؤسسة والبنية التحتية ، اليوم عن تكامل لمراقبة نماذج OpenAI مثل GPT-4.

يقول Datadog إن العرض سيساعد فرق المؤسسات على فهم تفاعلات المستخدم مع تطبيقاتهم التي تدعم GPT ، مما يمكنهم في النهاية من ضبط النماذج لتحسين الأداء والاقتصاد.

يأتي هذا الإعلان في الوقت الذي تستمر فيه النماذج اللغوية الكبيرة لـ OpenAI في رؤية التبني عبر مجموعة متنوعة من حالات الاستخدام الخاصة بالمؤسسات ، بما في ذلك المجالات المهمة للأعمال مثل خدمة العملاء والاستعلام عن البيانات.

كيف يساعد تكامل OpenAI؟

بمجرد التشغيل والتشغيل ، يتتبع تكامل Datadog-OpenAI أنماط استخدام GPT تلقائيًا ، مما يوفر للفرق رؤى قابلة للتنفيذ حول أداء النموذج والتكاليف عبر لوحات المعلومات والتنبيهات.

بالنسبة للأداء ، ينظر المكون الإضافي في معدلات خطأ OpenAI API ، وحدود المعدل ، وأوقات الاستجابة ، مما يسمح للمستخدمين بتحديد المشكلات وعزلها داخل تطبيقاتهم. كما يوفر أيضًا القدرة على عرض أحجام طلبات OpenAI – جنبًا إلى جنب مع المقاييس والتتبعات والسجلات التي تحتوي على المطالبات والإكمالات المقابلة – لفهم كيفية تفاعل العملاء النهائيين مع التطبيقات ، وقياس جودة المخرجات الناتجة عن نماذج OpenAI الخاصة بهم.

يمكن للعملاء تثبيت التكامل من خلال أدوات مكتبة OpenAI Python لإصدار المقاييس والتتبعات والسجلات للطلبات المقدمة للإكمال وإكمال الدردشة ونقاط النهاية المضمنة. بمجرد التجهيز ، ستتوفر المقاييس والتتبع والسجلات تلقائيًا في لوحة القيادة الجاهزة التي توفرها Datadog ، “قال Yrieix Garnier ، نائب رئيس المنتج في Datadog ، لـ VentureBeat.

وأضاف نائب الرئيس أنه يمكن بعد ذلك تخصيص لوحات المعلومات هذه للتعمق أكثر في مشكلات الأداء وتحسين النماذج لتحسين تجربة المستخدم.

على صعيد التكاليف ، كما يقول Datadog ، يسمح التكامل للمستخدمين بمراجعة تخصيص الرمز المميز حسب الطراز أو الخدمة وتحليل التكاليف المرتبطة باستدعاءات OpenAI API. يمكن بعد ذلك استخدام هذا لإدارة النفقات بشكل أكثر فعالية وتجنب الفواتير غير المتوقعة لاستخدام الخدمة.

بينما أكد Garnier أن عملاء الشركتين يختبرون التكامل ، إلا أنه لم يشارك النتائج المحددة التي شهدوها حتى الآن. يعمل الموصل حاليًا مع العديد من نماذج الذكاء الاصطناعي من OpenAI ، بما في ذلك عائلة GPT من LLMs و Ada و Babbage و Curie و Davinci.

تقدم New Relic شيئًا مشابهًا

تقدم New Relic ، وهي لاعب آخر في مساحة المراقبة ، تكامل OpenAI مشابهًا يتتبع وقت استجابة واجهة برمجة التطبيقات ومتوسط ​​الرموز لكل طلب والتكلفة المرتبطة. ومع ذلك ، تدعي Garnier أن عرض Datadog يغطي عناصر إضافية ، مثل نسبة الرمز المميز لوقت الاستجابة إلى سرعة الاستجابة ، بالإضافة إلى المقاييس التي توفر رؤى سياقية في استعلامات المستخدم الفردية.

“علاوة على ذلك ، بالنسبة لأوقات استجابة واجهة برمجة التطبيقات وطلبات واجهة برمجة التطبيقات والمقاييس الأخرى ، نسمح للمستخدمين بتقسيم ذلك حسب الطراز والخدمة ومفاتيح واجهة برمجة التطبيقات. وهذا أمر بالغ الأهمية لفهم الدوافع الأساسية للاستخدام واستهلاك الرموز والتكلفة “.

للمضي قدمًا ، من المتوقع أن تشهد حلول المراقبة مثل هذه ، بما في ذلك تلك التي تتبع الهلوسة تحديدًا ، زيادة في الطلب ، نظرًا للارتفاع السريع لنماذج اللغة الكبيرة داخل المؤسسات. تستخدم الشركات أو تخطط لاستخدام LLMs (أبرزها تلك الموجودة في OpenAI) لتسريع وظائف الأعمال الرئيسية ، من الاستعلام عن مجموعة البيانات الخاصة بهم إلى تحسين خدمة العملاء.