تعمل ترقية Ray 2.4 مفتوحة المصدر على تسريع نشر نموذج الذكاء الاصطناعي التوليدي

تتخذ تقنية التعلم الآلي (ML) مفتوحة المصدر لنشر أعباء عمل الذكاء الاصطناعي وتوسيع نطاقها خطوة كبيرة إلى الأمام اليوم بإصدار الإصدار 2.4. يأخذ الإصدار الجديد هدفًا محددًا في تسريع أعباء العمل التوليدية للذكاء الاصطناعي.

يعتبر Ray ، الذي يستفيد من مجتمع واسع من المساهمات مفتوحة المصدر ، فضلاً عن دعم البائع التجاري الرائد Anyscale ، من بين التقنيات الأكثر استخدامًا في مساحة ML. تعتمد شركة OpenAI ، البائع وراء GPT-4 و ChatGPT ، على Ray للمساعدة في زيادة أعباء العمل والتكنولوجيا الخاصة بالتدريب على التعلم الآلي. راي ليس فقط للتدريب. كما تم نشره على نطاق واسع لمؤتمرات الذكاء الاصطناعي أيضًا.

ظهر فرع Ray 2.x لأول مرة في أغسطس 2022 وكان يتحسن باطراد في الأشهر التي تلت ذلك ، بما في ذلك إصدار Ray 2.2 ، والذي ركز على إمكانية الملاحظة.

مع Ray 2.4 ، ينصب التركيز بشكل مباشر على أعباء عمل الذكاء الاصطناعي التوليدية ، مع إمكانات جديدة توفر مسارًا أسرع للمستخدمين لبدء إنشاء النماذج ونشرها. يتكامل الإصدار الجديد أيضًا مع نماذج من Hugging Face ، بما في ذلك GPT-J للنص و Stable Diffusion لتوليد الصور.

>> تابع تغطية الذكاء الاصطناعي التوليدية المستمرة من VentureBeat <

يوفر Ray أساسًا البنية التحتية مفتوحة المصدر لإدارة LLM [large language model] وقال روبرت نيشيهارا ، الشريك المؤسس والرئيس التنفيذي لشركة Anyscale ، لموقع VentureBeat: “إذا كنت تريد أن يتمكن كل فرد في كل شركة من دمج الذكاء الاصطناعي في منتجاتهم ، فإن الأمر يتعلق بتقليل حاجز الدخول ، وتقليل مستوى الخبرة التي تحتاجها لبناء كل البنية التحتية.”

كيف يولد Ray 2.4 تدفقات عمل جديدة للذكاء الاصطناعي التوليدي

الطريقة التي يعمل بها Ray 2.4 على خفض الحاجز أمام بناء ونشر الذكاء الاصطناعي التوليدي هي باستخدام مجموعة جديدة من البرامج النصية والتكوينات التي تم إنشاؤها مسبقًا.

بدلاً من أن يحتاج المستخدمون إلى تكوين وبرمجة كل نوع من أنواع الذكاء الاصطناعي التوليدية التي يتم نشرها يدويًا ، قال نيشيهارا إن مستخدمي Ray 2.4 سيكونون قادرين على النهوض والتشغيل – خارج الصندوق.

قال: “هذا يوفر نقطة انطلاق بسيطة جدًا للناس للبدء”. “ما زالوا يرغبون في تعديلها وإحضار بياناتهم الخاصة ، ولكن سيكون لديهم نقطة بداية عمل تحصل بالفعل على أداء جيد.”

سارع نيشيهارا إلى ملاحظة أن ما يوفره Ray 2.4 هو أكثر من مجرد إدارة تكوين. من الطرق الشائعة للعديد من أنواع التقنيات التي سيتم نشرها اليوم استخدام أدوات البنية التحتية كرمز مثل Terraform أو Ansible. وأوضح أن الهدف لا يقتصر فقط على تكوين وإنشاء الكتلة لتمكين تشغيل نموذج ذكاء اصطناعي توليدي ؛ مع Ray 2.4 ، الهدف هو توفير تعليمات برمجية قابلة للتشغيل للتدريب والنشر و LLM. وظيفيًا ، ما يقدمه Ray 2.4 هو مجموعة من نصوص Python التي كان المستخدم بحاجة إلى كتابتها بمفرده من أجل نشر نموذج الذكاء الاصطناعي التوليدي.

قال: “التجربة التي تريد للمطورين أن يتمتعوا بها هي ، مثل نقرة واحدة ، وبعد ذلك يكون لديك ماجستير في القانون وراء بعض نقاط النهاية ، وهو يعمل”.

يستهدف إصدار Ray 2.4 مجموعة محددة من عمليات تكامل الذكاء الاصطناعي التوليدية باستخدام نماذج مفتوحة المصدر على Hugging Face. من بين حالات استخدام النموذج المتكامل GPT-J ، وهو نموذج صغير لتوليد النص. يوجد أيضًا تكامل للضبط الدقيق لنموذج توليد الصور DreamBooth ، بالإضافة إلى إشارة الدعم لنموذج صورة الانتشار المستقر. بالإضافة إلى ذلك ، يوفر Ray 2.4 التكامل مع أداة LangChain الشائعة بشكل متزايد ، والتي تُستخدم للمساعدة في بناء تطبيقات الذكاء الاصطناعي المعقدة التي تستخدم نماذج متعددة.

الميزة الرئيسية لـ Ray هي Ray AI Runtime (AIR) ، والتي تساعد المستخدمين على توسيع نطاق تدفقات عمل ML. من بين مكونات AIR واحد يسمى المدرب ، والذي (ليس من المستغرب) مصمم للتدريب. مع Ray 2.4 ، هناك سلسلة من المدربين المدمجين الجدد لأطر تدريب ML ، بما في ذلك تدريبات Hugging Face Accelerate و DeepSpeed ​​، بالإضافة إلى PyTorch Lightning.

تعمل تحسينات الأداء في Ray 2.4 على تسريع التدريب والاستدلال

تم إجراء سلسلة من تحسينات التعليمات البرمجية في Ray 2.4 والتي تساعد على تعزيز الأداء. واحدة من هذه هي معالجة بيانات المصفوفة ، وهي طريقة يتم بها تخزين البيانات ومعالجتها. أوضح نيشيهارا أن النهج الشائع للتعامل مع البيانات من أجل التدريب أو الاستدلال على الذكاء الاصطناعي هو وجود مراحل متعددة ومتباينة حيث تتم معالجة البيانات أولاً ، ثم يتم تنفيذ العمليات مثل التدريب أو الاستدلال. يكمن التحدي في أن خط الأنابيب لتنفيذ تلك المراحل يمكن أن يقدم بعض وقت الاستجابة حيث لا يتم استخدام موارد الحوسبة ووحدة معالجة الرسومات بشكل كامل.

باستخدام Ray 2.4 ، بدلاً من معالجة البيانات على مراحل ، قال نيشيهارا إن التكنولوجيا تقوم الآن بتدفق البيانات وتثبيتها بحيث تتناسب جميعها في الذاكرة في نفس الوقت. بالإضافة إلى ذلك ، للحفاظ على الاستخدام العام على أعلى مستوى ممكن ، هناك تحسينات لتحميل بعض البيانات مسبقًا على وحدات معالجة الرسومات.

لا يتعلق الأمر فقط بإبقاء وحدات معالجة الرسومات مشغولة ، بل يتعلق أيضًا بوحدات المعالجة المركزية (CPU) مشغولة أيضًا.

قال نيشيهارا: “يجب أن تعمل المعالجة التي تقوم بها على وحدات المعالجة المركزية ، ويجب أن تعمل بعض المعالجة التي تقوم بها على وحدات معالجة الرسومات”. تريد إبقاء كل شيء مشغولاً ومقاسًا على كلا البعدين. هذا شيء يجيده راي بشكل فريد ويصعب القيام به بخلاف ذلك “.