يجلب PyTorch 2.0 إطلاقًا جديدًا للتعلم الآلي مفتوح المصدر

بعد أشهر من المعاينة ، أصبح PyTorch 2.0 متاحًا بشكل عام بواسطة PyTorch Foundation.

يعد مشروع PyTorch مفتوح المصدر من بين أكثر التقنيات استخدامًا للتدريب على التعلم الآلي (ML). بدأ PyTorch 1.0 في الأصل بواسطة Facebook (أصبح الآن Meta) ، وقد ظهر في عام 2018 واستفاد من سنوات من التحسينات الإضافية.

>> لا تفوّت إصدارنا الخاص: السعي وراء السكينة: تطبيق الذكاء الاصطناعي على نطاق واسع. <

في سبتمبر 2022 ، تم إنشاء مؤسسة PyTorch في محاولة لتمكين المزيد من الحوكمة المفتوحة وتشجيع المزيد من التعاون والمساهمات. الجهد الذي دفع أرباحًا ، مع دخول الإصدار التجريبي من PyTorch 2.0 إلى المعاينة في ديسمبر 2022. يستفيد PyTorch 2.0 من 428 مساهمًا مختلفًا قدموا كودًا وإمكانيات جديدة لجهود المصدر المفتوح.

الأداء هو التركيز الأساسي لبرنامج PyTorch 2.0 والذي لم يخجل المطورون من الترويج له. في الواقع ، إحدى الميزات الرئيسية الجديدة هي Accelerated Transformers ، والتي كانت تُعرف سابقًا باسم “Better Transformers”. تقع هذه في قلب نماذج اللغات الكبيرة الحديثة (LLMs) والذكاء الاصطناعي التوليدي ، مما يتيح للنماذج إجراء اتصالات بين المفاهيم المختلفة.

قال إبراهيم حداد ، المدير التنفيذي لمؤسسة PyTorch في بيان مكتوب لـ VentureBeat: “نحن متحمسون بشكل خاص للتحسينات الكبيرة في الأداء في هذا الجيل القادم من سلسلة PyTorch ، والتي تمكن المطورين من الابتكار بشكل أكبر لتشكيل مستقبل PyTorch”.

كيف يعمل PyTorch 2.0 على تسريع مشهد ML

يتمثل هدف مشروع PyTorch في جعل التدريب ونشر نماذج المحولات الحديثة أسهل وأسرع.

المحولات هي التكنولوجيا الأساسية التي ساعدت في تمكين العصر الحديث للذكاء الاصطناعي التوليدي ، بما في ذلك نماذج OpenAI مثل GPT-3 (والآن GPT-4). في محولات PyTorch 2.0 المتسارعة ، يوجد دعم عالي الأداء للتدريب والاستدلال باستخدام بنية نواة مخصصة لنهج يُعرف باسم الانتباه إلى منتج النقطة المحسوبة (SPDA).

نظرًا لوجود أنواع متعددة من الأجهزة التي يمكنها دعم المحولات ، يمكن لـ PyTorch 2.0 دعم عدة نواة مخصصة لـ SDPA. للمضي قدمًا ، تقوم PyTorch بدمج منطق اختيار kernel المخصص الذي سيختار النواة الأعلى أداءً لطراز معين ونوع الجهاز.

إن تأثير التسريع غير بسيط ، حيث يساعد على تمكين المطورين من تدريب النماذج بشكل أسرع من التكرارات السابقة لـ PyTorch.

كتب سيلفان غوغر ، المشرف الأساسي على محولات HuggingFace ، في بيان نشره مشروع PyTorch: “مع إضافة سطر واحد فقط من التعليمات البرمجية ، يعطي PyTorch 2.0 تسريعًا بين 1.5x و 2.x في تدريب نماذج المحولات”. “هذا هو الشيء الأكثر إثارة منذ تقديم التدريب الدقيق المختلط!”

تساعد Intel في قيادة العمل على تحسين PyTorch لوحدات المعالجة المركزية

من بين العديد من المساهمين في PyTorch 2.0 ، لا أحد سوى شركة Intel العملاقة للسيليكون.

صرح Arun Gupta ، نائب الرئيس والمدير العام للأنظمة البيئية المفتوحة في Intel ، لـ VentureBeat أن شركته تدعم بشكل كبير البرامج مفتوحة المصدر وأن PyTorch تنتقل إلى نموذج الحوكمة المفتوحة في مؤسسة PyTorch التي تستضيفها مؤسسة Linux. أشار Gupta إلى أن Intel هي أكبر 3 مساهمين في PyTorch وهي نشطة داخل المجتمع.

في حين أن عمل الذكاء الاصطناعي والتعلم الآلي غالبًا ما يرتبط ارتباطًا وثيقًا بوحدات معالجة الرسومات ، إلا أن هناك دورًا لوحدات المعالجة المركزية أيضًا ، وقد كان هذا مجالًا للتركيز بالنسبة لشركة Intel. قال Gupta أن Intel تقود تحسينات Torch Inductor لوحدات المعالجة المركزية. أوضح جوبتا أن تحسين وحدة المعالجة المركزية TorchInductor يتيح مزايا مترجم PyTorch الجديد الذي يعد جزءًا من الإصدار 2.0 للتشغيل على وحدات المعالجة المركزية.

تدمج PyTorch أيضًا القدرات التي يشير إليها المشروع باسم الواجهة الخلفية الموحدة للتكمية لمنصات وحدة المعالجة المركزية x86. توفر الواجهة الخلفية الموحدة لـ PyTorch القدرة على اختيار أفضل تطبيق لتقدير منصة التدريب. تعمل إنتل على تطوير تقنية oneDNN الخاصة بها ، والتي تتوفر أيضًا لمكتبة TensorFlow ML المنافسة مفتوحة المصدر. تدعم الواجهة الخلفية الموحدة الجديدة أيضًا نهج FBGEMM الذي تم تطويره في الأصل بواسطة Facebook / Meta أيضًا.

قال Gupta: “فائدة المستخدم النهائي هي أنه يختار فقط خلفية خلفية واحدة لوحدة المعالجة المركزية ، مع أفضل أداء وأفضل قابلية للتنقل”. “ترى Intel التجميع على أنه تقنية قوية ستساعد مستخدمي PyTorch في الحصول على أداء رائع حتى عند تشغيل نماذج جديدة ومبتكرة.”