تتعمق Google في لعبة “الكمبيوتر الفائق” من خلال ربط وحدات معالجة الرسومات المصممة لهذا الغرض معًا للتدريب على نماذج اللغة الكبيرة

سيتمكن علماء الذكاء الاصطناعي وأي شخص لديه احتياجات حوسبة كبيرة للغاية الآن من اللجوء إلى سحابة Google لاستئجار آلات قد تقدم ما يصل إلى 26 exaFLOPs. العروض السحابية الجديدة ، التي تم تفصيلها في الخطاب الرئيسي اليوم في Google I / O 2023 ، هي خيارات تُحيي تسميات حقبة الحرب الباردة “للحواسيب الفائقة” نظرًا لقدراتها الاستثنائية وتركيزها على المهام الكبيرة جدًا.

تم إنشاء الأجهزة الجديدة من خلال الجمع بين وحدات معالجة الرسومات H100 من Nvidia والتوصيلات عالية السرعة الخاصة بشركة Google. تتوقع الشركة أن تكون مجموعة وحدات معالجة الرسومات السريعة المرتبطة بمسارات البيانات السريعة جذابة للغاية لمهام الذكاء الاصطناعي مثل تدريب نماذج اللغة الكبيرة جدًا.

نماذج لغوية كبيرة جدًا

أدى ظهور هذه النماذج الكبيرة جدًا إلى إعادة إشعال الاهتمام بالأجهزة التي يمكنها التعامل بكفاءة مع أعباء العمل الكبيرة جدًا. شهد علماء الذكاء الاصطناعي أكثر النتائج إثارة للدهشة عندما قاموا بتوسيع حجم النموذج إلى أكبر حد ممكن. ستجعل الآلات الجديدة مثل هذه من السهل دفعها أكبر وأكبر.

تعد أجهزة Google الجديدة جذابة لأنها قادرة على تسريع الاتصالات بين وحدات معالجة الرسومات ، والتي بدورها ستسرع من تقارب النموذج أثناء تدريبه. ستتواصل وحدات معالجة الرسومات Nvidia باستخدام ما تصفه Google بـ “IPUs 200 جيجابت في الثانية المصممة خصيصًا” والتي توفر “عمليات نقل بيانات GPU إلى GPU تتجاوز مضيف وحدة المعالجة المركزية وتتدفق عبر واجهات منفصلة من شبكات VM وحركة مرور البيانات الأخرى.” تقدر الشركة أن البيانات ستتدفق بين وحدات معالجة الرسومات 10 مرات أسرع من بعض أجهزتها السابقة مع مسارات اتصالات أكثر تقليدية.

تقدم العديد من الخدمات السحابية بعض الأجهزة التي تقدم أداءً متوازيًا للغاية لوحدة معالجة الرسومات (GPU) أو TPU. تقدم Amazon’s Web Services ، على سبيل المثال ، ستة خيارات مختلفة تجمع بين العديد من وحدات معالجة الرسومات أو بعض شرائح Graviton الجديدة القائمة على ARM. تقدم Google نفسها رقائقها الخاصة ، التي يطلق عليها اسم TPU ، في عدد من التركيبات.

في الوقت نفسه ، أصبحت وحدات معالجة الرسومات العادية شائعة. حتى بعض الغيوم الصغيرة مثل Vultr لديها وحدات معالجة رسوميات للإيجار ، وهو شيء يقدمونه بأسعار منخفضة تصل إلى 13 سنتًا في الساعة لجزء بسيط من الجهاز.

من الواضح أن Google تهدف إلى أكبر أعباء العمل بهذا الإعلان. ستجمع أجهزتها الجديدة ، المسمى A3 ، ما يصل إلى 8 وحدات معالجة رسومات H100 من Nvidia المصممة بهندسة HOPPER الخاصة بمصنّع معالج الفيديو. قد يحتوي كل جهاز أيضًا على ما يصل إلى 2 تيرابايت من ذاكرة الوصول العشوائي لتخزين بيانات التدريب. ستتم مزامنة كل هذا بواسطة معالج Xeon من الجيل الرابع.

Google جزء من لعبة أكبر

جوجل ليست الشركة الوحيدة التي تسير في هذا الطريق. في نوفمبر ، أعلنت شركة Microsoft عن شراكة مع Nvidia لإنتاج “كمبيوتر عملاق” خاص بهم. وستستخدم الشركة أيضًا شرائح مثل H100 كوحدات بناء لـ “الأقمشة” المترابطة أو “الشبكات” المُحسَّنة لتدريب هذه النماذج الكبيرة جدًا.

في فبراير ، أعلنت شركة IBM أنها تبني نسختها الخاصة التي يطلق عليها اسم “فيلا” والتي يمكنها تدريب نماذج كبيرة جدًا لبعض عملائها الحكوميين مثل ناسا. ستساعد “النماذج الأساسية” هذه في العديد من العلوم مثل اكتشاف الأدوية أو الأمن السيبراني.

يتمثل الهدف الكبير الآخر لشركة Google في دمج هذه الأجهزة الجديدة مع برامجها وعروضها السحابية. تقوم OpenAI ، على سبيل المثال ، بإعادة بيع حسابات Azure من خلال تمكين مستخدميها من ضبط النماذج التأسيسية الخاصة بهم.

تقول Google إن الأجهزة ستكون متاحة من خلال Vertex AI للعملاء “الذين يتطلعون إلى تطوير نماذج ML معقدة بدون صيانة”. في الوقت نفسه ، يعلنون أيضًا عن ميزات موسعة ونماذج أساسية أكثر.