يتيح الكمبيوتر العملاق LUMI المدعوم من AMD لـ TurkuNLP إنشاء نماذج ذكاء اصطناعي جديدة بسرعة

مدعومًا بشرائح Advanced Micro Devices ، فإن الكمبيوتر العملاق LUMI – المصنف مؤخرًا على أنه أسرع كمبيوتر فائق في أوروبا بالإضافة إلى أنه أحد أكثر الحواسيب كفاءة في استخدام الطاقة – قد مكّن مجموعة TurkuNLP من إنشاء نماذج جديدة بسرعة.

سيؤدي هذا النوع من الأشياء إلى زيادة الاهتمام بنماذج اللغات الكبيرة (LLMs) التي مكّنت حلول الذكاء الاصطناعي التوليدية مثل ChatGPT. في حين أن LLMs تنطلق بشكل جيد ، فإن تدريبها يتطلب قدرًا هائلاً من قوة الحوسبة ، وعادةً ما تكون نماذج مثل ChatGPT مملوكة وقائمة على اللغة الإنجليزية.

عندما أراد زميل أبحاث جامعة توركو ، سامبو بييسالو ، توسيع قيمة LLM إلى تطبيقات بحثية أوسع ، احتاج إلى الأداء لتدريب النماذج في إطار زمني مفيد. الكمبيوتر العملاق LUMI ، المستند إلى بنية الكمبيوتر الفائق HPE Cray EX والمدعوم من AMD Epyc
وفرت وحدات المعالجة المركزية ووحدات معالجة الرسومات AMD Instinct الحجم المطلوب لأعباء العمل.

لوضع هذا في السياق ، LUMI أكبر بمرتين من أجهزة الجيل السابق المتوفرة في فنلندا. في السابق ، كان الفريق يستغرق نصف عام للتدريب المسبق على نموذج لغة مكون من مليار متغير على جهاز كمبيوتر ، ولكن الآن يستغرق LUMI أسبوعين فقط لمعالجة حوالي 40 مليار رمز ، مكونة أحرفًا أو مقاطع لفظية أو كلمات ، كما قالت AMD.

قال Väinö Hatanpää ، متخصص التعلم الآلي في CSC ، في بيان ، “إن قدرة الحوسبة والقدرة على التوسع بشكل أكبر باستخدام LUMI تمكن عملائنا من دفع حدود التعلم الآلي / الذكاء الاصطناعي.”

فتح نماذج لغوية كبيرة

كان هدف Pyysalo مع الشركاء Risto Luukkonen و Ville Komulainen في TurkuNLP هو فتح ماجستير في القانون للاستخدام الأكاديمي.

وقال في بيان: “اللاعبون الكبار هم شركات كبيرة متعددة الجنسيات تبقي عارضاتها مغلقة”. “في الأوساط الأكاديمية ، نريد وصولًا عمليًا إلى نماذج مثل هذه ، لذلك قمنا بصنعها بأنفسنا وهذا يتطلب موارد كمبيوتر عملاق.”

كانت اللغة الفنلندية نقطة البداية الطبيعية لجامعة مقرها في فنلندا ، مثل توركو.

يعتمد بناء LLM على مجموعة أدوات متقدمة للذكاء الاصطناعي والتعلم الآلي. يعمل Pyysalo مع Hugging Face لهذا الغرض. تتطلب النماذج بهذا الحجم نطاقًا حوسبيًا هائلاً ، حيث أثبتت LUMI أنها ضرورية.

LUMI ، المملوكة من قبل EuroHPC Joint Undertake ، تم تمويلها بنسبة 50/50 من قبل EuroHPC JU و LUMI كونسورتيوم المكون من عشر دول أوروبية. يقع مقره في فنلندا في CSC – مركز بيانات IT Center for Science – ويستضيفه اتحاد LUMI. يتفوق قسم LUMI-G GPU على أقسام GPU الأخرى التي تستضيفها CSC.

يتكون Mahti AI الخاص بالمؤسسة من 24 عقدة GPU ، بينما يقدم Puhti 80 عقدة GPU ، مع أربع وحدات GPU لكل عقدة. على النقيض من ذلك ، تضم LUMI 2560 عقدة مدعومة بمعالجات AMD Epyc ، كل منها مزود بأربعة مسرعات AMD Instinct MI250x ، ليصبح المجموع 10240 وحدة معالجة رسومات و 20480 يموت حساب رسومات (GCDs).