الرئيس التنفيذي لشركة Lightning AI ينتقد ورقة GPT-4 الخاصة بـ OpenAI ووصفها بأنها “تتنكر في شكل بحث”
بعد فترة وجيزة من إطلاق OpenAI المفاجئ لنموذج GPT-4 الذي طال انتظاره بالأمس ، كانت هناك مجموعة من الانتقادات عبر الإنترنت حول ما صاحب الإعلان: تقرير تقني مكون من 98 صفحة حول “تطوير GPT-4”.
قال الكثيرون إن التقرير كان ملحوظًا في الغالب لما فعله لا يشمل. في قسم يسمى نطاق وقيود هذا التقرير الفني ، يقول: “بالنظر إلى كل من المشهد التنافسي والآثار المتعلقة بالسلامة للنماذج واسعة النطاق مثل GPT-4 ، لا يحتوي هذا التقرير على مزيد من التفاصيل حول البنية (بما في ذلك حجم النموذج) ، الأجهزة ، أو حوسبة التدريب ، أو إنشاء مجموعة البيانات ، أو طريقة التدريب ، أو ما شابه ذلك. “
“أعتقد أنه يمكننا تسميته مغلقًا على ‘Open’ AI: الورقة المكونة من 98 صفحة التي تقدم GPT-4 تعلن بفخر أنهم لا يكشفون عن * أي شيء * حول محتويات مجموعة التدريب الخاصة بهم ،” غرد بن شميدت ، نائب رئيس تصميم المعلومات في Nomic AI.
وديفيد بيكارد ، باحث في الذكاء الاصطناعي في Ecole des Ponts ParisTech ، غرد: “لو سمحت تضمين التغريدة تغيير اسمك في أسرع وقت ممكن. إنها إهانة لذكائنا أن تطلق على نفسك اسم “مفتوح” وتنشر هذا النوع من “التقرير الفني” الذي لا يحتوي على معلومات تقنية على الإطلاق “.
من أبرز منتقدي التقرير ويليام فالكون ، الرئيس التنفيذي لشركة Lightning AI ومؤسس PyTorch Lightning ، وهي مكتبة بايثون مفتوحة المصدر توفر واجهة عالية المستوى لإطار عمل التعلم العميق الشهير PyTorch. بعد أن نشر الميم التالي ، تواصلت مع فالكون للتعليق. تم تحرير هذه المقابلة وتكثيفها من أجل الوضوح.
VentureBeat: هناك الكثير من الانتقادات في الوقت الحالي حول الورقة البحثية GPT-4 التي تم إصدارها حديثًا. ما هي أكبر المشاكل؟
وليام فالكون: أعتقد أن ما يزعج الجميع هو أن شركة OpenAI صنعت ورقة كاملة بطول تسعين صفحة. هذا يجعل الأمر يبدو وكأنه مفتوح المصدر وأكاديمي ، لكنه ليس كذلك. إنهم لا يصفون شيئًا حرفيًا هناك. عندما تذكر ورقة أكاديمية معايير مرجعية ، فإنها تقول “مرحبًا ، لقد فعلنا أفضل من هذا ، وإليك طريقة للتحقق من ذلك.” لا توجد طريقة للتحقق من ذلك هنا.
هذه ليست مشكلة إذا كنت شركة وقلت ، “الشيء الخاص بي أسرع بعشر مرات من هذا.” سوف نأخذ ذلك على محمل الجد. ولكن عندما تحاول التنكر في صورة بحث ، فهذه هي المشكلة.
عندما أنشر بحثًا أو ينشره أي شخص في المجتمع ، أقوم بمقارنته بالأشياء التي يمتلكها الأشخاص بالفعل ، وهي عامة وأضع الكود هناك وأخبرهم بالضبط ما هي البيانات. عادة ، هناك رمز على GitHub يمكنك تشغيله لإعادة إنتاج هذا.
VB: هل هذا مختلف عما كان عليه عندما ظهر ChatGPT؟ أو DALL-E؟ هل كان أولئك الذين يتنكرون في هيئة بحث بنفس الطريقة؟
فالكون: لا ، لم يكونوا كذلك. تذكر أن GPT-4 يعتمد على بنية Transformer التي كانت مفتوحة المصدر لسنوات عديدة بواسطة Google. لذلك نعلم جميعًا أن هذا هو بالضبط ما يستخدمونه. عادة ما يكون لديهم رمز للتحقق. لم يكن قابلاً للتكرار تمامًا ، ولكن يمكنك تحقيقه إذا كنت تعرف ما تفعله. مع GPT-4 ، لا يمكنك فعل ذلك.
شركتي غير قادرة على المنافسة مع شركة OpenAI. لذلك نحن لا نهتم حقًا. كثير من الأشخاص الآخرين الذين يغردون هم من المنافسين. لذا فإن لحوم أبقارهم في الغالب لن يكونوا قادرين على تكرار النتائج. وهو أمر عادل تمامًا – لا تريد شركة OpenAI منك الاستمرار في نسخ نماذجها ، وهذا أمر منطقي. لديك كل الحق في القيام بذلك كشركة. لكنك تتنكر في شكل بحث. تلك هي المشكلة.
من GPT إلى ChatGPT ، الشيء الذي جعلها تعمل بشكل جيد هو RLHF ، أو التعلم المعزز من ردود الفعل البشرية. أظهر OpenAI أن ذلك نجح. لم يكونوا بحاجة إلى كتابة ورقة بحثية حول كيفية عملها لأن هذه تقنية بحث معروفة. إذا كنا نطبخ ، يبدو الأمر كما لو أننا جميعًا نعرف كيفية القلي ، لذلك دعونا نجرب هذا. وبسبب ذلك ، هناك الكثير من الشركات مثل Anthropic الذين قاموا بالفعل بتكرار الكثير من نتائج OpenAI ، لأنهم كانوا يعرفون ما هي الوصفة. لذا أعتقد أن ما تحاول OpenAI فعله الآن ، لحماية GPT-4 من النسخ مرة أخرى ، هو عدم إخبارك بكيفية القيام بذلك.
لكن هناك شيئًا آخر يفعلونه ، بعض إصدارات RLHF ليست مفتوحة ، لذلك لا أحد يعرف ما هو. من المحتمل جدًا أن تكون هناك تقنية مختلفة قليلاً تجعلها تعمل. بصراحة ، لا أعرف حتى ما إذا كان يعمل بشكل أفضل. يبدو كما يفعل. أسمع نتائج مختلطة حول GPT-4. لكن النقطة المهمة هي أن هناك عنصرًا سريًا هناك وهو أنهم لا يخبرون أي شخص بما هو عليه. هذا محير للجميع.
VB: لذلك في الماضي ، على الرغم من أنه لم يكن قابلاً للتكرار تمامًا ، فأنت على الأقل تعرف ما هي المكونات الأساسية للوصفة. ولكن الآن إليك بعض المكونات الجديدة التي لا يمكن لأحد تحديدها ، مثل وصفة KFC السرية؟
فالكون: نعم ، هذا بالضبط ما هو عليه. يمكن أن تكون حتى بياناتهم. ربما لا يوجد تغيير. لكن فكر فقط إذا أعطيتك وصفة للدجاج المقلي – فنحن جميعًا نعرف كيف نصنع الدجاج المقلي. لكن فجأة أفعل شيئًا مختلفًا قليلاً وأنت تنتظر ، لماذا هذا مختلف؟ ولا يمكنك حتى تحديد المكون. أو ربما لم يتم قليها حتى. من تعرف؟
يبدو الأمر من عام 2015 إلى 2019 ، كنا نحاول اكتشاف الطعام الذي يريد الناس تناوله كمجال بحثي. وجدنا أن البرغر كان ناجحًا. من 2020-2022 تعلمنا طهيها جيدًا. وفي عام 2023 ، يبدو أننا نضيف الآن الصلصات السرية إلى البرغر.
VB: هل الخوف من أن هذا هو المكان الذي نتجه إليه – من عدم مشاركة المكونات السرية ، ناهيك عن النموذج نفسه؟
فالكون: نعم ، سيشكل هذا سابقة سيئة. أنا حزين قليلاً بشأن هذا. كلنا أتينا من الأوساط الأكاديمية. أنا باحث في الذكاء الاصطناعي. لذلك فإن قيمنا متجذرة في المصادر المفتوحة والأوساط الأكاديمية. لقد جئت من مختبر Yann LeCun في Facebook ، حيث كل ما يفعلونه هو مفتوح المصدر وهو يواصل فعل ذلك وكان يفعل ذلك كثيرًا في FAIR. أعتقد أن LLaMa ، هناك واحدة حديثة تم تقديمها وهي مثال جيد حقًا على هذا التفكير. لقد فعل معظم عالم الذكاء الاصطناعي ذلك. شركتي مفتوحة المصدر ، كل ما فعلناه هو مصدر مفتوح ، وشركات أخرى مفتوحة المصدر ، ونقوم بتشغيل الكثير من أدوات الذكاء الاصطناعي هذه. لذلك قدمنا جميعًا هذا الكثير للمجتمع حتى يكون الذكاء الاصطناعي في مكانه الحالي.
وقد دعمت شركة OpenAI ذلك بشكل عام. لقد لعبوا بشكل جيد. الآن ، لأن لديهم هذا الضغط لتحقيق الدخل ، أعتقد حرفيًا أن اليوم هو اليوم الذي أصبحوا فيه مصدرًا مغلقًا حقًا. لقد طلقوا أنفسهم للتو من المجتمع. إنهم مثل ، نحن لا نهتم بالأوساط الأكاديمية ، نحن نبيع إلى وادي السيليكون. لدينا جميعًا تمويل VC ، لكننا جميعًا ما زلنا نحافظ على النزاهة الأكاديمية.
VB: هل ستقول أن هذه الخطوة تذهب أبعد من أي شيء آخر من Google أو Microsoft أو Meta؟
فالكون: نعم ، Meta هي الأكثر انفتاحًا – أنا لست متحيزًا ، لقد أتيت من هناك ، لكنهم ما زالوا الأكثر انفتاحًا. لا يزال لدى Google نماذج خاصة ولكنهم يكتبون دائمًا أوراقًا يمكنك تكرارها. الآن قد يكون الأمر صعبًا حقًا ، مثل طاهٍ أو مطعم مجنون يكتب وصفة حيث يمكن لأربعة أشخاص في العالم تكرار هذه الوصفة ، لكنها موجودة إذا كنت تريد المحاولة. جوجل تفعل ذلك دائما. كل هذه الشركات لديها. أعتقد أن المرة الأولى التي أرى فيها هذا غير ممكن ، بناءً على هذه الورقة.
VB: ما هي مخاطر هذا فيما يتعلق بالأخلاق أو الذكاء الاصطناعي المسؤول؟
فالكون: أولاً ، هناك عدد كبير من الشركات التي بدأت في الظهور ولم تخرج من المجتمع الأكاديمي. إنهم أنواع شركات ناشئة في Silicon Valley هم من يؤسسون شركات ، وهم لا يجلبون معهم قيم أبحاث الذكاء الاصطناعي الأخلاقية هذه. أعتقد أن شركة OpenAI تشكل سابقة سيئة بالنسبة لهم. إنهم يقولون بشكل أساسي ، إنه رائع ، فقط افعل شيئًا ، نحن لا نهتم. لذلك سيكون لديك كل هذه الشركات التي لن يتم تحفيزها بعد الآن لجعل الأشياء مفتوحة المصدر ، لإخبار الناس بما يفعلونه.
ثانيًا ، إذا حدث خطأ في هذا النموذج ، وسيفعل ذلك ، لقد رأيته بالفعل مع هلوسة وإعطائك معلومات خاطئة ، فكيف يفترض أن يكون رد فعل المجتمع؟ كيف يفترض بالباحثين الأخلاقيين أن يذهبوا ويقترحوا الحلول فعليًا ويقولون ، هذه الطريقة لا تعمل ، ربما تعديلها للقيام بهذا الشيء الآخر؟ يخسر المجتمع كل هذا ، لذا يمكن أن تصبح هذه النماذج شديدة الخطورة بسرعة كبيرة ، دون أن يراقبها الناس. ومن الصعب حقًا التدقيق. إنه يشبه نوعًا ما بنكًا لا ينتمي إلى FINRA ، مثل كيف يفترض أن تنظمه؟
VB: لماذا تعتقد أن OpenAI تفعل هذا؟ هل هناك أي طريقة أخرى يمكنهم من خلالها حماية GPT-4 من النسخ المتماثل وفتحه؟
فالكون: قد تكون هناك أسباب أخرى ، أنا أعرف سام نوعًا ما ، لكن لا يمكنني قراءة رأيه. أعتقد أنهم مهتمون أكثر بجعل المنتج يعمل. لديهم بالتأكيد مخاوف بشأن الأخلاق والتأكد من أن الأشياء لا تؤذي الناس. أعتقد أنهم فكروا في ذلك.
في هذه الحالة ، أعتقد أن الأمر يتعلق حقًا بعدم تكرار الأشخاص لأنه ، إذا لاحظت ، في كل مرة يطلقون فيها شيئًا جديدًا [it gets replicated]. لنبدأ بالانتشار المستقر. ظهر الانتشار المستقر منذ سنوات عديدة بواسطة شركة أوبن إيه آي. استغرق الأمر بضع سنوات للتكرار ، ولكن تم إجراؤه في مصدر مفتوح بواسطة Stability AI. ثم ظهر برنامج ChatGPT وعمره بضعة أشهر فقط ولدينا بالفعل إصدار جيد جدًا مفتوح المصدر. لذا فإن الوقت أصبح أقصر.
في نهاية اليوم ، سوف يتعلق الأمر بالبيانات التي لديك ، وليس النموذج أو التقنيات المحددة التي تستخدمها. لذا فإن الشيء الذي يمكنهم فعله هو حماية البيانات ، وهو ما يفعلونه بالفعل. إنهم لا يخبرونك حقًا بما يتدربون عليه. لذلك هذا نوع من الشيء الرئيسي الذي يمكن أن يفعله الناس. أعتقد فقط أن الشركات بشكل عام بحاجة إلى التوقف عن القلق كثيرًا بشأن كون النماذج نفسها مصدرًا مغلقًا والقلق أكثر بشأن البيانات والجودة هي الشيء الذي تدافع عنه.
مهمة VentureBeat هو أن تكون ساحة المدينة الرقمية لصناع القرار التقنيين لاكتساب المعرفة حول تكنولوجيا المؤسسات التحويلية والمعاملات. اكتشف إحاطاتنا.