يقول الباحثون إنه مع GPT-4 ، تظل مخاطر “Stochastic Parrots” قائمة. لا عجب أن الرئيس التنفيذي لشركة OpenAI “خائف قليلاً” | فوز الذكاء الاصطناعي

لقد كان أسبوعًا ملحميًا آخر في مجال الذكاء الاصطناعي التوليدي: يوم الاثنين الماضي ، كانت هناك قائمة تشبه قائمة الغسيل من Google ، بما في ذلك PaLM API والتكاملات الجديدة في Google Workspace. جاء يوم الثلاثاء بالإصدار المفاجئ لطراز GPT-4 من OpenAI ، بالإضافة إلى Anthropic’s Claude. أعلنت مايكروسوفت يوم الخميس عن كوبيلوت 365 الذي قالت الشركة إنه سيغير العمل كما نعرفه.

كان هذا كله قبل التعليقات التي أدلى بها الرئيس التنفيذي لشركة OpenAI Sam Altman خلال عطلة نهاية الأسبوع والتي اعترفت ، بعد أيام قليلة فقط من إطلاق GPT-4 ، بأن الشركة ، في الواقع ، “خائفة قليلاً” من كل ذلك.

>> تابع تغطية الذكاء الاصطناعي التوليدية المستمرة من VentureBeat <

بحلول الوقت الذي جاء فيه يوم الجمعة ، كنت أكثر من مستعد لجرعة من الواقع المدروس وسط ضجيج الذكاء الاصطناعي.

نظرة إلى الوراء على الأبحاث التي أنذرت بالمناقشات الحالية حول الذكاء الاصطناعي

حصلت عليه من مؤلفي ورقة بحثية عن الذكاء الاصطناعي في مارس 2021 ، “حول مخاطر الببغاوات العشوائية: هل يمكن أن تكون نماذج اللغة كبيرة جدًا؟”

بعد عامين من نشرها – مما أدى إلى طرد اثنين من مؤلفيها ، الباحثان الأخلاقيان في Google Timnit Gebru و Margaret Mitchell – قرر الباحثون أن الوقت قد حان لإلقاء نظرة على ورقة متفجرة يبدو الآن أنها تنذر بالمناقشات الحالية حول المخاطر. من LLMs مثل GPT-4.

وفقًا للورقة البحثية ، فإن نموذج اللغة هو “نظام للربط العشوائي لتسلسلات الأشكال اللغوية التي لاحظها في بيانات التدريب الواسعة ، وفقًا للمعلومات الاحتمالية حول كيفية دمجها ، ولكن دون أي إشارة إلى المعنى: ببغاء عشوائي.”

في ملخص الورقة البحثية ، قال المؤلفون إنهم يعالجون المخاطر المحتملة المرتبطة بنماذج اللغة الكبيرة والمسارات المتاحة للتخفيف من هذه المخاطر:

“نقدم توصيات بما في ذلك تقييم التكاليف البيئية والمالية أولاً ، واستثمار الموارد في تنظيم مجموعات البيانات وتوثيقها بعناية بدلاً من استيعاب كل شيء على الويب ، وتنفيذ تمارين ما قبل التطوير لتقييم مدى ملاءمة النهج المخطط لأهداف البحث والتطوير ودعم قيم أصحاب المصلحة ، وتشجيع اتجاهات البحث إلى ما وراء النماذج اللغوية الأكبر حجمًا “.

من بين الانتقادات الأخرى ، جادلت الورقة بأن الكثير من النص الملغَم لبناء GPT-3 – والذي تم إصداره في البداية في يونيو 2020 – يأتي من المنتديات التي لا تتضمن أصوات النساء وكبار السن والمجموعات المهمشة ، مما يؤدي إلى تحيزات حتمية تؤثر على قرارات الأنظمة المبنية فوقها.

سريعًا إلى الأمام حتى الآن: لم تكن هناك ورقة بحث مرفقة بإطلاق GPT-4 تشارك تفاصيل حول بنيته (بما في ذلك حجم النموذج) أو الأجهزة أو حساب التدريب أو إنشاء مجموعة البيانات أو طريقة التدريب. لكن في مقابلة مع ABC News في عطلة نهاية الأسبوع ، أقر ألتمان بمخاطره:

قال ألتمان: “أكثر ما أحاول تحذيره للناس هو ما نسميه” مشكلة الهلوسة “. “النموذج سيوضح الأشياء بثقة كما لو كانت حقائق مكونة بالكامل.”

يقول المؤلفون إن “مخاطر الببغاوات العشوائية” أصبحت أكثر صلة من أي وقت مضى

Gebru و Mitchell ، جنبًا إلى جنب مع المؤلفين المشاركين Emily Bender ، أستاذة اللسانيات في جامعة واشنطن ، و Angelina McMillan-Major ، دكتوراه في اللغويات الحاسوبية. طالب في جامعة واشنطن ، سلسلة من المناقشات الافتراضية يوم الجمعة للاحتفال بالورقة الأصلية ، بعنوان “Stochastic Parrots Day”.

قال بندر: “أرى كل هذا الجهد يذهب إلى نماذج لغوية أكبر من أي وقت مضى ، مع كل المخاطر الموضحة في الورقة ، نوعًا ما تجاهل تلك المخاطر والقول ، لكن انظر ، نحن نبني شيئًا يفهم حقًا” . .

في الوقت الذي كتب فيه الباحثون كتابًا بعنوان “حول مخاطر الببغاوات العشوائية” ، قالت ميتشل إنها أدركت أن التعلم العميق كان في مرحلة كانت فيها نماذج اللغة على وشك الانطلاق ، ولكن لم يكن هناك أي ضرر أو مخاطر للاستشهادات.

“كنت مثل ، يتعين علينا القيام بذلك الآن وإلا فلن يكون هناك اقتباس ، وإلا فإن المناقشة ستذهب في اتجاه مختلف تمامًا لا يعالج أو حتى يعترف ببعض الأضرار والمخاطر الواضحة جدًا التي على سبيل المثال ، أعرف من خلال رسالتي البحثية التي كانت تتعلق بالجانب المعرفي والنفسي لإدراك اللغة.

دروس لـ GPT-4 وما بعده من “حول مخاطر الببغاوات العشوائية”

قال الباحثون إن هناك الكثير من الدروس من “حول مخاطر الببغاوات العشوائية” التي يجب على مجتمع الذكاء الاصطناعي وضعها في الاعتبار اليوم. قال ميتشل: “اتضح أننا ضربنا الكثير من الأشياء التي تحدث الآن”.

قال جيبرو إن أحد تلك الدروس التي لم يتوقعوها قادمًا ، كانت قضايا استغلال العمال وتعديل المحتوى المتضمنة في تدريب ChatGPT و LLMs الأخرى التي تم نشرها على نطاق واسع خلال العام الماضي.

قالت “هذا شيء لم أره على الإطلاق”. “لم أفكر في ذلك في ذلك الوقت لأنني لم أشاهد انفجارًا في المعلومات والذي من شأنه أن يستلزم بعد ذلك الكثير من الناس لتخفيف النص السام الرهيب الذي ينتجه الناس.”

أضافت ماكميلان ميجور أنها تفكر في مقدار ما يحتاج الشخص العادي الآن إلى معرفته عن هذه التكنولوجيا ، لأنها أصبحت منتشرة في كل مكان.

وقالت: “في الورقة ، ذكرنا شيئًا عن نصوص العلامات المائية ، بحيث يمكننا بطريقة ما توضيحها”. “لا يزال هذا أمرًا نحتاج إلى العمل عليه – جعل هذه الأشياء أكثر إدراكًا للفرد العادي.”

أشارت بندر إلى أنها أرادت أيضًا أن يكون الجمهور أكثر وعيًا بأهمية شفافية بيانات المصدر في LLMs ، خاصة عندما قالت OpenAI “إنها مسألة تتعلق بالسلامة ألا تخبر الناس عن ماهية هذه البيانات.”

في ورقة Stochastic Parrots ، تذكرت ، أكد المؤلفون أنه قد يُفترض خطأً أنه “نظرًا لأن مجموعة البيانات كبيرة ، فهي بالتالي تمثيلية ونوعًا من الحقيقة الأساسية حول العالم”.