يقول الباحثون إن ChatGPT يمكن أن تصبح سامة بمجرد تغيير الشخصية المعينة لها

وفقًا لبحث جديد من معهد Allen للذكاء الاصطناعي ، يمكن ضبط ChatGPT عن غير قصد أو بشكل ضار ليصبح سامًا فقط عن طريق تغيير الشخصية المخصصة له في إعدادات نظام النموذج.

الدراسة – التي يقول الباحثون إنها أول تحليل سمية واسع النطاق لـ ChatGPT – وجدت أن نموذج اللغة الكبيرة (LLM) يحمل سمية متأصلة تصل إلى 6x عند تعيين مجموعة متنوعة من الأشخاص (مثل الشخصيات التاريخية ، مهنة ، إلخ). تم فحص ما يقرب من 100 شخص من خلفيات متنوعة عبر أكثر من نصف مليون جيل من مخرجات ChatGPT – بما في ذلك الصحفيين والسياسيين والرياضيين ورجال الأعمال ، بالإضافة إلى مختلف الأعراق والأجناس والتوجهات الجنسية.

يمكن أن يؤدي تعيين الأشخاص إلى تغيير إخراج ChatGPT

يمكن لإعدادات النظام هذه لتعيين الأشخاص تغيير إخراج ChatGPT بشكل ملحوظ. قال تانماي راجبوروهيت ، أحد مؤلفي الدراسة ، لـ VentureBeat في مقابلة: “يمكن في الواقع أن تكون الردود مختلفة تمامًا ، على طول الطريق من أسلوب الكتابة إلى المحتوى نفسه”. ويمكن الوصول إلى الإعدادات من قبل أي شخص يقوم بالبناء على ChatGPT باستخدام واجهة برمجة تطبيقات OpenAI ، لذلك قد يكون تأثير هذه السمية واسع النطاق. على سبيل المثال ، يمكن أن تُظهر روبوتات الدردشة والمكونات الإضافية المبنية على ChatGPT من شركات مثل Snap و Instacart و Shopify سمية.

البحث مهم أيضًا لأنه بينما افترض الكثيرون أن تحيز ChatGPT موجود في بيانات التدريب ، أظهر الباحثون أن النموذج يمكنه تطوير “رأي” حول الأشخاص أنفسهم ، بينما تثير الموضوعات المختلفة أيضًا مستويات مختلفة من السمية.

وأكدوا أن تعيين الأشخاص في إعدادات النظام غالبًا ما يكون جزءًا أساسيًا من بناء روبوت محادثة. قال راجبوروهيت: “إن القدرة على تعيين شخصية أمر ضروري للغاية” ، لأن صانع روبوت الدردشة يحاول غالبًا جذب الجمهور المستهدف من المستخدمين الذين سيستخدمونه ويتوقعون سلوكًا وقدرات مفيدة من النموذج.

هناك أسباب أخرى حميدة أو إيجابية لاستخدام معلمات إعدادات النظام ، مثل تقييد سلوك النموذج – لإخبار النموذج بعدم استخدام محتوى صريح ، على سبيل المثال ، أو للتأكد من أنه لا يقول أي شيء له رأي سياسي.

تجعل إعدادات النظام أيضًا نماذج LLM عرضة للخطر

لكن نفس الخاصية التي تجعل الذكاء الاصطناعي التوليدي يعمل بالإضافة إلى عامل الحوار يجعل النماذج أيضًا عرضة للخطر. قال أميت ديشباندي ، أحد مؤلفي الدراسة الآخرين ، إذا كان فاعلًا خبيثًا ، فإن الدراسة تظهر أن “الأشياء يمكن أن تصبح سيئة حقًا ، وبسرعة حقًا” من حيث الناتج السام. “يمكن للمستخدم الضار تعديل معلمة النظام لتغيير ChatGPT تمامًا إلى نظام يمكن أن ينتج عنه مخرجات ضارة بشكل متسق.” بالإضافة إلى ذلك ، قال ، حتى الشخص المطمئن الذي يعدل معلمة النظام ، قد يقوم بتعديله إلى شيء يغير سلوك ChatGPT ويجعله متحيزًا وربما ضارًا.

وجدت الدراسة أن السمية في ناتج ChatGPT تختلف اختلافًا كبيرًا اعتمادًا على الشخص المعين. يبدو أن فهم ChatGPT الخاص للأفراد من بيانات التدريب الخاصة به يؤثر بشدة على مدى سمية السلوك المعين للشخصية – والتي يقول الباحثون إنها يمكن أن تكون قطعة أثرية للبيانات الأساسية وإجراءات التدريب. على سبيل المثال ، وجدت الدراسة أن الصحفيين هم ضعف سموم رجال الأعمال.

قال أشوين كاليان ، أحد مؤلفي الدراسة الآخرين: “إحدى النقاط التي نحاول أن نعيدها إلى المنزل هي أنه نظرًا لأن ChatGPT نموذج لغوي قوي جدًا ، يمكنه في الواقع محاكاة سلوكيات شخصيات مختلفة”. لذا فهو ليس مجرد تحيز للنموذج بأكمله ، إنه أعمق بكثير من ذلك ، إنه تحيز لكيفية تفسير النموذج للأشخاص المختلفين والكيانات المختلفة أيضًا. لذا فهي قضية أعمق مما رأيناه من قبل “.

وبينما درس البحث فقط ChatGPT (وليس GPT-4) ، يمكن تطبيق منهجية التحليل على أي نموذج لغوي كبير. قال كاليان: “لن يكون مفاجئًا حقًا إذا كان لدى النماذج الأخرى تحيزات مماثلة”.