تعتقد أداة الكشف ChatGPT أن Macbeth تم إنشاؤه بواسطة AI. ماذا يحدث الان؟

أصدر ChatGPT أداة تصنيف جديدة أمس لاكتشاف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي والذي ثبت أنه غير كامل في أحسن الأحوال في غضون ساعات قليلة. اتضح أنه عندما يتعلق الأمر باكتشاف الذكاء الاصطناعي التوليدي – سواء كان نصًا أو صورًا – فقد لا يكون هناك حل سريع.

بدأ سيباستيان راشكا ، الباحث في الذكاء الاصطناعي وتعلم الآلة والذي يعمل كمعلم رئيسي للذكاء الاصطناعي في Lightning AI ، باختبار OpenAI Text Classifier على ChatGPT باستخدام مقتطفات نصية من كتاب نشره في عام 2015. تلقت ثلاثة مقاطع مختلفة نتائج متنوعة – ذكرت الأداة ذلك لم يكن من الواضح ما إذا كانت مقدمة الكتاب كتبها منظمة العفو الدولية ؛ لكن المقدمة كانت “ربما AI” وفقرة من الفصل الأول كانت “محتمل” AI.

كان الأمر الأكثر إثارة للقلق هو كيفية تصنيف الأداة للصفحة الأولى من مسرحية ماكبث لشكسبير:

“يعتبر المصنف أن النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي.”

عندما سئل راشكا عما إذا كان قد فوجئ بالنتائج ، قال “نعم ولا – إنهم لا يشاركون الورقة ، لذلك لا يمكنني قول كيفية عملها بنسبة 100٪ ، ولكن استنادًا إلى الوصف المختصر الموجود لديهم على موقع الويب ، يبدو الأمر كما يلي إنهم يدربون المصنف على التنبؤ بما إذا كان الشيء من صنع الإنسان أو من إنشاء الذكاء الاصطناعي. ” وأوضح أن المشكلة تكمن في وجود سلبيات كاذبة وإيجابيات كاذبة بناءً على مجموعة البيانات التي تم تدريب الأداة عليها.

مع ماكبث ، على سبيل المثال ، قال راشكا إنه يعتقد أن الأداة لم يتم تدريبها على اللغة الإنجليزية القديمة. “اللغة الإنجليزية ليست عادية ، إنها تشبه اللغة الأجنبية تقريبًا.”

يعترف OpenAI بالمصنف ، وهو نموذج GPT تم ضبطه بدقة من خلال التعلم الخاضع للإشراف لإجراء تصنيف ثنائي ، مع مجموعة بيانات تدريبية تتكون من مقاطع نصية مكتوبة بشريًا ومكتوبة بالذكاء الاصطناعي ، تبلغ دقتها حوالي 26٪ فقط.

ومع ذلك ، يقول إن الأداة يمكن أن تظل مفيدة جنبًا إلى جنب مع الطرق الأخرى. في رسالة بريد إلكتروني ، قالت الشركة إن “المصنف يهدف إلى المساعدة في التخفيف من الادعاءات الكاذبة بأن النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي قد كتبه إنسان. ومع ذلك ، لا يزال هناك عدد من القيود – لذا يجب استخدامه كمكمل للطرق الأخرى لتحديد مصدر النص بدلاً من أن يكون أداة اتخاذ القرار الأساسية “.

أضافت الشركة على موقعها الإلكتروني أنها تجعل المصنف متاحًا للجمهور “للحصول على تعليقات حول ما إذا كانت الأدوات غير الكاملة مثل هذه الأداة مفيدة” ، مضيفة أنها ستواصل العمل على اكتشاف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي و “نأمل في مشاركة الأساليب المحسّنة في مستقبل.”

إن شركة OpenAI ليست وحدها في محاولة التعامل مع الغرب المتوحش لاكتشاف الذكاء الاصطناعي التوليدي. هناك زيادة كبيرة في الأدوات الأخرى التي تواجه التحدي.

يوفر GPTZero ، على سبيل المثال ، درجة يجب أن يفسرها المستخدم بعد ذلك. في إحدى المدونات ، أوضح راشكا: “لا توصي GPTZero بما إذا كان النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي أم لا. بدلاً من ذلك ، فإنها ترجع فقط درجة الحيرة للمقارنة النسبية بين النصوص. هذا أمر رائع لأنه يجبر المستخدمين على مقارنة النصوص المتشابهة بشكل نقدي بدلاً من الثقة الأعمى في التسمية المتوقعة “.

وأوضح راشكا أن DetectGPT “تربك” النص: أي أنه إذا كان احتمال النص الجديد أقل بشكل ملحوظ من النص الأصلي ، فإنه من إنشاء الذكاء الاصطناعي. خلاف ذلك ، إذا كانت متطابقة تقريبًا ، فهي من صنع الإنسان. وأضاف أن المشكلة هي أن الطريقة تتضمن استخدام نموذج LLM معين ، والذي “قد لا يكون ممثلاً لنموذج الذكاء الاصطناعي لتوليد النص المعني”.

وأضاف أن وضع العلامات المائية هو نهج آخر – فكرة تقليل احتمالات كلمات معينة بحيث تقل احتمالية استخدامها من قبل LLM ، باستخدام “قائمة تجنب”. ومع ذلك ، أوضح Raschka ، أن هذا يتطلب LLM تم تعديله باستخدام قائمة التجنب هذه. وقال إنه إذا كانت قائمة التجنب معروفة ، فيمكن تعديل النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي.

ماذا يعني هذا بالنسبة للاكتشاف التوليدي للذكاء الاصطناعي؟

قال راشكا إنه من غير الواضح كيف سيتم تنفيذ كل ذلك وما إذا كانت أدوات اكتشاف الذكاء الاصطناعي التوليدية ستحقق أي تقدم في التغلب على التحدي المتمثل في التمييز بين المحتوى الذي أنشأه الإنسان والنص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي. هل سيصبح الإنترنت نفسه غير قابل للاستخدام ، وسيغمره المحتوى الذي تم إنشاؤه والذي يستحيل الوثوق به؟

قال “ما يعنيه ذلك بالنسبة لي ، أو كيف أفكر في كيفية المضي قدمًا ، هو أن الإنترنت كان المكان الذي بحثت فيه عن المحتوى وكنت تثق في الغالب بما وجدته”. في المستقبل ، سيكون الأمر أكثر حول كونك انتقائيًا والعثور على مواقع ويب موثوقة.

مهما كان ما يخبئه المستقبل ، فإن Pandora’s Box مفتوح بالفعل عندما يتعلق الأمر بالذكاء الاصطناعي التوليدي ، كما أكد – مضيفًا أنه يجد حاليًا ChatGPT مفيدًا باعتباره “مدققًا نحويًا رائعًا” لتسهيل الكتابة.

قال: “لا أعتقد أنه يمكننا العودة إلى الوراء”. “سيستخدم الجميع هذه الأنظمة وأعتقد أنه لا بأس إذا استخدمناها بشكل مسؤول – لا أعتقد أنه سيكون هناك بعيدًا عن تجنب استخدام هذه النماذج.”

في الوقت الحالي ، تعتبر أدوات الكشف عن الذكاء الاصطناعي التوليدية “بالتأكيد ليست جيدة بما يكفي” لاستخدامها في القرارات المهمة ، كما قال ، والتي تشمل الجهود المبذولة لاستخدامها في تصنيف أوراق الطلاب – ردًا على مخاوف بشأن الغش والسرقة الأدبية.

“يمكن أن تتسبب مثل هذه النماذج في حدوث ضرر في العالم الواقعي بسبب اعتماد المعلمين لهذا في التصنيف” ، قال راشكا غرد في الامس. لذلك دعونا نضيف بعض الشفافية حول الإيجابيات الكاذبة والسلبيات الكاذبة.