اللعبة المفضلة الجديدة على الإنترنت ، الدردشةينجز بعض الأشياء أفضل من غيرها. يمكن لروبوت الدردشة المدرب على التعلم الآلي من OpenAI تجميع الجمل والفقرات التي تتدفق بسلاسة حول أي موضوع تطالب به. لكن ذلك لا يمكن الاعتماد عليها قول الحقيقه. يمكن أن يكون بمثابة بديل معقول لمستشار الصحة العقلية المستند إلى النص. لكن لا تستطيع الكتابة مقال Gizmodo مقبول.
على الرغم من ذلك ، في قائمة الأشياء التي يمكن أن يقوم بها منشئ نصوص الذكاء الاصطناعي ، يبدو أنه يخدع المراجعين العلميين – على الأقل في بعض الأوقات ، وفقًا لـ دراسة ما قبل الطباعة صدر الثلاثاء من جامعة نورث وسترن وجامعة شيكاغو الباحثين. تعتمد العلوم الأكاديمية المنشورة على عملية إرسال المقالات ومراجعتها من قبل خبراء بشريين في المجالات ذات الصلة. يحذر مؤلفو الدراسة الجدد من أنه إذا كان بإمكان الذكاء الاصطناعي خداع هؤلاء المراجعين بشكل روتيني ، فقد يؤدي ذلك إلى تأجيج أزمة النزاهة العلمية.
في ما قبل الطباعة ، بدأ الباحثون باختيار 50 مقالة طبية حقيقية منشورة. لقد أخذوا العنوان من كلٍ منهم وأرسلوه إلى ChatGPT مع المطالبة ، “الرجاء كتابة ملخص علمي للمقال ChatGPT Writes Well Enough to Fool Scientific Reviewers في أسلوب [journal] في https://gizmodo.com/chatgpt-writes-well-enough-to-fool-scientific-reviewers-1849970458. ” بعد ذلك ، قاموا بتجميع الملخصات الحقيقية والمزيفة معًا لإجمالي 100 عينة. قام الباحثون بشكل عشوائي بتعيين أربعة متخصصين طبيين 25 ملخصًا لمراجعتها ، مما يضمن عدم إعطاء أي من الباحثين عينات ذات عناوين مكررة. وقال باحثو الدراسة للموضوعات إن بعض الملخصات ثكانت مزيفة وبعضها حقيقي – وإلا ، فقد كان المراجعون أعمى عن إعداد الدراسة.
68٪ من الوقت ، حدد المراجعون بشكل صحيح متى كان الملخص نتاج ChatGPT. لكن في الـ 32٪ المتبقية من الحالات ، تم خداع الأشخاص. وذلك على الرغم من أن 8٪ فقط من الملخصات المزيفة تفي بمتطلبات التنسيق والأسلوب المحددة للمجلة المدرجة. بالإضافة إلى ذلك ، حدد المراجعون بشكل خاطئ 14٪ من ملخصات المقالات الحقيقية على أنها تم إنشاؤها بواسطة الذكاء الاصطناعي.
كتب الباحثون في الدراسة في ما قبل الطباعة: “أشار المراجعون إلى أنه كان من الصعب بشكل مفاجئ التمييز بين الاثنين”. أثناء قيامهم بفرز الملخصات ، لاحظ المراجعون أنهم اعتقدوا أن العينات التي تم إنشاؤها كانت أكثر غموضًا وأكثر تعقيدًا. ولكن مرة أخرى ، أدى تطبيق هذا الافتراض إلى معدل دقة كئيب للغاية – معدل من شأنه أن يؤدي إلى درجة رسوب في معظم فصول العلوم.
قالت الباحثة الرئيسية ، كاثرين جاو ، أخصائية أمراض الرئة في كلية الطب في نورث وسترن ، في بيان صحفي للجامعة. هذا ليس شخصًا يقرأ ملخصًا في البرية. حقيقة أن المراجعين لا يزالون يفوتون المراجعين الذين تم إنشاؤها بواسطة الذكاء الاصطناعي بنسبة 32٪ من الوقت ، مما يعني أن هذه الملخصات جيدة حقًا. أظن أنه إذا صادف شخص ما إحدى هذه الملخصات التي تم إنشاؤها ، فلن يتمكن بالضرورة من تحديدها على أنها مكتوبة بواسطة الذكاء الاصطناعي “.
بالإضافة إلى تشغيل الملخصات من قبل المراجعين البشريين ، قام مؤلفو الدراسة أيضًا بتغذية جميع العينات ، الحقيقية والمزيفة ، من خلال كاشف مخرجات الذكاء الاصطناعي. نجح الكاشف الآلي في تعيين درجات أعلى بكثير بشكل روتيني (مما يشير إلى احتمالية أعلى لتوليد الذكاء الاصطناعي).) إلى ملخصات ChatGPT أكثر من الملخصات الحقيقية. سجل كاشف الذكاء الاصطناعي بحق جميع الملخصات الأصلية باستثناء اثنين من الملخصات بنسبة تقارب 0٪ مزيفة. ومع ذلك ، في 34٪ من الحالات التي تم إنشاؤها بواسطة الذكاء الاصطناعي ، أعطت العينات المزيفة درجة أقل من 50 من 100 – مما يشير إلى أنها لا تزال تكافح لتصنيف الملخصات المزيفة بدقة.
كان جزء مما جعل ملخصات ChatGPT مقنعة للغاية هو قدرة الذكاء الاصطناعي على تكرار المقياس ، كما أشارت الطباعة المسبقة. يتوقف البحث الطبي على حجم العينة وأنواع مختلفة من الدراسات تستخدم أعدادًا مختلفة جدًا من الموضوعات. كتب مؤلفو الدراسة أن الملخصات التي تم إنشاؤها استخدمت أحجامًا متشابهة (ولكن ليست متطابقة) من مجموعات المرضى مثل النسخ الأصلية المقابلة. وقال البيان الصحفي: “بالنسبة لدراسة عن ارتفاع ضغط الدم ، وهو أمر شائع ، تضمنت ChatGPT عشرات الآلاف من المرضى في المجموعة ، في حين أن دراسة عن جدري القرود كان لديها عدد أقل بكثير من المشاركين”.
الدراسة الجديدة لها حدودها. أولاً ، حجم العينة و كان عدد المراجعين صغيرًا. لقد اختبروا فقط كاشف إخراج AI واحد. ولم يضبط الباحثون دوافعهم لمحاولة توليد عمل أكثر إقناعًا كما ذهبوا—يمكن أن تكون الملخصات الناتجة عن ChatGPT أكثر إقناعًا مع التدريب الإضافي والموجهات الأكثر استهدافًا. وهو احتمال مقلق في حقل محاصر عن طريق سوء السلوك.
بالفعل ، ما يسمى ب “مصانع الورق”. هي قضية في النشر الأكاديمي. تنتج هذه المنظمات الربحية مقالات صحفية بشكل جماعي – غالبًا ما تحتوي على بيانات مسروقة أو مزيفة أو غير صحيحة – وتبيع حقوق التأليف لمن يدفع أعلى سعر حتى يتمكن المشترون من ملء سيرهم الذاتية بأوراق بحثية مزورة. قد تؤدي القدرة على استخدام الذكاء الاصطناعي لإنشاء عمليات إرسال المقالات إلى جعل الصناعة الاحتيالية أكثر ربحًا وإنتاجًا. وأضاف جاو في البيان الإخباري: “إذا حاول أشخاص آخرون بناء علمهم على هذه الدراسات غير الصحيحة ، فقد يكون ذلك خطيرًا حقًا”.
لتجنب المستقبل المحتمل حيث تغمر التخصصات العلمية بالمنشورات المزيفة ، توصي جاو وزملاؤها بأن تدير المجلات والمؤتمرات جميع التقديمات من خلال اكتشاف مخرجات الذكاء الاصطناعي.
لكنها ليست كلها أخبار سيئة. من خلال خداع المراجعين البشريين ، أثبت موقع ChatGPT بوضوح أنه يستطيع الكتابة بمهارة بأسلوب العلماء الأكاديميين. لذلك ، من الممكن أن يستخدم الباحثون التكنولوجيا لتحسين قابلية قراءة أعمالهم – أو كوسيلة مساعدة في الكتابة لتعزيز المساواة والوصول للباحثين الذين ينشرون خارج لغتهم الأم.
قال ألكسندر بيرسون ، كبير مؤلفي الدراسة وعالم البيانات في جامعة شيكاغو: “تتمتع تقنية النص التوليدي بإمكانيات كبيرة لإضفاء الطابع الديمقراطي على العلم ، على سبيل المثال تسهيل مشاركة العلماء غير الناطقين باللغة الإنجليزية لعملهم مع المجتمع الأوسع”. . ، في البيان الصحفي. “في الوقت نفسه ، من الضروري أن نفكر جيدًا في أفضل ممارسات الاستخدام.”
