يعمل خط المساعدة الخاص باضطراب الأكل على إيقاف روبوت المحادثة بعد أن سارت نصيحته بشكل خاطئ

روبوتات الدردشة التي تعمل بالذكاء الاصطناعي ليست جيدة كثيرًا في تقديم الدعم العاطفي – كما تعلم –ليس بشريو- لا يمكن ذكر ذلك بشكل كافٍ-ليس ذكيًا في الواقع. لم يمنع ذلك الجمعية الوطنية لاضطرابات الأكل من محاولة فرض روبوت محادثة على الأشخاص الذين يطلبون المساعدة في أوقات الأزمات. سارت الأمور كما يمكن أن تتوقع ، كما يدعي ناشط أنه بدلاً من المساعدة في التوتر العاطفي ، حاول برنامج الدردشة بدلاً من ذلك أن يفقد وزنه ويقيس نفسه باستمرار.

ندا أعلن في صفحتها على Instagram يوم الثلاثاء ، قامت بإزالة برنامج Tessa chatbot بعد أن “قد تكون قد قدمت معلومات ضارة وغير مرتبطة بالبرنامج”. قالت المنظمة غير الربحية التي تهدف إلى توفير الموارد والدعم للأشخاص الذين يعانون من اضطرابات الأكل إنها كانت كذلك يفتش الوضع. كان من المفترض أن تحل Tessa محل خط المساعدة الهاتفية طويل المدى في NEDA يعمل فيها عدد قليل من الموظفين بدوام كامل والعديد من المتطوعين. يزعم الموظفون السابقون أنهم طُردوا بشكل غير قانوني انتقاما من تحركهم إلى النقابة. من المفترض أن يذهب خط المساعدة بالكامل أطريق 1 يونيو.

في اختبارات Gizmodo الخاصة لروبوت الدردشة قبل إزالته ، وجدنا أنه فشل في الاستجابة للمطالبات البسيطة مثل “أنا أكره جسدي” أو “أريد أن أكون نحيفًا للغاية”. ومع ذلك ، فإن تيسا أكثر إشكالية ، كما أوضحت ناشطة إيجابية الجسم شارون ماكسويل. في منشور على Instagram ، شرح ماكسويل بالتفصيل كيف تحولت المحادثة مع الشات بوت سريعًا إلى أسوأ أنواع نصائح فقدان الوزن. وبحسب ما ورد حاولت الشات بوت أن تخبرها “بأمان وبشكل مستدام” أن تفقد رطلًا إلى رطلين أسبوعيًا ، ثم تقيس نفسها باستخدام الفرجار لتحديد تكوين الجسم. قالت ماكسويل إن الشات بوت فعل ذلك حتى بعد أن أخبرته أنها تعاني من اضطراب في الأكل.

قال ماكسويل لـ نقطة يومية حتى أن الروبوت حاول جعلها تتعقب كمية السعرات الحرارية التي تتناولها وتزن نفسها باستمرار. قالت إنها عانت سابقًا من اضطراب في الأكل ، وإذا تحدثت إلى تيسا ، “لا أعتقد أنني سأكون هنا اليوم”. عرضت The Daily Dot لقطة شاشة من نائب رئيس NEDA للاتصالات والتسويق سارة تشيس وهي تعلق على منشور ماكسويل الذي يتهمها بالترويج لـ “كذبة صريحة”. بعد أن شاركت ماكسويل لقطات شاشة لمحادثات تيسا ، اعتذرت تشيس لفترة وجيزة ثم حذفت تعليقاتها.

أخبرنا Chase سابقًا أن chatbot “لا يمكنه الخروج عن البرنامج النصي” ، وكان من المفترض فقط أن يرشد المستخدمين من خلال برنامج الوقاية من اضطرابات الأكل والارتباط بمصادر أخرى على موقع NEDA الإلكتروني.

قالت الرئيسة التنفيذية للمنظمة غير الربحية ليز طومسون لـ Gizmodo:

“فيما يتعلق بالتغذية الراجعة المتعلقة بفقدان الوزن والحد من السعرات الحرارية الصادرة في محادثة مؤخرًا ، فإننا نشعر بالقلق ونعمل مع فريق التكنولوجيا وفريق البحث لإجراء مزيد من التحقيق في هذا الأمر ؛ هذه اللغة تتعارض مع سياساتنا ومعتقداتنا الأساسية كمنظمة لاضطرابات الأكل. حتى الآن ، تفاعل أكثر من 2500 شخص مع تيسا وحتى تلك اللحظة ، لم نر هذا النوع من التعليق أو التفاعل. لقد قمنا بإيقاف البرنامج مؤقتًا حتى نتمكن من فهم وإصلاح “الخطأ” و “المشغلات” لهذا التعليق. “

أضاف طومسون أنه ليس من المفترض أن تكون تيسا بديلاً عن رعاية الصحة العقلية الشخصية وأنه يجب على الأشخاص الذين يعانون من الأزمات إرسال رسالة نصية إلى سطر نص الأزمة.

ورقة اعتبارًا من عام 2022 حول اضطرابات الأكل ، يصف chatbot حجم عينة دراسة من 2409 شخصًا استخدموا chatbot ED بعد مشاهدة الإعلانات على وسائل التواصل الاجتماعي. قال مؤلفو الدراسة إنهم راجعوا أكثر من 52000 تعليق من المستخدمين “لتحديد الردود غير الملائمة التي أثرت سلبًا على تجربة المستخدمين ومواطن الخلل الفنية”. لاحظ الباحثون أن أكبر مشكلة في برنامج chatbot كانت مدى محدودية استجابته لـ “استجابات المستخدمين غير المتوقعة”.

على الرغم من أن ماكسويل أشار في منشور متابعة ، لا يوجد لدى الغرباء طريقة لمعرفة عدد هؤلاء الأشخاص البالغ عددهم 2500 شخص الذين تلقوا تعليق chatbot الذي يحتمل أن يكون ضارًا.

جرب متخصصون آخرون برنامج الدردشة الآلي قبل إزالته. نشرت أخصائية علم النفس أليكسيس كوناسون لقطات شاشة من برنامج الدردشة على إنستغرام تظهر أن روبوت المحادثة قدم نفس لغة فقدان الوزن “الصحية والمستدامة” كما فعل لماكسويل. شارككتب nason أن ردود الشات بوت من شأنها أن “تزيد من اضطراب الأكل”.

الأمر الأكثر إرباكًا في الموقف هو كيف يبدو أن NEDA عازمة على الادعاء بأن Tessa ليست منظمة العفو الدولية ، ولكن هناك المزيد من الدردشة الآلية والاستجابة. تم إنشاؤه في الأصل في عام 2018 بفضل منح التمويل بدعم من باحثي الصحة السلوكية. تم تصميم النظام نفسه جزئيًا بواسطة Cass ، المعروفة سابقًا باسم X2AI ، وهو يعتمد على “chatbot للصحة العاطفية يسمى Tess”. أخبرنا Chase سابقًا “محادثة المحاكاة مدعومة ، لكنها تشغل برنامجًا ولا تتعلم كما هي.”

في النهاية ، تفسيرات NEDA لا معنى لها بالنظر إلى أن Tessa تقدم النصيحة بأن المطالبات غير الربحية تتعارض مع مُثُلها. أ ورق من 2019 يصف تيس بأنه ذكاء اصطناعي استنادًا إلى التعلم الآلي و “الخوارزميات العاطفية”.

علاوة على ذلك ، لا توجد معلومات قليلة أو معدومة حول كيفية تصميم روبوت المحادثة ، إذا كان يعتمد على أي بيانات تدريب مثل روبوتات الدردشة الحديثة مثل ChatGPT ، وما هي الأسوار الأمنية الموجودة لمنعه من الخروج عن النص. تواصلت Gizmodo مع Cass للتعليق على برنامج chatbot ، لكننا لم نتلق ردًا على الفور. تمت إزالة صفحة الشركة التي تصف Tessa ، على الرغم من أن الصفحة كانت نشطة مؤخرًا في 10 مايو ، وفقًا لـ آلة Wayback.