يمكن أن تساعدنا نماذج التأسيس في تحقيق “السرية التامة”

يعد المساعدون الرقميون في المستقبل بجعل الحياة اليومية أسهل. سنكون قادرين على مطالبتهم بأداء مهام مثل حجز أماكن إقامة سفر للعمل خارج المدينة بناءً على محتويات رسالة بريد إلكتروني ، أو الإجابة على الأسئلة المفتوحة التي تتطلب مزيجًا من السياق الشخصي والمعرفة العامة. (على سبيل المثال: “هل ضغط دمي في النطاق الطبيعي لشخص في عمري؟”)

ولكن قبل أن نتمكن من الوصول إلى مستويات جديدة من الكفاءة في العمل والمنزل ، يجب الإجابة على سؤال واحد كبير: كيف يمكننا تزويد المستخدمين بضمانات خصوصية قوية وشفافة على المعلومات الشخصية الأساسية التي تستخدمها نماذج التعلم الآلي للوصول إلى . هذه الإجابات؟

إذا كنا نتوقع من المساعدين الرقميين تسهيل المهام الشخصية التي تتضمن مزيجًا من البيانات العامة والخاصة ، فسنحتاج إلى التكنولوجيا لتوفير “السرية التامة” ، أو أعلى مستوى ممكن من الخصوصية ، في مواقف معينة. حتى الآن ، تجاهلت الطرق السابقة سؤال الخصوصية أو قدمت ضمانات خصوصية أضعف.

دكتوراه علوم الكمبيوتر في جامعة ستانفورد للسنة الثالثة. تدرس الطالبة Simran Arora تقاطع ML والخصوصية مع الأستاذ المساعد كريستوفر ري كمستشار لها. في الآونة الأخيرة ، شرعوا في التحقيق فيما إذا كانت نماذج الأساس الناشئة – نماذج ML الكبيرة المدربة على كميات هائلة من البيانات العامة – تحمل الإجابة على سؤال الخصوصية الملح هذا. تم إصدار الورقة الناتجة في مايو 2022 على خدمة ما قبل الطباعة ArXiv ، مع إطار مقترح وإثبات لمفهوم استخدام ML في سياق المهام الشخصية.

تعريف السرية التامة

وفقًا لأرورا ، فإن ضمان السرية التام يلبي شرطين. أولاً ، عندما يتفاعل المستخدمون مع النظام ، لا تزداد احتمالية تعلم الخصوم للمعلومات الخاصة. ثانيًا ، مع اكتمال المهام الشخصية المتعددة باستخدام نفس البيانات الخاصة ، لا يزداد احتمال مشاركة البيانات عن طريق الخطأ.

مع وضع هذا التعريف في الاعتبار ، حددت ثلاثة معايير لتقييم نظام الخصوصية مقابل هدف السرية التامة:

1. الخصوصية: إلى أي مدى يمنع النظام تسرب البيانات الخاصة؟
2. الجودة: كيف يؤدي النموذج مهمة معينة عندما يتم ضمان السرية التامة؟
3. الجدوى: هل النهج واقعي من حيث الوقت والتكاليف المتكبدة لتشغيل النموذج؟

اليوم ، تستخدم أحدث أنظمة الخصوصية نهجًا يسمى التعلم الفيدرالي ، والذي يسهل تدريب النموذج الجماعي عبر أطراف متعددة مع منع تبادل البيانات الخام. في هذه الطريقة ، يتم إرسال النموذج إلى كل مستخدم ثم إعادته إلى خادم مركزي مع تحديثات هذا المستخدم. لا يتم الكشف عن بيانات المصدر أبدًا للمشاركين ، من الناحية النظرية. لكن لسوء الحظ ، وجد باحثون آخرون أنه من الممكن استعادة البيانات من نموذج مكشوف.

تسمى التكنولوجيا الشائعة المستخدمة لتحسين ضمان الخصوصية للتعلم الفيدرالي الخصوصية التفاضلية ، وهي نهج إحصائي لحماية المعلومات الخاصة. تتطلب هذه التقنية من المنفذ تعيين معلمات الخصوصية ، التي تحكم المفاضلة بين أداء النموذج وخصوصية المعلومات. من الصعب على الممارسين وضع هذه المعايير في الممارسة العملية ، ولا يتم توحيد المقايضة بين الخصوصية والجودة بموجب القانون. على الرغم من أن فرص حدوث خرق قد تكون منخفضة للغاية ، إلا أن السرية التامة غير مضمونة من خلال نهج التعلم الفيدرالي.

أوضح أرورا: “في الوقت الحالي ، اعتمدت الصناعة التركيز على التفكير الإحصائي”. بمعنى آخر ، ما مدى احتمالية اكتشاف شخص ما لمعلوماتي الشخصية؟ يتطلب نهج الخصوصية التفاضلي المستخدم في التعلم الفيدرالي من المؤسسات إجراء مكالمات حكم بين المنفعة والخصوصية. هذا ليس مثاليًا “.

نهج جديد مع نماذج الأساس

عندما رأت أرورا مدى جودة أداء النماذج الأساسية مثل GPT-3 لمهام جديدة من أوامر بسيطة ، غالبًا دون الحاجة إلى أي تدريب إضافي ، تساءلت عما إذا كان يمكن تطبيق هذه الإمكانات على المهام الشخصية مع توفير خصوصية أقوى من الوضع الراهن.

قالت: “باستخدام هذه النماذج اللغوية الكبيرة ، يمكنك أن تقول” أخبرني عن رأي هذه المراجعة “بلغة طبيعية ويخرج النموذج الإجابة – إيجابية ، أو سلبية ، أو محايدة”. “يمكننا بعد ذلك استخدام نفس النموذج الدقيق دون أي ترقيات لطرح سؤال جديد بسياق شخصي ، مثل” أخبرني بموضوع هذا البريد الإلكتروني. “”

بدأ أرورا وري في استكشاف إمكانية استخدام نماذج الأساس العامة الجاهزة في صومعة مستخدم خاص لأداء المهام الشخصية. لقد طوروا إطارًا بسيطًا يسمى ضوابط النموذج الأساسي لسرية المستخدم (FOCUS) ، والتي تقترح استخدام بنية تدفق بيانات أحادية الاتجاه لإنجاز المهام الشخصية مع الحفاظ على الخصوصية.

يعد الجانب أحادي الاتجاه من إطار العمل أمرًا أساسيًا لأنه يعني في سيناريو له نطاقات خصوصية مختلفة (أي مزيج من البيانات العامة والخاصة) ، يتم الاستعلام عن مجموعة بيانات نموذج المؤسسة العامة قبل مجموعة البيانات الخاصة بالمستخدم ، وبالتالي منع التسرب مرة أخرى في الساحة العامة.

اختبار النظرية

قام أرورا وري بتقييم إطار عمل FOCUS مقابل معايير الخصوصية والجودة والجدوى. كانت النتائج مشجعة لإثبات المفهوم. لا يوفر FOCUS فقط خصوصية البيانات الشخصية ، ولكنه يذهب إلى أبعد من ذلك لإخفاء المهمة الفعلية التي طُلب من النموذج القيام بها وكذلك كيفية إكمال المهمة. أفضل ما في الأمر هو أن هذا النهج لا يتطلب من المؤسسات تعيين معلمات الخصوصية التي تقوم بالمفاضلة بين المنفعة والخصوصية.

فيما يتعلق بالجودة ، ينافس نهج النموذج التأسيسي التعلم الموحد على ستة من أصل سبعة معايير قياسية. ومع ذلك ، فقد كان أداؤه ضعيفًا في سيناريوهين محددين: عندما طُلب من النموذج القيام بمهمة خارج المجال (شيء لم يتم تضمينه في عملية التدريب) ، وعندما تم تشغيل المهمة باستخدام نماذج مؤسسة صغيرة.

أخيرًا ، نظروا في جدوى إطار العمل الخاص بهم مقارنة بنهج التعلم الموحد. تقضي FOCUS على العديد من جولات الاتصال بين المستخدمين التي تحدث مع التعلم الموحد وتتيح للنموذج الأساسي المدرب مسبقًا القيام بالعمل بشكل أسرع من خلال الاستدلال – مما يجعل العملية أكثر كفاءة.

مخاطر نموذج الأساس

يلاحظ أرورا أنه يجب معالجة العديد من التحديات قبل أن يتم استخدام نماذج الأساس على نطاق واسع في المهام الشخصية. على سبيل المثال ، يعد التراجع في أداء FOCUS عندما يُطلب من النموذج القيام بمهمة خارج المجال مصدر قلق ، كما هو الحال مع وقت التشغيل البطيء لعملية الاستدلال مع النماذج الكبيرة. في الوقت الحالي ، توصي أرورا بأن ينظر مجتمع الخصوصية بشكل متزايد في النماذج الأساسية كأساس وأداة عند تصميم معايير خصوصية جديدة وتحفيز الحاجة إلى التعلم الموحد. في النهاية ، يعتمد نهج الخصوصية المناسب على سياق المستخدم.

تقدم نماذج المؤسسة أيضًا مخاطرها الكامنة. إنها مكلفة في الإعداد المسبق ويمكن أن تهلوس أو تصنف المعلومات بشكل خاطئ عندما تكون غير مؤكدة. هناك أيضًا مخاوف تتعلق بالإنصاف في أنه ، حتى الآن ، تتوفر نماذج الأساس في الغالب للغات الغنية بالموارد ، لذلك قد لا يوجد نموذج عام لجميع الإعدادات الشخصية.

تسرب البيانات الموجودة مسبقًا هو عامل آخر معقد. “إذا تم تدريب نماذج الأساس على بيانات الويب التي تحتوي بالفعل على معلومات حساسة مسربة ، فإن هذا يثير مجموعة جديدة تمامًا من مخاوف الخصوصية ،” أقر أرورا.

بالنظر إلى المستقبل ، تقوم هي وزملاؤها في مختبر أبحاث Hazy في جامعة ستانفورد بالتحقيق في طرق المطالبة بأنظمة أكثر موثوقية وتمكين السلوكيات في السياق باستخدام نماذج أساسية أصغر ، والتي تكون مناسبة بشكل أفضل للمهام الشخصية على أجهزة المستخدم منخفضة الموارد.

يمكن لـ Arora تخيل سيناريو ، ليس بعيدًا جدًا ، حيث ستطلب من مساعد رقمي حجز رحلة بناءً على بريد إلكتروني يذكر جدولة اجتماع مع عميل خارج المدينة. وسيقوم النموذج بتنسيق لوجستيات السفر دون الكشف عن أي تفاصيل حول الشخص أو الشركة التي ستلتقي بها.

قال أرورا: “لا يزال الوقت مبكرًا ، لكنني آمل أن يدفع إطار التركيز وإثبات المفهوم إلى مزيد من الدراسة لتطبيق نماذج الأساس العام على المهام الخاصة”.

نيكي جوث إيتوي كاتب مساهم في معهد ستانفورد للذكاء الاصطناعي الذي يركز على الإنسان.

ظهرت هذه القصة في الأصل على Hai.stanford.edu. حقوق الطبع والنشر 2022