إنها نماذج الذكاء الاصطناعي التوليدية مقابل نماذج الذكاء الاصطناعي. المتسللين في قرية AI التابعة لـ DEF CON

من أكثر الطرق فعالية لاختبار أمان التطبيق من خلال استخدام الهجمات العدائية. في هذه الطريقة ، يهاجم الباحثون الأمنيون التكنولوجيا بنشاط – في بيئة خاضعة للرقابة – لمحاولة العثور على نقاط ضعف غير معروفة سابقًا.

إنه نهج تدافع عنه الآن إدارة بايدن هاريس للمساعدة في تأمين الذكاء الاصطناعي التوليدي (AI). كجزء من إجراءاتها لتعزيز إعلان الذكاء الاصطناعي المسؤول أمس ، دعت الإدارة إلى إجراء تقييمات عامة لأنظمة الذكاء الاصطناعي التوليدية الحالية. ونتيجة لذلك ، سيشهد مؤتمر الأمن DEF CON 31 لهذا العام ، الذي سيعقد في الفترة من 10 إلى 13 أغسطس ، تقييمًا عامًا للذكاء الاصطناعي التوليدي في قرية الذكاء الاصطناعي.

صرح البيت الأبيض في بيان: “سيوفر هذا التمرين المستقل معلومات مهمة للباحثين والجمهور حول تأثيرات هذه النماذج ، وسيمكن شركات الذكاء الاصطناعي والمطورين من اتخاذ خطوات لإصلاح المشكلات الموجودة في تلك النماذج”.

سيشارك بعض البائعين الرائدين في مجال الذكاء الاصطناعي التوليدي في اختراق AI Village ، بما في ذلك: Anthropic و Google و Hugging Face و Microsoft و Nvidia و OpenAI و Stability AI.

تتمتع قرى DEF CON بتاريخ من المعرفة الأمنية المتقدمة

يعد مؤتمر DEF CON الأمني ​​أحد أكبر التجمعات للباحثين الأمنيين في أي عام ، وكان لفترة طويلة موقعًا تم فيه اكتشاف نقاط ضعف جديدة والكشف عنها.

لن تكون هذه هي المرة الأولى التي تستهدف فيها قرية في DEF CON التكنولوجيا التي تتصدر عناوين الصحف الوطنية أيضًا. في السنوات الماضية ، خاصة بعد الانتخابات الأمريكية لعام 2016 والمخاوف من التدخل في الانتخابات ، تم إنشاء قرية التصويت في DEF CON في محاولة للنظر في الأمن (أو عدمه) في تقنيات آلات التصويت والبنية التحتية والعمليات.

مع القرى في DEF CON ، يمكن للحاضرين مناقشة التقنيات واستكشافها في نموذج الإفصاح المسؤول الذي يهدف إلى المساعدة في تحسين حالة الأمن بشكل عام. مع الذكاء الاصطناعي ، هناك حاجة خاصة لفحص التكنولوجيا بحثًا عن المخاطر حيث يتم نشرها على نطاق أوسع في المجتمع ككل.

كيف سيعمل الاختراق التوليدي للذكاء الاصطناعي

علق سفين كاتيل ، مؤسس قرية الذكاء الاصطناعي ، في بيان أن الشركات ، تقليديًا ، قد حلت مشكلة تحديد المخاطر باستخدام فرق حمراء متخصصة.

الفريق الأحمر هو نوع من مجموعات الأمن السيبراني التي تحاكي الهجمات في محاولة لاكتشاف المشكلات المحتملة. يكمن التحدي في الذكاء الاصطناعي التوليدي ، وفقًا لـ Cattell ، في أن الكثير من العمل حول الذكاء الاصطناعي التوليدي قد حدث بشكل خاص ، دون الاستفادة من تقييم الفريق الأحمر.

قال كاتيل: “لن يتم حل المشكلات المتنوعة المتعلقة بهذه النماذج حتى يعرف المزيد من الأشخاص كيفية تعويض الفريق وتقييمهم”.

من حيث التفاصيل ، ستتألف محاكاة هجوم AI التكوينية من قرية AI من الوصول في الموقع إلى نماذج اللغات الكبيرة (LLMs) من البائعين المشاركين. سيشتمل الحدث على نهج نظام نقطة العلم حيث يكتسب المهاجمون نقاطًا لتحقيق أهداف معينة ستظهر مجموعة من الأنشطة الضارة المحتملة. الفرد الذي يحصل على أكبر عدد من النقاط سيفوز بـ “وحدة معالجة رسومات Nvidia المتطورة”.

يتم تطوير منصة التقييم التي سيتم تشغيل الحدث عليها بواسطة Scale AI. قال ألكسندر وانج ، المؤسس والرئيس التنفيذي لشركة Scale ، لموقع VentureBeat: “نظرًا لانتشار استخدام نموذج الأساس على نطاق واسع ، فمن الأهمية بمكان التأكد من تقييمها بعناية من حيث الموثوقية والدقة”.

وأشار وانغ إلى أن Scale أمضى أكثر من سبع سنوات في بناء أنظمة الذكاء الاصطناعي من الألف إلى الياء. يدعي أن شركته أيضًا غير متحيزة وليست مدينًا بأي نظام بيئي واحد. على هذا النحو ، قال وانغ إن Scale قادر على اختبار وتقييم الأنظمة بشكل مستقل للتأكد من جاهزيتها للنشر في الإنتاج.

قال وانغ: “من خلال تقديم خبرتنا إلى جمهور أوسع في DEF CON ، نأمل أن نضمن حدوث تقدم في قدرات النموذج الأساسي جنبًا إلى جنب مع التقدم في تقييم النموذج والسلامة”.