ماذا يحدث عند نفاد البيانات الخاصة بنماذج الذكاء الاصطناعي

تعد نماذج اللغات الكبيرة (LLMs) واحدة من أهم الابتكارات اليوم. مع عمل شركات مثل OpenAI و Microsoft على إطلاق أنظمة معالجة اللغات الطبيعية الجديدة الرائعة ، لا يمكن لأحد أن ينكر أهمية الوصول إلى كميات كبيرة من البيانات عالية الجودة التي لا يمكن اختراقها.

ومع ذلك ، وفقًا لبحث حديث أجرته شركة Epoch ، قد نحتاج قريبًا إلى مزيد من البيانات لتدريب نماذج الذكاء الاصطناعي. حقق الفريق في كمية البيانات عالية الجودة المتوفرة على الإنترنت. (تشير “الجودة العالية” إلى الموارد مثل ويكيبيديا ، بدلاً من البيانات منخفضة الجودة ، مثل منشورات الوسائط الاجتماعية.)

يُظهر التحليل أنه سيتم استنفاد البيانات عالية الجودة قريبًا ، على الأرجح قبل عام 2026. في حين أن مصادر البيانات منخفضة الجودة سيتم استنفادها بعد عقود فقط ، فمن الواضح أن الاتجاه الحالي المتمثل في توسيع نطاق النماذج إلى ما لا نهاية لتحسين النتائج قد يتباطأ قريبًا.

من المعروف أن نماذج التعلم الآلي (ML) تعمل على تحسين أدائها من خلال زيادة كمية البيانات التي يتم تدريبها عليها. ومع ذلك ، فإن مجرد تقديم المزيد من البيانات إلى نموذج ليس هو الحل الأفضل دائمًا. هذا صحيح بشكل خاص في حالة الأحداث النادرة أو التطبيقات المتخصصة. على سبيل المثال ، إذا أردنا تدريب نموذج على اكتشاف مرض نادر ، فقد نحتاج إلى مزيد من البيانات للعمل معها. لكننا ما زلنا نريد أن تصبح النماذج أكثر دقة بمرور الوقت.

يشير هذا إلى أننا إذا أردنا منع التطور التكنولوجي من التباطؤ ، فنحن بحاجة إلى تطوير نماذج أخرى لبناء نماذج التعلم الآلي المستقلة عن كمية البيانات.

في هذه المقالة ، سنتحدث عن شكل هذه الأساليب ونقدر إيجابيات وسلبيات هذه الأساليب.

حدود توسيع نماذج الذكاء الاصطناعي

أحد أهم تحديات توسيع نطاق نماذج التعلم الآلي هو تناقص عوائد زيادة حجم النموذج. مع استمرار نمو حجم النموذج ، يصبح تحسين أدائه هامشيًا. هذا لأنه كلما أصبح النموذج أكثر تعقيدًا ، كلما كان من الصعب تحسينه وزاد عرضه للملاءمة. علاوة على ذلك ، تتطلب النماذج الأكبر مزيدًا من الموارد الحسابية ووقتًا للتدريب ، مما يجعلها أقل عملية لتطبيقات العالم الحقيقي.

يتمثل أحد القيود المهمة الأخرى لنماذج القياس في صعوبة ضمان متانتها وقابليتها للتعميم. تشير المتانة إلى قدرة النموذج على الأداء الجيد حتى عند مواجهة مدخلات صاخبة أو معادية. تشير قابلية التعميم إلى قدرة النموذج على الأداء الجيد على البيانات التي لم يراها أثناء التدريب. عندما تصبح النماذج أكثر تعقيدًا ، فإنها تصبح أكثر عرضة للهجمات العدائية ، مما يجعلها أقل قوة. بالإضافة إلى ذلك ، تقوم النماذج الأكبر بحفظ بيانات التدريب بدلاً من تعلم الأنماط الأساسية ، مما يؤدي إلى ضعف أداء التعميم.

التفسير وقابلية التفسير ضروريان لفهم كيفية قيام النموذج بالتنبؤات. ومع ذلك ، عندما تصبح النماذج أكثر تعقيدًا ، تصبح إجراءاتها الداخلية غامضة بشكل متزايد ، مما يجعل تفسير قراراتها وشرحها أمرًا صعبًا. يمكن أن يكون هذا النقص في الشفافية مشكلة في التطبيقات الهامة مثل الرعاية الصحية أو التمويل ، حيث يجب أن تكون عملية صنع القرار قابلة للتفسير وشفافة.

مناهج بديلة لبناء نماذج التعلم الآلي

تتمثل إحدى طرق التغلب على المشكلة في إعادة النظر فيما نعتبره بيانات عالية الجودة ومنخفضة الجودة. وفقًا لـ Swabha Swayamdipta ، الأستاذ بجامعة جنوب كاليفورنيا ML ، فإن إنشاء مجموعات بيانات تدريب أكثر تنوعًا يمكن أن يساعد في التغلب على القيود دون تقليل الجودة. علاوة على ذلك ، وفقًا له ، فإن تدريب النموذج على نفس البيانات أكثر من مرة يمكن أن يساعد في تقليل التكاليف وإعادة استخدام البيانات بشكل أكثر كفاءة.

يمكن أن تؤجل هذه الأساليب المشكلة ، ولكن كلما استخدمنا نفس البيانات لتدريب نموذجنا ، كلما كان أكثر عرضة للإفراط في التجهيز. نحن بحاجة إلى استراتيجيات فعالة للتغلب على مشكلة البيانات على المدى الطويل. إذن ، ما هي بعض الحلول البديلة لتغذية نموذج ما بمزيد من البيانات؟

JEPA (تقريب الاحتمالية التجريبية المشتركة) هو نهج التعلم الآلي الذي اقترحه Yann LeCun والذي يختلف عن الأساليب التقليدية من حيث أنه يستخدم توزيعات احتمالية تجريبية لنمذجة البيانات وإجراء التنبؤات.

في الأساليب التقليدية ، تم تصميم النموذج ليلائم معادلة رياضية للبيانات ، وغالبًا ما يعتمد على افتراضات حول التوزيع الأساسي للبيانات. ومع ذلك ، في JEPA ، يتعلم النموذج مباشرة من البيانات من خلال تقريب التوزيع التجريبي. يتضمن هذا النهج تقسيم البيانات إلى مجموعات فرعية وتقدير توزيع الاحتمالات لكل مجموعة فرعية. ثم يتم دمج توزيعات الاحتمالات هذه لتشكيل توزيع احتمالي مشترك يستخدم لعمل تنبؤات. يمكن لـ JEPA التعامل مع البيانات المعقدة وعالية الأبعاد والتكيف مع أنماط البيانات المتغيرة.

نهج آخر هو استخدام تقنيات زيادة البيانات. تتضمن هذه التقنيات تعديل البيانات الموجودة لإنشاء بيانات جديدة. يمكن القيام بذلك عن طريق التقليب أو التدوير أو الاقتصاص أو إضافة ضوضاء إلى الصور. يمكن أن تقلل زيادة البيانات من فرط التجهيز وتحسين أداء النموذج.

أخيرًا ، يمكنك استخدام نقل التعلم. يتضمن ذلك استخدام نموذج مدرب مسبقًا وضبطه لمهمة جديدة. يمكن أن يوفر هذا الوقت والموارد ، حيث تعلم النموذج بالفعل ميزات قيمة من مجموعة بيانات كبيرة. يمكن ضبط النموذج المدرَّب مسبقًا باستخدام كمية صغيرة من البيانات ، مما يجعله حلاً جيدًا للبيانات النادرة.

خاتمة

اليوم لا يزال بإمكاننا استخدام زيادة البيانات ونقل التعلم ، لكن هذه الأساليب لا تحل المشكلة مرة واحدة وإلى الأبد. لهذا السبب نحتاج إلى التفكير أكثر في الأساليب الفعالة التي يمكن أن تساعدنا في المستقبل على التغلب على المشكلة. لا نعرف حتى الآن بالضبط ما قد يكون الحل. بعد كل شيء ، بالنسبة للإنسان ، يكفي أن نلاحظ بضعة أمثلة فقط لتعلم شيء جديد. ربما في يوم من الأيام ، سنبتكر ذكاءً اصطناعيًا قادرًا على القيام بذلك أيضًا.

ما هو رأيك؟ ماذا ستفعل شركتك إذا نفدت البيانات لتدريب نماذجك؟

إيفان سميتانيكوف هو قائد فريق علوم البيانات في Seroquel.