تتحدى دراسة ستانفورد الافتراضات حول نماذج اللغة: السياق الأكبر لا يعني فهمًا أفضل

توصلت دراسة صدرت هذا الشهر من قبل باحثين من جامعة ستانفورد وجامعة كاليفورنيا في بيركلي وسامايا للذكاء الاصطناعي إلى أن نماذج اللغات الكبيرة (LLMs) غالبًا ما تفشل في الوصول إلى المعلومات ذات الصلة المعطاة لها واستخدامها في إطارات سياق أطول.

في نماذج اللغة ، تشير نافذة السياق إلى طول النص الذي يمكن للنموذج معالجته والاستجابة له في حالة معينة. يمكن اعتبارها ذاكرة عاملة لتحليل نصي معين أو محادثة روبوت محادثة.

حظيت الدراسة باهتمام واسع النطاق الأسبوع الماضي بعد إصدارها لأن العديد من المطورين والمستخدمين الآخرين الذين جربوا LLM افترضوا أن الاتجاه نحو نوافذ سياق أكبر سيستمر في تحسين أداء LLM وفائدتها عبر التطبيقات المختلفة.

>> لا تفوّت إصدارنا الخاص: مستقبل مركز البيانات: التعامل مع متطلبات أكبر وأكبر. <

إذا كان بإمكان LLM أن تأخذ مستندًا أو مقالة كاملة كمدخلات لنافذة السياق الخاصة بها ، فقد ذهب التفكير التقليدي ، يمكن أن توفر LLM فهمًا مثاليًا للنطاق الكامل لتلك الوثيقة عند طرح أسئلة حولها.

الافتراضات حول نافذة السياق معيبة

أثارت شركات LLM مثل Anthropic الإثارة حول فكرة نوافذ المحتوى الأطول ، حيث يمكن للمستخدمين تقديم المزيد من المدخلات لتحليلها أو تلخيصها. أصدرت Anthropic للتو نموذجًا جديدًا يسمى Claude 2 ، والذي يوفر نافذة سياق رمزية ضخمة تبلغ 100 ألف ، وقال إنه يمكنه تمكين حالات استخدام جديدة مثل تلخيص المحادثات الطويلة أو صياغة المذكرات والمقالات الافتتاحية.

لكن الدراسة تظهر أن بعض الافتراضات حول نافذة السياق معيبة عندما يتعلق الأمر بقدرة LLM على البحث عنها وتحليلها بدقة.

وجدت الدراسة أن LLM كان أداءً أفضل “عندما تحدث المعلومات ذات الصلة في بداية سياق الإدخال أو نهايته ، وتتدهور بشكل كبير عندما يتعين على النماذج الوصول إلى المعلومات ذات الصلة في منتصف السياقات الطويلة. علاوة على ذلك ، ينخفض ​​الأداء بشكل كبير مع نمو سياق الإدخال لفترة أطول ، حتى بالنسبة لنماذج السياق الطويل بشكل واضح. “

في الأسبوع الماضي ، استشهد المطلعون على الصناعة مثل Bob Wiederhold ، مدير العمليات بشركة Pinecone لقاعدة بيانات المتجهات ، بالدراسة كدليل على أن حشو مستندات كاملة في نافذة مستند للقيام بأشياء مثل البحث والتحليل لن يكون الدواء الشافي الذي يأمله الكثيرون.

يفضل البحث الدلالي عن حشو المستندات

تساعد قواعد بيانات المتجه مثل Pinecone المطورين على زيادة ذاكرة LLM من خلال البحث عن المعلومات ذات الصلة لسحبها إلى نافذة السياق. أشار Wiederhold إلى الدراسة كدليل على أن قواعد بيانات المتجهات ستظل قابلة للتطبيق في المستقبل المنظور ، حيث تشير الدراسة إلى أن البحث الدلالي الذي توفره قواعد بيانات المتجهات أفضل من حشو المستندات.

وافق نيلسون ليو من جامعة ستانفورد ، المؤلف الرئيسي للدراسة ، على أنه إذا حاولت حقن ملف PDF كامل في نافذة سياق نموذج اللغة ثم طرحت أسئلة حول المستند ، فسيكون البحث في قاعدة بيانات المتجه بشكل عام أكثر كفاءة في الاستخدام.

قال ليو: “إذا كنت تبحث في كميات كبيرة من المستندات ، فأنت تريد استخدام شيء تم إنشاؤه للبحث ، على الأقل في الوقت الحالي”.

ومع ذلك ، حذر ليو من أن الدراسة لا تدعي بالضرورة أن لصق المستندات بأكملها في نافذة السياق لن ينجح. ستعتمد النتائج بشكل خاص على نوع المحتوى الموجود في المستندات التي تقوم LLM بتحليلها. أوضح ليو أن النماذج اللغوية سيئة في التمييز بين العديد من الأشياء وثيقة الصلة أو التي تبدو ذات صلة. لكنهم يجيدون العثور على الشيء الوحيد الذي يكون ذا صلة بشكل واضح عندما لا تكون معظم الأشياء الأخرى ذات صلة.

قال: “لذلك أعتقد أن الأمر أكثر دقة قليلاً من” يجب عليك دائمًا استخدام قاعدة بيانات المتجهات ، أو لا يجب عليك استخدام قاعدة بيانات المتجهات “.

أفضل حالة استخدام للنماذج اللغوية: إنشاء محتوى

قال ليو إن دراسته افترضت أن معظم التطبيقات التجارية تعمل في بيئة حيث تستخدم نوعًا من قاعدة بيانات المتجهات للمساعدة في إرجاع العديد من النتائج المحتملة إلى نافذة السياق. وجدت الدراسة أن الحصول على المزيد من النتائج في سياق النافذة لا يؤدي دائمًا إلى تحسين الأداء.

بصفته متخصصًا في معالجة اللغة ، قال ليو إنه فوجئ بأن الناس كانوا يفكرون في استخدام نافذة سياق للبحث عن المحتوى ، أو لتجميعه أو توليفه ، على الرغم من أنه قال إنه يستطيع فهم سبب رغبة الناس في ذلك. وقال إنه يجب على الناس الاستمرار في التفكير في النماذج اللغوية على أنها أفضل استخدام لإنشاء المحتوى ، ومحركات البحث هي الأفضل للبحث في المحتوى.

قال: “آمل أن تتمكن من إلقاء كل شيء في نموذج لغوي وأن تصلي نوعًا ما ، لا أعتقد أننا وصلنا إليه بعد”. لكن ربما سنكون هناك في غضون بضع سنوات أو حتى بضعة أشهر. ليس من الواضح جدًا بالنسبة لي مدى السرعة التي ستتحرك بها هذه المساحة ، لكنني أعتقد في الوقت الحالي ، أن نماذج اللغة لن تحل محل قواعد بيانات المتجهات ومحركات البحث “.