روبوت جيد ، روبوت سيء: استخدام الذكاء الاصطناعي وتعلم الآلة لحل مشاكل جودة البيانات

أكثر من 40٪ من جميع زيارات الموقع في عام 2021 لم تكن بشرية حتى.

قد يبدو هذا مقلقًا ، لكنه ليس بالضرورة أمرًا سيئًا ؛ الروبوتات هي جوهر عمل الإنترنت. إنها تجعل حياتنا أسهل بطرق ليست دائمًا واضحة ، مثل تلقي إشعارات فورية بشأن العروض الترويجية والخصومات.

ولكن ، بالطبع ، هناك روبوتات سيئة ، وهي تصيب ما يقرب من 28٪ من إجمالي حركة مرور الموقع. من البريد العشوائي ، وعمليات الاستيلاء على الحساب ، وإلغاء المعلومات الشخصية والبرامج الضارة ، عادة ما تكون الطريقة التي يتم بها نشر الروبوتات من قبل الأشخاص هي التي تفصل الجيد عن السيئ.

مع إطلاق العنان للذكاء الاصطناعي التوليدي الذي يمكن الوصول إليه مثل ChatGPT ، سيكون من الصعب تمييز أين تنتهي الروبوتات ويبدأ البشر. تتحسن هذه الأنظمة مع التفكير المنطقي: اجتاز GPT-4 اختبار الشريط في أعلى 10٪ من المتقدمين للاختبار ، كما هزمت الروبوتات اختبارات CAPTCHA.

من نواحٍ عديدة ، يمكن أن نكون في طليعة الكتلة الحرجة من الروبوتات على الإنترنت ، وقد يكون ذلك مشكلة كبيرة لبيانات المستهلك.

التهديد الوجودي

تنفق الشركات حوالي 90 مليار دولار على أبحاث السوق كل عام لفك الاتجاهات وسلوك العملاء والتركيبة السكانية.

ولكن حتى مع وجود هذا الخط المباشر مع المستهلكين ، فإن معدلات الفشل في الابتكار رهيبة. تتوقع كاتالينا أن معدل فشل السلع الاستهلاكية المعبأة (CPG) يبلغ 80٪ مخيفًا ، بينما وجدت جامعة تورنتو أن 75٪ من منتجات البقالة الجديدة تتخبط.

ماذا لو كانت البيانات التي يعتمد عليها هؤلاء المبدعون مليئة بالاستجابات التي تم إنشاؤها بواسطة الذكاء الاصطناعي ولم تمثل في الواقع أفكار ومشاعر المستهلك؟ كنا نعيش في عالم تفتقر فيه الشركات إلى الموارد الأساسية للإبلاغ والتحقق من صحة وإلهام أفضل أفكارهم ، مما يتسبب في ارتفاع معدلات الفشل ، وهي أزمة لا يمكنهم تحملها الآن.

توجد الروبوتات منذ فترة طويلة ، وفي الغالب ، اعتمدت أبحاث السوق على العمليات اليدوية وغريزة القناة الهضمية لتحليل وتفسير واستبعاد هؤلاء المستجيبين ذوي الجودة المنخفضة.

ولكن في حين أن البشر هم استثنائيون في تقديم أسباب للبيانات ، فإننا غير قادرين على فك رموز الروبوتات من البشر على نطاق واسع. واقع بيانات المستهلك هو أن التهديد الناشئ لنماذج اللغات الكبيرة (LLMs) سيتجاوز قريبًا عملياتنا اليدوية التي يمكننا من خلالها تحديد الروبوتات السيئة.

روبوت سيء ، قابل روبوت جيد

عندما تكون الروبوتات مشكلة ، يمكن أن تكون الإجابة أيضًا. من خلال إنشاء نهج متعدد الطبقات باستخدام الذكاء الاصطناعي ، بما في ذلك نماذج التعلم العميق أو التعلم الآلي (ML) ، يمكن للباحثين إنشاء أنظمة لفصل البيانات منخفضة الجودة والاعتماد على الروبوتات الجيدة لتنفيذها.

هذه التقنية مثالية لاكتشاف الأنماط الدقيقة التي يمكن أن يفوتها البشر بسهولة أو لا يفهمونها. وإذا تمت إدارتها بشكل صحيح ، يمكن لهذه العمليات أن تغذي خوارزميات تعلم الآلة لتقييم البيانات وتنظيفها باستمرار للتأكد من أن الجودة مقاومة للذكاء الاصطناعي.

إليك الطريقة:

قم بإنشاء مقياس للجودة

بدلاً من الاعتماد فقط على التدخل اليدوي ، يمكن للفرق ضمان الجودة من خلال إنشاء نظام تسجيل يتم من خلاله تحديد تكتيكات الروبوت الشائعة. يتطلب بناء مقياس للجودة الذاتية لتحقيقها. يمكن للباحثين وضع حواجز الحماية للاستجابات عبر العوامل. على سبيل المثال:

• احتمال البريد العشوائي: هل الردود مكونة من محتوى مدرج أو مقطوع ولصق؟
• ثرثرة: أي استجابة بشرية ستحتوي على أسماء علامات تجارية أو أسماء علم أو أخطاء إملائية ، ولكنها عمومًا تتبع استجابة مقنعة.
• تخطي أسئلة الاستدعاء: بينما يمكن للذكاء الاصطناعي توقع الكلمة التالية بشكل كافٍ في تسلسل ، إلا أنهم غير قادرين على تكرار الذكريات الشخصية.

يمكن أن تكون عمليات التحقق من البيانات هذه ذاتية – هذا هو بيت القصيد. الآن أكثر من أي وقت مضى ، نحتاج إلى أن نكون متشككين في البيانات وأن نبني أنظمة لتوحيد الجودة. من خلال تطبيق نظام النقاط على هذه السمات ، يمكن للباحثين تجميع درجة مركبة والتخلص من البيانات منخفضة الجودة قبل الانتقال إلى الطبقة التالية من الشيكات.

انظر إلى الجودة الكامنة وراء البيانات

مع صعود الذكاء الاصطناعي الشبيه بالبشر ، يمكن أن تتسلل الروبوتات عبر الثغرات من خلال نقاط الجودة وحدها. هذا هو السبب في أنه من الضروري وضع هذه الإشارات في طبقات حول المخرجات نفسها. يستغرق الأشخاص الحقيقيون وقتًا في القراءة وإعادة القراءة والتحليل قبل الرد ؛ غالبًا ما لا يفعل ذلك الممثلون السيئون ، ولهذا من المهم النظر إلى مستوى الاستجابة لفهم اتجاهات الجهات الفاعلة السيئة.

يمكن لعوامل مثل وقت الاستجابة والتكرار والبصيرة أن تتجاوز المستوى السطحي لتحليل طبيعة الردود بعمق. إذا كانت الردود سريعة جدًا ، أو تم توثيق ردود متطابقة تقريبًا عبر استطلاع واحد (أو متعدد) ، فقد يكون ذلك علامة على وجود بيانات منخفضة الجودة. أخيرًا ، تجاوز الاستجابات غير المنطقية لتحديد العوامل التي تصنع استجابة ثاقبة – من خلال النظر بشكل نقدي في طول الاستجابة وسلسلة الصفات أو عدد الصفات – يمكن أن يتخلص من الردود الأقل جودة.

من خلال النظر إلى ما هو أبعد من البيانات الواضحة ، يمكننا تحديد الاتجاهات وبناء نموذج ثابت من البيانات عالية الجودة.

احصل على الذكاء الاصطناعي للقيام بالتنظيف نيابة عنك

إن ضمان جودة البيانات العالية ليس عملية “ضبط ونسيانها” ؛ يتطلب الأمر الإشراف المستمر واستيعاب البيانات الجيدة – والسيئة – للوصول إلى الهدف المتحرك وهو جودة البيانات. يلعب البشر دورًا أساسيًا في هذا الحدافة ، حيث يضبطون النظام ثم يجلسون على البيانات لتحديد الأنماط التي تؤثر على المعيار ، ثم إعادة هذه الميزات إلى النموذج ، بما في ذلك العناصر المرفوضة.

بياناتك الحالية ليست محصنة أيضًا. لا ينبغي وضع البيانات الموجودة في حجر ، بل يجب أن تخضع لنفس المعايير الصارمة مثل البيانات الجديدة. من خلال التنظيف المنتظم لقواعد البيانات المعيارية والمعايير التاريخية ، يمكنك التأكد من أن كل جزء جديد من البيانات يتم قياسه مقابل نقطة مقارنة عالية الجودة ، مما يفتح الطريق أمام اتخاذ قرارات أكثر مرونة وثقة على نطاق واسع.

بمجرد أن تصبح هذه النتائج في متناول اليد ، يمكن توسيع نطاق هذه المنهجية عبر المناطق لتحديد الأسواق عالية المخاطر حيث قد تكون هناك حاجة إلى التدخل اليدوي.

حارب الذكاء الاصطناعي الشنيع باستخدام الذكاء الاصطناعي الجيد

صناعة أبحاث السوق على مفترق طرق ؛ تزداد جودة البيانات سوءًا ، وستشكل الروبوتات قريبًا حصة أكبر من حركة مرور الإنترنت. لن يمر وقت طويل ويجب على الباحثين التصرف بسرعة.

لكن الحل يكمن في محاربة الذكاء الاصطناعي الشائن باستخدام ذكاء اصطناعي جيد. سيسمح هذا بدوران دولاب الموازنة الفاضل ؛ يصبح النظام أكثر ذكاءً حيث يتم دمج المزيد من البيانات بواسطة النماذج. والنتيجة هي تحسن مستمر في جودة البيانات. والأهم من ذلك ، أنه يعني أنه يمكن للشركات أن تثق في أبحاث السوق الخاصة بها لاتخاذ قرارات استراتيجية أفضل بكثير.

جاك ميلرشيب هو خبير البيانات الرائد في زابي.