كيف يمكن لقابلية المراقبة المصممة لفرق البيانات أن تطلق العنان لوعد DataOps

في هذه الأيام ، ليس من قبيل المبالغة القول إن كل شركة هي شركة بيانات. وإذا لم يكونوا كذلك ، فيجب أن يكونوا كذلك. لهذا السبب تستثمر المزيد من المؤسسات في مكدس البيانات الحديث (فكر في: Databricks و Snowflake ، Amazon EMR ، BigQuery ، Dataproc).

ومع ذلك ، فإن هذه التقنيات الجديدة والأهمية المتزايدة للأعمال التجارية لمبادرات البيانات الخاصة بهم تطرح تحديات كبيرة. لا يجب أن تتعامل فرق البيانات الحالية مع الحجم الهائل من البيانات التي يتم استيعابها يوميًا من مجموعة واسعة من المصادر فحسب ، بل يجب أن تكون أيضًا قادرة على إدارة ومراقبة تشابك الآلاف من تطبيقات البيانات المترابطة والمترابطة.

يتمثل التحدي الأكبر في إدارة تعقيد الأنظمة المتشابكة التي نسميها مكدس البيانات الحديثة. وكما يعلم أي شخص قضى وقتًا في خنادق البيانات ، فإن فك تشفير أداء تطبيقات البيانات والتحكم في تكاليف السحابة وتخفيف مشكلات جودة البيانات ليس بالأمر اليسير.

عندما ينهار شيء ما في خطوط أنابيب البيانات البيزنطية هذه ، بدون مصدر واحد للحقيقة يمكن الرجوع إليه ، يبدأ توجيه أصابع الاتهام بعلماء البيانات الذين يلومون العمليات ، والعمليات التي تلوم الهندسة ، ولوم المطورين الهندسيين – وما إلى ذلك إلى الأبد.

هل هو الكود؟ موارد البنية التحتية غير كافية؟ مشكلة تنسيق جدولة؟ بدون مصدر واحد للحقيقة يمكن للجميع الالتفاف حوله ، يستخدم الجميع أداتهم الخاصة ، ويعملون في صوامع. وتعطي الأدوات المختلفة إجابات مختلفة – ويستغرق فك الأسلاك للوصول إلى قلب المشكلة ساعات (حتى أيام).

لماذا تحتاج فرق البيانات الحديثة إلى نهج حديث

تواجه فرق البيانات اليوم العديد من التحديات نفسها التي واجهتها فرق البرمجيات في السابق: فريق ممزق يعمل في صوامع ، تحت البندقية لمواكبة الوتيرة المتسارعة لتقديم المزيد ، بشكل أسرع ، بدون عدد كافٍ من الأشخاص ، في بيئة معقدة بشكل متزايد.

نجحت فرق البرمجيات في معالجة تلك العقبات عبر نظام DevOps. جزء كبير مما يمكّن فرق DevOps من النجاح هو إمكانية الملاحظة التي يوفرها الجيل الجديد من إدارة أداء التطبيقات (APM). فرق البرمجيات قادرة على تشخيص السبب الجذري للمشاكل بدقة وكفاءة ، والعمل بشكل تعاوني من مصدر واحد للحقيقة ، وتمكين المطورين من معالجة المشكلات في وقت مبكر – قبل دخول البرنامج إلى الإنتاج – دون الحاجة إلى طرح المشكلات على السياج للعمليات فريق.

فلماذا تكافح فرق البيانات عندما لا تكون فرق البرمجيات كذلك؟ إنهم يستخدمون نفس الأدوات في الأساس لحل نفس المشكلة.

لأنه على الرغم من أوجه التشابه العامة ، فإن إمكانية الملاحظة لفرق البيانات هي حيوان مختلف تمامًا عن إمكانية الملاحظة لفرق البيانات.

مراقبة التكاليف أمر بالغ الأهمية

أولاً ، ضع في اعتبارك أنه بالإضافة إلى فهم أداء وموثوقية خط أنابيب البيانات ، يجب أن تتعامل فرق البيانات أيضًا مع مسألة جودة البيانات – كيف يمكن التأكد من أنها تغذي محركات التحليلات الخاصة بها بمدخلات عالية الجودة؟ ومع انتقال المزيد من أعباء العمل إلى مجموعة متنوعة من السحابة العامة ، من الضروري أيضًا أن تكون الفرق قادرة على فهم خطوط أنابيب البيانات الخاصة بهم من خلال عدسة التكلفة.

لسوء الحظ ، تجد فرق البيانات صعوبة في الحصول على المعلومات التي يحتاجونها. الفرق المختلفة لديها أسئلة مختلفة تحتاج إلى إجابة ، والجميع يركز بشكل قصير على قطعة اللغز الخاصة بهم ، باستخدام أداتهم الخاصة في الاختيار ، وأدوات مختلفة تسفر عن إجابات مختلفة.

تحرّي الخلل وإصلاحه يمثل تحديًا. يمكن أن تكون المشكلة في أي مكان على طول تطبيق / خط أنابيب شديد التعقيد ومترابط لأي سبب من ألف سبب. وعلى الرغم من أن أدوات مراقبة تطبيقات الويب لها غرضها ، إلا أنه لم يكن الغرض منها أبدًا استيعاب وربط تفاصيل الأداء المدفونة داخل مكونات مكدس البيانات الحديثة أو “فك تشابك الأسلاك” بين تبعيات تطبيق البيانات المنبثقة أو النهائية.

علاوة على ذلك ، مع انتقال المزيد من أعباء عمل البيانات إلى السحابة ، يمكن أن تخرج تكلفة تشغيل خطوط أنابيب البيانات عن السيطرة بسرعة. لدى المؤسسة التي تضم أكثر من 100000 وظيفة بيانات في السحابة قرارات لا حصر لها لاتخاذها بشأن مكان وزمان وكيفية تشغيل هذه الوظائف. وكل قرار له ثمن.

نظرًا لأن المؤسسات تتنازل عن السيطرة المركزية على البنية التحتية ، فمن الضروري لمهندسي البيانات و FinOps أن يفهموا أين تذهب الأموال وتحديد الفرص لخفض / التحكم في التكاليف.

الكثير من إمكانية الملاحظة مخفية على مرأى من الجميع

للحصول على رؤية دقيقة حول الأداء والتكلفة وجودة البيانات ، تضطر فرق البيانات إلى تجميع المعلومات معًا من مجموعة متنوعة من الأدوات. ومع قيام المؤسسات بتوسيع نطاق مجموعات البيانات الخاصة بها ، فإن الكم الهائل من المعلومات (والمصادر) يجعل من الصعب للغاية رؤية مجموعة البيانات الكاملة عندما تكون جالسًا في الأشجار.

تتوفر معظم التفاصيل الدقيقة المطلوبة – لسوء الحظ ، غالبًا ما يتم إخفاؤها على مرأى من الجميع. توفر كل أداة بعض المعلومات المطلوبة ، ولكن ليس كلها. ما نحتاجه هو إمكانية الملاحظة التي تجمع كل هذه التفاصيل معًا وتقدمها في سياق منطقي وتتحدث لغة فرق البيانات.

تتيح إمكانية المراقبة المصممة من الألف إلى الياء خصيصًا لفرق البيانات رؤية كيف يتناسب كل شيء معًا بشكل كلي. وعلى الرغم من وجود عدد كبير من أدوات مراقبة البيانات الخاصة ببائعي السحابة والمفتوحة المصدر والمملوكة والتي توفر تفاصيل حول طبقة أو نظام واحد في عزلة ، فمن الناحية المثالية ، يمكن أن يجمع حل المراقبة كامل المكدس كل ذلك معًا في عبء عمل. السياق الواعي. إن الحلول التي تستفيد من الذكاء الاصطناعي العميق قادرة على إظهار ليس فقط مكان وجود مشكلة وسبب وجودها ، ولكن كيف تؤثر على خطوط أنابيب البيانات الأخرى – وأخيراً ، ما يجب فعله حيال ذلك.

تمامًا مثل إمكانية الملاحظة DevOps التي توفر الأسس الأساسية للمساعدة في تحسين سرعة وموثوقية دورة حياة تطوير البرامج ، يمكن أن تفعل إمكانية الملاحظة DataOps نفس الشيء بالنسبة لتطبيق البيانات / دورة حياة خط الأنابيب. لكن – وهذه مشكلة كبيرة لكن – يجب تصميم إمكانية مراقبة DataOps كتقنية من الألف إلى الياء لتلبية الاحتياجات المختلفة لفرق البيانات.

تتقاطع إمكانية مراقبة DataOps عبر مجالات متعددة:

• تطبيق البيانات / خط الأنابيب / نموذج الملاحظة يضمن أن تطبيقات / خطوط أنابيب تحليل البيانات تعمل في الوقت المحدد ، في كل مرة ، دون أخطاء.
• مراقبة العمليات تمكن البيانات الفرق من فهم كيفية عمل النظام الأساسي بأكمله من البداية إلى النهاية ، مما يوفر رؤية موحدة لكيفية عمل كل شيء معًا ، أفقيًا وعموديًا.
• ملاحظة الأعمال من جزأين: الربح والتكلفة. الأول يتعلق بالعائد على الاستثمار ويراقب ويربط أداء تطبيقات البيانات بنتائج الأعمال. الجزء الثاني هو قابلية الملاحظة FinOpsحيث تستخدم المؤسسات البيانات في الوقت الفعلي للتحكم في تكاليف السحابة والتحكم فيها ، وفهم أين تذهب الأموال ، وتعيين حواجز حماية للميزانية ، وتحديد الفرص لتحسين البيئة لتقليل التكاليف.
• ملاحظة البيانات تنظر في مجموعات البيانات نفسها ، وإجراء فحوصات الجودة لضمان النتائج الصحيحة. يتتبع نسب البيانات واستخدامها وسلامتها وجودتها.

لا يمكن أن تركز فرق البيانات بشكل فردي لأن المشاكل في مكدس البيانات الحديثة مترابطة. بدون عرض موحد لمجال البيانات بالكامل ، لن يتم الوفاء بوعد DataOps.

إمكانية المراقبة لمكدس البيانات الحديث

يوفر استخراج كل شيء وربطه وتحليله في طبقة أساسية في سياق يدرك أعباء العمل المرتكز على فريق البيانات خمس إمكانيات تمثل السمات المميزة لوظيفة مراقبة DataOps الناضجة:

• رؤية شاملة يربط بيانات القياس عن بُعد والبيانات الوصفية عبر مكدس البيانات الكامل لإعطاء فهم موحد ومتعمق لسلوك وأداء وتكلفة وصحة بياناتك وسير عمل البيانات.
• الوعي الظرفي يضع هذه المعلومات المجمعة في سياق مفيد.
• ذكاء عملي لا يخبرك فقط بما يحدث ولكن لماذا. تخطو منصات المراقبة من الجيل التالي خطوة إلى الأمام وتقدم توصيات توجيهية مدعومة بالذكاء الاصطناعي بشأن ما يجب القيام به بعد ذلك.
• كل شيء يحدث إما من خلال أو يتيح درجة عالية من الأتمتة.
• هذه القدرة الاستباقية الحكم أثناء العمل ، حيث يطبق النظام التوصيات تلقائيًا – لا حاجة إلى تدخل بشري.

نظرًا لأن المزيد والمزيد من التقنيات المبتكرة تشق طريقها إلى مكدس البيانات الحديثة – وهاجر المزيد من أعباء العمل إلى السحابة – فمن الضروري بشكل متزايد أن يكون لديك منصة مراقبة DataOps موحدة تتمتع بالمرونة لفهم التعقيد المتزايد والذكاء لتوفير حل. هذا صحيح DataOps الملاحظة.

كريس سانتياغو هو نائب رئيس الحلول الهندسية لشركة Unravel.