كيف يعمل Prophecy 3.0 على تمكين الشركات من إنشاء خطوط بيانات بدون كتابة تعليمات برمجية SQL

أعلنت شركة Prophecy لهندسة البيانات ومقرها كاليفورنيا عن إصدار جديد لمنصتها الأساسية مع إمكانات SQL منخفضة التعليمات البرمجية.

يعمل الإصدار ، الذي أطلق عليه اسم Prophecy 3.0 ، على توسيع النظام الأساسي إلى ما وراء Spark ذات الشفرة المنخفضة لمهندسي البيانات ويمنح مستخدمي بيانات الأعمال لوحة سحب وإسقاط مرئية لإنشاء خطوط أنابيب البيانات محليًا على منصات البيانات السحابية.

في السابق ، كانت العملية تتطلب منهم كتابة كود SQL معقد ، مما أدى إلى حدوث تأخيرات ومشكلات في الدقة – وأثر على التحليلات النهائية وجهود التعلم الآلي.

SQL منخفض التعليمات البرمجية: كيف يساعد في خطوط أنابيب البيانات؟

بناء خط بيانات هو في الأساس إعداد البيانات للتحليلات. وهذا يعني كتابة كود SQL لمهام مثل استخراج البيانات من قواعد البيانات ، وتحويل المعلومات وتنظيفها ، وتحميلها إلى منصة البيانات المستهدفة. إنها كلها أشياء معتادة جدًا لمهندسي البيانات ، ولكن إذا حاول مستخدمو البيانات تجهيز البيانات بأنفسهم (ربما لتلبية احتياجات عمل معينة) ، يمكن أن تصبح العملية عنق الزجاجة ، مما يؤدي إلى الفشل في تغذية البيانات الصحيحة في الوقت المناسب للتحليلات المخطط لها . .

بعد كل شيء ، معظم مستخدمي الأعمال خبراء في البيانات ، وليسوا مهندسي بيانات خبراء.

مع إضافة لغة SQL منخفضة الشفرة إلى نظامها الأساسي ، تعمل Prophecy على سد هذه الفجوة وتزويد مستخدمي بيانات الأعمال بواجهة سحب وإفلات مرئية لبناء خط أنابيب البيانات الذي يحتاجون إليه. بمجرد استخدام هذه اللوحة القماشية ، تحول تقنية النظام الأساسي التمثيل إلى كود SQL عاملة (كمشاريع أساسية dbt مفتوحة المصدر) وتجهز خط الأنابيب المعني للتحليلات.

“يمكن لفرق العمل إعداد البيانات بأنفسهم لإجراء التحليلات بسرعة وبساطة. وهذا يمكنهم من تقديم التحليلات بشكل أسرع ، والتكيف بسرعة مع احتياجات العمل المتغيرة. والأهم من ذلك ، أن هذا أيضًا يحرر فرق منصات البيانات المركزية التي غالبًا ما تحظى بإقبال كبير “.

والجدير بالذكر أن التقنية تعمل أيضًا في الاتجاه المعاكس: يمكن للمستخدمين فتح مشاريع أساسية موجودة في dbt وتحرير كود SQL كخطوط أنابيب مرئية ، مع حفظ التغييرات مرة أخرى كـ SQL.

المستخدمون الأوائل [are] كما أنه سعيد جدًا لأن مطوري الأكواد المنخفضة ومبرمجي SQL يمكنهم الآن العمل في نفس البيئة – حيث تقوم Prophecy بتحويل خطوط الأنابيب ذات التعليمات البرمجية المنخفضة إلى تعليمات برمجية SQL وشفرة SQL إلى خطوط أنابيب منخفضة التعليمات البرمجية على الفور “، أضاف باينز.

منصة موحدة

على الرغم من أن لغة SQL منخفضة الترميز جديدة ، إلا أنه يجب ملاحظة أن هذه ليست الأداة المرئية الأولى للنظام الأساسي. توفر الشركة بالفعل دعمًا منخفض الشفرة لـ Spark و Spark Streaming و Apache Airflow (لتنسيق سير عمل البيانات) – إضافة إلى عرض موحد للمستخدمين ذوي الخبرات والاحتياجات المتنوعة.

“عندما تستخدم فرق البيانات المختلفة أدوات مختلفة لبناء خطوط الأنابيب ، فإنها تزيد من التكاليف والجداول الزمنية والمخاطر …[the] يساعد إصدار Prophecy 3.0 محللي البيانات الذين يستخدمون SQL ومهندسي البيانات الذين يستخدمون مهندسي Spark و DevOps الذين يستخدمون Apache Airflow للتعاون من خلال منصة موحدة منخفضة الرمز ، كما قال سانجيف موهان ، نائب رئيس أبحاث Gartner السابق للبيانات الضخمة والتحليلات المتقدمة ، لـ VentureBeat. “يفتح هذا إمكانيات جديدة ، مثل تطبيق فحوصات جودة البيانات باستمرار بغض النظر عن اللغة ، وتمكين إطار عمل الخدمة الذاتية لإنشاء منتجات البيانات.”

أشار Kevin Petrie ، نائب رئيس الأبحاث في Eckerson Group ، إلى الأمر نفسه ، مشيرًا إلى أن إضافة لغة SQL منخفضة الكود إلى محفظة Prophecy تمنح مهندسي البيانات المهتمين بـ SQL ومهندسي التحليلات الموجهة نحو dbt خيارات جديدة لبناء وإدارة وتنظيم خطوط الأنابيب التي تدعم مشاريع التحليلات الحديثة.

تستمر الشركات في اعتماد منصات Lakehouse التي تطبق الاستعلامات والتحويلات المستندة إلى SQL على مخازن الكائنات السحابية الأصلية. من خلال إضافة إمكانات SQL في خطوط الأنابيب ، تعمل شركة Prophecy على زيادة سوقها القابل للتوجيه بشكل كبير “.

Prophecy 3.0 متاح الآن على منصة Databricks Lakehouse.