تعزز Databricks الالتزام بفتح منازل بحيرات البيانات حقًا باستخدام Delta Lake 3.0

مع استمرار الشركات في مضاعفة مستودعات بحيرات البيانات ، تعمل البيانات وشركة Databricks للذكاء الاصطناعي على تغيير التروس مع Delta Lake ، وهو إطار مفتوح المصدر يعمل كأساس لتخزين البيانات والجداول في عروضها الخاصة ببحيرة البحيرة.

اليوم ، في مؤتمرها السنوي ، أعلن بائع البحيرة عن إطلاق Delta Lake 3.0 ، والذي يتميز بالدعم التلقائي لتنسيقات Apache Iceberg و Hudi. وتقول الشركة إن هذه الخطوة ستسمح لمستخدمي المؤسسات بالتخلص من أعمال التكامل المعقدة والتركيز على بناء مستودعات بيانات مفتوحة حقًا.

قال علي قدسي ، الشريك المؤسس والرئيس التنفيذي لشركة Databricks: “لا ينبغي تقييد العملاء باختيارهم لتنسيق (الجدول)”. “مع هذا الإصدار الأخير من Delta Lake ، نتيح للمستخدمين العمل بسهولة مع أي تنسيقات ملفات يرغبون فيها ، بما في ذلك Iceberg و Hudi ، مع الاستمرار في الوصول إلى سرعة وقابلية التوسع الرائدة في Delta Lake.”

تتضمن Delta Lake 3.0 أيضًا Delta Kernel ، وهي مبادرة تسهل تطوير موصلات دلتا وصيانتها ، و Liquid Clustering لتجميع بيانات فعال من حيث التكلفة حتى مع نمو مجموعات البيانات.

مسرحية التوحيد من Databricks

بعد الظهور الأولي للجيل الأول من Apache Hive ، سيطرت ثلاثة تنسيقات للجدول المفتوح إلى حد كبير على النظام البيئي للبيانات: Delta Lake و Apache Iceberg و Apache Hudi.

في حين أن كل من هذه التنسيقات لها قوتها الأساسية مع دعم تنسيقات الملفات الشائعة مثل Parquet للتعامل بكفاءة مع أعباء العمل التحليلية ، فقد ركز موردو منصة البيانات على واحد أساسي (مثل دعم Snowflake لـ Iceberg) مع توفير دعم الموصل للآخرين. هذا يعني أنه كان على المستخدمين اختيار واحد من الثلاثة والانخراط في أعمال تكامل معقدة.

الآن ، مع إصدار Delta Lake 3.0 ، لم تعد هناك حاجة لتقديم تنازلات ، وفقًا لـ Databricks. تقوم الشركة بإضافة Universal Format (UniForm) ، والذي يوفر دعمًا تلقائيًا لـ Iceberg و Hudi داخل Detla ، مما يتيح إمكانية تشغيل متبادل أكبر عبر النظم البيئية ويجعل من الممكن سحب البيانات التي تنشأ في مكان آخر إلى بحيرة دلتا.

عند استخدام UniForm ، يمكن قراءة البيانات المخزنة في Delta Lake كما لو كانت Iceberg أو Hudi. تقوم القدرة تلقائيًا بإنشاء البيانات الوصفية اللازمة لـ Iceberg أو Hudi وتوحيد تنسيقات الجدول ، مما يوفر للمستخدمين من متاعب الاختيار أو إجراء التحويلات اليدوية بين التنسيقات.

قال آدم رونثال ، نائب رئيس محلل إدارة البيانات والتحليلات في Gartner لـ VentureBeat: “مع Delta Lake 3.0 ، توفر Databricks توحيد البيانات الوصفية بين هذه التنسيقات ، مع توسيع الوصول إلى نظام بيئي أوسع بكثير من أدوات استعلام الموصلات”. “سيكون التأثير الأكبر هنا في القدرة على مشاركة البيانات الوصفية بين هذه التنسيقات كجزء من نظام بياني أوسع للبيانات.”

ما هو المزيد في Delta Lake 3.0؟

بالإضافة إلى التنسيق العالمي ، تشتمل Delta Lake 3.0 على Delta Kernel و Delta Liquid Clustering.

تم تصميم Delta Kernel لمعالجة متاعب إعادة صياغة موصلات Delta مع كل إصدار جديد أو تغيير بروتوكول. من خلال واجهة برمجة تطبيقات ثابتة واحدة فقط ، سيضمن العرض إنشاء الموصلات وفقًا لمكتبة دلتا الأساسية التي تنفذ أحدث المواصفات. وفي الوقت نفسه ، تقدم Liquid Clustering تقنية تخطيط بيانات مرنة من شأنها توفير مجموعات بيانات فعالة من حيث التكلفة مع نمو البيانات ، مما يساعد الشركات على تلبية متطلبات أداء القراءة والكتابة.

قال مايك دولان ، نائب الرئيس الأول للمشاريع في مؤسسة لينوكس: “تؤكد Delta Lake 3.0 ، بما في ذلك Universal Format و Kernel ، على تفاني مجتمع المصدر المفتوح لتحسين موثوقية البيانات وتقديم تحليلات متقدمة”. “هذا الإصدار هو خطوة إلى الأمام في إنشاء نظام بيئي مدفوع بالمجتمع لتكامل البيانات والتعاون السلس وأدوات التحليلات في الوقت الفعلي.”

وفقًا لإحصائيات Databricks ، تحصل Delta Lake على أكثر من مليار عملية تنزيل سنويًا بالإضافة إلى تحديثات الميزات المنتظمة من المهندسين المساهمين عبر الشركات مثل AWS و Adobe و eBay و Twilio و Uber.

وتستمر قمة بيانات Databricks والذكاء الاصطناعي حتى 29 يونيو في سان فرانسيسكو.