يقوم Starburst بتسريع Trino إلى “Warp Speed” لتسريع الاستعلام عن البيانات

تميل المؤسسات الحديثة إلى امتلاك بيانات في عدة مواقع مختلفة ، مما يجعل الاستعلام عن البيانات للتحليلات وعلوم البيانات تحديًا.

أعلنت شركة Starburst ومقرها بوسطن اليوم ، في مؤتمر Datanova ، عن سلسلة من التحديثات لسحابة Starburst Galaxy ومنصات المؤسسات المحلية التي تهدف إلى المساعدة في تمكين المؤسسات بشكل أفضل من تنظيم البيانات والاستعلام عنها.

تشمل قيادة Starburst التقنية المبدعين لمحرك استعلام Trino SQL مفتوح المصدر والذي بدأ بدايته في الأصل كمحرك استعلام Presto في Facebook في عام 2013. كما أن Trino هي أساس منتجات Starburst التجارية ، والتي تساعد المؤسسات على الاستعلام عن البيانات الموجودة في بحيرات البيانات ، في نهج يشار إليه اليوم باسم بحيرة البيانات.

من بين التحديثات القادمة إلى محفظة Starburst إدخال مفهوم يُعرف باسم “منتج البيانات” ، وهو عبارة عن مجموعة مجمعة من البيانات التي يمكن أن تأتي من مصادر مختلفة. يمكن بعد ذلك استخدام تجميع منتجات البيانات بسهولة أكبر للتحليلات وعلوم البيانات.

يضيف Starburst أيضًا إمكانية بحث عالمية جديدة لمساعدة المؤسسات في العثور على أصول البيانات ، بالإضافة إلى تقديم إمكانية تسريع استعلام بيانات جديدة تسمى “Warp Speed”.

“لقد تحسنت بحيرات البيانات بشكل عام بشكل ملحوظ على مر السنين ، لا سيما مع تنسيقات الجداول الجديدة مثل Apache Iceberg ، التي تحل الكثير من مشاكل بحيرات بيانات المدرسة القديمة” ، هذا ما قاله مات فولر ، الشريك المؤسس ونائب الرئيس للمنتج في أخبر Starburst VentureBeat.

ما هو منتج البيانات على أي حال؟

Apache Iceberg هو تنسيق جدول بحيرة البيانات ، والذي يوفر بعض الهياكل للمحتوى الموجود في بحيرة البيانات ، مما يسهل الاستعلام. ولكن ماذا يحدث عندما يكون لدى مؤسسة ما بحيرات بيانات متعددة ، أو مصادر بيانات أخرى بما في ذلك قواعد البيانات؟ هذا هو المكان المناسب لمفهوم منتج البيانات.

كانت Starburst توفر قدرة منتج البيانات في إصدار Enterprise الخاص بها وتقوم الآن بإحضار هذه الإمكانية إلى سحابة Starburst Galaxy السحابية. أوضح فولر أن منتج البيانات هو مجموعة بيانات منظمة للغاية.

يمكن أن تكون مجموعة البيانات شيئًا بسيطًا مثل جدول في بحيرة البيانات تم تكوينه باستخدام الأذونات الصحيحة بحيث يمكن للمستخدمين فقط رؤية مجموعة فرعية معينة من البيانات ذات الصلة بحالة استخدام معينة. أوضح فولر أنه ، على سبيل المثال ، يمكن أن يكون منتج البيانات أيضًا مزيجًا من البيانات القادمة من بحيرة البيانات ومعلومات العميل الموجودة في قاعدة البيانات. والنتيجة النهائية هي أن المستخدم يرى ببساطة جميع البيانات التي يحتاجها في مكان واحد تم جمعه في منتج البيانات.

إلى جانب مجرد تجميع البيانات ، قال فولر إن مفهوم منتج بيانات Starburst سيعمل أيضًا على تجميع البيانات مع البيانات الوصفية ، والتي توفر الملكية والنسب لمساعدة المستخدمين على الشعور بالثقة في جودة البيانات التي تم جمعها.

قبل أن تتمكن المؤسسات من إنشاء منتجات البيانات ، ستحتاج إلى فهم البيانات التي لديها. هذا هو المكان الذي ستساعد فيه إمكانية البحث العالمية الجديدة المضافة إلى Starburst. أوضح فولر أن البحث العالمي يمكّن المؤسسات من اكتشاف البيانات بواجهة بحث يمكن ربطها بعد ذلك بمجموعة Starburst.

Warp Speed ​​للأمام لاستفسارات البيانات

في يونيو 2022 ، استحوذت شركة Starburst على بائع Trino الإسرائيلي Varada ، الذي كان يبني تقنية تسريع استعلام البيانات.

تم دمج تقنية Varada في منصة Starburst تحت اسم المنتج Warp Speed. وأشار فولر إلى أنه حتى قبل الاستحواذ ، كانت Starburst تتعاون مع Varada لمساعدة العملاء المشتركين في تسريع الاستفسارات من خلال إمكانية فهرسة البيانات المتقدمة والتخزين المؤقت.

قال فولر: “يجب أن تجعل كل شيء أسرع الآن”.

ومع ذلك ، أشار إلى أن Warp Speed ​​ستفيد بعض أعباء العمل أكثر من غيرها. على سبيل المثال ، الاستعلامات المعقدة التي تتضمن تجميع البيانات حيث يوجد الكثير من عمليات الإدخال / الإخراج (I / O) ستحقق أكبر فائدة.

يأتي دعم Python إلى Starburst

Trino هو محرك استعلام SQL ، مما يعني أنه يتطلب أن تستخدم المؤسسات بشكل عام لغة استعلام SQL. كان التحدي الذي يواجه البعض في الماضي هو حقيقة أنه في عالم علم البيانات ، تحظى لغة برمجة Python مفتوحة المصدر بشعبية كبيرة.

تحقيقًا لهذه الغاية ، تقوم Starburst بتوسيع دعم Python ، مما يمكّن المؤسسات من ترحيل أحمال عمل PySpark إلى Starburst و Trino. PySpark هي تقنية مفتوحة المصدر شائعة لاستخدام لغة Python مع محرك استعلام Apache Spark.

قال فولر: “اللغتان المهمتان حقًا لمهندسي البيانات هما SQL ، بالطبع ، و Python أيضًا”. “سيستخدم الأشخاص Python ونريد التأكد من أنه يمكننا العمل بشكل جيد مع كل من واجهة SQL وواجهة Python لـ Starburst.”