شركة Confluent توسع قدرات كافكا ستيم ، وتستحوذ على بائع أباتشي فلينك

القدرة على نقل البيانات وإدارتها ومعالجتها في الوقت الفعلي هو مجال تدفق البيانات ، والذي تهيمن عليه إلى حد كبير سلسلة من التقنيات مفتوحة المصدر.

القدرة على دفق البيانات هي القدرة الأساسية لتقنية Apache Kafka مفتوحة المصدر. من بين البائعين الرئيسيين الذين يدعمون كافكا بالمنتجات والخدمات التجارية ، شركة Confluent ، التي يقودها المبدعون الأصليون لكافكا. كان Confluent قد حقق الاكتتاب العام الأولي (IPO) في يونيو 2021 ، مع استمرار نمو الطلب على تدفق البيانات في الوقت الفعلي.

ومع ذلك ، فإن القدرة على دفق البيانات ليست سوى مكون واحد من مكونات تمكين تطبيقات المؤسسة ، حيث تحتاج المؤسسات أيضًا إلى أن تكون قادرة على تدفقات المعالجة بحيث يمكن أن تكون مفيدة لعمليات الأعمال وذكاء الأعمال (BI) وتحليلات البيانات. تتيح تقنية Kafka Streams التي يستخدمها Confluent بعض معالجة التدفق ، ولكن وفقًا للرئيس التنفيذي لشركة Confluent والمؤسس المشارك لـ Kafka Jay Kreps ، هناك المزيد الذي تحتاجه المؤسسات.

قال كريبس لـ VentureBeat: “أصبح تدفق البيانات سائدًا للغاية ، و Kakfa هي منصة الآن في كل شركة تقريبًا”. “لذا ، فإن النوع التالي من المشكلات المنطقية التي يجب حلها هو ،” ماذا تفعل بتدفقات البيانات وكيف يمكنك جعل إنشاء تطبيقات حولها أسهل وأسهل؟ “

للمساعدة في توسيع قدراتها في معالجة تدفق البيانات ، أعلنت شركة Confluent اليوم عن استحواذها على مورد مملوك للقطاع الخاص Immerok ، وهو مساهم رئيسي في مشروع Apache Flink. لم يتم الكشف عن الشروط المالية للصفقة علنا.

Apache Flink هي معالجة دفق مفتوحة المصدر شهيرة يدعمها العديد من البائعين التجاريين بما في ذلك Aiven و Alibaba ، التي تمتلك Vervetica.

لا تخف ، أباتشي فلينك هنا

كانت Vervetica تُعرف سابقًا باسم DataArtisans واستحوذت عليها Alibaba في يناير 2019 مقابل 103 مليون دولار. كان مؤسسو DataArtisans هم المبدعون الأساسيون الأصليون لـ Apache Flink.

غادر عدد من أعضاء الفريق الأصليين من Vervetica الشركة في عام 2022 للانضمام إلى شركة Immerok الناشئة ، التي جمعت في ذلك الوقت ما يقرب من 17 مليون دولار من التمويل. في حين أن الشركة جديدة نسبيًا ، قال كريبس إنها قامت بعمل كبير في بناء خدمة سحابية أصلية حقيقية حول Flink.

من وجهة نظر كريبس ، تتمثل الفكرة الأساسية للواجهة السحابية الأصلية في وجود واجهة مفتوحة وراسخة يمكن للمطورين إنشاء تطبيقات بها. هذا هو الاتجاه الذي كانت شركة Confluent تأخذ فيه كافكا بالفعل مع بياناتها السحابية Confluent Cloud في منصة الحركة. وهذا هو الاتجاه الذي سيلائمه إيميروك وفلينك.

أوضح كريبس أن اتجاه Confluent سيساعد في تمكين مركز تدفق البيانات ، ثم يزود المستخدمين بطرق مختلفة للعمل مع تلك البيانات.

ماذا يفعل Flink على أي حال؟

تحتوي قاعدة البيانات عادةً على مكونين أساسيين: طبقة تخزين حيث توجد البيانات وطبقة معالجة استعلام لتنفيذ الاستعلامات على البيانات. أوضح كريبس أنه في عالم قواعد البيانات التقليدية ، يعد التخزين ومعالجة الاستعلام جزءًا من نفس المنتج.

مع كافكا ، يمكن تخزين تدفق البيانات بطرق مختلفة ، بما في ذلك باستخدام تقنية ksqlDB مفتوحة المصدر بقيادة Confluent. غالبًا ما يكون الاستعلام عن البيانات ، وهو ما يفعله معالج الدفق Apache Flink ، تقنية منفصلة.

قال كريبس: “يعتبر كافكا نوعًا من التبادل المركزي للبيانات المتدفقة ونعتقد أن Flink يمكن أن يكون طبقة المعالجة التي يبني الأشخاص تطبيقات ضدها”.

فكرة فصل طبقة البيانات عن محرك الاستعلام شائعة أيضًا في مستودعات البيانات وأسواق بحيرة البيانات. من وجهة نظر كريبس ، يمكن اعتبار النموذج الذي سيبنيه Confluent باستخدام Flink كإصدار بيانات في الوقت الفعلي لمستودع البيانات أو مستودع بحيرة البيانات.

تتيح قدرة Kafka Streams الحالية لـ Confluent أيضًا معالجة الدفق ، على الرغم من أنها تعمل بطريقة مختلفة. أوضح كريبس أن Kafka Streams هي مكتبة برمجيات مضمنة يمكن للمطورين دمجها في التطبيقات. في المقابل ، تعمل Flink كخدمة في الطبقة السحابية ، مما يتيح للمطورين إنشاء SQL وتطبيقات أخرى في الوقت الفعلي.

بالتطلع إلى الأمام ، تتمثل خطة Confluent في دمج إمكانات Immerok Flink في Stream Designer ، والذي تم الإعلان عنه في أكتوبر 2022. يوفر Stream Designer نهجًا للنقطة والنقر لمساعدة المطورين على توصيل مصادر دفق بيانات كافكا المختلفة بتطبيقات المؤسسة.

قال كريبس: “نعتقد بالتأكيد أن هناك الكثير من الطرق لاستخدام تدفقات البيانات ونريدها جميعًا أن تنمو وتزدهر”.