قامت Cloudflare بتفصيل برنامج Town Lake، منصة البيانات الداخلية الموحدة الخاصة بها، حيث أبلغت أن أعباء عمل الفوترة تمثل 53% من جميع استعلامات النظام الأساسي. تم تصميم النظام، الذي تم إنشاؤه جنبًا إلى جنب مع وكيل تحليلي مدعوم بالذكاء الاصطناعي يُدعى Skipper، لتوحيد الوصول إلى البيانات التشغيلية وبيانات الفوترة والأمن والأعمال التي تم توزيعها مسبقًا عبر أنظمة مجزأة.
وفقًا لـ Cloudflare، تعالج شبكتها العالمية أكثر من مليار حدث في الثانية عبر أكثر من 330 مدينة في 120 دولة. بمرور الوقت، تراكمت البيانات عبر قواعد بيانات Postgres، ومجموعات ClickHouse، وتدفقات Kafka، ومجموعات بيانات BigQuery، وأنظمة تخزين الكائنات، مما يجعل الاكتشاف والتحليل معقدًا بشكل متزايد. تم تقديم Town Lake كواجهة SQL موحدة للاستعلام عبر هذه الأنظمة مع الحفاظ على الإدارة والتحكم في الوصول.
تم بناء النظام الأساسي على بنية Lakehouse باستخدام Apache Trino، وApache Iceberg، وتخزين الكائنات Cloudflare R2، وDataHub لإدارة البيانات الوصفية. ذكرت Cloudflare أن استعلامًا واحدًا يمكنه ضم البيانات عبر جداول Postgres وClickHouse وIceberg دون نقل البيانات بين الأنظمة. تتعامل خدمات الدعم مع الاستيعاب والتحويل والتحكم في الوصول والكشف عن معلومات التعريف الشخصية (PII).
بنية منصة Town Lake (المصدر: منشور مدونة Cloudflare)
أحد عناصر التصميم الرئيسية هو نموذج الإدارة المغلق الافتراضي، حيث تظل مجموعات البيانات المدمجة حديثًا غير قابلة للوصول حتى يتم الانتهاء من المسح الآلي والمراجعة البشرية. تستخدم Cloudflare خدمة داخلية تسمى Skimmer، والتي تجمع بين التصنيف الآلي والتحليل القائم على الذكاء الاصطناعي للكشف عن البيانات الحساسة. يقوم المراجعون البشريون بعد ذلك بالتحقق من صحة التصنيفات أو تعديلها قبل منح حق الوصول.
على قمة Town Lake، قامت Cloudflare ببناء Skipper لتوفير الوصول باللغة الطبيعية إلى بيانات المؤسسة. يقوم الوكيل بترجمة طلبات المستخدم إلى استعلامات تم التحقق من صحتها باستخدام بيانات التعريف وتعريفات المخطط ونسب التحويل والوثائق وفحص وقت التشغيل لتحسين الدقة. يتم استخدامه لتحليل الفواتير وتحقيقات دعم العملاء وذكاء الأعمال وسير العمل الأمني. وصفت Cloudflare النظام بأنه طبقة وصول موحدة حيث توفر Town Lake واجهة SQL واحدة للبيانات على مستوى الشركة، ويتيح Skipper الاستعلامات باللغة البسيطة مع نتائج قابلة للتدقيق.
وقال ديمتري أليكسينكو، رئيس هندسة المؤسسات في Cloudflare
وراء كل طلب Cloudflare هناك بيانات. الكثير من البيانات. قام فريقنا ببناء Town Lake، وهي منصة بيانات موحدة، وSkipper، وكيل بيانات الذكاء الاصطناعي الذي يحول الأسئلة باللغة الإنجليزية البسيطة إلى رؤى في ثوانٍ.
قالت Cloudflare إن المهام التي كانت تتطلب في السابق SQL معقدة أو تحقيقًا يدويًا يمكن الآن إكمالها في ثوانٍ باستخدام منصة البيانات الموحدة ووكيل الذكاء الاصطناعي. تمثل أعباء عمل الفواتير أغلبية الاستخدام في Town Lake، والتي عالجت 91,760 استفسارًا متعلقًا بالفواتير من 324 موظفًا في فترة محددة، والتي تشمل تحليل الفواتير، وتحقيقات الدعم، وإعداد التقارير التشغيلية. وذكرت الشركة أيضًا أن تبسيط وكيل الذكاء الاصطناعي يؤدي إلى تحسين الدقة، بينما يؤدي دمج الأدوات المتداخلة إلى تقليل التحديدات غير الصحيحة. يؤدي دمج منطق تحويل SQL ونسب البيانات في سياق الوكيل إلى تحسين فهم دلالات الأعمال بما يتجاوز بيانات تعريف المخطط.
علق باتريك جوبيرت، الرئيس التنفيذي لشركة Rippletide، على الآثار المعمارية
إن وضع وكيل الذكاء الاصطناعي الداخلي على رأس منصة التحليلات الموحدة هو بالضبط المكان الذي تبدأ فيه فرق البنية التحتية بالشعور بمشكلة التحكم. إذا كان الوكيل يستطيع التفكير عبر البيانات التشغيلية، فيجب أن يكون التنفيذ قريبًا من التنفيذ. إن الفحوصات الحتمية الموزعة هي التي تسمح للوكيل بالتصرف دون تحويل منصة البيانات إلى سطح عمل غير قابل للتحكم.
وبالنظر إلى المستقبل، تخطط Cloudflare لتكامل أعمق لـ Skipper مع الدردشة الداخلية وإصدار التذاكر وسير عمل التطوير. تعمل الشركة أيضًا على توسيع خط أنابيب Transformer الخاص بها حتى تتمكن الفرق من تحديد مجموعات البيانات المنسقة باستخدام ملفات SQL والبيانات الوصفية التي يتم نشرها ومراقبتها وفهرستها وظهورها تلقائيًا من خلال DataHub وSkipper. تتوقع Cloudflare أيضًا ترحيل أحمال عمل Town Lake الإضافية إلى R2 SQL مع نضوج النظام.
