يقوم الآن مطور منصة البيانات والذكاء الاصطناعي بتسويق برنامج Zerobus Ingest الجديد كبديل للبرامج القديمة القائمة على الرسائل لنقل البيانات في الوقت الفعلي وفي الوقت الفعلي تقريبًا.
تعمل Databricks على تعزيز قدرة منصة البيانات والذكاء الاصطناعي الخاصة بها على معالجة البيانات المتدفقة بسرعة – وهي قدرة بالغة الأهمية حيث أن الموجة المتزايدة من تطبيقات الذكاء الاصطناعي والوكلاء الذين يتم نشرهم تزيد الطلب على استيعاب البيانات في الوقت الفعلي تقريبًا.
أعلنت Databricks هذا الأسبوع عن التوفر العام لخدمة Zerobus Ingest، وهي خدمة مُدارة بالكامل بدون خادم تقوم بتدفق البيانات مباشرة من مصادر البيانات، مثل أنظمة التصنيع التشغيلية، أو تطبيقات التداول المالي، أو أدوات الأمن السيبراني والقياس عن بعد من أجهزة إنترنت الأشياء، إلى مخزن البيانات.
تقوم Databricks بتسويق Zerobus Ingest، وهو جزء من إمكانات Lakeflow Connect ضمن منصة Databricks Data Intelligence Platform، كبديل للتقنيات مثل Apache Kafka Data Event Streaming Platform.
(ذات صلة: سجلت Databricks معدل تشغيل إيرادات قدره 5.4 مليار دولار أمريكي مع إغلاق جولة استثمار بقيمة 7 مليار دولار أمريكي)
وقال بلال أسلم، المدير الأول لإدارة المنتجات في Databricks، في مقابلة: “لقد بدأنا نرى أن عملائنا يقومون بإنشاء المزيد والمزيد من حالات استخدام البيانات في الوقت الفعلي”. crn. لكنه قال إن الكثيرين كانوا يقومون بتجميع بنيات تكنولوجيا المعلومات “فائقة التعقيد” باستخدام برامج مثل Kafka أو Apache Flink.
ويقدر أسلم أن ما بين 30% إلى 40% من عملاء Databricks لديهم تطبيقات تستخدم إما تدفق البيانات في الوقت الفعلي أو في الوقت الفعلي تقريبًا.
قالت Databricks أن Zerobus Ingest يمكنها تحقيق زمن استجابة أقل من خمس ثوانٍ مع دعم الآلاف من العملاء المتزامنين، مما يوفر ما يصل إلى 100 ميجابايت/ثانية من البيانات لكل اتصال لأكثر من 10 جيجابايت/ثانية من إجمالي الإنتاجية إلى جدول دلتا واحد داخل مخزن البيانات. (جداول دلتا هي تنسيق جدول البيانات الخاص بـ Delta Lake، وهو إطار عمل مفتوح المصدر لتخزين البيانات لأنظمة مستودعات البيانات التي طورتها شركة Databricks.)
بالإضافة إلى تقديم أداء عالٍ في معالجة البيانات وزمن وصول منخفض، تقول Databricks أن Zerobus Ingest تقلل التكلفة والتعقيد من خلال القضاء على الحاجة إلى ناقلات المراسلة مثل Kafka وتحسين أمان البيانات عن طريق تقليل أو إزالة كمية البيانات المنقولة خارج نظام إدارة البيانات المركزي.
وقال أسلم إن Zerobus Ingest تم تصميمه للاستفادة من إمكانات إدارة البيانات في Unity Catalog من Databricks، والذي يوفر إدارة موحدة للبيانات عبر منصة Databricks.
وقال عن Zerobus Ingest: “لقد تم بناؤه من الألف إلى الياء كبنية حديثة بدون خادم”، ومقارنته بالأنظمة القديمة القائمة على الرسائل مثل Kafka، والتي “لم يتم تصميمها مع وضع الحوسبة بدون خادم في الاعتبار”، وبالتالي تتطلب بنية تحتية داعمة أكثر بكثير وإدارة عملية للبيانات.
وجهة نظر المشاركين
تعمل Databricks مع شركاء تكامل الأنظمة وموفري الحلول، وقال أسلم إن Zerobus Ingest تقدم لهم مجموعة من عروض القيمة والفرص، وأكثرها وضوحًا هو تحقيق وقت أسرع للقيمة لتنفيذ الأنظمة المستندة إلى Databricks للتطبيقات التحليلية في الوقت الفعلي وفي الوقت الفعلي تقريبًا.
وقال: “إن الأمر يستغرق دقائق إلى ساعات من التطوير، وليس أسابيع وأشهر”.
ويخلق المنتج الجديد أيضًا فرصًا للشركاء لاقتراح مشاريع التحديث لعملائهم حول أنظمة الأمن السيبراني وإنترنت الأشياء القديمة.
وقال أسلم: “يمكن للشركاء الآن إجراء قياسات عن بعد بأجهزة استشعار كبيرة الحجم دون بناء الكثير من البنية التحتية. وهذا ضخم”. “نحن نشهد زيادة في الأمن السيبراني، لذلك نحصل على الأحداث الأمنية وتسجيلات الدخول إلى Lakehouse حتى تتمكن من اكتشاف الحالات الشاذة في الوقت الفعلي، والاستعلامات في الوقت الفعلي، واكتشاف التهديدات.”
وقال “أعتقد أن هذا يفتح مسارا (مبيعات) أكبر بكثير للشركاء”.
