كورالينغ كافكا: نظام بيئي جديد يبسط ويضفي الطابع الديمقراطي على بيانات بث الأحداث للمؤسسات

لتعزيز التزامنا بتوفير تغطية متطورة لتكنولوجيا البيانات ، يسعد VentureBeat أن ترحب بأندرو بروست وتوني باير كمساهمين منتظمين. راقب مشاركاتهم في مسار البيانات.

نظرًا لأن النظام الأساسي للبيانات السحابية في هلسنكي ، فقد طور نظامًا بيئيًا مفتوح المصدر لـ Apache Kafka ، وهو نظام أساسي لبث الأحداث شهير. تعد العروض الجديدة بمساعدة الشركات على تعزيز بنيتها التحتية في كافكا باستخدام مكونات مفتوحة المصدر.

قال فيليب يونوف ، مدير إدارة منتجات دفق البيانات في Aiven ، لـ VentureBeat: "أصبح تدفق الأحداث العمود الفقري للبنية التحتية لتكنولوجيا المعلومات. "في Aiven ، شهدنا أسرع نمو في بث الأحداث من أي منتج آخر."

يوفر Apache Kafka البنية التحتية لربط تدفقات البيانات من قواعد البيانات والتطبيقات وأجهزة إنترنت الأشياء ومصادر الجهات الخارجية. يساعد كافكا في تنظيم البيانات الأولية في تدفقات الأحداث التي تقلل حجم البيانات ويسهل دمجها في التطبيقات والتحليلات المستندة إلى الأحداث. تستخدمه الشركات لتحسين تجربة العملاء ، وبناء metaverse الصناعي ، ومراقبة المرضى.

ومع ذلك ، فإن بناء إطار عمل كافكا يتضمن العديد من الأجزاء المتحركة. جمعت Aiven جميع الأدوات اللازمة في مكان واحد لتبسيط هذه العملية. تشمل التحسينات الرئيسية الجديدة دعم Apache Flink وإدارة البيانات. تُكمل هذه الأدوات الموجودة لربط الخدمات وتكرار البيانات وإدارة المخططات لعمليات نشر كافكا. حدث

قمة الأمان الذكية

تعرف على الدور الأساسي للذكاء الاصطناعي والتعلم الآلي في الأمن السيبراني ودراسات الحالة الخاصة بالصناعة في 8 ديسمبر. اشترك للحصول على بطاقتك المجانية اليوم. سجل الان الحاجة إلى البساطة

طور موقع LinkedIn في الأصل كافكا لدمج البيانات في البنية التحتية للخدمات الدقيقة الشاملة ، وفتحها في عام 2011. في السنوات التي تلت ذلك ، خصصت الشركات الكبيرة الأدوات وفقًا لاحتياجاتها الخاصة ، وقام العديد من البائعين بنشر تحسينات الملكية لملء الحوكمة والتكامل ثغرات. تستخدم العديد من المؤسسات كافكا لسيناريوهات خطوط بيانات متنوعة ، مثل نقل البيانات بين التطبيقات في الوقت الفعلي أو نقل البيانات من قاعدة بيانات إلى مستودع بيانات.

أخبر يونوف VentureBeat أنه نظرًا لأن تكتلات كافكا تصبح أكبر وأكثر تعقيدًا ، فإنها تتطلب أدوات وحوكمة إضافية لضمان التشغيل والإدارة المناسبين. قال: "على عكس حلول كافكا الحالية ، فإن عرض Aiven لا يجبر المنظمات على الاختيار بين أدوات الملكية والتقنيات المغلقة من قبل البائع أو مفتوحة المصدر بدون دعم". تحسين تجربة المطور مع تدفق الأحداث

يتمثل أحد الجوانب الأساسية في إضفاء الطابع الديمقراطي على تجربة العمل مع بيانات بث الحدث. توفر الأداة مفتوحة المصدر Klaw واجهة خدمة ذاتية لإدارة مجموعات كافكا. انضم كافكاويز ، الذي طور شركة Klaw ، مؤخرًا إلى مكتب التطوير مفتوح المصدر في Aiven في سبتمبر للمساعدة في دمج أدواتهم معًا. الآن يعملون معًا لتحسين الخدمة الذاتية وتبسيط إدارة المستخدم وتقوية إدارة البيانات.

كان هناك تطور مهم آخر وهو ربط تدفق البيانات باستعلامات SQL المألوفة لمهندسي البيانات. تمكّن أدوات Aiven الجديدة لـ Apache Flink الفرق من معالجة كميات أكبر من الأحداث وتشغيل التحليلات في الوقت الفعلي باستخدام SQL. يوفر Aiven هذا كخدمة مُدارة بالكامل تقلل من تعقيد نشر مجموعة Flink. كما أنه يبسط التكامل مع Aiven for Apache Kafka لتصفية وإثراء وتجميع الأحداث أثناء التنقل.

تأمل Aiven في تكرار نجاح الأطر مفتوحة المصدر الأخرى مثل PostgreSQL و Kubernetes و Linux ، التي تم إنشاؤها بواسطة مزيج صحي من المساهمات من vario ...