إدارة 100000 مستهلك بموضوع بولسار واحد

تعد شركة Nippon Telegraph and Telephone Corporation (NTT) إحدى شركات الاتصالات الرائدة في العالم. يقوم مركز NTT Software Innovation Center بإنشاء تقنيات منصات مبتكرة لدعم خدمات تكنولوجيا المعلومات والاتصالات من أجل مستقبل ناجح كمجموعة محترفة في مجال تكنولوجيا المعلومات. يعمل على بناء منصات برمجية مبتكرة وتقنيات منصات الحوسبة لدعم تطور خدمة إنترنت الأشياء / الذكاء الاصطناعي كمجموعة محترفة في مجال الحوسبة. لن يساهم فقط بشكل استباقي في مجتمع المصادر المفتوحة ، ولكن أيضًا يشجع البحث والتطوير من خلال الابتكار المفتوح. كما ستساهم في تقليل النفقات الرأسمالية / النفقات التشغيلية لتكنولوجيا المعلومات أو الاستخدام الاستراتيجي لتكنولوجيا المعلومات ، باستخدام التقنيات والمعرفة المتراكمة في تطوير البرمجيات واستغلالها.

قبل أن نقدم لك كيفية استخدام Apache Pulsar لإدارة 100000 مستهلك ، دعني أوضح أولاً حالة الاستخدام والتحديات التي نواجهها.

في سيناريو مدينتنا الذكية ، نحتاج إلى جمع البيانات من عدد كبير من الأجهزة ، مثل السيارات وأجهزة الاستشعار والكاميرات ، وإجراء مزيد من التحليل للبيانات لأغراض مختلفة. على سبيل المثال ، إذا اكتشفت الكاميرا ضررًا على الطريق ، فيجب علينا بث المعلومات على الفور إلى السيارات القريبة ، وبالتالي تجنب الاختناقات المرورية. على وجه التحديد ، نحن نقدم موضوعًا لكل منطقة وترتبط جميع المركبات في تلك المنطقة بالموضوع. بالنسبة لمدينة كبيرة ، نتوقع أن تنشر حوالي 100000 مركبة بيانات حول موضوع واحد. بالإضافة إلى الحجم الكبير من البيانات ، يتعين علينا أيضًا العمل مع بروتوكولات مختلفة تستخدمها هذه الأجهزة ، مثل MQTT و REST و RTSP.

الشكل 1. سيناريو المدينة الذكية

يمثل استمرار البيانات تحديًا آخر في هذا السيناريو. بالنسبة للبيانات الهامة ، مثل المشاهد الرئيسية من الكاميرات أو الأحداث الرئيسية من أجهزة إنترنت الأشياء ، نحتاج إلى تخزينها بشكل آمن لمزيد من التحليل ، ربما لفترة طويلة. نحتاج أيضًا إلى إعداد حلول تخزين مناسبة في النظام.

مع الأجهزة الضخمة والبروتوكولات المتنوعة وأنظمة التخزين المختلفة ، يصبح خط أنابيب البيانات لدينا معقدًا للغاية. يكاد يكون من المستحيل الحفاظ على مثل هذا النظام الضخم.

أثناء عملنا على الحلول ، كنا نفكر في تقديم مركز بيانات موحد ، مثل وسيط الرسائل المركزي الكبير الذي يمكنه دعم البروتوكولات المختلفة. بهذه الطريقة ، تحتاج جميع الأجهزة إلى الاتصال بنقطة نهاية واحدة فقط.

يقدم العديد من الوسطاء في الوقت الحاضر حلول التخزين الخاصة بهم أو حتى دعم التخزين المتدرج ، مما يضمن استمرار جميع البيانات التي تتم معالجتها بواسطة الوسطاء. وهذا يعني أيضًا أننا نحتاج فقط إلى العمل مع الوسطاء وموضوعاتهم ، مما يتيح لنا نظامًا أبسط وأنظف.

في النهاية ، اخترنا بناء نظامنا باستخدام Apache Pulsar كإطار عمل أساسي. Pulsar هو نظام بث ومراسلة سحابي أصلي مع الميزات الرئيسية التالية. هندسة معمارية فضفاضة. يستخدم بولسار Apache BookKeeper كمحرك تخزين خاص به. يسمح لنا هذا بتوسيع نطاق مجموعة التخزين بشكل مستقل دون تغيير عدد الوسطاء إذا احتجنا إلى تخزين المزيد من البيانات. معالج بروتوكول قابل للتوصيل. يسمح لنا مدير بروتوكول Pulsar بالعمل مع بروتوكولات متعددة مع مذيع واحد. وهو يدعم MQTT و Kafka والعديد من الوسطاء الآخرين. هذا يجعل من السهل جدًا استيعاب البيانات من مصادر مختلفة في مجموعة Pulsar مركزية. أداء عالٍ وزمن انتقال منخفض. يُظهر بولسار أداءً ممتازًا حيث اختبرناه باستخدام معايير مختلفة. سنناقش هذا بمزيد من التفصيل لاحقًا.

إذًا ، هل يلبي بولسار متطلبات الأداء لحالة الاستخدام الخاصة بنا؟ دعنا نلقي نظرة على تفاصيل احتياجاتنا. عدد كبير من المستهلكين. يجب أن يكون الوسطاء قادرين على إدارة الرسائل وتوزيعها على ما يصل إلى 100،000 مركبة. قليل من الكمون. لدينا عدد كبير من الإخطارات التي تم إنشاؤها مقابل البيانات في الوقت الفعلي ، والتي يجب تسليمها مع زمن انتقال من طرف إلى طرف (E2E) أقل من ثانية واحدة. في حالتنا ، يشير زمن الانتقال من طرف إلى طرف إلى الوقت بين وقت إرسال رسالة بواسطة الخدمات السحابية ووقت استلامها بواسطة السيارة. من الناحية الفنية ، يحتوي على مرحلتين - الإنتاج والاستهلاك. رسائل رائعة. يجب أن يكون الوسطاء قادرين على التعامل مع الرسائل الكبيرة من الكاميرات (على سبيل المثال ، تدفقات الفيديو) دون مشاكل في الأداء. يركز معظم الوسطاء على التعامل مع الرسائل الصغيرة ، مثل بيانات أحداث الخدمات المصغرة السحابية ، والتي عادةً ما تكون حول عدة مئات من الكيلو بايت على الأكثر. عندما م ...