Oidbs: مجموعة مرجعية مفتوحة المصدر تعتمد على MQTT لبيانات إنترنت الأشياء

تم النشر في ١٨ أكتوبر ٢٠٢٢ عن طريق Joinbase0 - قراءة لمدة 4 دقائق تم فتح

OIDBS (Open IoT Database Benchmark Suite) من أجل قياس أداء رسائل إنترنت الأشياء الضخمة وأداء مكدس البيانات الشامل.

في إطار تطوير JoinBase ، نكمل OIDBS (Open IoT Database Benchmark Suite). لأننا وجدنا أنه لا توجد أداة أو إطار عمل بسيط ومرن وقوي للمساعدة في مقارنة مكدس بيانات إنترنت الأشياء من طرف إلى طرف. من المهم تمكين تجربة موجزة شاملة لأنظمة البيانات في الإنتاج. نظرًا لأن مكدس بيانات إنترنت الأشياء الكامل يمكن أن يكون معقدًا ، فقد تكون هناك فجوة كبيرة بين النظام الفرعي المحلي والنظام العالمي. الأوامر القابلة للإنشاء

التصميم الرئيسي لـ OIDBS هو: عناصر تحكم قابلة للإنشاء.

تتكون مجموعة المعايير من ثلاثة أوامر: عام ، واستيراد ، ومقياس. gen: لإنشاء بيانات الرسائل الخاضعة للرقابة والقابلة للتكرار في ملفات على أقراص بتنسيق CSV أو JSON. استيراد: لاستيراد الملفات بتنسيق CSV أو JSON إلى وسطاء MQTT أو خوادم PostgreSQL / Timescale. مقاعد البدلاء: قم بتشغيل استعلامات SQL محددة مسبقًا مقابل أهداف محددة.

تعمل هذه الأوامر الثلاثة القابلة للإنشاء على فصل الوظائف الرئيسية عن سيناريوهات إنترنت الأشياء والبيانات المختلفة. والفصل يجعل المقارنة المرجعية أسرع وأرخص. على سبيل المثال ، إذا تم إنشاء الرسالة في مكانها في الحلقة السريعة لإرسال الرسالة ، فيجب أن يتداخل الحساب وحشو البيانات مع الإرسال. القابلية الهرمية للتوصيل

لتحقيق أقصى قدر من الفهم والمساهمة الخارجيين ، نقدم تصميمات قابلة للتوصيل على مستويات مختلفة مع الحد الأدنى من الهندسة المعمارية. يمكن بسهولة توسيع OIDBS بأكمله من تنسيقات مصدر البيانات وبروتوكولات النقل إلى خوادم الخلفية عبر واجهات قياسية. النماذج المرجعية

تم اقتراح المفهوم ، النموذج المرجعي ، في قلب امتدادات OIDBS. يتم استخدام النموذج المرجعي لتجميع مجموعات مختلفة من البيانات المرجعية مع ما يقابلها من مولدات البيانات والمخططات والاستعلامات.

عند إطلاق JoinBase و OIDBS لأول مرة ، تم اختبار نموذجين: "nyct_lite" و "nyct_strip":

اسم النموذج حجم مجموعة البيانات النموذجية الوصف كيف تحصل عليها nyct_lite 10906860 خطوط مجموعة بيانات مدينة نيويورك المستخدمة في مقياس الوقت الرسمي (مضغوطة في ملف 424 ميجابايت) وثائق مقياس الوقت nyct_strip 1000000000 صف توسيع مجموعة بيانات مدينة نيويورك التي تبلغ مليار صف مع إزالة الأعمدة (مضغوطة في ملفات بحجم 13 غيغابايت) تحميل مسبق الصنع من ميديافاير أو التحضير من مشروع جيثب هذا

Tab.1 نظرة عامة على نماذج OIDBS

هذان النموذجان مستمدان من مجموعة بيانات رسمية فعلية لمدينة نيويورك. لمعرفة المزيد حول أسباب هذين النموذجين المقترحين ، راجع صفحة مرجع JoinBase.

لنلقِ نظرة على مثال بسيط لكيفية استخدام OIDBS لمقارنة سرعة نقل أحدث إصدار من Mosquitto في دقائق. يعد هذا الفيديو أيضًا شرحًا رائعًا لبدء التشغيل السريع لكيفية استخدام Mosquitto مع العميل الخاص به.

الفيديو: OIDBS Quickstart

من نتيجة هذا العرض التوضيحي ، يمكننا أن نرى أن أداء النقل المباشر للإصدار الحالي من Mosquitto في WSL2 (Ubuntu) مع un-pub-un-sub هو 10906860 رسالة / 43.48 ثانية ~ = 250 كيلو بايت في الثانية أو 1.6 جيجابايت / 43.48 ثانية ~ = 36 ميجابايت (بتنسيق csv) / ثانية.

ومع ذلك ، فإن 250.000 msg / s مع المضيف المحلي ليس جيدًا ، لأن أحد pub-one-sub يعني أن تزامن الاتصالات واحد. الأهم من ذلك ، يجب أن نشير إلى أن بيئة Windows ليست مناسبة لقياس أداء وسيط MQTT ، ناهيك عن أن WSL2 هو في الأساس آلة افتراضية. نوضح هنا مدى سهولة استخدام معيار OIDBS. لأنه لا يوجد فرق بين Linux و Windows WSL2 في سير العمل. للاستخدامات غير المتعلقة بالإنتاج ، لا يزال تكوين Windows هذا مقبولاً.

أخيرًا ، نحن فخورون بالإشارة إلى أنه بالنسبة لنفس حالة التزامن للاتصال ، فإن J ...