السيطرة على يد الكترونية مع الكشف عن الكلمات المفتاحية tinyML
غالبًا ما تتضمن الطرق التقليدية لإرسال أوامر الحركة إلى الأطراف الاصطناعية تخطيط كهربية العضل (قراءة الإشارات الكهربائية من العضلات) أو وحدات Bluetooth البسيطة. ولكن في هذا المشروع ، طورت Ex Machina إستراتيجية بديلة تسمح للمستخدمين باستخدام الأوامر الصوتية وتنفيذ الإيماءات المختلفة وفقًا لذلك.
صنعت اليد نفسها من خمسة محركات مؤازرة SG90 ، كل منها يحرك إصبعًا فرديًا من مجموعة اليد الكبيرة المطبوعة ثلاثية الأبعاد. يتم التحكم فيها جميعًا بواسطة Arduino Nano 33 BLE Sense ، الذي يجمع البيانات الصوتية ، ويفسر الإيماءات ، ويرسل إشارات إلى الماكينات و RGB LED لتوصيل الإجراء قيد التقدم.
من أجل التعرف على كلمات رئيسية معينة ، جمعت Ex Machina 3.5 ساعات من البيانات الصوتية موزعة على ست علامات إجمالاً والتي تغطي الكلمات "واحد" ، "اثنان" ، "موافق" ، "موسيقى الروك" ، "إبهام" up 'و' لا شيء '- كل ذلك بالبرتغالية. من هناك ، تمت إضافة العينات إلى مشروع في Edge Impulse Studio وإرسالها من خلال كتلة معالجة MFCC لاستخراج صوتي أفضل. أخيرًا ، تم تدريب نموذج Keras على الميزات الناتجة وحقق دقة بنسبة 95٪.
بمجرد نشره في Arduino ، يتلقى النموذج باستمرار بيانات صوتية جديدة من الميكروفون المدمج حتى يتمكن من استنتاج الملصق الصحيح. أخيرًا ، يقوم بيان التبديل بتعيين كل مؤازر على الزاوية الصحيحة للإيماءة. لمزيد من التفاصيل حول اليد الإلكترونية التي يتم تنشيطها بالصوت ، يمكنك قراءة مقالة Ex Machina's Hackster.io هنا.
غالبًا ما تتضمن الطرق التقليدية لإرسال أوامر الحركة إلى الأطراف الاصطناعية تخطيط كهربية العضل (قراءة الإشارات الكهربائية من العضلات) أو وحدات Bluetooth البسيطة. ولكن في هذا المشروع ، طورت Ex Machina إستراتيجية بديلة تسمح للمستخدمين باستخدام الأوامر الصوتية وتنفيذ الإيماءات المختلفة وفقًا لذلك.
صنعت اليد نفسها من خمسة محركات مؤازرة SG90 ، كل منها يحرك إصبعًا فرديًا من مجموعة اليد الكبيرة المطبوعة ثلاثية الأبعاد. يتم التحكم فيها جميعًا بواسطة Arduino Nano 33 BLE Sense ، الذي يجمع البيانات الصوتية ، ويفسر الإيماءات ، ويرسل إشارات إلى الماكينات و RGB LED لتوصيل الإجراء قيد التقدم.
من أجل التعرف على كلمات رئيسية معينة ، جمعت Ex Machina 3.5 ساعات من البيانات الصوتية موزعة على ست علامات إجمالاً والتي تغطي الكلمات "واحد" ، "اثنان" ، "موافق" ، "موسيقى الروك" ، "إبهام" up 'و' لا شيء '- كل ذلك بالبرتغالية. من هناك ، تمت إضافة العينات إلى مشروع في Edge Impulse Studio وإرسالها من خلال كتلة معالجة MFCC لاستخراج صوتي أفضل. أخيرًا ، تم تدريب نموذج Keras على الميزات الناتجة وحقق دقة بنسبة 95٪.
بمجرد نشره في Arduino ، يتلقى النموذج باستمرار بيانات صوتية جديدة من الميكروفون المدمج حتى يتمكن من استنتاج الملصق الصحيح. أخيرًا ، يقوم بيان التبديل بتعيين كل مؤازر على الزاوية الصحيحة للإيماءة. لمزيد من التفاصيل حول اليد الإلكترونية التي يتم تنشيطها بالصوت ، يمكنك قراءة مقالة Ex Machina's Hackster.io هنا.
What's Your Reaction?
