Виявляйте вандалізм за допомогою аудіокласифікації на Nano 33 BLE Sense

Виявляйте вандалізм за допомогою аудіокласифікації на Nano 33 BLE Sense

Команда Arduino — 1 грудня 2022 р.

Принесення та/або знищення чогось — це дія, якої більшість людей сподівається повністю уникнути або принаймні спіймати злочинця, коли це станеться. І, як зазначає Нехіл Р. в описі свого проекту, традиційні методи стримування/виявлення часто не дають результатів, а це означає, що потрібен був новий тип рішення.

На відміну від інших датчиків розбиття скла, проект Nekhil покладається на один недорогий Arduino Nano 33 BLE Sense та його вбудований цифровий мікрофон для запису аудіо, його класифікації та сповіщення власника будинку через Wi-Fi за допомогою карти ESP8266-01. Набір даних, використаний для навчання моделі машинного навчання, надійшов із двох джерел: набору даних Microsoft Scalable Noisy Speech для фонового шуму та розбитого скла, записаного на самому пристрої. Обидва вони були додані до проекту Edge Impulse через Studio та розділені на двосекундні зразки перед обробкою алгоритмом Mel-filterbank Energy (MFE).

100

Отримана модель, навчена за допомогою 200 циклів навчання та невеликого додавання шуму, показала вражаючу точність у 92%, причому деякі зразки розбитого скла були неправильно класифіковані як простий шум. Потім це було експортовано в Nano 33 BLE Sense як бібліотеку для використання в ескізі, який постійно класифікує вхідні звуки та електронні листи за допомогою IFTTT, якщо виявлено розбиття скла.

Ви можете переглянути демонстраційне відео Nekhil нижче та прочитати більше про цей проект тут, у блозі Edge Impulse.