Google Nest Mini vidé et reconstruit pour exécuter des agents personnalisés

Le Google Nest Mini est un haut-parleur intelligent populaire, mais il s'agit en fait d'une solution Big Tech basée sur le cloud. Pour ceux qui veulent rouler leur propre assistant vocal, ou simplement éviter la surveillance de tout cela par l'entreprise, le travail de [Justin Alvey] peut plaire. (Nitter)

[Justin] a démonté un Nest Mini, arraché le circuit imprimé d'origine et l'a équipé de ses propres éléments internes. Il utilise l'ESP32 comme base de sa conception, car il offre une grande puissance de traitement et une connectivité WiFi. Son circuit imprimé de remplacement s'interface également avec les voyants, l'interrupteur de mise en sourdine et les fonctionnalités tactiles capacitives du Nest Mini, pour faciliter l'interaction.

En guise de démonstration, il a configuré le système pour qu'il fonctionne avec un assistant "Maubot" personnalisé à l'aide du framework Matrix. Il l'a connecté à Beeper, un client de messagerie qui rassemble toutes vos autres plates-formes de messagerie en un seul endroit facilement accessible. L'assistant utilise GPT3.5, invité avec une liste de sa famille, de ses amis et d'autres détails, pour lui permettre de passer des appels, d'envoyer des messages et de gérer les requêtes en langage naturel. La démo elle-même est très impressionnante et nous aimerions essayer de configurer nous-mêmes un assistant similaire. Voir deux des constructions de [Justin] se parler est également amusant.

Si vous êtes plus à l'aise avec l'Assistant Google plutôt que de l'abandonner complètement, nous avons également examiné ce genre de chose. Vidéo après la pause.

J'ai "jailbreaké" un Google Nest Mini afin que vous puissiez exécuter vos propres LLM, agents et modèles vocaux.

Voici une démo l'utilisant pour gérer tous mes messages (avec l'aide de @onbeeper)