Physical AI with Raspberry Pi : des capteurs à la vision par ordinateur

Que se passe-t-il lorsqu'un Raspberry Pi peut faire bien plus que traiter des données ? Avec l'offre groupée Physical AI with Raspberry Pi, il est possible de connecter des caméras, des capteurs, des moteurs, un microphone et un haut-parleur, puis de les utiliser dans des projets allant du contrôle matériel au suivi d'objets et à l'interaction vocale.

Un Raspberry Pi, une caméra et quelques capteurs constituent déjà une plateforme de projet capable. Ajoutez des moteurs, de l’audio, de la vision par ordinateur et de la reconnaissance d’objets, et l’ensemble devient bien plus intéressant.

C'est l'idée qui sous-tend le bundle Physical AI with Raspberry Pi d'Elektor, qui associe le livre Physical AI with Raspberry Pi de Dogan Ibrahim au kit AI Fusion Lab de SunFounder. Le livre fournit les projets et les explications, tandis que le kit apporte le matériel nécessaire pour les réaliser.
 

Commencer par l'électronique

Le livre commence par des notions d’électronique courantes avant d’aborder des projets d’IA plus avancés sur Raspberry Pi. Les lecteurs utilisent des LED, des boutons, des relais, des buzzers, des capteurs, des afficheurs et des moteurs, tout en découvrant le contrôle GPIO, la PWM, la conversion analogique-numérique et l’interfaçage des capteurs.

Les projets comprennent des mesures de distance et de température, le contrôle de moteurs, des alarmes et la détection de paramètres environnementaux. Ils constituent la base matérielle des projets de voix et de vision qui suivent.

Ajouter une caméra, la voix et le mouvement

Le Fusion HAT+ ajoute la commande de moteurs, un ADC et des canaux PWM, ainsi qu’un microphone et un haut-parleur intégrés. Le kit comprend aussi une caméra et un mécanisme panoramique-inclinaison à deux axes, qui permet d’associer le logiciel au mouvement physique.

Le livre traite de la prise de photos et de vidéos, des aperçus caméra et du contrôle à distance avant d’aborder la vision par ordinateur. Côté audio, les projets couvrent la synthèse vocale, la reconnaissance vocale, une horloge parlante et le contrôle matériel par la voix.

Des projets font également appel à des services en ligne ainsi qu'à des modèles Ollama fonctionnant localement sur du matériel Raspberry Pi adapté.

De la vision par ordinateur à la détection d'objets

Les chapitres suivants abordent OpenCV et MediaPipe. Les lecteurs expérimentent la détection de contours, la détection de visages, le suivi des mains et la détection d'objets.

Un projet particulièrement visuel transforme le bout du doigt de l'utilisateur en stylo virtuel. MediaPipe suit l'extrémité de l'index, et OpenCV convertit son mouvement en lignes tracées à l'écran.
 

Le dernier chapitre présente la détection d’objets YOLO. La caméra du Raspberry Pi peut identifier des objets en temps réel, afficher des boîtes englobantes et des scores de confiance, et même utiliser le mécanisme panoramique-inclinaison pour suivre une cible choisie.

Les lecteurs peuvent aller plus loin en entraînant un modèle YOLO personnalisé pour des objets propres à leur application. Dans l’exemple du livre, un modèle apprend à reconnaître une tasse, que le Raspberry Pi identifie avec un niveau de confiance de 0,9.

D'une LED clignotante au suivi d'objets

Cette progression est ce qui rend Physical AI with Raspberry Pi intéressant. Il est possible de commencer par l'électronique de base et d'avancer progressivement à travers les capteurs, les moteurs, la voix et les caméras, pour atteindre la détection et le suivi d'objets en temps réel.

Les projets sont également conçus comme des points de départ plutôt que comme des exercices figés. Les lecteurs sont encouragés à modifier les paramètres, à combiner des idées et à développer leurs propres applications à partir des techniques présentées dans le livre.

Pour ceux qui préfèrent apprendre en câblant, en exécutant le code et en observant ce qui se passe sur le banc de travail, le bundle Physical AI with Raspberry Pi offre de nombreuses possibilités d'expérimentation.