Lorsque nous visitons un musée, nous avons généralement l’habitude d’observer des objets, de lire des panneaux ou de regarder des vidéos.
À la Maison de l’Histoire de Bonn, le principe est tout autre. Dès votre arrivée, vous entrez littéralement dans l’exposition. Votre silhouette apparaît au milieu de scènes historiques projetées sur un immense mur LED. Vos mouvements influencent les contenus affichés. Votre présence devient une partie intégrante du récit.
Derrière cette expérience se cache l’alliance entre le studio créatif SCHNELLE BUNTE BILDER, la plateforme temps réel vvvv et les technologies de vision industrielle développées par IDS Imaging Development Systems.

Quand les caméras cessent d’être de simples capteurs

Pour qu’une exposition réagisse en temps réel aux visiteurs, il ne suffit pas d’installer une caméra classique.
Le système doit être capable de détecter avec précision les personnes présentes, malgré les variations d’éclairage, les projections lumineuses et les mouvements permanents du public. C’est la mission confiée à la caméra IDS GV-5280CP Rev.2.2, équipée du capteur Sony IMX264.
Grâce à sa sensibilité élevée et à sa capacité à gérer des scènes à forte dynamique lumineuse, elle peut suivre jusqu’à quarante visiteurs simultanément tout en transmettant les informations à la plateforme vvvv avec une très faible latence.
Le résultat est spectaculaire : les visiteurs apparaissent instantanément dans des séquences historiques projetées sur le mur d’accueil.

Une interaction invisible mais omniprésente

La technologie n’est pourtant jamais mise en avant.
L’objectif du projet est précisément de faire disparaître la technique derrière l’expérience utilisateur. Les visiteurs ne voient ni les algorithmes ni les systèmes de traitement d’image. Ils ont simplement l’impression que le décor réagit naturellement à leur présence.
Cette illusion repose sur l’échange permanent de données entre les caméras IDS, le logiciel vvvv et les moteurs graphiques utilisés pour générer les contenus interactifs.
Chaque mouvement est analysé et interprété en quelques millisecondes.

Quand une simple main fait apparaître des souvenirs

L’une des installations les plus originales repose sur un geste extrêmement simple : poser sa main devant une projection.
À cet instant, des images liées à l’année de naissance du visiteur apparaissent progressivement. Pour que cette interaction soit possible, deux caméras uEye XCP U3-3680XCP-NIR observent discrètement la scène.
Ces modèles utilisent un filtre proche infrarouge spécialement conçu pour ignorer les projections lumineuses visibles. Associé à un capteur CMOS de 5 mégapixels optimisé pour la détection infrarouge, le système est capable d’identifier précisément la position des mains même dans un environnement fortement éclairé.
Ainsi, la projection peut réagir uniquement à l’utilisateur sans générer de perturbations visuelles.

L’intelligence artificielle apprend à reconnaître les visiteurs

Pour interpréter ces mouvements, l’équipe s’appuie sur l’algorithme de vision artificielle YOLO.
Mais il ne s’agit pas d’un modèle standard. Les développeurs ont entraîné leur propre réseau afin qu’il reconnaisse spécifiquement les mains captées dans le domaine infrarouge. Ce réglage permet de distinguer les gestes recherchés tout en évitant les détections indésirables.
Cette combinaison entre vision industrielle et intelligence artificielle transforme une simple interaction physique en expérience narrative personnalisée.

Une collaboration entre industrie et création numérique

Le succès de ce projet repose également sur l’intégration étroite entre les caméras IDS et l’environnement de programmation visuelle vvvv.
Grâce au SDK IDS peak et au module VL.Devices.IDS, toutes les fonctionnalités des caméras sont accessibles directement depuis l’environnement créatif. Les artistes et développeurs peuvent ajuster les paramètres, récupérer les flux vidéo et créer rapidement de nouveaux scénarios interactifs.
Cette souplesse permet d’expérimenter et de concevoir des installations complexes sans multiplier les développements spécifiques.

Le musée devient un espace vivant

Ce projet illustre une tendance de fond : les visiteurs ne veulent plus seulement observer l’histoire, ils souhaitent y participer.
Grâce à la combinaison de la vision industrielle IDS, de la programmation temps réel vvvv et de la créativité de SCHNELLE BUNTE BILDER, le musée devient un environnement dynamique capable de réagir à chaque personne présente.
Le visiteur cesse alors d’être spectateur. Il devient un élément actif du récit, modifiant l’expérience par sa simple présence.

Si vous développez des expériences immersives, des installations interactives ou des projets de médiation numérique, cette réalisation démontre comment l’association de caméras industrielles haute performance, de vision par ordinateur, d’intelligence artificielle et de moteurs temps réel peut transformer radicalement la manière d’interagir avec les contenus culturels et éducatifs.

SCHNELLE BUNTE BILDER SCHNELLE BUNTE BILDER | vvvv | IDS Imaging Development Systems GmbH