Apprentissage multimodal distribué pour la localisation et la classification coopératives de sources acoustiques // Distributed multimodal learning for cooperative acoustic source localization and classification

Topic description

Dans de nombreux environnements complexes, tels que les sites industriels, bâtiments sinistrés, espaces publics, il est nécessaire de détecter et localiser automatiquement des événements sonores (chutes, alarmes, voix, pannes mécaniques). Les plateformes mobiles équipés de caméras et de microphones constituent une solution prometteuse, mais une seule plateforme reste limité : son réseau de microphone donne une direction approximative vers la source, mais pas une position précise dans l'espace, et sa caméra peut être obstruée. Ce sujet propose d'étudier comment des multi-plateformes, chacune portant une unité audio-visuelle calibrée, peuvent collaborer pour localiser et classifier ces événements en 3D. Chaque plateforme analyse ses propres observations audio-visuelles et partage une estimation de la direction de la source avec ses voisines ; le réseau combine ensuite ces estimations pour reconstruire la position de l'événement et l'identifier. Les ...