Proposition de thèse : Exploitation de la mobilité oculaire pour un dispositif de substitution sensorielle, Grenoble, LPNC GIPSA-lab
Proposition de thèse : Exploitation de la mobilité oculaire pour un dispositif de substitution sensorielle, Grenoble, LPNC GIPSA-lab
a1. Contexte
La substitution sensorielle vise à compenser les déficiences d’un sens en transmettant via un autre sens fonctionnel, tout ou partie des informations qu’il ne permet plus de percevoir. Le dispositif de substitution sensorielle (SSD pour Sensory Substitution Device) sur lequel porte nos recherches a pour finalité de faciliter la navigation des déficients visuels en transformant des données visuelles spatiales venant d’une caméra de profondeur en informations sonores [1]. La caméra de profondeur est fixée sur la tête, et l’extraction de caractéristiques visuelles ainsi que le codage sonore sont réalisés par un calculateur embarqué.
Ces travaux s’inscrivent dans un projet interdisciplinaire alliant traitement du signal et de l’image, perception visuelle, neurosciences et psychophysique, architectures logicielles et matérielles. Il implique deux laboratoires : le GIPSA-lab (équipe AGPIG, Architecture Géométrie Perception Images Gestes) et le LPNC (équipe PSM, Perception et Sensori-Motricité).
2. Sujet
Cette thèse a pour objectif général d’étudier un nouveau type de SSD qui exploite la mobilité oculaire résiduelle de certains non-voyants. Elle comporte plusieurs aspects complémentaires.
a) Exploiter et guider la mobilité oculaire Notre SSD actuel sélectionne la zone centrale de la scène visuelle et la code en exploitant l’information de profondeur qui est utile pour la navigation. Pour analyser une scène, il est donc nécessaire de bouger la tête pour déplacer la zone sélectionnée, d’où un inconfort et une fatigue. Or pour certains non-voyants, les boucles perceptives et les mouvements oculaires restent partiellement actifs, nous proposons donc de les exploiter pour un nouveau type de SSD. Afin d’accéder à la direction du regard pour le pointage, nous souhaitons introduire un oculomètre embarqué (lunettes).
Le guidage du regard implique habituellement des mécanismes d’attention visuelle liés notamment à une analyse différentiée du champ visuel entre centre (vision fovéale) et périphérie (vision parafovéale). Dans le cas des non-voyants, nous chercherons à recréer un mécanisme équivalent de guidage du « regard » en nous inspirant de données concernant l’œil et la vision naturelle.
b) Sélectionner les caractéristiques visuelles et déterminer le codage sonore En fonction de la tâche à exécuter (navigation, recherche d’objets…) et du contexte (scène d’intérieur ou d’extérieur…), il s’agira de sélectionner les caractéristiques visuelles pertinentes (proximité d’un objet, vitesse de déplacement d’une personne…). Il s’agira ensuite de déterminer le codage sonore le plus efficace pour guider le regard du non-voyant dans l’exploration de la scène et pour lui transmettre les informations utiles.
c) Evaluer le SSD
L’évaluation d’un SSD est une tâche complexe car elle requière la réalisation d’un SSD prototype complet et d’un environnement de test spécifique. Afin de pouvoir évaluer un SSD complet ou partiel, dans des environnements maitrisés, nous proposons d’immerger spatialement l’utilisateur dans des scènes virtuelles 3D en utilisant le système de capture de mouvement du GIPSA-lab.
Mots Clefs : Dispositif de substitution sensorielle, oculométrie, perception visuelle, méthodologie expérimentale, réalité virtuelle
Profil du candidat : Compétences multidisciplinaires (traitement du signal et des images, informatique, psychologie expérimentale, vision).
Candidature : Envoyer une lettre de motivation et un CV aux deux responsables.
Responsables
Denis PELLERIN, GIPSA-lab
Tél. 04 76 57 43 69
Christian GRAFF, LPNC
Christian.Graff@univ-grenoble-alpes.fr
Tél. 04 56 52 85 09
Ce sujet de thèse est porté par un groupe de réflexion associant Sylvain Huet du GIPSA-lab.
[1] C. Stoll, R. Palluel-Germain, V. Fristot, D. Pellerin, D. Alleysson, and C. Graff, “Navigating from a depth image converted into sound,”Applied Bionics and Biomechanics, 2015.