Couplage Apprentissage & Vision pour la robotique mobile

Ce projet consiste à améliorer l'autonomie des robots aériens en leur apprenant à faire des réglages de commande visuelle en plein vol ou atterrissage sans aucune intervention humaine. Pour y parvenir, les chercheurs prévoient d'utiliser une technologie issue de l'Intelligence Artificielle appelée Deep Learning.

Augmenter l’autonomie des robots aériens par les méthodes d'apprentissage

Le but principal de ce projet de recherche est d’augmenter l'autonomie des robots aériens en développant des techniques de commandes visuelles avancées basées sur les méthodes d’apprentissage (deep learning). 

Image d'un drone dans le brouillard
Image d'un drone dans le brouillard
Cette méthode consiste à injecter à un drone une masse de données provenant d'un vol en commande manuelle pour lui apprendre à appréhender, de manière autonome, des environnements incertains.

Les robots aériens doivent maintenant évoluer dans des environnements non contrôlés et dynamiques (forêt, ouvrage d'art, etc.) et donc être capables de s’adapter en permanence aux conditions extérieures. L'amélioration de leur autonomie est alors un véritable challenge. Jusqu’à ce jour, très peu de travaux utilisant ces méthodes sont recensés ce qui donne à ce projet un caractère novateur.

L'équipe impliquée ici se positionne donc sur un périmètre de recherche en plein essor mêlant robotique et Intelligence Artificielle à fort potentiel applicatif. En effet, grâce à l'autonomie améliorée des drones, de nombreuses applications industrielles s'ouvrent allant du domaine civil au domaine militaire.

Au-delà des objectifs de recherche, l’enjeu de ce projet vise également à développer et structurer la communauté scientifique travaillant sur ce domaine d’expertise au sein d’Université Côte d’Azur.

De nombreuses applications industrielles potentielles

Ce projet mobilise des compétences dans les domaines de la robotique aérienne, en vision avancée, ainsi qu'en apprentissage et en contrôle, d’où l’implication de trois laboratoires différents :

- Le laboratoire d'Informatique, Signaux et Systèmes de Sophia Antipolis, l'I3S, qui s’intéresse depuis plus de seize ans aux robots aériens et plus particulièrement à l’application de l’automatique à l’aéronautique ;

- L'Institut national de recherche en informatique et en automatique, l'INRIA de Sophia Antipolis, qui détient une expertise reconnue dans le domaine de la robotique mobile et des véhicules autonomes (notamment au niveau du contrôle de l’interaction perception/commande) ;

- Et, le laboratoire d'électronique et d'informatique de l'image (Le2i), leader français de la recherche en vision 3D.

Afin de mener à bien ce projet, l'équipe prévoit de structurer son travail en trois parties distinctes qui seront assurées par les 3 partenaires ci-dessus : 

1. Déterminer des modèles par apprentissage :
L’objectif de cette tâche sera de développer les modèles qui seront utilisés pour la prédiction visuelle. Dans un premier temps, le drone apprendra ces modèles en s'entraînant, hors connexion en utilisant des données obtenues lors de vol en contrôle manuel. Une étude sera faite pour déterminer le meilleur espace de sortie du modèle (espace image ou espace 3D (position et/ou vitesse)) en fonction des forces et couples appliquées au système robotique. Durant la phase d’apprentissage, les données terrain seront mesurées (position, vitesse, etc.). Les modèles seront ensuite testés, validés puis comparés au système réel. Une deuxième étude sera portée sur la mise à jour du modèle en ligne dans le cas où l’environnement extérieur évolue.

2. Mise en œuvre de la commande prédictive basée learning :
Dans cette tâche, l’objectif sera de déterminer comment le modèle obtenu peut être utilisé dans une stratégie de commande prédictive. La qualité de la prédiction sur un horizon de temps fini sera évaluée et permettra de déterminer les paramètres optimaux de réglage de la commande. Une étude sera menée sur la façon de prendre en compte les contraintes visuelles dans la prédiction de manière à assurer, en permanence, que les informations visuelles soient pertinentes dans le champ de vue de la caméra. Cette seconde étape se base donc sur un apprentissage dans le feu de l’action consistant à faire voler le drone avec des images vidéo transmises en direct.

3. Intégration et démonstration :
Afin de valoriser le projet, la dernière tâche concerne la réalisation d'une démonstration efficace et performante sur le terrain. Un drone devra faire son appontage de manière autonome sur une plate-forme mouvante dont les mouvements sont inconnus. Un capteur extéroceptif de type caméra fixé sur le drone fournira les images de la zone d’atterrissage, de l’approche initiale jusqu’à l’appontage.

Les champs d'applications issus de ces travaux sont eux aussi nombreux. Il peut s’agir du contrôle de drones dans des environnements dynamiques, de la surveillance de sites protégés (centrale nucléaire, sites classés) ou bien de la recherche autonome de personnes dans des environnements hostiles (bâtiment en ruine, montagnes, etc.) …  Ce projet offre donc une visibilité importante à Université Côte d'Azur ainsi qu’aux chercheurs et aux laboratoires associés au projet. 

L’Académie Systèmes Complexes soutient le projet "Couplage Apprentissage & Vision pour la robotique mobile" en lui octroyant un financement de 10k€ pour couvrir des dépenses de fonctionnement (organisation de réunions de travail) et des frais de missions liés à la présentation des résultats obtenus.