caor@mines-paristech.fr

Perception & Apprentissage

 

Axes de Recherche

Les systèmes robotiques sont généralement fondés sur une boucle enchaînant le triptyque Perception → Raisonnement → Action. C’est donc naturellement que le but des travaux du CAOR en Perception & Apprentissage est d’améliorer les capacités de perception, et surtout de compréhension et interprétation en temps-réel, de l’environnement de robots au sens large (i.e. y compris les voitures « intelligentes »). Plus précisément, les recherches et contributions scientifiques de cette thématique se focalisent sur les axes suivants :

• Fusion multi-capteurs

• Vision temps-réel embarquée

• Reconnaissance de formes (catégorisation ou identification)

• Reconnaissance de gestes

• Fouille de données

 En ce qui concerne les 2 premiers axes, il s’agit de proposer de nouvelles architectures et algorithmes pour l’analyse et fusion temps-réel multi-capteurs (vision, lidar, radar, mais aussi informations cartographiques, et capteurs inertiels). Les principaux domaines d’application sont la conception et prototypage de systèmes avancés d’aide à la conduite (ADAS) et Véhicule Intelligent (sans conducteur), ainsi que la reconnaissance de gestes humains, et enfin la localisation et navigation de robot (SLAM laser ou visuel et cartes métriques, SLAM topologique).

Les contributions du 3° axe (reconnaissance de formes) concernent notamment la détection et reconnaissance, en temps réel dans des vidéos, en particulier de panneaux routiers, ainsi que de catégories d’objets telles que véhicules et piétons, et enfin l’identification de personnes (par silhouette ou visage), et d’objets en 3D sur des images de profondeur (cameras 3D) ou dans des nuages de points (scanners lasers).

Le 4° axe (reconnaissance de gestes) se focalise sur les choix et la combinaison  de capteurs (caméra 3D type Kinect ou PMD, LeapMotion, capteurs inertiels, etc…) ainsi que la conception de descripteurs de mouvements et d’algorithmes de reconnaissance. Les applications principales sont liées soit aux gestes techniques (notamment dans le contexte de la collaboration homme-robot), soit aux gestes artistiques ou artisanaux (en particulier pour l’analyse, la préservation , et la transmission du patrimoine immatériel constitué de savoir-faire gestuels), soit enfin à l’interaction homme-machine (commande gestuelle).

Enfin, le dernier axe (fouille de données) concerne essentiellement l’analyse et prévision de trafic routier et son exploitation : détermination des motifs spatiaux et temporels des congestions routières à l’échelle d’une ville, prévision du trafic à large échelle sur un horizon de l’ordre de la journée, et re-routage optimisé et coopératif.

Equipe

Chercheurs : Fabien Moutarde, Bogdan Stanciulescu, Sotiris Manitsaris, Amaury Bréhéret

Doctorants : Eva Coupeté, Edgar Hemery, Yannick Jacob, Xiangjun Qian, Olivier Huynh, Manu Alibay, Bruno Ricaud, Florent Taralle, TaoJin Yao.

Réalisations en cours

Projets collaboratifs  :

• EMMA

i-Treasures (FP7 IP)

 

Helicoid (FP7 FET)

Contrats privés et Chaires :

• axe perception de la « Chaire PSA_Peugeot-Citroën Robotique et Réalité Virtuelle » (RRV)

• Algorithmes de vision temps-réel embarquée pour Valeo

• Interaction gestuelle dans habitacle automobile pour PSA

• Localisation et navigation d’un robot humanoïde en environnement domestique (encadrement thèse CIFRE Aldebaran)

Réalisations passées

ICADAC, PUMAS, SPEEDCAM, TRAVESTI, PROBEX

DatasetInriaLHB

  

Research topics

Robotic systems are generally based on a « Perception → Reasoning → Action » loop. It is therefore natural that the goal of Robotics Lab’s research work in Perception & Machine-Learning is to improve real-time perception, understanding and interpretation of its environment by a robot (in a broad meaning also including « Intelligent » Vehicles). More precisely, scientific contributions in this domain are focused on the following topics:

• Multi-sensor fusion

• Real-time embedded computer vision

• Pattern recognition (categorization or identification)

• Gesture recognition

• Datamining

Regarding the first 2 axes, the aim is to propose new architectures and algorithms for real-time multi-sensor analysis and fusion (vision, lidar, radar, cartographic information, and inertial sensors). The main application domains are design and prototyping of Advanced Driving Assistance Systems (ADAS)  and Intelligent Vehicle (driverless), as well as human gestures recognition, and finally localization and navigation of robots (laser and visual SLAM, both metric and topologic).

Contributions of the 3rd topic (pattern recognition) include real-time detection and recognition in videos of traffic signs (Traffic Sign Recognition, TSR), and of categories of objects such as vehicles and pedestrians, as well as identification of persons (from silhouette or face), and of 3D objects in depth images (3D cameras) or 3D points cloud (laser scanners).

The 4th axis (gesture recognition) focuses on choice and combination of sensors (3D cameras like Kinect or PMD, LeapMotion, inertial sensors, etc…), and on design of movement descriptors and real-time recognition algorithm. Application domains are related either to technical gestures (in particular for human-robot collaboration), or to artistic or handicraft gestures (for  analysis, preservation, and transmission of gestural know-how constituting an Intangible Cultural Heritage), or finally human-machine interactions (gestural control).

Finally, the last topic (datamining) essentially consists in analysis and forecasting of road traffic, and its exploitation: unveiling of spatial and temporal patterns of traffic congestion at the scale of a whole city, large-scale traffic forecasting up to day-long horizon, and optimized cooperative re-routing.

Team

Researchers: Fabien Moutarde, Bogdan Stanciulescu, Sotiris Manitsaris, Amaury Breheret

PhD students: Eva Coupeté, Edgar Hemery, Yannick Jacob, Xiangjun Qian, Olivier Huynh, Manu Alibay, Bruno Ricaud, Florent Taralle, TaoJin Yao.

Ongoing projects

Collaborative:

• EMMA

i-Treasures :  Intangible Treasures – Capturing the Intangible Cultural Heritage and Learning the Rare Know-How of Living Human Treasures (FP7 IP)

 

Helicoid (FP7 FET)

Direct contracts and endowed Chairs:

• Perception axis of « Chaire PSA_Peugeot-Citroën Robotique et Réalité Virtuelle » (RRV)

• Real-time and embedded computer-vision algorithms for Valeo

• Gestural interaction in automotive cockpits for PSA

• Localization and navigation of humanoïd robots in domestic environment (supervision of a CIFRE PhD thesis for Aldebaran)

Past recent projects

ICADACPUMASSPEEDCAMTRAVESTI, PROBEX

DatasetInriaLHB