MINES ParisTech Center for Robotics is happy to announce a new AI collaboration launched between Germany and France: HAIBrid.

The ANR, the French National Research Agency announced the funding of the HAIBrid project. With partners Karlsruhe Institute of Technology (KIT) and atlatec GmbH (Germany), MINES ParisTech and Valeo (France), HAIBrid aims at learning behaviors of traffic participants. This requires further advances in AI, both in gathering and learning from relevant data.

HAIBrid stands for Hybrid AI towards Large Scale Data and Behavior Modeling for Automated Driving.

Autonomous driving research requires high quality traffic data to develop and test methods and tools. KIT and MINES ParisTech are creators of driving datasets (e.g. KITTI, INTERACTION), and we see the need for automatic, machine learning aided methods to extract and label trajectory, interaction and map data on larger scales than currently possible. We will combine our experience, autonomous driving platforms, hardware, software and infrastructure to develop methods for automated 3D mapping, trajectory extraction, interaction recognition and prediction. Industry will benefit from these innovative methods and better dataset in the very competitive environment of autonomous driving.

Prof. Slivère Bonnabel donnera une présentation plénière à la European Control Conference 21 le 2 juillet 2021 intitulée Geometric filtering and autonomous navigation.

Abstract:

Statistical filtering is a desirable mathematical framework for the estimation of the internal state variables of a dynamical system in the light of various sensors’ measurements. Since the advent of the space age, it has played a pivotal role in guidance and navigation problems in aeronautics and robotics. Its workhorse, the Kalman filter – albeit usable in a nonlinear context by linearizing about the estimated state trajectory – deeply builds upon the specificity of linear systems. As a result, key theoretical properties are lost in nonlinear contexts, in particular when dealing with challenging nonlinear problems related to the navigation of autonomous systems. However, it turns out that many such estimation problems bear a structure akin to linear systems, after a proper embedding of the state space into a matrix group has been found. Essentially, by replacing vector addition with matrix multiplication, linear observer design (or linear filter design) carries over, as well as a number of convergence and consistency guarantees discovered over the past fifteen years. We illustrate this perspective by addressing various problems, from the design of high performance industrial inertial navigation systems to robot simultaneous localization and mapping. For the latter, the geometric approach resolves problems connected to the notion of observability that have long impeded the use of the classical extended Kalman filter.

Speaker Bio:

Silvère Bonnabel is Professor at University of New Caledonia and Mines ParisTech, France. He received the engineering (M. Sc) degree in applied mathematics and the Ph.D. degree in mathematics and control from Mines ParisTech in 2004 and 2007, respectively, and the Habilitation in mathematics from Sorbonne University in 2014. He was a postdoctoral fellow at the University of Liège, Belgium, in 2008, and was hired as a permanent faculty member at Mines ParisTech in 2009. In 2017, he was an Invited Fellow of Sidney Sussex College at the University of Cambridge, UK. His primary research interests revolve around systems and control, robotics, with a focus on state estimation and geometric methods. He has contributed to developing products in the aeronautics industry. He serves as an Associate Editor for IEEE Control Systems Magazine, and he has also served as an Associate Editor for Systems & Control Letters. He is a recipient of various awards including the joint IEEE & SEE Glavieux Award in 2015 and the Automatica Paper Prize in 2020.

Sotiris Manitsaris a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches intitulée : Movement-based Human-Machine Collaboration: a Human-centred AI approach.

Résumé : The context of this thesis is the collaboration between humans and machines in various industrial real-world situations. I propose collaboration mechanisms that are based on Human-centred Artificial Intelligence, which I define as methods and concepts of machine learning and pattern recognition on signals recorded from the human body. I am interested in enabling human-machine partnerships in which the machine can understand and anticipate the human gestures and actions and react accordingly. Two scientific and technological hypotheses have oriented my research in movement-based Human-Machine Collaboration: 1. whether a machine can learn to recognize kinematic parameters of situated expert and non-expert gestures; and 2. whether gesture recognition can be used as an alternative to instrumental interaction mechanisms. These hypotheses were confirmed through a number of tests and experiments conducted, among others, on Human-Robot Collaboration, computer-mediated sensori-motor human learning and Digital Musical Instruments.

Rapporteurs :

• Emilios Cambouropoulos, Professor  – Aristotle University of Thessaloniki
• Sarah Fletcher, Senior Researcher- University of Cranfield
• Wendy Mackay, Research Director- INRIA

Examinateurs :

• Brigitte d’ Andréa-Novel, Professor   – IRCAM, Sorbonne Université
• Amel Bouzheghoub, Professor- Télécom Paris Sud
• Leontios Hadjileontiadis, Professor   – Khalifa University
• Patrick Henaff, Professor- Mines Nancy, Université de Lorraine
• Fabien Moutarde, Professor- MINES ParisTech, PSL Université Paris

La soutenance aura lieu le Jeudi 6 Mai à 14h par visioconférence sous zoom. Merci de cliquer ICI pour obtenir le lien zoom.

Real-time abnormal object of behavior detection from LiDAR data

Sujet de Thèse, 2021-2024

Centre de Robotique – CAOR, MINES ParisTech / ARMINES

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement de doctorant est prévu, pour un démarrage en octobre 2021 et une durée de 3 ans.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Niveau Master 2
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique

Mines ParisTech / ARMINES

60 boulevard Saint Michel

75272 Paris Cedex 06                  

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

François Goulette, Professeur

Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr

Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Détection temps-réel d’objet ou comportement anormal
à partir de données Lidar

Real-time abnormal object of behavior detection from LiDAR data

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement d’ingénieur de recherche – post-doctorant est prévu, pour une durée de 18 mois, et un démarrage dès que possible. La personne recrutée sera en charge du suivi opérationnel du projet (reporting, livrables, expérimentations) et participera à l’encadrement d’un doctorant recruté sur le même projet.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Doctorat
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique
Mines ParisTech / ARMINES
60 boulevard Saint Michel
75272 Paris Cedex 06

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

• François Goulette, Professeur
  Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr
• Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Marin Toromanoff a le plaisir de vous inviter à sa soutenance de thèse le mercredi 31 Mars 2021, à 14h. A cause des conditions actuelles, elle ne sera probablement accessible qu’en visio-conférence.

Cette thèse a été réalisée au Centre de Robotique MINES ParisTech sous la direction de Fabien Moutarde ainsi qu’avec l’entreprise Valeo et l’encadrement de Emilie Wirbel. Intitulée « Apprentissage par renforcement du contrôle d’un véhicule autonome à partir de la vision », elle sera défendue en français (le titre en anglais est « End-to-end Autonomous Driving using Deep Reinforcement Learning »).

Le jury sera composé de :
Prof. Olivier PIETQUIN – Université de Lille (INRIA/SEQUEL) et GoogleBrain (rapporteur)
Prof. Thierry CHATEAU – Université de Clermont Auvergne (rapporteur)
DR. Pierre-Yves OUDEYER – INRIA Bordeaux (examinateur)
Prof. Christian GAGNE – Université Laval (Québec CANADA) (examinateur)
DR. Rémi MUNOS – Université de Lille (INRIA/SEQUEL) et DeepMind (examinateur)
Prof. Véronique CHERFAOUI – Université de Compiègne (Québec CANADA) (examinateur)
Prof. Fabien MOUTARDE – Mines ParisTech
Docteur Emilie WIRBEL – Nvidia (anciennement Valeo)

Résumé :

« Dans cette thèse, nous abordons les défis de la conduite autonome en environnement urbain en utilisant des algorithmes d’apprentissage par renforcement profond de bout-en-bout, i.e. des données brutes des capteurs jusqu’au contrôle des actuateurs du véhicule. L’apprentissage  par  renforcement  (RL)  est  un  des  trois  grands  paradigmes  de  l’apprentissage  automatique.  Il  se distingue  de  l’apprentissage  supervisé  par  le  fait  que  les  agents  apprennent  par  essai-erreur  à  partir  d’un  signal  de récompense et non pas par simple supervision avec des paires entrée-label comme pour l’apprentissage supervisé,le type d’apprentissage le plus utilisé aujourd’hui dans les applications d’intelligence artificielle. Dans l’apprentissage par renforcement, on cherche explicitement à optimiser des séquences d’actions afin de maximiser le comportement à long terme. L’intérêt majeur du RL est que l’agent apprend de lui-même le comportement à suivre en explorant et en interagissant avec son environnement : on n’a donc pas besoin d’indiquer explicitement les actions à prendre. Dans un premier temps, nous avons proposé un nouvel algorithme de renforcement fondé sur la fonction de valeur,Rainbow-IQN Ape-X, en combinant trois articles majeurs du domaine. Cet algorithme atteint des performances au niveau de l’état de l’art sur le benchmark Atari.En utilisant cet algorithme de renforcement distribué, nous avons introduit les indices implicites, une nouvelle méthode permettant  d’entraîner  par  renforcement  des  réseaux  de  neurones  avec  bien  plus  de  paramètres  et  des  entrées  de plus grande dimension que les travaux précédents en DRL. Cette technique nous a ainsi permis de démontrer pour la première fois un algorithme de renforcement capable de conduire dans un simulateur complexe incluant des piétons, des véhicules et surtout des feux tricolores. Finalement, nous avons utilisé toutes nos contributions précédentes pour effectuer de l’apprentissage par renforcement sur données réelles pour de la conduite en environnement urbain. L’idée fondamentale de notre approche est d’utiliser un simulateur fondé sur des images réelles pour réussir à entraîner des agents capables de généraliser aux données réelles »

Dans le cadre de la parution du N° 12 de la série #EnjeuxNumériques « Intelligences artificielles et humaines, quelles interactions ? », les Annales des Mines ont organisé une table ronde animée par Arnaud de La Fortelle (Directeur du Centre de Robotique).

Imane Bello, Elise Berlinski, Arthur Gaudron (enseignant-chercheur au Centre de Robotique) ont présenté leur article « Algorithmes et droit pénal : quel avenir ? » à 55:24. L’article publié est librement accessible ici.

Le Centre de Robotique ouvre un poste de Tenure Track, pour plus d’informations, vous pouvez consulter la fiche de poste suivante :

Laetitia Li a le plaisir de vous inviter à sa soutenance de thèse, intitulée « Modélisation et contrôle d’un véhicule tout-terrain à deux trains directeurs ». La soutenance aura lieu le vendredi 15 janvier 2021 à 10h00 en salle L109 à l’école des mines de Paris. Le nombre de places étant limité à 20 personnes, elle sera diffusée en ligne au lien suivant:  

https://mines-paristech.zoom.us/j/93859044756?pwd=YU5UZVh6dXM5c0ZkZHB0RkVIZjFtQT09

Le jury est composé de :

M. Hugues Mounier – Professeur, Polytech Paris Saclay/UFR de Physique (rapporteur)
M. Dominique Gruyer – Directeur de recherche, COSYS PICS-L Université Gustave Eiffel (rapporteur)
M. Michel Basset – Professeur, Université de Haute Alsace (Examinateur)
Mme Brigitte d’Andréa-Novel, Directrice de recherche, UMR IRCAM (Directrice de thèse)
M. Arnaud Quadrat, Ingénieur Safran Electronics & Defense (Co-encadrant)
M. Sylvain Thorel, Ingénieur Nexter Robotics (Invité)
M. Arnaud de La Fortelle — Professeur, MINES ParisTech (Invité)

Résumé :
L’intérêt pour les véhicules autonomes n’a cessé de croître ces dernières années. La conduite autonome sur des terrains accidentés, ou encore avec des conditions d’adhérences faibles sont encore des défis technologiques à relever. Le système de contrôle doit être capable d’identifier la variabilité de ces terrains tout en suivant une trajectoire de la meilleure manière possible. Les travaux décrits dans ce mémoire se focalisent sur le développement d’une stratégie globale de commande pour adresser le problème de la conduite de véhicule autonome à deux trains directeurs en milieu tout-terrain. Dans de tels milieux et lors de déplacement à vitesse élevée, les pneumatiques sont soumis à d’importants glissements qui entraînent un comportement sous vireur ou survireur du véhicule. L’objectif est donc d’évoluer le plus rapidement possible dans des environnements difficiles tout en gardant un suivi précis quelles que soient les conditions d’adhérence.
Pour ce faire, plusieurs points ont été abordés notamment au niveau de la modélisation du véhicule et des pneumatiques, de l’estimation des efforts pneumatiques et de la commande de véhicule à deux trains directeurs. Les contributions principales sont les suivantes : un algorithme d’estimation des forces latérales à partir de deux paramètres fondamentaux : le coefficient de rigidité de dérive et le coefficient de friction latérale maximale, et un algorithme de commande qui assure le suivi de la trajectoire de référence. La commande est basée sur un modèle dynamique afin de prendre en compte les interactions entre la roue et le sol. En effet, à des vitesses importantes, les fortes dynamiques rendent les modèles cinématiques peu réalistes. Ceux-ci sont uniquement capables de représenter des phénomènes relativement lents et donc ne conviennent que pour des véhicules se déplaçant à vitesse faible. Cette commande cherchera à maintenir, dans la mesure du possible, le comportement du pneumatique dans un domaine linéaire. L’exploitation du deuxième train directeur permettra de réguler l’orientation du véhicule relativement à une trajectoire de référence. Cela permettra de contrôler le véhicule même en présence de glissements importants et ainsi de pousser les limites de stabilité du véhicule.

Abstract : Interest in autonomous vehicles has increased steadily over recent years. Autonomous driving on rough terrain or with low grip conditions are still technological challenges to be met. The control system must be able to identify the variability of these terrains while following a trajectory. The work described in this thesis focuses on the development of a control strategy to address the problem of autonomous driving with four steering wheels in an off-road environment. In such environments, at high speed, tires are subject to significant slippage which causes the phenomenon of understeering or oversteering. Thus, the objective is to evolve as quickly as possible in difficult environments while following a reference path whatever the grip conditions. 
To do so, several points were addressed, such as vehicle and tires modeling, estimation of tire forces and control of four wheel steering vehicles. The main contributions are:
a lateral forces estimation algorithm obtained from two fundamental parameters: the cornering stiffness coefficient and the maximum lateral friction coefficient and a control algorithm allowing to follow a reference trajectory. The control strategy is based on a dynamic model in order to take into account the interactions between the wheel and the ground. Indeed, at high speeds, vehicles are subject to important dynamic phenomena making the kinematic models unrealistic. Kinematic models are only able to represent relatively slow phenomena and therefore are only suitable for low speed vehicles. The developped control strategy will maintain, as far as possible, the tire’s behavior in the linear domain. The second steering axle will add an additional degree of freedom allowing to control the vehicle yaw angle with respect to a reference trajectory. This will allow to control the vehicle even in presence of significant slippage and thus increase the vehicle stability.

Jean-Emmanuel Deschaud a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches, intitulée « Nuage de Points et Modélisation 3D »
Elle aura lieu le Jeudi 17 Décembre à 14h par Visioconférence sous Zoom.
Voici le lien pour la Visio sous Zoom :https://zoom.us/j/91906337334?pwd=dWQ0WlNOcDlzL1BnTk5CU3V0VldFQT09

Le jury est composé de :
M. Paul CHECCHIN, Professeur, Université Clermont Auvergne (Rapporteur)
M. David FILLIAT, Professeur, ENSTA Paris (Rapporteur)
M. Pierre GRUSSENMEYER, Professeur, INSA de Strasbourg (Rapporteur)
M. François GOULETTE, Professeur, MINES ParisTech (Examinateur)
Mme Beatriz MARCOTEGUI, Professeur, MINES ParisTech (Examinatrice)
M. Pascal MORIN, Professeur, Sorbonne Université (Examinateur)
M. Nicolas PAPARODITIS, Directeur de Recherche, Université Gustave Eiffel (Examinateur)
M. Laurent TRASSOUDAINE, Professeur, Université Clermont Auvergne (Examinateur)

Résumé :
Mes travaux de recherche portent tout d’abord sur les systèmes innovants de cartographie mobile basés LiDAR permettant la création de grands volumes de données 3D représentants l’environnement routier ou urbain traversés. A partir de ces données, des traitements automatisés sont nécessaires comme la détection de primitives géométriques, la segmentation sémantique, la reconstruction de surfaces pour arriver à une modélisation du réel. Je détaillerai les contributions apportées à ces différentes problématiques avec des solutions les plus génériques possibles aux données d’entrée. Plusieurs applications concrètes ont été imaginées à partir de nuage de points d’environnements réels : le calcul de distance de visibilité sur route, la création d’environnements virtuels pour les simulateurs de conduite, la simulation de capteurs LiDARs à partir de données LiDAR et enfin la simulation d’écoulements de fluides autour de géométrie sous forme de nuage de points.