caor@mines-paristech.fr
21
Mai

HAIBrid — New AI collaboration between Germany and France

MINES ParisTech Center for Robotics is happy to announce a new AI collaboration launched between Germany and France: HAIBrid.

The ANR, the French National Research Agency announced the funding of the HAIBrid project. With partners Karlsruhe Institute of Technology (KIT) and atlatec GmbH (Germany), MINES ParisTech and Valeo (France), HAIBrid aims at learning behaviors of traffic participants. This requires further advances in AI, both in gathering and learning from relevant data.

HAIBrid stands for Hybrid AI towards Large Scale Data and Behavior Modeling for Automated Driving.

Autonomous driving research requires high quality traffic data to develop and test methods and tools. KIT and MINES ParisTech are creators of driving datasets (e.g. KITTI, INTERACTION), and we see the need for automatic, machine learning aided methods to extract and label trajectory, interaction and map data on larger scales than currently possible. We will combine our experience, autonomous driving platforms, hardware, software and infrastructure to develop methods for automated 3D mapping, trajectory extraction, interaction recognition and prediction. Industry will benefit from these innovative methods and better dataset in the very competitive environment of autonomous driving.

21
Mai

Présentation plénière — European Control Conference 21

Prof. Slivère Bonnabel donnera une présentation plénière à la European Control Conference 21 le 2 juillet 2021 intitulée Geometric filtering and autonomous navigation.

Abstract:

Statistical filtering is a desirable mathematical framework for the estimation of the internal state variables of a dynamical system in the light of various sensors’ measurements. Since the advent of the space age, it has played a pivotal role in guidance and navigation problems in aeronautics and robotics. Its workhorse, the Kalman filter – albeit usable in a nonlinear context by linearizing about the estimated state trajectory – deeply builds upon the specificity of linear systems. As a result, key theoretical properties are lost in nonlinear contexts, in particular when dealing with challenging nonlinear problems related to the navigation of autonomous systems. However, it turns out that many such estimation problems bear a structure akin to linear systems, after a proper embedding of the state space into a matrix group has been found. Essentially, by replacing vector addition with matrix multiplication, linear observer design (or linear filter design) carries over, as well as a number of convergence and consistency guarantees discovered over the past fifteen years. We illustrate this perspective by addressing various problems, from the design of high performance industrial inertial navigation systems to robot simultaneous localization and mapping. For the latter, the geometric approach resolves problems connected to the notion of observability that have long impeded the use of the classical extended Kalman filter.

Speaker Bio:

Silvère Bonnabel is Professor at University of New Caledonia and Mines ParisTech, France. He received the engineering (M. Sc) degree in applied mathematics and the Ph.D. degree in mathematics and control from Mines ParisTech in 2004 and 2007, respectively, and the Habilitation in mathematics from Sorbonne University in 2014. He was a postdoctoral fellow at the University of Liège, Belgium, in 2008, and was hired as a permanent faculty member at Mines ParisTech in 2009. In 2017, he was an Invited Fellow of Sidney Sussex College at the University of Cambridge, UK. His primary research interests revolve around systems and control, robotics, with a focus on state estimation and geometric methods. He has contributed to developing products in the aeronautics industry. He serves as an Associate Editor for IEEE Control Systems Magazine, and he has also served as an Associate Editor for Systems & Control Letters. He is a recipient of various awards including the joint IEEE & SEE Glavieux Award in 2015 and the Automatica Paper Prize in 2020.

6
Mai

Soutenance HDR – Sotiris Manitsaris

Sotiris Manitsaris a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches intitulée : Movement-based Human-Machine Collaboration: a Human-centred AI approach.


Résumé : The context of this thesis is the collaboration between humans and machines in various industrial real-world situations. I propose collaboration mechanisms that are based on Human-centred Artificial Intelligence, which I define as methods and concepts of machine learning and pattern recognition on signals recorded from the human body. I am interested in enabling human-machine partnerships in which the machine can understand and anticipate the human gestures and actions and react accordingly. Two scientific and technological hypotheses have oriented my research in movement-based Human-Machine Collaboration: 1. whether a machine can learn to recognize kinematic parameters of situated expert and non-expert gestures; and 2. whether gesture recognition can be used as an alternative to instrumental interaction mechanisms. These hypotheses were confirmed through a number of tests and experiments conducted, among others, on Human-Robot Collaboration, computer-mediated sensori-motor human learning and Digital Musical Instruments.


Rapporteurs :

  • Emilios Cambouropoulos, Professor  – Aristotle University of Thessaloniki
  • Sarah Fletcher, Senior Researcher- University of Cranfield
  • Wendy Mackay, Research Director- INRIA


Examinateurs :

  • Brigitte d’ Andréa-Novel, Professor   – IRCAM, Sorbonne Université
  • Amel Bouzheghoub, Professor- Télécom Paris Sud
  • Leontios Hadjileontiadis, Professor   – Khalifa University
  • Patrick Henaff, Professor- Mines Nancy, Université de Lorraine
  • Fabien Moutarde, Professor- MINES ParisTech, PSL Université Paris

La soutenance aura lieu le Jeudi 6 Mai à 14h par visioconférence sous zoom. Merci de cliquer ICI pour obtenir le lien zoom.

16
Mar

Soutenance de thèse de Marin Toromanoff

Marin Toromanoff a le plaisir de vous inviter à sa soutenance de thèse le mercredi 31 Mars 2021, à 14h. A cause des conditions actuelles, elle ne sera probablement accessible qu’en visio-conférence.

Cette thèse a été réalisée au Centre de Robotique MINES ParisTech sous la direction de Fabien Moutarde ainsi qu’avec l’entreprise Valeo et l’encadrement de Emilie Wirbel. Intitulée « Apprentissage par renforcement du contrôle d’un véhicule autonome à partir de la vision », elle sera défendue en français (le titre en anglais est « End-to-end Autonomous Driving using Deep Reinforcement Learning »).

Le jury sera composé de :
Prof. Olivier PIETQUIN – Université de Lille (INRIA/SEQUEL) et GoogleBrain (rapporteur)
Prof. Thierry CHATEAU – Université de Clermont Auvergne (rapporteur)
DR. Pierre-Yves OUDEYER – INRIA Bordeaux (examinateur)
Prof. Christian GAGNE – Université Laval (Québec CANADA) (examinateur)
DR. Rémi MUNOS – Université de Lille (INRIA/SEQUEL) et DeepMind (examinateur)
Prof. Véronique CHERFAOUI – Université de Compiègne (Québec CANADA) (examinateur)
Prof. Fabien MOUTARDE – Mines ParisTech
Docteur Emilie WIRBEL – Nvidia (anciennement Valeo)

Résumé :

« Dans cette thèse, nous abordons les défis de la conduite autonome en environnement urbain en utilisant des algorithmes d’apprentissage par renforcement profond de bout-en-bout, i.e. des données brutes des capteurs jusqu’au contrôle des actuateurs du véhicule. L’apprentissage  par  renforcement  (RL)  est  un  des  trois  grands  paradigmes  de  l’apprentissage  automatique.  Il  se distingue  de  l’apprentissage  supervisé  par  le  fait  que  les  agents  apprennent  par  essai-erreur  à  partir  d’un  signal  de récompense et non pas par simple supervision avec des paires entrée-label comme pour l’apprentissage supervisé,le type d’apprentissage le plus utilisé aujourd’hui dans les applications d’intelligence artificielle. Dans l’apprentissage par renforcement, on cherche explicitement à optimiser des séquences d’actions afin de maximiser le comportement à long terme. L’intérêt majeur du RL est que l’agent apprend de lui-même le comportement à suivre en explorant et en interagissant avec son environnement : on n’a donc pas besoin d’indiquer explicitement les actions à prendre. Dans un premier temps, nous avons proposé un nouvel algorithme de renforcement fondé sur la fonction de valeur,Rainbow-IQN Ape-X, en combinant trois articles majeurs du domaine. Cet algorithme atteint des performances au niveau de l’état de l’art sur le benchmark Atari.En utilisant cet algorithme de renforcement distribué, nous avons introduit les indices implicites, une nouvelle méthode permettant  d’entraîner  par  renforcement  des  réseaux  de  neurones  avec  bien  plus  de  paramètres  et  des  entrées  de plus grande dimension que les travaux précédents en DRL. Cette technique nous a ainsi permis de démontrer pour la première fois un algorithme de renforcement capable de conduire dans un simulateur complexe incluant des piétons, des véhicules et surtout des feux tricolores. Finalement, nous avons utilisé toutes nos contributions précédentes pour effectuer de l’apprentissage par renforcement sur données réelles pour de la conduite en environnement urbain. L’idée fondamentale de notre approche est d’utiliser un simulateur fondé sur des images réelles pour réussir à entraîner des agents capables de généraliser aux données réelles »

18
Fév

Table ronde – « Intelligences artificielles et humaines, quelles interactions ? »

Dans le cadre de la parution du N° 12 de la série #EnjeuxNumériques « Intelligences artificielles et humaines, quelles interactions ? », les Annales des Mines ont organisé une table ronde animée par Arnaud de La Fortelle (Directeur du Centre de Robotique).

Imane Bello, Elise Berlinski, Arthur Gaudron (enseignant-chercheur au Centre de Robotique) ont présenté leur article « Algorithmes et droit pénal : quel avenir ? » à 55:24. L’article publié est librement accessible ici.

18
Fév

Poste de Tenure Track

Le Centre de Robotique ouvre un poste de Tenure Track, pour plus d’informations, vous pouvez consulter la fiche de poste suivante :

13
Jan

Soutenance de thèse — Laetitia Li

Laetitia Li a le plaisir de vous inviter à sa soutenance de thèse, intitulée « Modélisation et contrôle d’un véhicule tout-terrain à deux trains directeurs ». La soutenance aura lieu le vendredi 15 janvier 2021 à 10h00 en salle L109 à l’école des mines de Paris. Le nombre de places étant limité à 20 personnes, elle sera diffusée en ligne au lien suivant:  

https://mines-paristech.zoom.us/j/93859044756?pwd=YU5UZVh6dXM5c0ZkZHB0RkVIZjFtQT09

Le jury est composé de :

M. Hugues Mounier – Professeur, Polytech Paris Saclay/UFR de Physique (rapporteur)
M. Dominique Gruyer – Directeur de recherche, COSYS PICS-L Université Gustave Eiffel (rapporteur)
M. Michel Basset – Professeur, Université de Haute Alsace (Examinateur)
Mme Brigitte d’Andréa-Novel, Directrice de recherche, UMR IRCAM (Directrice de thèse)
M. Arnaud Quadrat, Ingénieur Safran Electronics & Defense (Co-encadrant)
M. Sylvain Thorel, Ingénieur Nexter Robotics (Invité)
M. Arnaud de La Fortelle — Professeur, MINES ParisTech (Invité)

Résumé :
L’intérêt pour les véhicules autonomes n’a cessé de croître ces dernières années. La conduite autonome sur des terrains accidentés, ou encore avec des conditions d’adhérences faibles sont encore des défis technologiques à relever. Le système de contrôle doit être capable d’identifier la variabilité de ces terrains tout en suivant une trajectoire de la meilleure manière possible. Les travaux décrits dans ce mémoire se focalisent sur le développement d’une stratégie globale de commande pour adresser le problème de la conduite de véhicule autonome à deux trains directeurs en milieu tout-terrain. Dans de tels milieux et lors de déplacement à vitesse élevée, les pneumatiques sont soumis à d’importants glissements qui entraînent un comportement sous vireur ou survireur du véhicule. L’objectif est donc d’évoluer le plus rapidement possible dans des environnements difficiles tout en gardant un suivi précis quelles que soient les conditions d’adhérence.
Pour ce faire, plusieurs points ont été abordés notamment au niveau de la modélisation du véhicule et des pneumatiques, de l’estimation des efforts pneumatiques et de la commande de véhicule à deux trains directeurs. Les contributions principales sont les suivantes : un algorithme d’estimation des forces latérales à partir de deux paramètres fondamentaux : le coefficient de rigidité de dérive et le coefficient de friction latérale maximale, et un algorithme de commande qui assure le suivi de la trajectoire de référence. La commande est basée sur un modèle dynamique afin de prendre en compte les interactions entre la roue et le sol. En effet, à des vitesses importantes, les fortes dynamiques rendent les modèles cinématiques peu réalistes. Ceux-ci sont uniquement capables de représenter des phénomènes relativement lents et donc ne conviennent que pour des véhicules se déplaçant à vitesse faible. Cette commande cherchera à maintenir, dans la mesure du possible, le comportement du pneumatique dans un domaine linéaire. L’exploitation du deuxième train directeur permettra de réguler l’orientation du véhicule relativement à une trajectoire de référence. Cela permettra de contrôler le véhicule même en présence de glissements importants et ainsi de pousser les limites de stabilité du véhicule.

Abstract : Interest in autonomous vehicles has increased steadily over recent years. Autonomous driving on rough terrain or with low grip conditions are still technological challenges to be met. The control system must be able to identify the variability of these terrains while following a trajectory. The work described in this thesis focuses on the development of a control strategy to address the problem of autonomous driving with four steering wheels in an off-road environment. In such environments, at high speed, tires are subject to significant slippage which causes the phenomenon of understeering or oversteering. Thus, the objective is to evolve as quickly as possible in difficult environments while following a reference path whatever the grip conditions. 
To do so, several points were addressed, such as vehicle and tires modeling, estimation of tire forces and control of four wheel steering vehicles. The main contributions are:
a lateral forces estimation algorithm obtained from two fundamental parameters: the cornering stiffness coefficient and the maximum lateral friction coefficient and a control algorithm allowing to follow a reference trajectory. The control strategy is based on a dynamic model in order to take into account the interactions between the wheel and the ground. Indeed, at high speeds, vehicles are subject to important dynamic phenomena making the kinematic models unrealistic. Kinematic models are only able to represent relatively slow phenomena and therefore are only suitable for low speed vehicles. The developped control strategy will maintain, as far as possible, the tire’s behavior in the linear domain. The second steering axle will add an additional degree of freedom allowing to control the vehicle yaw angle with respect to a reference trajectory. This will allow to control the vehicle even in presence of significant slippage and thus increase the vehicle stability.

18
Déc

Soutenance d’habilitation à diriger des recherches – Jean-Emmanuel Deschaud

Jean-Emmanuel Deschaud a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches, intitulée « Nuage de Points et Modélisation 3D »
Elle aura lieu le Jeudi 17 Décembre à 14h par Visioconférence sous Zoom.
Voici le lien pour la Visio sous Zoom :https://zoom.us/j/91906337334?pwd=dWQ0WlNOcDlzL1BnTk5CU3V0VldFQT09

Le jury est composé de :
M. Paul CHECCHIN, Professeur, Université Clermont Auvergne (Rapporteur)
M. David FILLIAT, Professeur, ENSTA Paris (Rapporteur)
M. Pierre GRUSSENMEYER, Professeur, INSA de Strasbourg (Rapporteur)
M. François GOULETTE, Professeur, MINES ParisTech (Examinateur)
Mme Beatriz MARCOTEGUI, Professeur, MINES ParisTech (Examinatrice)
M. Pascal MORIN, Professeur, Sorbonne Université (Examinateur)
M. Nicolas PAPARODITIS, Directeur de Recherche, Université Gustave Eiffel (Examinateur)
M. Laurent TRASSOUDAINE, Professeur, Université Clermont Auvergne (Examinateur)

Résumé :
Mes travaux de recherche portent tout d’abord sur les systèmes innovants de cartographie mobile basés LiDAR permettant la création de grands volumes de données 3D représentants l’environnement routier ou urbain traversés. A partir de ces données, des traitements automatisés sont nécessaires comme la détection de primitives géométriques, la segmentation sémantique, la reconstruction de surfaces pour arriver à une modélisation du réel. Je détaillerai les contributions apportées à ces différentes problématiques avec des solutions les plus génériques possibles aux données d’entrée. Plusieurs applications concrètes ont été imaginées à partir de nuage de points d’environnements réels : le calcul de distance de visibilité sur route, la création d’environnements virtuels pour les simulateurs de conduite, la simulation de capteurs LiDARs à partir de données LiDAR et enfin la simulation d’écoulements de fluides autour de géométrie sous forme de nuage de points.

18
Déc

Soutenance de thèse – Grégoire Dupont de Dinechin

Grégoire Dupont de Dinechin a le plaisir de vous inviter à sa soutenance de thèse, intitulée « Vers l’observation confortable, en réalité virtuelle, d’environnements virtuels créés à partir de photos du monde réel », et défendue en anglais sous le titre « Towards comfortable virtual reality viewing of virtual environments created from photographs of the real world ». Cette thèse a été réalisée au Centre de Robotique (CAOR) de MINES ParisTech, Université PSL sous la direction d’Alexis PALJIC.

La soutenance aura lieu le vendredi 18 décembre 2020 à 14h, et sera diffusée depuis l’amphi L109 de MINES ParisTech, Université PSL (60 boulevard Saint-Michel, 75006 Paris).La diffusion en ligne pourra être suivie au lien suivant : https://www.twitch.tv/dinechingreg.

Le jury est composé de :

  • M. Anatole LÉCUYER – Directeur de recherche, Inria Rennes (rapporteur)
  • M. Anthony STEED – Professor, University College London (rapporteur)
  • Mme Selma RIZVIĆ – Professor, University of Sarajevo (examinateur)
  • M. Diego GUTIERREZ – Professor, Universidad de Zaragoza (examinateur)
  • M. Jean-Philippe FARRUGIA – Maître de conférences, Université Lyon 1 (examinateur)
  • M. Alexis PALJIC – Chargé de recherche, MINES ParisTech, Université PSL (examinateur)

Résumé
La reconstitution en réalité virtuelle de lieux, personnes, et objets réels ouvre la voie à de nombreux usages, tels que préserver et promouvoir des sites culturels, générer des avatars photoréalistes pour se retrouver virtuellement avec famille et amis à distance, ou encore recréer des lieux ou situations spécifiques à des fins thérapeutiques ou de formation. Tout cela s’appuie sur notre capacité à transformer des images du monde réel (photos et vidéos) en environnements 360° immersifs et objets 3D interactifs.
Cependant, ces environnements virtuels à base d’images demeurent souvent imparfaits, et peuvent ainsi rendre le visionnage en réalité virtuelle inconfortable pour les utilisateurs. En particulier, il est difficile de reconstituer avec précision la géométrie d’une scène réelle, et souvent de nombreuses approximations sont ainsi faites qui peuvent être source d’inconfort lors de l’observation ou du déplacement. De même, il est difficile de restituer fidèlement l’aspect visuel de la scène: les méthodes classiques ne peuvent ainsi restituer certains effets visuels complexes tels que transparence et réflexions spéculaires, tandis que les algorithmes de rendu plus spécialisés ont tendance à générer des artefacts visuels et peuvent être source de latence. Par ailleurs, ces problèmes deviennent d’autant plus complexes lorsqu’il s’agit de reconstituer des personnes, l’oeil humain étant très sensible aux défauts dans l’apparence ou le comportement de personnages virtuels.
Par conséquent, l’objectif de cette thèse est d’étudier les méthodes permettant de rendre les utilisateurs plus confortables lors du visionnage immersif de reconstitutions digitales du monde réel, par l’amélioration et le développement de nouvelles méthodes de création d’environnements virtuels à partir de photos. Nous démontrons et évaluons ainsi des solutions permettant (1) de fournir une meilleure parallaxe de mouvement lors du visionnage d’images 360°, par le biais d’une interface immersive pour l’estimation de cartes de profondeur, (2) de générer automatiquement des agents virtuels 3D capables d’interaction à partir de vidéos 360°, en combinant des réseaux convolutionnels pré-entrainés, et (3) de restituer des effets visuels de façon photoréaliste en réalité virtuelle, par le développement d’outils que nous appliquons ensuite pour recréer virtuellement la collection d’un musée de minéralogie. Nous évaluons chaque approche par le biais d’études utilisateur, et rendons notre code accessible sous forme d’outils open source.

Abstract
There are many applications to capturing and digitally recreating real-world people and places for virtual reality (VR), such as preserving and promoting cultural heritage sites, placing users face-to-face with faraway family and friends, and creating photorealistic replicas of specific locations for therapy and training. This is typically done by transforming sets of input images, i.e. photographs and videos, into immersive 360° scenes and interactive 3D objects.
However, such image-based virtual environments are often flawed such that they fail to provide users with a comfortable viewing experience. In particular, accurately recovering the scene’s 3D geometry is a difficult task, causing many existing approaches to make approximations that are likely to cause discomfort, e.g. as the scene appears distorted or seems to move with the viewer during head motion. In the same way, existing solutions most often fail to accurately render the scene’s visual appearance in a comfortable fashion. Standard 3D reconstruction pipelines thus commonly average out captured view-dependent effects such as specular reflections, whereas complex image-based rendering algorithms often fail to achieve VR-compatible framerates, and are likely to cause distracting visual artifacts outside of a small range of head motion. Finally, further complications arise when the goal is to virtually recreate people, as inaccuracies in the appearance of the displayed 3D characters or unconvincing responsive behavior may be additional sources of unease.
Therefore, in this thesis, we investigate the extent to which users can be made more comfortable when viewing digital replicas of the real world in VR, by enhancing, combining, and designing new solutions for creating virtual environments from input sets of photographs. We thus demonstrate and evaluate solutions for (1) providing motion parallax during the viewing of 360° images, using a VR interface for estimating depth information, (2) automatically generating responsive 3D virtual agents from 360° videos, by combining pre-trained deep learning networks, and (3) rendering captured view-dependent effects at high framerates in a game engine widely used for VR development, which we apply to digitally recreate a museum’s mineralogy collection. We evaluate and discuss each approach by way of user studies, and make our codebase available as an open-source toolkit.

13
Oct

Research scientist offer « Development of an end-to-end embedding of a CNN into a HMM for human action recognition »

The Centre for Robotics of MINES ParisTech, PSL Université Paris, is involved in several research projects on human motion pattern recognition applied to the Factory of the Future, the Creative and Cultural Industries and the Autonomous Vehicles. The main objective of these projects is the development of novel methodologies and technological paradigms that improve the perception of the machine and allows for natural body interactions in human-machine partnerships.

The Centre for Robotics of MINES ParisTech is opening a short-term position for a research scientist on the ‘Development of an end-to-end embedding of a CNN into a HMM’, which is horizontal on various H2020 and industrial projects.

For more information:  https://euraxess.ec.europa.eu/jobs/567248