caor@mines-paristech.fr
21
Mar

Soutenance de thèse – « Localisation absolue par mono-caméra d’un véhicule en milieu urbain via l’utilisation de Street View »

La soutenance de thèse Li YU aura lieu le 6 avril 2018 à 10h00 en L118 à MINES ParisTech. La thèse est intitulée « Localisation absolue par mono-caméra d’un véhicule en milieu urbain via l’utilisation de Street View ».

Jury :

M. Patrick RIVES, INRIA Sophia Antipolis (Rapporteur)
M. Paul CHECCHIN, Institut Pascal Université Clermont Auvergne (Rapporteur)
Mme Samia BOUCHAFA, Université d’Évry-Val-d’Essonne (Examinateur)
M. Fabien MOUTARDE, MINES ParisTech (Directeur de thèse)
M. Cyril JOLY, MINES ParisTech (Examinateur)
M. Guillaume BRESSON, Institut VEDECOM (Examinateur)

Résumé :

Dans un travail réalisé au Centre de Robotique et à l’Institut VEDECOM, nous nous sommes intéressés aux systèmes robustes de localisation visuelle en milieu urbain pour la voiture autonome. Obtenir une pose exacte à partir d’une caméra monoculaire est difficile et insuffisant en terme de précision pour la voiture autonome actuelle. Plutôt que d’utiliser des approches comme la navigation par satellites, la Cartographie et Localisation Simultanées (SLAM), et les techniques de fusion de données, nous nous sommes concentrés sur l’utilisation de Systèmes d’Information Géographiques (SIG) pour concevoir une approche fiable, précise et absolue de localisation en milieu urbain.

Le développement de SIG publics nous a apporté un nouvel horizon pour résoudre le problème de la localisation, mais ses informations, telles que les cartes topologiques, sémantiques, métriques, les Street Views, les cartes de profondeur, les cartes cadastrales 3D et les cartes en haute définition, doivent être bien analysées et organisées pour extraire les informations pertinentes pour une voiture autonome. Notre première tâche consistait à concevoir une base de données hors ligne accessible par un robot à partir d’un SIG public dense, à savoir Google Maps, qui a l’avantage d’avoir une couverture mondiale. Nous générons une représentation topométrique compacte de l’environnement urbain dynamique en extrayant quatre données utiles du SIG, y compris : les topologies, les géo-coordonnées, les Street Views panoramiques et les cartes de profondeur associées. Dans le même temps, un ensemble de données en ligne a été acquis par une caméra à bas prix équipée sur les véhicules de VEDECOM. Afin de rendre les Street View sphériques compatibles avec l’imagerie en ligne, une transformation basée sur l’interpolation d’image est introduite pour obtenir des images rectilignes à partir de Street Views.

Nous proposons deux méthodes de localisation : l’une est une approche de vision par ordinateur basée sur l’extraction de caractéristiques, l’autre est une méthode d’apprentissage basée sur les réseaux de neurones convolutionnels (convnet). En vision par ordinateur, l’extraction de caractéristiques est un moyen populaire de résoudre le positionnement à partir d’images. Nous tirons parti de Google Maps et utilisons ses données topo-métriques hors ligne pour construire un positionnement grossier à fin, à savoir un processus de reconnaissance de lieu topologique puis une estimation métrique de pose par optimisation de graphe. La seule entrée de cet algorithme est une séquence d’images provenant d’une caméra monoculaire et la base de données construite à partir de Google Maps. De plus, il n’est pas nécessaire d’établir des correspondances d’image à image, ni d’utiliser l’odométrie. La méthode a été testée en environnement urbain et démontre à la fois une précision sous-métrique et une robustesse aux changements de point de vue, à l’illumination et à l’occlusion. Aussi, les résultats montrent que les emplacements éloignés de Street Views produisent une erreur significative dans la phase d’estimation métrique. Ainsi, nous proposons de synthétiser des Street Views artificielles pour compenser la densité des Street View originales et améliorer la précision.

Cette méthode souffre malheureusement d’un temps de calcul important. Étant donné que le SIG nous offre une base de données géolocalisée à l’échelle mondiale, cela nous motive à régresser des localisations globales directement à partir d’un convnet de bout en bout. La base de données hors ligne précédemment construite est encore insuffisante pour l’apprentissage d’un convnet. Pour compenser cela nous densifions la base d’origine d’un facteur mille et utilisons la méthode d’apprentissage par transfert pour faire converger notre régresseur convnet et avoir une bonne performance. Le régresseur permet également d’obtenir une localisation globale à partir d’une seule image et en temps réel.

Les résultats obtenus par ces deux approches nous fournissent des informations sur la comparaison et la relation entre les méthodes basées sur des caractéristiques et celles basées sur le convnet. Après avoir analysé et comparé les performances de localisation des deux méthodes, nous avons également abordé des perspectives pour améliorer la robustesse et la précision de la localisation face au problème de localisation urbaine assistée par SIG.

15
Mar

Nouveau Mastère Spécialisé AIMove

En Octobre 2018, le Centre de Robotique accueillera un nouveau Mastère Spécialisé AIMove (Artificial Intelligence and MOVement in industries and creation).

20
Nov

Le Centre de Robotique participe au « Mobility Research Lab Pitch Session »

Paris Region Entreprises, dans le cadre de son programme de promotion de la recherche francilienne à l’international, «the Paris Region Tech Partnership Program », a organisé « Mobility Research Lab Pitch Session», une matinale dédiée au secteur de la Mobilité Intelligente, le 15 novembre 2017 à la veille des «Imagine Mobility Meetings» organisés par Movéo.

Le Centre de Robotique a présenté ses principaux sujets de recherche sur la mobilité.

mobility-lab

Cinq laboratoires de recherche franciliens, dont le Centre de Robotique, ont présenté leurs projets de recherche.

Plus d’informations sur cette matinée.

6
Nov

Séminaire Chaire Drive for All « Conduite autonome : entre modèle et apprentissage »

La chaire Drive for All est heureuse de vous inviter au séminaire “Conduite autonome : entre modèle et apprentissage”. Le séminaire aura lieu le mercredi 29 novembre à MINES ParisTech.

logoDriveForAll

Le séminaire est public et gratuit mais l’inscription est obligatoire https://goo.gl/forms/zTXI5ZFyr5yNN18f2

L’objectif de la journée est de donner des éléments de compréhension et les défis en cours concernant la conduite autonome.

Deux approches sont actuellement concurrentes : d’une part l’apprentissage (ou intelligence artificielle, souvent représentée par l’approche Deep Learning) qui est de nature probabiliste mais offre des performances étonnantes, et d’autre part les algorithmes déterministes, qui offrent plus de garanties mais sont souvent plus limités.

Séminaire Drive for All-Programme du 29 novembre 2017

5
Sep

Conférence CIC 25 (Color Imaging Conference)

Patrick Callet (chercheur au Centre de Robotique) est invité à la conférence CIC 25 (Color Imaging Conference). Il présentera deux exposés le premier en nanophotonique (« nmmm “nano-micro-meso-macro” Colour and appearance – a multiscale approach ») et le second sur la 3D, la couleur et le patrimoine (« 3D reconstruction of Royaumont abbey in the XIIIth century »).

4
Sep

Workshop NIVAR 2017

Alexis Paljic (enseignant chercheur) est invité à présenter un article de recherche au workshop NIVAR 2017 – Natural human-computer Interaction and ecological perception in immersive Virtual and Augmented Reality.

Titre : Ecological Validity of Virtual Reality : Three Use Cases

Abstract : This paper is a discussion on the question of ecological validity of virtual reality in the light of three studies that we have done in previous works. These works are chosen as a basis for the discus- sion because they are all designed to assess validity using one method : the comparison of user perception and behavior between real and virtual environments. The first study explores visual perception of complex materials, the second studies the role of visual feedback on user gestures and object manipulation, the third is a study of virtual reality as a tool for assessing the acceptability of human robot collaboration in a car factory. We discuss our methodology, the limits of validity of VR in our three use cases and suggest future developments in VR to provide design tools for more valid VR environments.
Keywords : Virtual Reality, Ecological Valididy, Comparative Approach, Real vs. Virtual Comparison, Perception of Complex Materials, Manipulation Gestures, Human Robot Cooperation

30
Août

Martin Brossard (doctorant encadré par Silvère Bonnabel) a obtenu un travel award d’IROS pour se rendre à cette conférence de référence dans le domaine de la robotique.

logo

Cette distinction récompense la qualité de l’article soumis sur le sujet de l’ « Unscented Kalman filtering (UKF) on Lie groups ». Cet article présente des résultats expérimentaux dans lesquels sont utilisés des données provenant d’une plateforme de robotique mobile développée et maintenue par Tony Noël.

trainNouvelleFrance

30
Juin

Réalisations d’étudiants en Réalité Augmentée

Des étudiants ont réalisés des démonstrateurs dans le cadre d’un cours sur la réalité augmentée. Ce cours a été donné à l’Université de Metz donné par Olivier Hugues (enseignant-chercheur).

Voici une vidéo où vous pourrez découvrir quelques uns de ces travaux:

20
Juin

2017 Summer School on « Cooperative Interacting Automobiles »

2017 Summer School on « Cooperative Interacting Automobiles », August 8-11, 2017 in Schwäbisch Gmünd, Germany

The Summer School on « Cooperative Interacting Automobiles » aims at gathering Ph.D. students and Young Professionals from Universities and Research Institutions for tutorials, keynotes, poster presentations and interactive workshop sessions on

  • Cooperative Perception
  • Cooperative Motion Planning
  • Implicit & Explicit Interaction

It is jointly organized by Karlsruhe Institute of Technology (KIT, Germany) and MINES ParisTech (France). We gratefully acknowledge support from the Priority Programme « Cooperative Interacting Automobiles » of the German Science Foundation (DFG), the IEEE Intelligent Transportation Systems Society and the International Research Chair Drive for All (MINES ParisTech).

Plus d’informations

20
Juin

Summer School Human Factors Aspects of Cooperative Systems Design

This 2-day event will consist of lectures and plenary talks given by international experts as well as senior researchers from  IMT or TUM. Two poster sessions will allow PhD students to present their work, and coffee breaks or the social event will facilitates discussions among participants.

 Summerschool-Human-Machine-Interaction_1090

Technological progress increasingly allows automated and cooperating systems. Cooperation and automation make a paradigm shift in the driver-vehicle interaction and also in the human-robot interaction. From the perspective of the ergonomics, great potentials that will be discussed among the concepts mobility 4.0 and 4.0 industry opens up with this development. However, the new distribution of roles between man and technology requires new approaches in the human-machine interaction, safety, comfort and efficiency in socio-technical systems to increase or maintain. Approaches for technical frameworks, interaction concepts, evaluation methods and metrics in the areas of robotics, automated vehicles and machinery will be discussed.

Future vehicles will be able to perform complex maneuvers independently, and also in cooperation with the drivers and neighboring vehicles. A similar development takes place in the field of cooperative robotics. The dilemma between safety and efficiency must be resolved for almost all applications. The user should be as well informed and motivated, looking ahead to save energy and avoid dangerous situations. In these highly cooperative cases the user must be not overwhelmed, the machine should not patronize the user, and rather increase the pleasure of interaction.

The aim of this Summer School is for young researchers and PhD students to present, discuss and exchange research approaches, methodologies and results on cooperative human-machine interactions, cross-domains, between PhD students as well as with senior researchers.

Plus d’informations