caor@mines-paristech.fr
22
Nov

Soutenance de thèse — Michel Valente

Michel Valente a plaisir de vous inviter à sa soutenance de thèse le mercredi 18 décembre 2019 à 16h00.

La soutenance aura lieu dans le nouvel amphithéâtre L108 à Mines ParisTech, 60 bd Saint Michel 75006.

Elle sera défendue en anglais et s’intitule: « SLAM and Data Fusion for Autonomous Vehicles. From classical approaches to deep learning methods. »

Le jury sera composé comme suit:

  • – M. Ching-Yao Chan – UC Berkeley (Rapporteur)
  • – M. Vincent Fremont – École Centrale de Nantes (Rapporteur)
  • – M. David Filliat – ENSTA (Examinateur)
  • – Mme. Emilie Wirbel – Valeo (Examinatrice)
  • – M. Arnaud de La Fortelle – Mines ParisTech (Examinateur)
  • – M. Cyril Joly – Mines ParisTech (Examinateur)

Abstract:
Self-driving cars have the potential to provoke a mobility transformation that will impact our everyday lives. In order to reach this goal, the vehicles need to perform autonomously three main tasks: perception, planning and control. When it comes to urban environments, perception becomes a challenging task that needs to be reliable for the safety of the driver and the others. It is extremely important to have a good understanding of the environment and its obstacles, along with a precise localization, so that the other tasks are well performed. 
This thesis explores from classical approaches to Deep Learning techniques to perform mapping and localization for autonomous vehicles equipped with low cost sensors in urban environments. In the first part, we propose solutions to sensor fusion and localization using the Dempster-Shafer theory approach based on occupancy grid maps. Sequentially, we explore how the recent advances in Deep Learning techniques can be applied to the localization problem. We propose novel solutions that use directly the input from the sensors in neural networks to estimate the localization of the vehicle during its trajectory. Our solutions are tested and validated on different challenging urban scenarios showing the robustness and accuracy of the proposed approaches. 

Résumé:
L’arrivée des voitures autonomes va provoquer une transformation très importante de la mobilité urbaine telle que nous la connaissons, avec un impact significatif sur notre vie quotidienne. Pour atteindre cet objectif, les véhicules autonomes doivent effectuer en toute sécurité et de manière autonome trois tâches principales: la perception, la planification et le contrôle. La perception est une tâche particulièrement difficile en milieu urbain, car elle se doit d’être suffisamment précise pour assurer à la fois la sécurité du conducteur et celle des autres. Il est décisif d’avoir une bonne compréhension de l’environnement et de ses obstacles, ainsi qu’une localisation précise, afin que les autres tâches puissent être performantes.
L’objectif de cette thèse est d’explorer différentes techniques pour la cartographie et la localisation des voitures autonomes en milieu urbain, en partant des approches classiques jusqu’aux algorithmes d’apprentissage profond. Dans la première partie, nous proposons des solutions pour la fusion de capteurs et la localisation du véhicule en utilisant l’approche théorique de Dempster-Shafer basée sur des cartes de grille d’occupation. Ensuite, nous explorons comment les récents progrès des techniques d’apprentissage en profondeur peuvent s’appliquer au problème de localisation. Nous proposons de nouvelles solutions qui utilisent directement les entrées des capteurs dans les réseaux de neurones pour estimer la localisation du véhicule au cours de sa trajectoire. Nos solutions sont testées et validées sur différents scénarios urbains complexes montrant la robustesse et la précision des approches proposées.

31
Oct

Soutenance de thèse — Hugues Thomas

Hugues Thomas a le plaisir de vous inviter à sa soutenance de thèse le mardi 19 novembre 2019 à 9h30.
Elle a été réalisée au Centre de Robotique de Mines ParisTech, en partenariat avec Terra3D. Sous la direction de François Goulette (CAOR) et Beatriz Marcotegui (CMM), elle a été encadrée par Jean-Emmanuel Deschaud (CAOR) et Yann Le Gall (Terra3D). Elle sera défendue en français et s’intitule: « Apprentissage de nouvelles représentations pour la sémantisation de nuages de points 3D » ou « Learning new representations for 3D point cloud semantic segmentation » en anglais.

La soutenance aura lieu dans le nouvel amphithéâtre Schlumberger à l’École des Mines ParisTech, 60 bd Saint Michel 75006.

Jury

  •  – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur) 
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur) 
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur) 
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur) 
  • – Pascal Monasse, Professeur à l’Ecole Nationale des Ponts et Chaussées, examinateur
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur) 
  • – François Goulette – CAOR Mines ParisTech (Examinateur) 
  • – Yann Le Gall – Terra3D (Invité)
4
Avr

Soutenance de thèse – Daniele Sportillo

Daniele Sportillo a le plaisir de vous inviter à sa soutenance de thèse le vendredi 19 avril 2019 à 13h30. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec PSA, sous la direction de Alexis PALJIC (Mines ParisTech) et encadrée par Luciano OJEDA (Groupe PSA), la thèse sera défendue en anglais et s’intitule: « Préparation à la conduite automatisée en Réalité Mixte » (« Get Ready For Automated Driving With Mixed Reality » en anglais).

La soutenance aura lieu en salle L109 à MINES ParisTech, 60 bd Saint Michel 75006.

Jury

  • – M. Roland BRÉMOND, IFSTTAR (Rapporteur)
  • – M. Daniel MESTRE, Université Aix-Marseille (Rapporteur)
  • – M. Frank FLEMISCH, FKIE (Examinateur)
  • – M. Jean-Marie BURKHARDT, IFSTTAR (Examinateur)
  • – Mme. Domitile LOURDEAUX, Université de Technologie de Compiègne (Examinateur)
  • – M. Alexis PALJIC, MINES ParisTech (Examinateur)
  • – M. Luciano OJEDA, Groupe PSA (Examinateur)

Résumé
L’automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l’environnement de conduite, leur permettant d’effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d’interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l’interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d’apprentissage et d’évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d’interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu’à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L’objectif de cette thèse est d’étudier le rôle de la réalité mixte dans l’acquisition de compétences pour l’interaction d’un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l’immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d’espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l’acquisition des compétences, des règles et des connaissances nécessaires à l’utilisation d’un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l’impact de l’immersion sur l’apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l’efficacité de l’ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de competences de l’environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

Abstract
Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.

3
Avr

Soutenance de thèse – Mathieu Nowakowski

Mathieu Nowakowski a le plaisir de vous inviter  à sa soutenance de thèse. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec l’entreprise SoftBank Robotics Europe, sous la direction de Fabien MOUTARDE et encadrée par Cyril JOLY, cette thèse porte sur la :
Localisation d’un robot humanoïde en milieu intérieur non-contraint.

La soutenance aura lieu le mercredi 3 avril à 14h en salle L109, au 60 boulevard Saint-Michel (Paris). La présentation sera faite en français.

Jury :

  • Paul CHECCHIN, Institut Pascal (UCA), Rapporteur
  • Olivier STASSE, LAAS – CNRS, Rapporteur
  • Samia BOUCHAFA-BRUNEAU, Univ. Evry Val d’Essonne, Examinateur
  • David FILLIAT, ENSTA ParisTech, Examinateur
  • Fabien MOUTARDE, Mines ParisTech, Examinateur
  • Cyril JOLY, Mines ParisTech, Examinateur
  • Sébastien DALIBARD, SoftBank Robotics Europe, Examinateur

Résumé :

Après la démocratisation des robots industriels, la tendance actuelle est au développement de robots sociaux dont la fonction principale est l’interaction avec ses utilisateurs. Le déploiement de telles plate-formes dans des boutiques, des musées ou des gares relance différentes problématiques dont celle de la localisation pour les robots mobiles. Cette thèse traite ainsi de la localisation du robot Pepper en milieu intérieur non-contraint. Présent dans de nombreuses boutiques au Japon, Pepper est utilisé par des personnes non-expertes et doit donc être le plus autonome possible. Cependant, les solutions de localisation autonome de la littérature souffrent des limitations de la plate-forme.

Les travaux de cette thèse s’articulent autour de deux grands axes. D’abord, le problème de la relocalisation dans un environnement visuellement redondant est étudié. La solution proposée consiste à combiner la vision et le Wi-Fi dans une approche probabiliste basée sur l’apparence. Ensuite, la question de la création d’une carte métrique cohérente est approfondie. Pour compenser les nombreuses pertes de suivi d’amers visuels causées par une fréquence d’acquisition basse, des contraintes odométriques sont ajoutées à une optimisation par ajustement de faisceaux. Ces solutions ont été testées et validées sur plusieurs robots Pepper à partir de données collectées dans différents environnements intérieurs sur plus de 7 km.

Abstract:

After the democratization of industrial robots, the current trend is the development of social robots that create strong interactions with their users. The deployment of such platforms in shops, museums or train stations raises various issues including the autonomous localization of mobile robots. This thesis focuses on the localization of Pepper robots in a non-constrained indoor environment. Pepper robots are daily used in many shops in Japan and must be as autonomous as possible. However, localization solutions in the literature suffer from the limitations of the platform.

This thesis is split into two main themes. First, the problem of relocalization in a visually redundant environment is studied. The proposed solution combines vision and Wi-Fi in a probabilistic approach based on the appearance. Then, the question of a consistent metrical mapping is examined. In order to compensate the numerous losses of tracking caused by the low acquisition frequency, odometric constraints are added to a bundle adjustment optimization. These solutions have been tested and validated on several Pepper robots, from data collected in different indoor environments over more than 7 km.

7
Déc

Soutenance de thèse – Xiangjun QIAN

Xiangjun QIAN a plaisir de vous inviter à sa soutenance de thèse, intitulée : commande prédictive pour conduite autonome et coopérative. Pour un aperçu rapide, cette thèse parle la planification et le contrôle de voiture autonome (et coopératif).

La soutenance aura lieu le jeudi 15 décembre 2016 à 13h30 en salle L118 à l’École des Mines de Paris, 60 boulevard Saint Michel 75272, Paris Cedex 06. Cette dernière sera suivie d’un pot à l’espace Vendôme.

Composition du jury:

M. Sebastien GLASER, Laboratoire sur les interactions véhicules-infrastructure-conducteurs, IFSTTAR Rapporteur
M. Denis GILLET Ecole, Polytechnique Fédérale de Lausanne, Rapporteur
M. Christoph STILLER, Karlsruher Institut für Technologie, Examinateur
M. Philippe MARTINET, Ecole Centrale de Nantes Examinateur
M. Arnaud DE LA FORTELLE, MINES ParisTech, Examinateur
M. Fabien MOUTARDE, MINES ParisTech, Examinateur

Résumé:
La conduite autonome a attiré une attention croissante au cours des dernières décennies en raison de son potentiel impact socio-économique, notamment concernant la réduction du nombre d’accidents de la route et l’amélioration de l’efficacité du trafic. Grâce à l’effort de plusieurs instituts de recherche et d’entreprises, les véhicules autonomes ont déjà accumulé des dizaines de millions de kilomètres parcourus dans des conditions de circulation réelles. Cette thèse porte sur la conception d’une architecture de contrôle pour les véhicules autonomes et coopératifs dans l’optique de leur déploiement massif. La base commune des différentes architectures proposées dans cette thèse est le Contrôle-Commande Prédictif, reconnu pour son efficacité et sa polyvalence. Nous présentons tout d’abord une architecture classique de contrôle hiérarchique, qui utilise la commande prédictive pour planifier un déplacement (choix de trajectoire), puis déterminer un contrôle permettant de suivre cette trajectoire. Toutefois, comme nous le montrons dans un deuxième temps, cette architecture simple n’est pas capable de gérer certaines contraintes logiques, notamment liées aux règles de circulation et à l’existence de choix de trajectoires discrets. Nous proposons donc approche hybride de la commande prédictive, que nous utilisons pour développer une architecture de contrôle pour un véhicule autonome individuel. Nous étudions le problème de contrôler un ensemble de véhicules autonomes circulant en convoi, i.e. maintenir une formation prédéterminée sans intervention humaine. Pour ce faire, nous utilisons à nouveau une architecture hiérarchique basée sur la commande prédictive, composée d’un superviseur de convoi et de contrôleurs pour chaque véhicule individuel. Enfin, nous proposons encore une architecture pour le problème de coordonner un groupe de véhicules autonomes dans une intersection sans feux de circulation, en utilisant un contrôleur d’intersection et en adaptant les contrôleurs des véhicules individuels pour leur permettre de traverser l’intersection en toute sécurité.

Abstract:
Autonomous driving has been gaining more and more attention in the last decades, thanks to its positive social-economic impacts including the enhancement of traffic efficiency and the reduction of road accidents. A number of research institutes and companies have tested autonomous vehicles in traffic, accumulating tens of millions of kilometers traveled in autonomous driving. With the vision of massive deployment of autonomous vehicles, researchers have also started to envision cooperative strategies among autonomous vehicles. This thesis deals with the control architecture design of individual autonomous vehicles and cooperative autonomous vehicles. Model Predictive Control (MPC), thanks to its efficiency and versatility, is chosen as the building block for various control architectures proposed in this thesis. In more detail, this thesis first presents a classical hierarchical control architecture for individual vehicle control that decomposes the controller into a motion planner and a tracking controller, both using nonlinear MPC. In a second step, we analyze the inability of the proposed planner in handling logical constraints raised from traffic rules and multiple maneuver variants, and propose a hybrid MPC based motion planner that solves this issue. We then consider the convoy control problem of autonomous vehicles in which multiple vehicles maintain a formation during autonomous driving. A hierarchical formation control architecture is proposed composing of a convoy supervisor and local MPC based vehicle controllers. Finally, we consider the problem of coordinating a group of autonomous vehicles at an intersection without traffic lights. A hierarchical architecture composed of an intersection controller and multiple local vehicle controllers is proposed to allow vehicles to cross the intersection smoothly and safely

7
Déc

Soutenance de thèse – Philippe Porral

Philippe Porral a le plaisir de vous inviter à sa soutenance de thèse qui, sous réserve de l’avis favorable des rapporteurs, se déroulera le Vendredi 16 décembre 2016 à 14h00, à l’Ecole des Mines de Paris, 60 boulevard Saint Michel 75006, en salle L118.

La thèse s’intitule Environnements Lumineux Naturels en mode:  Spectral et Polarisé – Modélisation, Acquisition, Simulation.

Composition du Jury:

M. Philippe Fuchs        (Directeur de thèse)
M. Patrick Callet        (Co Directeur de thèse)
M. Daniel Meneveaux      (Rapporteur)
M. Christophe Renaud     (Rapporteur)
M. Tamy Boubekeur        (Examinateur)
M. Jean-Philippe Farrugia (Examinateur)
M  Stéphane Delalande     (Examinateur)
M. Vincent Roussarie      (Examinateur)
M. Thomas Muller          (Invité)

Résumé:

Dans le domaine de la synthèse d’image, la simulation de l’apparence visuelle des matériaux nécessite, la résolution rigoureuse de l’équation du transport de la lumière. Cela implique la prise en compte de tous les éléments pouvant avoir une influence sur la luminance spectrale énergétique reçue par l’œil humain.
Evidemment, les propriétés de réflectance des matériaux ont un impact prépondérant dans les calculs, mais d’autres propriétés non négligeables de la lumière, que sont sa répartition spectrale et sa polarisation, doivent être incluses pour produire des résultats optiquement corrects.
La caractérisation, à la fois par mesures, simulations ou modélisations, des propriétés de réflectance des matériaux, comme les peintures et vernis, les métaux et alliages, les verres, les matières plastiques… bien que encore sujette à de nombreuses recherches, est très évoluée,. Cependant l’utilisation de cartes d’environnement, pour simuler leurs comportements visuels restent essentiellement trichromatique.
La chaîne de représentation des objets en environnement naturel est alors incomplète pour satisfaire l’extrême exigence de qualité et de conformité des images dans le but de permettre la prise de décision à partir d’images numériques.
Ainsi, caractériser la lumière naturelle avec une grande précision, est une interrogation ancienne et il n’existe pas aujourd’hui de cartes d’environnement comportant à la fois les informations de luminance spectrale énergétique et de polarisations correspondantes à des ciels réels.
Il nous est donc apparu nécessaire de proposer à la communauté de l’informatique graphique des environnements lumineux complets exploitables dans un moteur de rendu adapté en conséquence.
Dans ce travail, nous exploitons des résultats issus d’autres domaines scientifiques tels que la météorologie, la climatologie, ou la télédétection…, pour proposer un modèle de ciel clair, c’est-à-dire sans nuage.
Toutes les situations réelles ne pouvant pas être abordées par cette méthode, nous développons et caractérisons un dispositif de capture d’environnement lumineux incorporant à la fois, la gamme dynamique de l’éclairage, la répartition spectrale et les états de polarisation.
Nous proposons, dans le but de standardiser les échanges, un format de données inspiré par l’imagerie polarimétrique et utilisable dans un moteur de rendu spectral, exploitant le « Formalisme de Stokes-Mueller ».

Nous faisons l’hypothèse que la prise en compte correcte de ces nouvelles informations permettra:

– D’améliorer la restitution simulée des couleurs et des aspects
– De simuler plus efficacement des effets spécifiques (absorptions, dispersions, diffractions, interférences…
– D’anticiper les phénomènes de métamérisme.

25
Oct

Soutenance de thèse – Florent Taralle

Florent Taralle vous invite à sa soutenance de thèse qui, sous réserve de l’avis favorable des rapporteurs, aura lieu le mercredi 09 novembre 2016 à 14h00 à l’école des Mines de Paris (salle V106 A).
La thèse s’intitule « Guidage Gestuel pour des Robots Mobiles ».

 

Guidage Gestuel pour des Robots Mobiles

Guidage Gestuel pour des Robots Mobiles

Le jury sera composé de:

  • – Mme Indira THOUVENIN (Rapporteur)
  • – M. Pierre DE LOOR (Rapporteur)
  • – M. Frédéric FOL LEYMARIE (Examinateur)
  • – M. Philippe FUCHS (Examinateur)
  • – M. Alexis PALJIC (Examinateur)
  • – M. Christophe GUETTIER (Examinateur)
  • – M. Sotiris MANITSARIS (Invité)

Résumé:
Utiliser une interface visuo-tactile peut être une gêne lorsqu’il est nécessaire de rester mobile et conscient de son environnement. Cela s’avère particulièrement problématique en milieu hostile comme pour la commande d’un drone militaire de contact.

Dans ces travaux nous faisons l’hypothèse que le geste est une modalité de commande moins contraignante puisqu’elle n’impose pas de visualiser ni de manipuler une interface physique.

Ainsi, différents travaux nous ont permis de confirmer d’une part, les avantages pratiques, et d’autre part, la faisabilité technique de la commande d’un robot mobile par geste.

Tout d’abord, l’étude théorique du geste a permis de construire un modèle d’interaction. Celui-ci consiste en l’activation de commandes automatiques par la réalisation de gestes sémaphoriques normalisés. Des messages sonores permettent de renseigner l’opérateur et un mécanisme de confirmation sécurise l’interaction.

Ensuite, le dictionnaire des gestes à utiliser a été constitué. Pour cela, une méthodologie a été proposée et appliquée : des utilisateurs proposent puis élisent les gestes les plus pertinents.

Notre modèle d’interaction et le vocabulaire gestuel ont ensuite été évalués. Une étude en laboratoire nous a permis de montrer que l’interaction gestuelle telle que proposée est simple à apprendre et utiliser et qu’elle permet de conserver une bonne conscience de l’environnement.

Un système interactif complet a ensuite été développé. Son architecture a été déduite du modèle d’interaction et une brique de reconnaissance gestuelle a été mise en œuvre. En marge des méthodes classiques, la brique proposée utilise un principe de description formelle des gestes avec une grammaire régulière.

Finalement, ce système a été évalué lors de tests utilisateurs. L’évaluation par des participants militaires a confirmé notre hypothèse de la pertinence du geste pour une interaction visuellement et physiquement moins contraignante.

Abstract :
Using a visuo-tactil interface may be restrictive when mobility and situation awareness are required. This is particularly problematic in hostile environment as commanding a drone on a battlefield.

In the work presented here, we hypothesize that gesture is a less restrictive modality as it doesn’t require to manipulate nor to look at a device.

Thus we followed a user-centered approach to confirm practical advantages and technical feasibility of gestural interaction for drones.

First, the theoretical study of gestures allowed us to design an interaction model. It consists on activating commands by executing standardized semaphoric gestures. Sound messages inform the user and a confirmation mechanism secure the interaction.

Second, a gestural vocabulary has been built. To do so, a methodology has been proposed and used :  end users elicited then elected the most appropriate gestures.

Then, the interaction model and the selected gestures have been evaluated. A laboratory study showed that they are both easy to learn and use and  helps situation awareness.

An interactive system as then been developed. It’s architecture has been deducted from our interaction model and a gesture recognizer as been built. Different from usual methods, the recognizer we proposed is based on formal description of gestures using regular expressions.

Finally, we conducted a user testing of the proposed system. The evaluation by end-users confirmed our hypothesis that gestures are a modality less distractive both visually and physically.

25
Oct

Soutenance de thèse – Eva Coupeté

Eva Coupeté plaisir de vous inviter à sa soutenance de thèse qui aura lieu, sous réserve de l’avis favorable d’un des deux rapporteurs, le jeudi 10 novembre à MINES ParisTech à 14h (salle L109).

La thèse s’intitule « Reconnaissance de gestes pour la collaboration homme-robot sur chaîne de montage ».

Un robot assiste un opérateur dans le montage d'éléments sur une portière.

Un robot assiste un opérateur dans le montage d’éléments sur une portière.

Le jury sera composé de:

  • – Mme Catherine Achard, Maître de conférence, Sorbonne Université (Rapporteur)
  • – M. Sylvain Calinon, Chercheur permanent, École Polytechnique Fédérale de Lausanne (Examinateur)
  • – M. Philippe Fraisse, Professeur, Université de Montpellier 2 (Examinateur)
  • – M. Laurent Grisoni, Professeur, Université de Lille 1 (Rapporteur)
  • – M. Sotiris Manitsaris, Chercheur, Mines ParisTech (Examinateur, Encadrant de thèse)
  • – M. Fabien Moutarde, Professeur, Mines ParisTech (Examinateur, Directeur de thèse)

Résumé:
Les robots collaboratifs sont de plus en plus présents dans nos vies quotidiennes. En milieu industriel, ils sont une solution privilégiée pour rendre les chaînes de montage plus flexibles, rentables et diminuer la pénibilité du travail des opérateurs. Pour permettre une collaboration fluide et efficace, les robots doivent être capables de comprendre leur environnement,  en particulier les actions humaines.
Dans cette optique, nous avons décidé d’étudier la reconnaissance de gestes techniques afin  que le robot puisse se synchroniser avec l’opérateur, adapter son allure et comprendre si quelque chose d’inattendu survient.
Pour cela, nous avons considéré deux cas d’étude, un cas de co-présence et un cas de collaboration, tous les deux inspirés de cas existant sur les chaînes de montage automobiles.
Dans un premier temps, pour le cas de co-présence, nous avons étudié la faisabilité de la reconnaissance des gestes en utilisant des capteurs inertiels. Nos très bons résultats (96% de reconnaissances correctes de gestes isolés avec un opérateur) nous ont encouragés à poursuivre dans cette voie.
Sur le cas de collaboration, nous avons privilégié l’utilisation de capteurs non-intrusifs pour minimiser la gêne des opérateurs, en l’occurrence une caméra de profondeur positionnée avec une vue de dessus pour limiter les possibles occultations.
Nous proposons un algorithme de suivi des mains en calculant les distances géodésiques entre les points du haut du corps et le haut de la tête. Nous concevons également et évaluons un système de reconnaissance de gestes basé sur des Chaînes de Markov Cachées (HMM) discrètes et  prenant en entrée les positions des mains. Nous présentons de plus une méthode pour adapter notre système de reconnaissance à un nouvel opérateur et nous utilisons des capteurs inertiels sur les outils pour affiner nos résultats.  Nous obtenons le très bon résultat de 90% de reconnaissances correctes en temps réel pour 13 opérateurs.
Finalement, nous formalisons et détaillons une méthodologie complète pour réaliser une reconnaissance de gestes techniques sur les chaînes de montage.

20
Juin

Soutenance de thèse – Bruno Ricaud

Bruno Ricaud a le plaisir de vous convier à sa soutenance de thèse intitulée « Système de reconstruction d’environnement pour une aide au pilotage en environnement naturel » lundi 20 juin 14h00 à MINES ParisTech dans l’amphithéâtre L109.

Cette soutenance se fera en présence du jury composé de:

Rapporteurs :
M. Patrick RIVES (INRIA)
M. Roland CHAPUIS (Université Blaise PASCAL – CLERMONT-FERRAND II)

Examinateurs :

M. Philippe BONNIFAIT (Sorbonne Universités, Université de Technologie de COMPIÈGNE)
M. Arnaud DE LA FORTELLE (MINES ParisTech, Directeur)
M. Cyril JOLY (MINES ParisTech, Co-Directeur)
M. Jimmy REGNIER (Nexter Systems, Encadrant industriel)

Résumé
_______

Le pilotage de véhicule blindé est rendu difficile par la faible visibilité offerte aux pilotes face aux environnements et aux situations complexes qu’ils doivent traverser.

La protection des opérateurs de véhicules militaires et l’intégrité de ces véhicules sont des besoins primordiaux pour l’armée de terre.

Afin de répondre à la problématique : sécuriser le pilotage des véhicules militaires avec comme périmètre la définition d’un système de perception d’environnement, nous avons procédé à l’étude au sens large de l’aide au pilotage dans le contexte militaire en environnement naturel et semi-structuré afin de mettre en exergue les moyens et les capteurs utilisables pour réaliser un système d’aide au pilotage.

Ainsi, nous offrons une réponse technique pour la réalisation d’un tel système au travers premièrement d’une étude des méthodes et algorithmes existants applicables à notre cas d’application. Ensuite nous définissons les capteurs utilisables avec de telles méthodes. De cet état de l’art, nous définissons un système répondant à notre problématique et nous expliquons sa mise en pratique au travers de la création d’une plateforme d’expérimentation.

Cette plateforme se compose des solutions présentées et permet de valider le concept par l’évaluation des solutions d’acquisition de l’environnement afin d’offrir les données nécessaires à une aide au pilotage.

Puis, l’étude des moyens d’analyse de cet environnement offre des pistes de réflexion sur le futur système d’aide au pilotage.

Enfin, une l’étude d’un moyen alternatif de restitution de l’information à l’opérateur complète la solution présentée en offrant une piste de réflexion sur l’impact de la restitution dans les performances des opérateurs.

Abstract
_______

Armored vehicle driving is difficult because of low visibility given to pilots in tough environments conditions and complex situations they have to manage.

Soldiers’ safety and vehicle integrity are part of main topics for French “Armée de Terre”. To answer the problem Make the driving of military vehicles safer by improving environment perception through driver assistance systems, we study driving assistance in unstructured environment by looking for sensors and methods, which are suitable to realize such a system.

First, we study existing methods and algorithms, which fit our application case. Conclusion of this study is the definition of our system.

Second, thanks to the previous study we explain the creation of an experimentation platform allowing evaluation of our concept. Data obtained from reconstruction are then exploited through environment analysis to bring obstacle extraction methods.

Third, study of an alternative display solution is exposed and completes this work in explaining impact of restitution in operating cycle.

30
Mai

Soutenance de thèse – Olivier Huynh

Olivier Huynh a le plaisir de vous convier à sa soutenance de thèse le mardi 31 mai à Mines Paristech. La soutenance aura lieu à 14h00 dans l’amphithéâtre L109.

La thèse s’intitule « Application du Modèle à Distribution de Points au corps humain pour la ré-identification de personnes ».

Some annotated samples from Inria Person dataset

Some annotated samples from Inria Person dataset

Le jury est composé de:

  • – M. Mounim EL YACOUBI (Telecom SudParis, Rapporteur)
  • – M. Antoine MANZANERA (ENSTA ParisTech, Rapporteur)
  • – M. Jean-Philippe THIRAN (EPFL, Examinateur)
  • – M. Philippe FUCHS (Mines ParisTech, Directeur)
  • – M. Bogdan STANCIULESCU (Mines ParisTech, Co-Directeur)

Résumé de la thèse :

L’essor des systèmes mobiles pose de nouvelles problématiques dans le domaine de vision par ordinateur. Les techniques de ré-identification s’appuyant sur un réseau de caméras fixes doivent être repensées afin de s’adapter à un décor changeant. Pour répondre à ces besoins, cette thèse explore, dans le cadre du corps humain, l’utilisation d’un modèle structurel habituellement employé pour de la reconnaissance faciale. Il s’agit de l’alignement d’un modèle à distribution de points (Point Distribution Model ou PDM). L’objectif de ce pré-traitement avant la ré-identification est triple, segmenter la personne du décor, améliorer la robustesse vis-à-vis de sa pose et extraire des points clés spatiaux pour construire une signature basée sur son comportement.
Nous concevons et évaluons un système complet de ré-identification, découpé en trois modules mis en séquence. Le premier de ces modules correspond à la détection de personnes. Nous proposons de nous baser sur une méthode de l’état de l’art utilisant les Channel Features avec l’algorithme AdaBoost.

Le second module est l’alignement du PDM au sein de la boîte englobante fournie par la détection. Deux approches sont présentées dans cette thèse. La première s’appuie sur une formulation paramétrique du modèle de forme. L’alignement de ce modèle est guidé par la maximisation d’un score d’un modèle d’apparence GentleBoost utilisant des caractéristiques locales de type histogrammes de gradients orientés. La seconde approche exploite une technique de cascade de régressions de forme. L’idée principale est le regroupement de déformations homogènes en clusters et la classification de ces derniers dans le but d’aligner le PDM itérativement.

Enfin, le troisième module est celui de la ré-identification. Nous montrons que l’utilisation d’un PDM en support permet d’améliorer les résultats de ré-identification. Nos expérimentations portent sur des signatures d’apparence classique, les histogrammes de couleurs, et sur un descripteur de forme, le Shape Context. L’évaluation de ce dernier fournit des résultats encourageants pour une perspective d’utilisation des PDM au sein d’une reconnaissance de démarches.

Mots clés: Modèle à Distribution de Points, Alignement, Régression de Forme, Corps humain, Ré-identification, Applications embarquées