caor@mines-paristech.fr
26
Mar

Mingei

Dates de réalisation : du 01/12/2018 au 30/11/2021

Type de projet: Européen, H2020

Financeur: Commission Européenne (Grant agreement No 822336)

Chercheur associé: Sotiris Manitsaris

Résumé du projet:

Mingei is a Horizon 2020 project that aims to digitize and transfer knowledge about the (in)tangible aspects of crafts. This covers the representation, preservation, and accessibility of craft as cultural heritage. Crafts include tangible artefacts, materials, and tools, as well as intangible dimensions, such as dexterity, skill, and the relationship between master and apprentice. These dimensions involve traditional and culturally identifying elements of the communities of practice, innovation, and artistic creation. At the same time, they are part of the history and economy of the areas and societies in which they flourish.

Mingei will explore the possibilities of representing and making accessible both tangible and intangible aspects of craft as cultural heritage (CH). Heritage Crafts (HCs) involve craft artefacts, materials, and tools and encompass craftsmanship as a form of Intangible Cultural Heritage. Intangible HC dimensions include dexterity, know-how, and skilled use of tools, as well as, tradition, and identity of the communities in which they are, or were, practiced. HCs are part of the history and have impact upon the economy of the areas in which they flourish. The significance and urgency to the preservation of HCs is underscored, as several are threatened with extinction.
Despite their cultural significance efforts for HC representation and preservation are scattered geographically and thematically. Mingei will provide means to establish HC representations based on digital assets, semantics, existing literature and repositories, as well as, mature digitisation and representation technologies. These representations will capture and preserve tangible and intangible dimensions of HCs.
Central to craftsmanship is skill and its transmission from master to apprentice. Mingei will capture the motion and tool usage of HC practitioners, from Living Human Treasures and archive documentaries, in order to preserve and illustrate skill and tool manipulation.
The represented knowledge will be availed through compelling experiential presentations, using storytelling and educational applications and based on AR and MR and the Internet.
Engaging cultural experiences have positive impact on interest growth and tourism, which support HC communities and institutions and foster HC sustainability and preservation.
The consortium brings together complementary expertise and content. Pilot themes exhibit richness in tangible and intangible dimensions and are directly related to European history.

This project has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement no. 822336.

Want to learn more about Mingei? Visit our website http://www.mingei-project.eu/ and follow us on Facebook, Instagram, Twitter and LinkedIn.
Subscribe to the monthly Mingei newsletter to stay up to date.

6
Mar

Marion Pilté reçoit le Thales PhD Award

Marion Pilté, doctorante Cifre du centre de robotique entre 2015 et 2018, en partenariat avec l’entreprise Thales, et encadrée par Silvère Bonnabel, a reçu le Thales PhD Award 2019 des mains de Bernhard Quendt, directeur technique de Thales. Ce prix récompense deux lauréats sur environ 70 thèses Cifre soutenues au sein de l’entreprise.

22
Nov

Soutenance de thèse — Michel Valente

Michel Valente a plaisir de vous inviter à sa soutenance de thèse le mercredi 18 décembre 2019 à 16h00.

La soutenance aura lieu dans le nouvel amphithéâtre L118 à Mines ParisTech, 60 bd Saint Michel 75006.

Elle sera défendue en anglais et s’intitule: « SLAM and Data Fusion for Autonomous Vehicles. From classical approaches to deep learning methods. »

Le jury sera composé comme suit:

  • – M. Ching-Yao Chan – UC Berkeley (Rapporteur)
  • – M. Vincent Fremont – École Centrale de Nantes (Rapporteur)
  • – M. David Filliat – ENSTA (Examinateur)
  • – Mme. Emilie Wirbel – Valeo (Examinatrice)
  • – M. Arnaud de La Fortelle – Mines ParisTech (Examinateur)
  • – M. Cyril Joly – Mines ParisTech (Examinateur)

Abstract:
Self-driving cars have the potential to provoke a mobility transformation that will impact our everyday lives. In order to reach this goal, the vehicles need to perform autonomously three main tasks: perception, planning and control. When it comes to urban environments, perception becomes a challenging task that needs to be reliable for the safety of the driver and the others. It is extremely important to have a good understanding of the environment and its obstacles, along with a precise localization, so that the other tasks are well performed. 
This thesis explores from classical approaches to Deep Learning techniques to perform mapping and localization for autonomous vehicles equipped with low cost sensors in urban environments. In the first part, we propose solutions to sensor fusion and localization using the Dempster-Shafer theory approach based on occupancy grid maps. Sequentially, we explore how the recent advances in Deep Learning techniques can be applied to the localization problem. We propose novel solutions that use directly the input from the sensors in neural networks to estimate the localization of the vehicle during its trajectory. Our solutions are tested and validated on different challenging urban scenarios showing the robustness and accuracy of the proposed approaches. 

Résumé:
L’arrivée des voitures autonomes va provoquer une transformation très importante de la mobilité urbaine telle que nous la connaissons, avec un impact significatif sur notre vie quotidienne. Pour atteindre cet objectif, les véhicules autonomes doivent effectuer en toute sécurité et de manière autonome trois tâches principales: la perception, la planification et le contrôle. La perception est une tâche particulièrement difficile en milieu urbain, car elle se doit d’être suffisamment précise pour assurer à la fois la sécurité du conducteur et celle des autres. Il est décisif d’avoir une bonne compréhension de l’environnement et de ses obstacles, ainsi qu’une localisation précise, afin que les autres tâches puissent être performantes.
L’objectif de cette thèse est d’explorer différentes techniques pour la cartographie et la localisation des voitures autonomes en milieu urbain, en partant des approches classiques jusqu’aux algorithmes d’apprentissage profond. Dans la première partie, nous proposons des solutions pour la fusion de capteurs et la localisation du véhicule en utilisant l’approche théorique de Dempster-Shafer basée sur des cartes de grille d’occupation. Ensuite, nous explorons comment les récents progrès des techniques d’apprentissage en profondeur peuvent s’appliquer au problème de localisation. Nous proposons de nouvelles solutions qui utilisent directement les entrées des capteurs dans les réseaux de neurones pour estimer la localisation du véhicule au cours de sa trajectoire. Nos solutions sont testées et validées sur différents scénarios urbains complexes montrant la robustesse et la précision des approches proposées.

31
Oct

Soutenance de thèse — Hugues Thomas

Hugues Thomas a le plaisir de vous inviter à sa soutenance de thèse le mardi 19 novembre 2019 à 9h30.
Elle a été réalisée au Centre de Robotique de Mines ParisTech, en partenariat avec Terra3D. Sous la direction de François Goulette (CAOR) et Beatriz Marcotegui (CMM), elle a été encadrée par Jean-Emmanuel Deschaud (CAOR) et Yann Le Gall (Terra3D). Elle sera défendue en français et s’intitule: « Apprentissage de nouvelles représentations pour la sémantisation de nuages de points 3D » ou « Learning new representations for 3D point cloud semantic segmentation » en anglais.

La soutenance aura lieu dans le nouvel amphithéâtre Schlumberger à l’École des Mines ParisTech, 60 bd Saint Michel 75006.

Jury

  •  – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur) 
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur) 
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur) 
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur) 
  • – Pascal Monasse, Professeur à l’Ecole Nationale des Ponts et Chaussées, examinateur
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur) 
  • – François Goulette – CAOR Mines ParisTech (Examinateur) 
  • – Yann Le Gall – Terra3D (Invité)
30
Oct

Stage Ingénieur ou Master 2 — Conception par Machine-Learning d’une IA vérifiant la saisonnalité de bouquets par reconnaissance des variétés de fleurs

Le stage consistera à concevoir et développer une IA capable d’identifier, sur les photos de bouquets transmises par les fleuristes, les variétés de fleurs le constituant, et d’alerter automatiquement si une fleur d’un bouquet semble hors-saison (en localisant clairement sur la photo la fleur « suspecte » avec sa variété reconnue). Il s’agit donc d’abord d’entraîner par Deep- Learning un module de détection et catégorisation reconnaissance des fleurs du bouquet. Il est envisagé d’utiliser un Réseau Convolutif profond de type « Mask_RCNN », « Faster_RCNN » ou similaire, qui sera entraîné notamment sur les bases d’images existantes des fleurs produites par les horticulteurs agréés par Fleurs-d’Ici, ainsi que sur des bases publiques telles que http://www.robots.ox.ac.uk/~vgg/data/flowers/102/. Pour chaque variété de fleur reconnue, l’IA devra afficher en surimpression sur la photo de bouquet les variétés fleurs reconnues (avec leur localisation sur la photo), et mettre en évidence les éventuelles fleurs qui paraissent « hors saison » compte tenu des informations de saisonnalité (déjà associées par Fleurs-d’Ici à chaque type de fleur).

12
Sep

Premier prix au « CARLA Autonomous Driving challenge » 2019 (catégorie « vision-only »)

Marin Toromanoff (doctorant CIFRE Valeo encadré par Fabien Moutarde) a obtenu le PREMIER PRIX au « CARLA Autonomous Driving challenge » 2019 (catégorie « vision-only »).
Cette distinction récompense son approche d’Apprentissage Profond par Renforcement (Deep Reinforcement Learning) pour la conduite autonome fondée sur la vision, qui a obtenu les meilleures performances pour la « track 2 » (vision seule) dans cette compétition internationale. Ce benchmark évalue dans l’environnement de simulation CARLA la capacité d’algorithmes de conduite automatisée à effectuer des trajets quelconques dans une ville inconnue, en respectant les feux tricolores et en évitant les collisions avec autres véhicules et piétons.

Vidéo des résultats de approche d’Apprentissage Profond par Renforcement de Marin Toromanoff

30
Août

Publications de 2019 IEEE Intelligent Vehicles Symposium (IV) disponibles

Les publications du Symposium IV19 à Paris en juin 2019 organisé par le Centre de Robotique MINES ParisTech, VEDECOM et l’IFSTTAR sont maintenant disponibles sur IEEE Explore.

IV2019IV2019-organizers

6
Mai

Soutenance de thèse – Xavier Roynard

Xavier Roynard a le plaisir de vous inviter à ma soutenance de thèse le lundi 3 juin 2019 à 14h30.

Lieu : Mines ParisTech, 60 boulevard Saint Michel 75006 Paris
Salle : amphi L109

Réalisée au Centre de Robotique de Mines ParisTech sous la direction de François Goulette et encadrée par Jean-Emmanuel Deschaud, elle sera soutenue en français et s’intitule: « Sémantisation à la Volée de Nuages de Points 3D acquis par Systèmes Embarqués » (« On-the-Fly Semantization of 3D Point Clouds Acquired by Embedded Systems » en anglais).

Le jury sera composé comme suit :

  • – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur)
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur)
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur)
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur)
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur)
  • – François Goulette – CAOR Mines ParisTech (Examinateur)

Résumé :
Cette thèse se trouve à la confluence de deux mondes en pleine explosion : la voiture autonome et l’intelligence artificielle (particulièrement l’apprentissage profond). Le premier tirant profit du deuxième, les véhicules autonomes utilisent de plus en plus de méthodes d’apprentissage profond pour analyser les données produites par ses différents capteurs (dont les LiDARs) et pour prendre des décisions. Alors que les méthodes d’apprentissage profond ont révolutionné l’analyse des images (en classification et segmentation par exemple), elles ne produisent pas des résultats aussi spectaculaires sur les nuages de points 3D. en particulier parce que les jeux de scènes données de nuages de points 3D annotés sont rares et de qualité moyenne. On présente donc dans cette thèse un nouveau jeu de données réalisé par acquisition mobile pour produire suffisamment de données et annoté à la main pour assurer une bonne qualité de segmentation. De plus ces jeux de !
données sont par nature déséquilibrés en nombre d’échantillon par classe et contiennent beaucoup d’échantillons redondants, on propose donc une méthode d’échantillonnage adaptée à ces jeux de données. Un autre problème rencontré quand quand on essaye de classifier un point à partie de son voisinage sous forme de grille voxelique est le compromis entre un pas de discrétisation fin (pour avoir décrire précisément la surface voisine du point) et une grille de taille élevée (pour aller chercher du contexte un peu plus loin). On propose donc également des méthodes de réseaux tirant profit de voisinages multi-échelles. Ces méthodes atteignent l’état de l’art des méthodes de classification par points sur des benchmark publique. Enfin pour respecter les contraintes imposées par les systèmes embarqués (traitement en temps réel et peu de puissance de calcul), on présente une méthode qui permet de n’appliquer les couches convolutionnelles que là où i!
l y a de l’information à traiter.

Abstract:
This thesis is at the confluence of two worlds in rapid growth: autonomous cars and artificial intelligence (especially deep learning). As the first takes advantage of the second, autonomous vehicles are increasingly using deep learning methods to analyze the data produced by its various sensors (including LiDARs) and to make decisions. While deep learning methods have revolutionized image analysis (in classification and segmentation for example), they do not produce such spectacular results on 3D point clouds. This is particularly true because the datasets of annotated 3D point clouds are rare and of moderate quality. This thesis therefore presents a new dataset developed by mobile acquisition to produce enough data and annotated by hand to ensure a good quality of segmentation. In addition, these datasets are inherently unbalanced in number of samples per class and contain many redundant samples, so a sampling method adapted to these datasets is proposed. Another problem e!
ncountered when trying to classify a point from its neighbourhood as a voxel grid is the compromise between a fine discretization step (for accurately describing the surface adjacent to the point) and a large grid (to look for context a little further away). We therefore also propose network methods that take advantage of multi-scale neighbourhoods. These methods achieve the state of the art of point classification methods on public benchmarks. Finally, to respect the constraints imposed by embedded systems (real-time processing and low computing power), we present a method that allows convolutional layers to be applied only where there is information to be processed.

9
Avr

Quantitative Models of Human Behavior: Econometrics, Machine Learning, or Both?

Le Centre de Robotique a le plaisir d’accueillir Prof. Joan Walker (Université de Californie, Berkeley) durant une année. Joan Walker fera une présentation sur ses travaux portant sur la modélisation quantitative des comportements humains. La présentation aura lieu le mercredi 17 avril de 11h00 à 12h00 dans la salle Chevalier à MINES ParisTech.

Abstract

Many aspects of engineering, planning, and policy involve a human element, be it consumers, businesses, governments, or other organizations. Effective design and management require understanding this human response. This talk focuses on behavioral theories and the use of quantitative methods to analyze human response, comparing and contrasting more traditional approaches grounded in economics with more recent efforts from machine learning.

Bio

joan_walkerJoan Walker is a Professor of Civil Environmental Engineering at UC Berkeley. She has served twice as Acting Director of UC Berkeley’s Institute of Transportation Studies and as Co-Director of its Center for Global Metropolitan Studies. She received her Bachelor’s degree in Civil Engineering from UC Berkeley and her Master’s and PhD degrees in Civil and Environmental Engineering from MIT. Prior to joining UC Berkeley, she was Director of Demand Modeling at Caliper Corporation and an Assistant Professor of Geography and Environment at Boston University. She is a recipient of the Presidential Early Career Award for Scientists and Engineers (PECASE) – the highest honor bestowed by the U.S. government on scientists and engineers beginning their independent careers. She is the Chair of the Committee on Transportation Demand Forecasting (ADB40) for the Transportation Research Board of the National Academies.
www.JoanWalker.com

4
Avr

Soutenance de thèse – Daniele Sportillo

Daniele Sportillo a le plaisir de vous inviter à sa soutenance de thèse le vendredi 19 avril 2019 à 13h30. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec PSA, sous la direction de Alexis PALJIC (Mines ParisTech) et encadrée par Luciano OJEDA (Groupe PSA), la thèse sera défendue en anglais et s’intitule: « Préparation à la conduite automatisée en Réalité Mixte » (« Get Ready For Automated Driving With Mixed Reality » en anglais).

La soutenance aura lieu en salle L109 à MINES ParisTech, 60 bd Saint Michel 75006.

Jury

  • – M. Roland BRÉMOND, IFSTTAR (Rapporteur)
  • – M. Daniel MESTRE, Université Aix-Marseille (Rapporteur)
  • – M. Frank FLEMISCH, FKIE (Examinateur)
  • – M. Jean-Marie BURKHARDT, IFSTTAR (Examinateur)
  • – Mme. Domitile LOURDEAUX, Université de Technologie de Compiègne (Examinateur)
  • – M. Alexis PALJIC, MINES ParisTech (Examinateur)
  • – M. Luciano OJEDA, Groupe PSA (Examinateur)

Résumé
L’automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l’environnement de conduite, leur permettant d’effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d’interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l’interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d’apprentissage et d’évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d’interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu’à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L’objectif de cette thèse est d’étudier le rôle de la réalité mixte dans l’acquisition de compétences pour l’interaction d’un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l’immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d’espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l’acquisition des compétences, des règles et des connaissances nécessaires à l’utilisation d’un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l’impact de l’immersion sur l’apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l’efficacité de l’ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de competences de l’environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

Abstract
Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.