caor@mines-paristech.fr
6
Mai

Soutenance de thèse – Xavier Roynard

Xavier Roynard a le plaisir de vous inviter à ma soutenance de thèse le lundi 3 juin 2019 à 14h30.

Lieu : Mines ParisTech, 60 boulevard Saint Michel 75006 Paris
Salle : amphi L109

Réalisée au Centre de Robotique de Mines ParisTech sous la direction de François Goulette et encadrée par Jean-Emmanuel Deschaud, elle sera soutenue en français et s’intitule: « Sémantisation à la Volée de Nuages de Points 3D acquis par Systèmes Embarqués » (« On-the-Fly Semantization of 3D Point Clouds Acquired by Embedded Systems » en anglais).

Le jury sera composé comme suit :

  • – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur)
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur)
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur)
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur)
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur)
  • – François Goulette – CAOR Mines ParisTech (Examinateur)

Résumé :
Cette thèse se trouve à la confluence de deux mondes en pleine explosion : la voiture autonome et l’intelligence artificielle (particulièrement l’apprentissage profond). Le premier tirant profit du deuxième, les véhicules autonomes utilisent de plus en plus de méthodes d’apprentissage profond pour analyser les données produites par ses différents capteurs (dont les LiDARs) et pour prendre des décisions. Alors que les méthodes d’apprentissage profond ont révolutionné l’analyse des images (en classification et segmentation par exemple), elles ne produisent pas des résultats aussi spectaculaires sur les nuages de points 3D. en particulier parce que les jeux de scènes données de nuages de points 3D annotés sont rares et de qualité moyenne. On présente donc dans cette thèse un nouveau jeu de données réalisé par acquisition mobile pour produire suffisamment de données et annoté à la main pour assurer une bonne qualité de segmentation. De plus ces jeux de !
données sont par nature déséquilibrés en nombre d’échantillon par classe et contiennent beaucoup d’échantillons redondants, on propose donc une méthode d’échantillonnage adaptée à ces jeux de données. Un autre problème rencontré quand quand on essaye de classifier un point à partie de son voisinage sous forme de grille voxelique est le compromis entre un pas de discrétisation fin (pour avoir décrire précisément la surface voisine du point) et une grille de taille élevée (pour aller chercher du contexte un peu plus loin). On propose donc également des méthodes de réseaux tirant profit de voisinages multi-échelles. Ces méthodes atteignent l’état de l’art des méthodes de classification par points sur des benchmark publique. Enfin pour respecter les contraintes imposées par les systèmes embarqués (traitement en temps réel et peu de puissance de calcul), on présente une méthode qui permet de n’appliquer les couches convolutionnelles que là où i!
l y a de l’information à traiter.

Abstract:
This thesis is at the confluence of two worlds in rapid growth: autonomous cars and artificial intelligence (especially deep learning). As the first takes advantage of the second, autonomous vehicles are increasingly using deep learning methods to analyze the data produced by its various sensors (including LiDARs) and to make decisions. While deep learning methods have revolutionized image analysis (in classification and segmentation for example), they do not produce such spectacular results on 3D point clouds. This is particularly true because the datasets of annotated 3D point clouds are rare and of moderate quality. This thesis therefore presents a new dataset developed by mobile acquisition to produce enough data and annotated by hand to ensure a good quality of segmentation. In addition, these datasets are inherently unbalanced in number of samples per class and contain many redundant samples, so a sampling method adapted to these datasets is proposed. Another problem e!
ncountered when trying to classify a point from its neighbourhood as a voxel grid is the compromise between a fine discretization step (for accurately describing the surface adjacent to the point) and a large grid (to look for context a little further away). We therefore also propose network methods that take advantage of multi-scale neighbourhoods. These methods achieve the state of the art of point classification methods on public benchmarks. Finally, to respect the constraints imposed by embedded systems (real-time processing and low computing power), we present a method that allows convolutional layers to be applied only where there is information to be processed.

9
Avr

Quantitative Models of Human Behavior: Econometrics, Machine Learning, or Both?

Le Centre de Robotique a le plaisir d’accueillir Prof. Joan Walker (Université de Californie, Berkeley) durant une année. Joan Walker fera une présentation sur ses travaux portant sur la modélisation quantitative des comportements humains. La présentation aura lieu le mercredi 17 avril de 11h00 à 12h00 dans la salle Chevalier à MINES ParisTech.

Abstract

Many aspects of engineering, planning, and policy involve a human element, be it consumers, businesses, governments, or other organizations. Effective design and management require understanding this human response. This talk focuses on behavioral theories and the use of quantitative methods to analyze human response, comparing and contrasting more traditional approaches grounded in economics with more recent efforts from machine learning.

Bio

joan_walkerJoan Walker is a Professor of Civil Environmental Engineering at UC Berkeley. She has served twice as Acting Director of UC Berkeley’s Institute of Transportation Studies and as Co-Director of its Center for Global Metropolitan Studies. She received her Bachelor’s degree in Civil Engineering from UC Berkeley and her Master’s and PhD degrees in Civil and Environmental Engineering from MIT. Prior to joining UC Berkeley, she was Director of Demand Modeling at Caliper Corporation and an Assistant Professor of Geography and Environment at Boston University. She is a recipient of the Presidential Early Career Award for Scientists and Engineers (PECASE) – the highest honor bestowed by the U.S. government on scientists and engineers beginning their independent careers. She is the Chair of the Committee on Transportation Demand Forecasting (ADB40) for the Transportation Research Board of the National Academies.
www.JoanWalker.com

4
Avr

Soutenance de thèse – Daniele Sportillo

Daniele Sportillo a le plaisir de vous inviter à sa soutenance de thèse le vendredi 19 avril 2019 à 13h30. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec PSA, sous la direction de Alexis PALJIC (Mines ParisTech) et encadrée par Luciano OJEDA (Groupe PSA), la thèse sera défendue en anglais et s’intitule: « Préparation à la conduite automatisée en Réalité Mixte » (« Get Ready For Automated Driving With Mixed Reality » en anglais).

La soutenance aura lieu en salle L109 à MINES ParisTech, 60 bd Saint Michel 75006.

Jury

  • – M. Roland BRÉMOND, IFSTTAR (Rapporteur)
  • – M. Daniel MESTRE, Université Aix-Marseille (Rapporteur)
  • – M. Frank FLEMISCH, FKIE (Examinateur)
  • – M. Jean-Marie BURKHARDT, IFSTTAR (Examinateur)
  • – Mme. Domitile LOURDEAUX, Université de Technologie de Compiègne (Examinateur)
  • – M. Alexis PALJIC, MINES ParisTech (Examinateur)
  • – M. Luciano OJEDA, Groupe PSA (Examinateur)

Résumé
L’automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l’environnement de conduite, leur permettant d’effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d’interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l’interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d’apprentissage et d’évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d’interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu’à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L’objectif de cette thèse est d’étudier le rôle de la réalité mixte dans l’acquisition de compétences pour l’interaction d’un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l’immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d’espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l’acquisition des compétences, des règles et des connaissances nécessaires à l’utilisation d’un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l’impact de l’immersion sur l’apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l’efficacité de l’ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de competences de l’environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

Abstract
Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.

3
Avr

Soutenance de thèse – Mathieu Nowakowski

Mathieu Nowakowski a le plaisir de vous inviter  à sa soutenance de thèse. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec l’entreprise SoftBank Robotics Europe, sous la direction de Fabien MOUTARDE et encadrée par Cyril JOLY, cette thèse porte sur la :
Localisation d’un robot humanoïde en milieu intérieur non-contraint.

La soutenance aura lieu le mercredi 3 avril à 14h en salle L109, au 60 boulevard Saint-Michel (Paris). La présentation sera faite en français.

Jury :

  • Paul CHECCHIN, Institut Pascal (UCA), Rapporteur
  • Olivier STASSE, LAAS – CNRS, Rapporteur
  • Samia BOUCHAFA-BRUNEAU, Univ. Evry Val d’Essonne, Examinateur
  • David FILLIAT, ENSTA ParisTech, Examinateur
  • Fabien MOUTARDE, Mines ParisTech, Examinateur
  • Cyril JOLY, Mines ParisTech, Examinateur
  • Sébastien DALIBARD, SoftBank Robotics Europe, Examinateur

Résumé :

Après la démocratisation des robots industriels, la tendance actuelle est au développement de robots sociaux dont la fonction principale est l’interaction avec ses utilisateurs. Le déploiement de telles plate-formes dans des boutiques, des musées ou des gares relance différentes problématiques dont celle de la localisation pour les robots mobiles. Cette thèse traite ainsi de la localisation du robot Pepper en milieu intérieur non-contraint. Présent dans de nombreuses boutiques au Japon, Pepper est utilisé par des personnes non-expertes et doit donc être le plus autonome possible. Cependant, les solutions de localisation autonome de la littérature souffrent des limitations de la plate-forme.

Les travaux de cette thèse s’articulent autour de deux grands axes. D’abord, le problème de la relocalisation dans un environnement visuellement redondant est étudié. La solution proposée consiste à combiner la vision et le Wi-Fi dans une approche probabiliste basée sur l’apparence. Ensuite, la question de la création d’une carte métrique cohérente est approfondie. Pour compenser les nombreuses pertes de suivi d’amers visuels causées par une fréquence d’acquisition basse, des contraintes odométriques sont ajoutées à une optimisation par ajustement de faisceaux. Ces solutions ont été testées et validées sur plusieurs robots Pepper à partir de données collectées dans différents environnements intérieurs sur plus de 7 km.

Abstract:

After the democratization of industrial robots, the current trend is the development of social robots that create strong interactions with their users. The deployment of such platforms in shops, museums or train stations raises various issues including the autonomous localization of mobile robots. This thesis focuses on the localization of Pepper robots in a non-constrained indoor environment. Pepper robots are daily used in many shops in Japan and must be as autonomous as possible. However, localization solutions in the literature suffer from the limitations of the platform.

This thesis is split into two main themes. First, the problem of relocalization in a visually redundant environment is studied. The proposed solution combines vision and Wi-Fi in a probabilistic approach based on the appearance. Then, the question of a consistent metrical mapping is examined. In order to compensate the numerous losses of tracking caused by the low acquisition frequency, odometric constraints are added to a bundle adjustment optimization. These solutions have been tested and validated on several Pepper robots, from data collected in different indoor environments over more than 7 km.

29
Mar

Séminaire Agents génératifs pour la co-improvisation musicale humain-machine – Mardi 2 Avril

Jérôme Nika présentera une synthèse de ses travaux, Mardi 2 Avril de 11h00 à 12h30 à MINES ParisTech, sur la conception d’agents pour la co-créativité musicale humain-machine. Ces recherches menées à l’IRCAM proposent une alternative aux visions « remplacistes » des agents créatifs ou « technologiques » cantonnant la machine au rôle d’outil subordonné à des objectifs fixés a priori. Elles visent en effet à fusionner les paradigmes d’agents autonomes, réactifs (contrôlés par l’écoute et l’analyse du jeu d’un musicien), et guidés par une spécification temporelle.

Le séminaire abordera les problématiques principales du projet, à savoir la dialectique entre réactivité et planification dans l’interaction musicale humain-machine, l’apprentissage d’une mémoire musicale en temps réel, ainsi que la détection et l’inférence de structure sous-jacente dans un flux audio écouté en temps réel.

Les modèles génératifs, d’apprentissage, d’ordonnancement, et d’architectures réactives issus de ce projet ont été implémentés dans les systèmes ImproteK, et DYCI2, en interaction avec de nombreux musiciens improvisateurs, et plus de 60 performances artistiques ont mis ces outils en jeu depuis 2016 (Ensemble Modern, Francfort ; Annenberg Center, Philadelphia, États-Unis ; Centre Pompidou ; Collège de France ; Montreux Jazz festival, Suisse, etc.)

Quelques exemples de sessions de travail avec des musiciens experts :

 

Biographie

jerome_nika

Jérôme NIKA est chercheur en intelligence artificielle appliquée à l’interaction musicale humain-machine. Il est diplômé des écoles ENSTA ParisTech et Télécom ParisTech, ainsi que du master ATIAM (Acoustique, Traitement du signal, Informatique, Appliqués à la Musique – Sorbonne Université / Ircam / Télécom ParisTech). Sa thèse (« Prix Jeune Chercheur Science/Musique 2015 », « Prix Jeune Chercheur 2016 », Association Française d’Informatique Musicale) puis ses travaux de chercheur à l’IRCAM, concrétisés par le développement des logiciels ImproteK et DYCI2, ont donné naissance à de nombreuses collaborations et productions musicales, notamment dans le jazz (Steve Lehman, Bernard Lubat, Rémi Fox) et la musique contemporaine (Pascal Dusapin, Marta Gentilucci).
http://repmus.ircam.fr/nika

26
Mar

Chargé(e) de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes

Dans le cadre du développement de ses activités de recherche et d’enseignement dans le domaine de l’Intelligence Artificielle et du Machine-Learning au CAOR, MINES ParisTech, membre de PSL Université, ouvre un poste de chargé de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes.

Ouvert sous la forme d’un contrat à durée indéterminée, ce poste s’adresse à un jeune chercheur (H/F, principalement 3-10 ans après la thèse) ayant le goût d’un travail multidisciplinaire à l’interface de la recherche fondamentale et du monde industriel dans le domaine des Véhicules Autonomes et de la Robotique.

Pour plus d’informations, consultez l’offre.

26
Mar

Mingei

Dates de réalisation : du 01/12/2018 au 30/11/2021

Type de projet: Européen, H2020

Financeur: Commission Européenne (Grant agreement No 822336)

Chercheur associé: Sotiris Manitsaris

Résumé du projet:

Mingei will explore the possibilities of representing and making accessible both tangible and intangible aspects of craft as cultural heritage (CH). Heritage Crafts (HCs) involve craft artefacts, materials, and tools and encompass craftsmanship as a form of Intangible Cultural Heritage. Intangible HC dimensions include dexterity, know-how, and skilled use of tools, as well as, tradition, and identity of the communities in which they are, or were, practiced. HCs are part of the history and have impact upon the economy of the areas in which they flourish. The significance and urgency to the preservation of HCs is underscored, as several are threatened with extinction.
Despite their cultural significance efforts for HC representation and preservation are scattered geographically and thematically. Mingei will provide means to establish HC representations based on digital assets, semantics, existing literature and repositories, as well as, mature digitisation and representation technologies. These representations will capture and preserve tangible and intangible dimensions of HCs.
Central to craftsmanship is skill and its transmission from master to apprentice. Mingei will capture the motion and tool usage of HC practitioners, from Living Human Treasures and archive documentaries, in order to preserve and illustrate skill and tool manipulation.
The represented knowledge will be availed through compelling experiential presentations, using storytelling and educational applications and based on AR and MR and the Internet.
Engaging cultural experiences have positive impact on interest growth and tourism, which support HC communities and institutions and foster HC sustainability and preservation.
The consortium brings together complementary expertise and content. Pilot themes exhibit richness in tangible and intangible dimensions and are directly related to European history.

26
Mar

Collaborate

Dates de réalisation : du 01/10/2018 au 30/09/2021

Type de projet: Européen, H2020

Financeur: Commission Européenne (Grant agreement No 820767)

Chercheur associé: Sotiris Manitsaris

Résumé du projet:

Traditional manufacturing systems lack the necessary flexibility and reconfigurability that can allow short production cycles and fast deployment of the updated system. Although the use of automation technologies based on industrial robots can increase the adaptability of a production line, the desired flexibility cannot be achieved until abilities for genuine collaboration of the robots with the human workers are developed.
CoLLaboratE will revolutionize the way industrial robots learn to cooperate with human workers for performing new manufacturing tasks, with a special focus on the challenging area of assembly operations. The envisioned system for collaborative assembly will be capable of allocating human and robotic resources for executing the production plan sharing the tasks according to the capabilities of the available actors.
The CoLLaboratE project will build upon state-of-the-art methods for teaching the robot assembly tasks using human demonstration, extending them to facilitate genuine human-robot collaboration. To this end, a framework for equipping the robots and AGV mobile platforms with basic collaboration skills, such as load sharing, human touch recognition and human intention detection, will also be developed, coupled with deep reinforcement learning algorithms for increasing adaptability. Special attention will be paid to providing effective safety strategies allowing the use of a fenceless approach within the production cell. As a result, closer collaboration will be achievable and efficient production plans making optimal use of the available resources will be designed and executed.
The proposed solution will be evaluated in four different pilot sites, which will be implemented as collaborative factory floors of the industrial partners in Italy, Slovenia, Turkey, and Romania.

26
Mar

Chaire Drive for All

Dates de réalisation : du 01/09/2014 au 31/08/2019

Type de projet : Chaire de mécénat

Mécènes : Groupe PSA, Valeo, Safran

Chercheur associé : Arnaud de La Fortelle

Résumé du projet :

La chaire Drive for All réunit des équipes du Centre de Robotique MINES ParisTech et des partenaires académiques internationaux : Université de Shanghai Jiao Tong (Chine), Université de Berkeley (Californie) et Ecole Polytechnique Fédérale de Lausanne (Suisse).
Portée par la Fondation MINES ParisTech, avec un financement de 3,7 millions d’euros par les industriels, la chaire travaillera pendant cinq ans sur le sujet de la conduite automatisée.

terramobilita
 

Site web : http://driveforall.com/

 

26
Mar

Chaire Logistique Urbaine MINES ParisTech

Dates de réalisation : du 01/03/2010 au 16/05/2021

Type de projet : Chaire de mécénat

Mécènes : ADEME, Groupe POMONA, Groupe La Poste, Marie de Paris et Renault

Chercheurs associés : Arnaud de La Fortelle, Simon Tamayo, Arthur Gaudron

Résumé du projet :

La Chaire Logistique Urbaine MINES ParisTech est un partenariat construit entre un regroupement d’entreprises, d’administrations publiques et l’École des Mines de Paris, qui vise à développer la connaissance opérationnelle et théorique dans le domaine de la logistique urbaine. Cette ambition est partagée par un groupe de mécènes qui soutiennent les initiatives de la Chaire. Ces partenaires sont l’ADEME, le Groupe Pomona, le Groupe La Poste, la Mairie de Paris et Renault.

La Chaire propose un espace de partage, de synergie et de création entre les diverses parties prenantes de la logistique urbaine. Elle cherche à faire de l’approche technique le socle commun des projets.

Site web : http://chairelogistiqueurbaine.fr

Capture d’écran 2019-03-26 à 09.37.42