caor@mines-paristech.fr

Actualités

26
Juil

Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes

Titre de la thèse:

Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes

Contexte:

Huawei travaille sur des systèmes clés de la plate-forme de conduite autonome L2-L3 et se concentre de plus en plus sur le développement de technologies de pointe nécessaires à l’autonomie L4-L5. Demain, les voitures autonomes pilotées par AI associeront l’informatique en calcul périphérique et dans le cloud, à un grand nombre de capteurs pour transporter les personnes de manière sûre et autonome, ainsi que pour la livraison autonome de marchandise. Chez Huawei, nous développons une chaine complète de technologies pour réaliser ce rêve, comprenant des unités de calcul, des capteurs, de l’infrastructure de communication et du cloud. Nous recherchons les meilleurs candidats pour la thèse CIFRE avec une formation en vision par ordinateur, apprentissage profond, apprentissage par renforcement, cartographie, perception, fusion de capteurs, cognition et autres domaines connexes, afin de travailler au sein de l’équipe IoV à Paris Research Center (PRC) . En tant que membre IoV PRC, vous travaillerez en étroite collaboration avec de nombreuses équipes dans le monde entier pour développer votre expertise et pour transférer avec succès les résultats de vos recherches dans de vrais produits.

Un des axes importants des travaux du Centre de Robotique-CAOR de l’Ecole des Mines de Paris et d’ARMINES est la mise au point d’outils, d’algorithmes et d’applications d’analyse temps-réel de flux issus de multiples capteurs, dont des caméras. De nombreuses applications ont ainsi été développées dans le domaine des Systèmes de Transport Intelligents (STI). Des outils et algorithmes performants de reconnaissance visuelle de catégorie d’objet (piétons, voitures, visages, panneaux routiers) ont été développés dans ce contexte.

Cette plate-forme logicielle est aujourd’hui commercialisée par l’entreprise INTEMPORA sous le nom de RT-MAPS pour Real Time Multisensor Advanced Prototyping Software. Elle permet l’acquisition et le prototypage puis l’exécution de traitement temps-réel de flux de données synchronisés, étant utilisée par de nombreux acteurs industriels et académiques tels que Valeo, PSA, Renault, l’INRIA, l’INRETS, etc. dans différents projets tels que Cybercars ou CityMobil.  Enfin le Centre de Robotique a acquis une certaine expertise sur l’utilisation dans le contexte temps-réel de diverses méthodes pour la fusion de données (filtrage particulaire, théorie des possibilités, etc…). Au travers de ce projet l’expertise apportée par le Centre de Robotique dans le domaine des systèmes de perception pour les véhicules, pourra être mise à profit dans cette thèse.

Sujet de recherche:

Le sujet principal de cette thèse doit être centré sur la résolution du problème de la fusion de capteurs pour un apprentissage non supervisé de cas rares, en exploitant une grande quantité de données disponibles à l’aide de plusieurs capteurs et véhicules. En combinant les résultats du traitement de la même entité physique par plusieurs capteurs redondants et par des données cartographiques, il est possible de détecter les causes des défaillances, en comparant les résultats obtenus entre plusieurs sources. L’apprentissage non supervisé devrait améliorer encore plus la précision de la recherche des erreurs, en particulier dans les cas rares où les données d’apprentissage pour les capteurs conventionnels sont absentes, ces données ne comportant pas d’annotations manuelles. Toutefois, les méthodes automatisées SOTA pourraient être utilisées pour extraire des informations relevantes sur la perception, sur la localisation et sur la cartographie afin de transformer le problème en solution. L’apprentissage non supervisé étant considéré comme l’un des problèmes les plus difficiles de nos jours, nous nous attendons à des progrès considérables dans ce domaine, qui pourraient permettre à des véhicules automatisés suffisamment fiables de faire partie de notre vie quotidienne.

Description des activités de recherche:

–  Étudier l’état de l’art sur la perception, sur la fusion de capteurs et sur la cognition

– Étudier l’état de l’art de l’apprentissage supervisé et non-supervisé

– Identifier les principaux verrous technologiques dans SOTA de (1 et 2) avec une application aux problèmes de la conduite autonome

– Proposer une nouvelle solution à l’un des principaux verrous technologiques (3) en mettant l’accent sur les applications pratiques à grande échelle pour les voitures autonomes

– Algorithme de recherche et développement basé sur la solution proposée (4), capable d’identifier de manière non supervisée des défaillances rares de divers capteurs dans le but d’améliorer la précision des données de capteur pour les voitures autonomes.

– Appliquer l’algorithme proposé (5) au domaine des voitures autonomes utilisant des jeux de données existants ou spécialement collectés

– Publier les résultats de recherche dans les meilleures conférences et participer à des séminaires scientifiques

Encadrement:

Cette thèse sera supervisée conjointement par Huawei Technologies France et le Centre de Robotique de MINES ParisTech et d’ARMINES

Conditions préalables:

Le candidat doit être motivé pour mener des recherches de classe internationale et posséder un Master en vision par ordinateur et/ou robotique. Il/Elle devra avoir de solides compétences dans les domaines suivants:

– Implémenter du code en Python et en C ++

– Appliquer ou utiliser les bibliothèques existantes pour un apprentissage approfondi des tâches liées au projet

– Bonne connaissance des outils Git, ROS, OpenCV, Boost, multi-threading, CMake, Make et Linux

– Documentation du code et de l’algorithme

– Reporting et planification du projet

– Rédaction de publications scientifiques et participation à des conférences

– Maîtrise de l’anglais, parlé et écrit; Le français et/ou le chinois est un plus

– Aptitudes interculturelles et de coordination, attitude pratique et volontaire

– Aptitudes interpersonnelles, esprit d’équipe et style de travail indépendant

Contact:

Les candidats intéressés doivent envoyer un CV détaillé comprenant les notes de leur Master à dzmitry.tsishkou@huawei.com et à bogdan.stanciulescu@mines-paristech.fr .

Les candidats doivent posséder un visa de travail en France, ou être ressortissants d’un des états de l’Union Européenne ou de l’Espace Economique Européen.

Date limite:

Notre objectif est de pourvoir ce poste le plus rapidement possible et de commencer au 2e semestre 2019. Les candidatures seront examinées jusqu’à ce qu’un candidat approprié soit trouvé.

Financement et localisation:

Le doctorat sera financé par un contrat CIFRE et se tiendra en région parisienne (Boulogne Billancourt et Paris), en France.

26
Juil

Modélisation réaliste de scenarii de conduite basés sur la fusion de capteurs appliquée aux voitures autonomes

Titre de thèse:
Modélisation réaliste de scenarii de conduite basés sur la fusion de capteurs appliquée aux voitures autonomes

Contexte:
Huawei travaille sur des systèmes clés de la plate-forme de conduite autonome L2-L3 et se concentre de plus en plus sur le développement de technologies de pointe nécessaires à l’autonomie L4-L5. Demain, les voitures autonomes pilotées par AI associeront l’informatique en calcul périphérique et dans le cloud, à un grand nombre de capteurs pour transporter les personnes de manière sûre et autonome, ainsi que pour la livraison autonome de marchandise. Chez Huawei, nous développons une chaine complète de technologies pour réaliser ce rêve, comprenant des unités de calcul, des capteurs, de l’infrastructure de communication et du cloud. Nous recherchons les meilleurs candidats pour la thèse CIFRE avec une formation en vision par ordinateur, apprentissage profond, apprentissage par renforcement, cartographie, perception, fusion de capteurs, cognition et autres domaines connexes, afin de travailler au sein de l’équipe IoV à Paris Research Center (PRC) . En tant que membre IoV PRC, vous travaillerez en étroite collaboration avec de nombreuses équipes dans le monde entier pour développer votre expertise et pour transférer avec succès les résultats de vos recherches dans de vrais produits.

 

Un des axes importants des travaux du Centre de Robotique-CAOR de l’Ecole des Mines de Paris et d’ARMINES est la mise au point d’outils, d’algorithmes et d’applications d’analyse temps-réel de flux issus de multiples capteurs, dont des caméras. De nombreuses applications ont ainsi été développées dans le domaine des Systèmes de Transport Intelligents (STI). Des outils et algorithmes performants de reconnaissance visuelle de catégorie d’objet (piétons, voitures, visages, panneaux routiers) ont été développés dans ce contexte.

Cette plate-forme logicielle est aujourd’hui commercialisée par l’entreprise INTEMPORA sous le nom de RT-MAPS pour Real Time Multisensor Advanced Prototyping Software. Elle permet l’acquisition et le prototypage puis l’exécution de traitement temps-réel de flux de données synchronisés, étant utilisée par de nombreux acteurs industriels et académiques tels que Valeo, PSA, Renault, l’INRIA, l’INRETS, etc. dans différents projets tels que Cybercars ou CityMobil.  Enfin le Centre de Robotique a acquis une certaine expertise sur l’utilisation dans le contexte temps-réel de diverses méthodes pour la fusion de données (filtrage particulaire, théorie des possibilités, etc…). Au travers de ce projet l’expertise apportée par le Centre de Robotique dans le domaine des systèmes de perception pour les véhicules, pourra être mise à profit dans cette thèse.

Sujet de recherche:
Le sujet principal de cette thèse sera centré sur la résolution du problème de la modélisation réaliste de scénarios de conduite, basés sur la fusion de capteurs et en exploitant une grande quantité de données disponibles à l’aide de plusieurs capteurs et véhicules. Ces données ne comportent pas d’annotations manuelles. Toutefois, des méthodes SOTA automatisées pourraient être utilisées pour extraire des informations précieuses sur la perception, sur la localisation et la cartographie afin de transformer le problème en solution. La simulation joue un rôle majeur dans l’augmentation de la précision de la perception, de la fusion de capteurs, de la cartographie, de la planification et du contrôle. Cependant, il n’existe actuellement aucun modèle réaliste des scenarii de conduite, pouvant imiter de manière adéquate le comportement rationnel des objets mobiles. Cela limite le champ d’utilisation de la simulation, il est donc toujours nécessaire de collecter une grande quantité de données réelles. En introduisant des modèles de conduite réalistes, on pourrait réduire l’écart et accélérer le développement de voitures autonomes en augmentant la valeur de la simulation. La modélisation réaliste des scénarios de conduite est considérée comme l’un des problèmes les plus difficiles à relever à ce jour. Nous espérons donc que des progrès considérables seront accomplis dans ce domaine, ce qui pourrait permettre à des véhicules automatisés hautement sécurisés de faire partie de notre vie quotidienne.

Description des activités de recherche:
– Étudier l’état de l’art sur la perception, sur la fusion de capteurs et sur la cognition
– Étudier l’état d’art en matière de modélisation de scénarios de conduite et de planification et/ou contrôle
– Identifier les principaux verrous technologiques dans SOTA de (1 et 2) avec une application aux problèmes de la conduite autonome
– Proposer une nouvelle solution à l’un des principaux verrous technologiques (3) en mettant l’accent sur les applications pratiques à grande échelle pour les voitures autonomes
– Recherche et développement d’un algorithme basé sur la solution proposée (4) permettant de modéliser des scenarii de conduite réalistes, en mettant l’accent sur l’amélioration de la planification / du contrôle de la conduite autonome
– Appliquer l’algorithme proposé (5) au domaine des voitures autonomes utilisant des jeux de données existants ou spécialement collectés
– Publier les résultats de recherche dans les meilleures conférences et participer à des séminaires scientifiques

Encadrement:
Cette thèse sera supervisée conjointement par Huawei Technologies France et le Centre de Robotique de MINES ParisTech et d’ARMINES

Conditions préalables:
Le candidat doit être motivé pour mener des recherches de classe internationale et posséder un Master en vision par ordinateur et/ou robotique. Il/Elle devra avoir de solides compétences dans les domaines suivants:
– Implémenter du code en Python et en C ++
– Appliquer ou utiliser les bibliothèques existantes pour un apprentissage approfondi des tâches liées au projet
– Bonne connaissance des outils Git, ROS, OpenCV, Boost, multi-threading, CMake, Make et Linux
– Documentation du code et de l’algorithme
– Reporting et planification du projet
– Rédaction de publications scientifiques et participation à des conférences
– Maîtrise de l’anglais, parlé et écrit; Le français et/ou le chinois est un plus
– Aptitudes interculturelles et de coordination, attitude pratique et volontaire
– Aptitudes interpersonnelles, esprit d’équipe et style de travail indépendant

Contact:
Les candidats intéressés doivent envoyer un CV détaillé comprenant les notes de leur Master à dzmitry.tsishkou@huawei.com et à bogdan.stanciulescu@mines-paristech.fr .

Les candidats doivent posséder un visa de travail en France, ou être ressortissants d’un des états de l’Union Européenne ou de l’Espace Economique Européen.

Date limite:
Notre objectif est de pourvoir ce poste le plus rapidement possible et de commencer au 2e semestre 2019. Les candidatures seront examinées jusqu’à ce qu’un candidat approprié soit trouvé.

Financement et localisation:
Le doctorat sera financé par un contrat CIFRE et se tiendra en région parisienne (Boulogne Billancourt et Paris), en France.

6
Mai

Soutenance de thèse – Xavier Roynard

Xavier Roynard a le plaisir de vous inviter à ma soutenance de thèse le lundi 3 juin 2019 à 14h30.

Lieu : Mines ParisTech, 60 boulevard Saint Michel 75006 Paris
Salle : amphi L109

Réalisée au Centre de Robotique de Mines ParisTech sous la direction de François Goulette et encadrée par Jean-Emmanuel Deschaud, elle sera soutenue en français et s’intitule: « Sémantisation à la Volée de Nuages de Points 3D acquis par Systèmes Embarqués » (« On-the-Fly Semantization of 3D Point Clouds Acquired by Embedded Systems » en anglais).

Le jury sera composé comme suit :

  • – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur)
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur)
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur)
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur)
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur)
  • – François Goulette – CAOR Mines ParisTech (Examinateur)

Résumé :
Cette thèse se trouve à la confluence de deux mondes en pleine explosion : la voiture autonome et l’intelligence artificielle (particulièrement l’apprentissage profond). Le premier tirant profit du deuxième, les véhicules autonomes utilisent de plus en plus de méthodes d’apprentissage profond pour analyser les données produites par ses différents capteurs (dont les LiDARs) et pour prendre des décisions. Alors que les méthodes d’apprentissage profond ont révolutionné l’analyse des images (en classification et segmentation par exemple), elles ne produisent pas des résultats aussi spectaculaires sur les nuages de points 3D. en particulier parce que les jeux de scènes données de nuages de points 3D annotés sont rares et de qualité moyenne. On présente donc dans cette thèse un nouveau jeu de données réalisé par acquisition mobile pour produire suffisamment de données et annoté à la main pour assurer une bonne qualité de segmentation. De plus ces jeux de !
données sont par nature déséquilibrés en nombre d’échantillon par classe et contiennent beaucoup d’échantillons redondants, on propose donc une méthode d’échantillonnage adaptée à ces jeux de données. Un autre problème rencontré quand quand on essaye de classifier un point à partie de son voisinage sous forme de grille voxelique est le compromis entre un pas de discrétisation fin (pour avoir décrire précisément la surface voisine du point) et une grille de taille élevée (pour aller chercher du contexte un peu plus loin). On propose donc également des méthodes de réseaux tirant profit de voisinages multi-échelles. Ces méthodes atteignent l’état de l’art des méthodes de classification par points sur des benchmark publique. Enfin pour respecter les contraintes imposées par les systèmes embarqués (traitement en temps réel et peu de puissance de calcul), on présente une méthode qui permet de n’appliquer les couches convolutionnelles que là où i!
l y a de l’information à traiter.

Abstract:
This thesis is at the confluence of two worlds in rapid growth: autonomous cars and artificial intelligence (especially deep learning). As the first takes advantage of the second, autonomous vehicles are increasingly using deep learning methods to analyze the data produced by its various sensors (including LiDARs) and to make decisions. While deep learning methods have revolutionized image analysis (in classification and segmentation for example), they do not produce such spectacular results on 3D point clouds. This is particularly true because the datasets of annotated 3D point clouds are rare and of moderate quality. This thesis therefore presents a new dataset developed by mobile acquisition to produce enough data and annotated by hand to ensure a good quality of segmentation. In addition, these datasets are inherently unbalanced in number of samples per class and contain many redundant samples, so a sampling method adapted to these datasets is proposed. Another problem e!
ncountered when trying to classify a point from its neighbourhood as a voxel grid is the compromise between a fine discretization step (for accurately describing the surface adjacent to the point) and a large grid (to look for context a little further away). We therefore also propose network methods that take advantage of multi-scale neighbourhoods. These methods achieve the state of the art of point classification methods on public benchmarks. Finally, to respect the constraints imposed by embedded systems (real-time processing and low computing power), we present a method that allows convolutional layers to be applied only where there is information to be processed.

9
Avr

Quantitative Models of Human Behavior: Econometrics, Machine Learning, or Both?

Le Centre de Robotique a le plaisir d’accueillir Prof. Joan Walker (Université de Californie, Berkeley) durant une année. Joan Walker fera une présentation sur ses travaux portant sur la modélisation quantitative des comportements humains. La présentation aura lieu le mercredi 17 avril de 11h00 à 12h00 dans la salle Chevalier à MINES ParisTech.

Abstract

Many aspects of engineering, planning, and policy involve a human element, be it consumers, businesses, governments, or other organizations. Effective design and management require understanding this human response. This talk focuses on behavioral theories and the use of quantitative methods to analyze human response, comparing and contrasting more traditional approaches grounded in economics with more recent efforts from machine learning.

Bio

joan_walkerJoan Walker is a Professor of Civil Environmental Engineering at UC Berkeley. She has served twice as Acting Director of UC Berkeley’s Institute of Transportation Studies and as Co-Director of its Center for Global Metropolitan Studies. She received her Bachelor’s degree in Civil Engineering from UC Berkeley and her Master’s and PhD degrees in Civil and Environmental Engineering from MIT. Prior to joining UC Berkeley, she was Director of Demand Modeling at Caliper Corporation and an Assistant Professor of Geography and Environment at Boston University. She is a recipient of the Presidential Early Career Award for Scientists and Engineers (PECASE) – the highest honor bestowed by the U.S. government on scientists and engineers beginning their independent careers. She is the Chair of the Committee on Transportation Demand Forecasting (ADB40) for the Transportation Research Board of the National Academies.
www.JoanWalker.com

4
Avr

Soutenance de thèse – Daniele Sportillo

Daniele Sportillo a le plaisir de vous inviter à sa soutenance de thèse le vendredi 19 avril 2019 à 13h30. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec PSA, sous la direction de Alexis PALJIC (Mines ParisTech) et encadrée par Luciano OJEDA (Groupe PSA), la thèse sera défendue en anglais et s’intitule: « Préparation à la conduite automatisée en Réalité Mixte » (« Get Ready For Automated Driving With Mixed Reality » en anglais).

La soutenance aura lieu en salle L109 à MINES ParisTech, 60 bd Saint Michel 75006.

Jury

  • – M. Roland BRÉMOND, IFSTTAR (Rapporteur)
  • – M. Daniel MESTRE, Université Aix-Marseille (Rapporteur)
  • – M. Frank FLEMISCH, FKIE (Examinateur)
  • – M. Jean-Marie BURKHARDT, IFSTTAR (Examinateur)
  • – Mme. Domitile LOURDEAUX, Université de Technologie de Compiègne (Examinateur)
  • – M. Alexis PALJIC, MINES ParisTech (Examinateur)
  • – M. Luciano OJEDA, Groupe PSA (Examinateur)

Résumé
L’automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l’environnement de conduite, leur permettant d’effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d’interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l’interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d’apprentissage et d’évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d’interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu’à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L’objectif de cette thèse est d’étudier le rôle de la réalité mixte dans l’acquisition de compétences pour l’interaction d’un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l’immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d’espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l’acquisition des compétences, des règles et des connaissances nécessaires à l’utilisation d’un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l’impact de l’immersion sur l’apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l’efficacité de l’ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de competences de l’environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

Abstract
Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.

3
Avr

Soutenance de thèse – Mathieu Nowakowski

Mathieu Nowakowski a le plaisir de vous inviter  à sa soutenance de thèse. La thèse a été réalisée au Centre de Robotique MINES ParisTech en partenariat avec l’entreprise SoftBank Robotics Europe, sous la direction de Fabien MOUTARDE et encadrée par Cyril JOLY, cette thèse porte sur la :
Localisation d’un robot humanoïde en milieu intérieur non-contraint.

La soutenance aura lieu le mercredi 3 avril à 14h en salle L109, au 60 boulevard Saint-Michel (Paris). La présentation sera faite en français.

Jury :

  • Paul CHECCHIN, Institut Pascal (UCA), Rapporteur
  • Olivier STASSE, LAAS – CNRS, Rapporteur
  • Samia BOUCHAFA-BRUNEAU, Univ. Evry Val d’Essonne, Examinateur
  • David FILLIAT, ENSTA ParisTech, Examinateur
  • Fabien MOUTARDE, Mines ParisTech, Examinateur
  • Cyril JOLY, Mines ParisTech, Examinateur
  • Sébastien DALIBARD, SoftBank Robotics Europe, Examinateur

Résumé :

Après la démocratisation des robots industriels, la tendance actuelle est au développement de robots sociaux dont la fonction principale est l’interaction avec ses utilisateurs. Le déploiement de telles plate-formes dans des boutiques, des musées ou des gares relance différentes problématiques dont celle de la localisation pour les robots mobiles. Cette thèse traite ainsi de la localisation du robot Pepper en milieu intérieur non-contraint. Présent dans de nombreuses boutiques au Japon, Pepper est utilisé par des personnes non-expertes et doit donc être le plus autonome possible. Cependant, les solutions de localisation autonome de la littérature souffrent des limitations de la plate-forme.

Les travaux de cette thèse s’articulent autour de deux grands axes. D’abord, le problème de la relocalisation dans un environnement visuellement redondant est étudié. La solution proposée consiste à combiner la vision et le Wi-Fi dans une approche probabiliste basée sur l’apparence. Ensuite, la question de la création d’une carte métrique cohérente est approfondie. Pour compenser les nombreuses pertes de suivi d’amers visuels causées par une fréquence d’acquisition basse, des contraintes odométriques sont ajoutées à une optimisation par ajustement de faisceaux. Ces solutions ont été testées et validées sur plusieurs robots Pepper à partir de données collectées dans différents environnements intérieurs sur plus de 7 km.

Abstract:

After the democratization of industrial robots, the current trend is the development of social robots that create strong interactions with their users. The deployment of such platforms in shops, museums or train stations raises various issues including the autonomous localization of mobile robots. This thesis focuses on the localization of Pepper robots in a non-constrained indoor environment. Pepper robots are daily used in many shops in Japan and must be as autonomous as possible. However, localization solutions in the literature suffer from the limitations of the platform.

This thesis is split into two main themes. First, the problem of relocalization in a visually redundant environment is studied. The proposed solution combines vision and Wi-Fi in a probabilistic approach based on the appearance. Then, the question of a consistent metrical mapping is examined. In order to compensate the numerous losses of tracking caused by the low acquisition frequency, odometric constraints are added to a bundle adjustment optimization. These solutions have been tested and validated on several Pepper robots, from data collected in different indoor environments over more than 7 km.

29
Mar

Séminaire Agents génératifs pour la co-improvisation musicale humain-machine – Mardi 2 Avril

Jérôme Nika présentera une synthèse de ses travaux, Mardi 2 Avril de 11h00 à 12h30 à MINES ParisTech, sur la conception d’agents pour la co-créativité musicale humain-machine. Ces recherches menées à l’IRCAM proposent une alternative aux visions « remplacistes » des agents créatifs ou « technologiques » cantonnant la machine au rôle d’outil subordonné à des objectifs fixés a priori. Elles visent en effet à fusionner les paradigmes d’agents autonomes, réactifs (contrôlés par l’écoute et l’analyse du jeu d’un musicien), et guidés par une spécification temporelle.

Le séminaire abordera les problématiques principales du projet, à savoir la dialectique entre réactivité et planification dans l’interaction musicale humain-machine, l’apprentissage d’une mémoire musicale en temps réel, ainsi que la détection et l’inférence de structure sous-jacente dans un flux audio écouté en temps réel.

Les modèles génératifs, d’apprentissage, d’ordonnancement, et d’architectures réactives issus de ce projet ont été implémentés dans les systèmes ImproteK, et DYCI2, en interaction avec de nombreux musiciens improvisateurs, et plus de 60 performances artistiques ont mis ces outils en jeu depuis 2016 (Ensemble Modern, Francfort ; Annenberg Center, Philadelphia, États-Unis ; Centre Pompidou ; Collège de France ; Montreux Jazz festival, Suisse, etc.)

Quelques exemples de sessions de travail avec des musiciens experts :

 

Biographie

jerome_nika

Jérôme NIKA est chercheur en intelligence artificielle appliquée à l’interaction musicale humain-machine. Il est diplômé des écoles ENSTA ParisTech et Télécom ParisTech, ainsi que du master ATIAM (Acoustique, Traitement du signal, Informatique, Appliqués à la Musique – Sorbonne Université / Ircam / Télécom ParisTech). Sa thèse (« Prix Jeune Chercheur Science/Musique 2015 », « Prix Jeune Chercheur 2016 », Association Française d’Informatique Musicale) puis ses travaux de chercheur à l’IRCAM, concrétisés par le développement des logiciels ImproteK et DYCI2, ont donné naissance à de nombreuses collaborations et productions musicales, notamment dans le jazz (Steve Lehman, Bernard Lubat, Rémi Fox) et la musique contemporaine (Pascal Dusapin, Marta Gentilucci).
http://repmus.ircam.fr/nika

26
Mar

Chargé(e) de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes

Dans le cadre du développement de ses activités de recherche et d’enseignement dans le domaine de l’Intelligence Artificielle et du Machine-Learning au CAOR, MINES ParisTech, membre de PSL Université, ouvre un poste de chargé de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes.

Ouvert sous la forme d’un contrat à durée indéterminée, ce poste s’adresse à un jeune chercheur (H/F, principalement 3-10 ans après la thèse) ayant le goût d’un travail multidisciplinaire à l’interface de la recherche fondamentale et du monde industriel dans le domaine des Véhicules Autonomes et de la Robotique.

Pour plus d’informations, consultez l’offre.

14
Mar

Paul Chauchat remporte le prix du jury de la finale PSL Ma Thèse en 180 secondes

Le Centre de Robotique avait deux participants à la finale PSL du concours de Ma Thèse en 180 secondes:

  • – Paul Chauchat: Nouvelles techniques de filtrage non-linéaire pour la localisation et cartographie simultanées basée inertie-vision.
  • – Arthur Gaudron: Structuration des systèmes logistiques urbains : approche orientée par les données.

En remportant le prix du jury, Paul Chauchat représentera l’université PSL avec Alexandre Fossati (Chimie ParisTech) en demi-finale nationale (du 4 au 6 avril).

 

Les présentations sont disponibles en vidéo: Arthur Gaudron (@0:19:00) et Paul Chauchat (@0:51:34)

14
Mar

Participation au débat sur l’IA et le droit à Bangalore lors de rencontres Franco-Indiennes

Arthur Gaudron (responsable projets) au Centre de Robotique a été invité à participer à deux conférences à Bangalore (Inde) co-organisées par IFIM (Business School et Law School) et la Société de législation comparée. La délégation de la Société de législation comparée était composée de Dominique Hascher (Conseiller à la Cour de cassation), Joel Moneger (Professeur à l’Université Dauphine – PSL) et Arthur Gaudron.

Les conférences ont été l’opportunité de porter des regards croisés sur l’intelligence artificielle pour cerner son impact sur le droit et les affaires.

L’article présenté par Arthur Gaudron lors de la conférence « Law & Regulation of AI: A Global Perspective » portait sur son expérience dans le procès fictif de l’IA organisé lors la Nuit du Droit en 2018 à la Cour d’appel de Paris.

L’article a été publié dans le journal « IFIM’s International Journal on Law & Regulation of Artificial Intelligence & Robotics », il est consultable sur l’archive ouverte HAL.

arthur gaudron MINES ParisTech PSL IFIM

Arthur Gaudron à la conférence « Law & Regulation of AI: A Global Perspective », le 25 Février 2019 à Bangalore, India.