caor@mines-paristech.fr
26
Juil

Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes

Titre de la thèse:

Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes

Contexte:

Huawei travaille sur des systèmes clés de la plate-forme de conduite autonome L2-L3 et se concentre de plus en plus sur le développement de technologies de pointe nécessaires à l’autonomie L4-L5. Demain, les voitures autonomes pilotées par AI associeront l’informatique en calcul périphérique et dans le cloud, à un grand nombre de capteurs pour transporter les personnes de manière sûre et autonome, ainsi que pour la livraison autonome de marchandise. Chez Huawei, nous développons une chaine complète de technologies pour réaliser ce rêve, comprenant des unités de calcul, des capteurs, de l’infrastructure de communication et du cloud. Nous recherchons les meilleurs candidats pour la thèse CIFRE avec une formation en vision par ordinateur, apprentissage profond, apprentissage par renforcement, cartographie, perception, fusion de capteurs, cognition et autres domaines connexes, afin de travailler au sein de l’équipe IoV à Paris Research Center (PRC) . En tant que membre IoV PRC, vous travaillerez en étroite collaboration avec de nombreuses équipes dans le monde entier pour développer votre expertise et pour transférer avec succès les résultats de vos recherches dans de vrais produits.

Un des axes importants des travaux du Centre de Robotique-CAOR de l’Ecole des Mines de Paris et d’ARMINES est la mise au point d’outils, d’algorithmes et d’applications d’analyse temps-réel de flux issus de multiples capteurs, dont des caméras. De nombreuses applications ont ainsi été développées dans le domaine des Systèmes de Transport Intelligents (STI). Des outils et algorithmes performants de reconnaissance visuelle de catégorie d’objet (piétons, voitures, visages, panneaux routiers) ont été développés dans ce contexte.

Cette plate-forme logicielle est aujourd’hui commercialisée par l’entreprise INTEMPORA sous le nom de RT-MAPS pour Real Time Multisensor Advanced Prototyping Software. Elle permet l’acquisition et le prototypage puis l’exécution de traitement temps-réel de flux de données synchronisés, étant utilisée par de nombreux acteurs industriels et académiques tels que Valeo, PSA, Renault, l’INRIA, l’INRETS, etc. dans différents projets tels que Cybercars ou CityMobil.  Enfin le Centre de Robotique a acquis une certaine expertise sur l’utilisation dans le contexte temps-réel de diverses méthodes pour la fusion de données (filtrage particulaire, théorie des possibilités, etc…). Au travers de ce projet l’expertise apportée par le Centre de Robotique dans le domaine des systèmes de perception pour les véhicules, pourra être mise à profit dans cette thèse.

Sujet de recherche:

Le sujet principal de cette thèse doit être centré sur la résolution du problème de la fusion de capteurs pour un apprentissage non supervisé de cas rares, en exploitant une grande quantité de données disponibles à l’aide de plusieurs capteurs et véhicules. En combinant les résultats du traitement de la même entité physique par plusieurs capteurs redondants et par des données cartographiques, il est possible de détecter les causes des défaillances, en comparant les résultats obtenus entre plusieurs sources. L’apprentissage non supervisé devrait améliorer encore plus la précision de la recherche des erreurs, en particulier dans les cas rares où les données d’apprentissage pour les capteurs conventionnels sont absentes, ces données ne comportant pas d’annotations manuelles. Toutefois, les méthodes automatisées SOTA pourraient être utilisées pour extraire des informations relevantes sur la perception, sur la localisation et sur la cartographie afin de transformer le problème en solution. L’apprentissage non supervisé étant considéré comme l’un des problèmes les plus difficiles de nos jours, nous nous attendons à des progrès considérables dans ce domaine, qui pourraient permettre à des véhicules automatisés suffisamment fiables de faire partie de notre vie quotidienne.

Description des activités de recherche:

–  Étudier l’état de l’art sur la perception, sur la fusion de capteurs et sur la cognition

– Étudier l’état de l’art de l’apprentissage supervisé et non-supervisé

– Identifier les principaux verrous technologiques dans SOTA de (1 et 2) avec une application aux problèmes de la conduite autonome

– Proposer une nouvelle solution à l’un des principaux verrous technologiques (3) en mettant l’accent sur les applications pratiques à grande échelle pour les voitures autonomes

– Algorithme de recherche et développement basé sur la solution proposée (4), capable d’identifier de manière non supervisée des défaillances rares de divers capteurs dans le but d’améliorer la précision des données de capteur pour les voitures autonomes.

– Appliquer l’algorithme proposé (5) au domaine des voitures autonomes utilisant des jeux de données existants ou spécialement collectés

– Publier les résultats de recherche dans les meilleures conférences et participer à des séminaires scientifiques

Encadrement:

Cette thèse sera supervisée conjointement par Huawei Technologies France et le Centre de Robotique de MINES ParisTech et d’ARMINES

Conditions préalables:

Le candidat doit être motivé pour mener des recherches de classe internationale et posséder un Master en vision par ordinateur et/ou robotique. Il/Elle devra avoir de solides compétences dans les domaines suivants:

– Implémenter du code en Python et en C ++

– Appliquer ou utiliser les bibliothèques existantes pour un apprentissage approfondi des tâches liées au projet

– Bonne connaissance des outils Git, ROS, OpenCV, Boost, multi-threading, CMake, Make et Linux

– Documentation du code et de l’algorithme

– Reporting et planification du projet

– Rédaction de publications scientifiques et participation à des conférences

– Maîtrise de l’anglais, parlé et écrit; Le français et/ou le chinois est un plus

– Aptitudes interculturelles et de coordination, attitude pratique et volontaire

– Aptitudes interpersonnelles, esprit d’équipe et style de travail indépendant

Contact:

Les candidats intéressés doivent envoyer un CV détaillé comprenant les notes de leur Master à dzmitry.tsishkou@huawei.com et à bogdan.stanciulescu@mines-paristech.fr .

Les candidats doivent posséder un visa de travail en France, ou être ressortissants d’un des états de l’Union Européenne ou de l’Espace Economique Européen.

Date limite:

Notre objectif est de pourvoir ce poste le plus rapidement possible et de commencer au 2e semestre 2019. Les candidatures seront examinées jusqu’à ce qu’un candidat approprié soit trouvé.

Financement et localisation:

Le doctorat sera financé par un contrat CIFRE et se tiendra en région parisienne (Boulogne Billancourt et Paris), en France.

26
Juil

Modélisation réaliste de scenarii de conduite basés sur la fusion de capteurs appliquée aux voitures autonomes

Titre de thèse:
Modélisation réaliste de scenarii de conduite basés sur la fusion de capteurs appliquée aux voitures autonomes

Contexte:
Huawei travaille sur des systèmes clés de la plate-forme de conduite autonome L2-L3 et se concentre de plus en plus sur le développement de technologies de pointe nécessaires à l’autonomie L4-L5. Demain, les voitures autonomes pilotées par AI associeront l’informatique en calcul périphérique et dans le cloud, à un grand nombre de capteurs pour transporter les personnes de manière sûre et autonome, ainsi que pour la livraison autonome de marchandise. Chez Huawei, nous développons une chaine complète de technologies pour réaliser ce rêve, comprenant des unités de calcul, des capteurs, de l’infrastructure de communication et du cloud. Nous recherchons les meilleurs candidats pour la thèse CIFRE avec une formation en vision par ordinateur, apprentissage profond, apprentissage par renforcement, cartographie, perception, fusion de capteurs, cognition et autres domaines connexes, afin de travailler au sein de l’équipe IoV à Paris Research Center (PRC) . En tant que membre IoV PRC, vous travaillerez en étroite collaboration avec de nombreuses équipes dans le monde entier pour développer votre expertise et pour transférer avec succès les résultats de vos recherches dans de vrais produits.

 

Un des axes importants des travaux du Centre de Robotique-CAOR de l’Ecole des Mines de Paris et d’ARMINES est la mise au point d’outils, d’algorithmes et d’applications d’analyse temps-réel de flux issus de multiples capteurs, dont des caméras. De nombreuses applications ont ainsi été développées dans le domaine des Systèmes de Transport Intelligents (STI). Des outils et algorithmes performants de reconnaissance visuelle de catégorie d’objet (piétons, voitures, visages, panneaux routiers) ont été développés dans ce contexte.

Cette plate-forme logicielle est aujourd’hui commercialisée par l’entreprise INTEMPORA sous le nom de RT-MAPS pour Real Time Multisensor Advanced Prototyping Software. Elle permet l’acquisition et le prototypage puis l’exécution de traitement temps-réel de flux de données synchronisés, étant utilisée par de nombreux acteurs industriels et académiques tels que Valeo, PSA, Renault, l’INRIA, l’INRETS, etc. dans différents projets tels que Cybercars ou CityMobil.  Enfin le Centre de Robotique a acquis une certaine expertise sur l’utilisation dans le contexte temps-réel de diverses méthodes pour la fusion de données (filtrage particulaire, théorie des possibilités, etc…). Au travers de ce projet l’expertise apportée par le Centre de Robotique dans le domaine des systèmes de perception pour les véhicules, pourra être mise à profit dans cette thèse.

Sujet de recherche:
Le sujet principal de cette thèse sera centré sur la résolution du problème de la modélisation réaliste de scénarios de conduite, basés sur la fusion de capteurs et en exploitant une grande quantité de données disponibles à l’aide de plusieurs capteurs et véhicules. Ces données ne comportent pas d’annotations manuelles. Toutefois, des méthodes SOTA automatisées pourraient être utilisées pour extraire des informations précieuses sur la perception, sur la localisation et la cartographie afin de transformer le problème en solution. La simulation joue un rôle majeur dans l’augmentation de la précision de la perception, de la fusion de capteurs, de la cartographie, de la planification et du contrôle. Cependant, il n’existe actuellement aucun modèle réaliste des scenarii de conduite, pouvant imiter de manière adéquate le comportement rationnel des objets mobiles. Cela limite le champ d’utilisation de la simulation, il est donc toujours nécessaire de collecter une grande quantité de données réelles. En introduisant des modèles de conduite réalistes, on pourrait réduire l’écart et accélérer le développement de voitures autonomes en augmentant la valeur de la simulation. La modélisation réaliste des scénarios de conduite est considérée comme l’un des problèmes les plus difficiles à relever à ce jour. Nous espérons donc que des progrès considérables seront accomplis dans ce domaine, ce qui pourrait permettre à des véhicules automatisés hautement sécurisés de faire partie de notre vie quotidienne.

Description des activités de recherche:
– Étudier l’état de l’art sur la perception, sur la fusion de capteurs et sur la cognition
– Étudier l’état d’art en matière de modélisation de scénarios de conduite et de planification et/ou contrôle
– Identifier les principaux verrous technologiques dans SOTA de (1 et 2) avec une application aux problèmes de la conduite autonome
– Proposer une nouvelle solution à l’un des principaux verrous technologiques (3) en mettant l’accent sur les applications pratiques à grande échelle pour les voitures autonomes
– Recherche et développement d’un algorithme basé sur la solution proposée (4) permettant de modéliser des scenarii de conduite réalistes, en mettant l’accent sur l’amélioration de la planification / du contrôle de la conduite autonome
– Appliquer l’algorithme proposé (5) au domaine des voitures autonomes utilisant des jeux de données existants ou spécialement collectés
– Publier les résultats de recherche dans les meilleures conférences et participer à des séminaires scientifiques

Encadrement:
Cette thèse sera supervisée conjointement par Huawei Technologies France et le Centre de Robotique de MINES ParisTech et d’ARMINES

Conditions préalables:
Le candidat doit être motivé pour mener des recherches de classe internationale et posséder un Master en vision par ordinateur et/ou robotique. Il/Elle devra avoir de solides compétences dans les domaines suivants:
– Implémenter du code en Python et en C ++
– Appliquer ou utiliser les bibliothèques existantes pour un apprentissage approfondi des tâches liées au projet
– Bonne connaissance des outils Git, ROS, OpenCV, Boost, multi-threading, CMake, Make et Linux
– Documentation du code et de l’algorithme
– Reporting et planification du projet
– Rédaction de publications scientifiques et participation à des conférences
– Maîtrise de l’anglais, parlé et écrit; Le français et/ou le chinois est un plus
– Aptitudes interculturelles et de coordination, attitude pratique et volontaire
– Aptitudes interpersonnelles, esprit d’équipe et style de travail indépendant

Contact:
Les candidats intéressés doivent envoyer un CV détaillé comprenant les notes de leur Master à dzmitry.tsishkou@huawei.com et à bogdan.stanciulescu@mines-paristech.fr .

Les candidats doivent posséder un visa de travail en France, ou être ressortissants d’un des états de l’Union Européenne ou de l’Espace Economique Européen.

Date limite:
Notre objectif est de pourvoir ce poste le plus rapidement possible et de commencer au 2e semestre 2019. Les candidatures seront examinées jusqu’à ce qu’un candidat approprié soit trouvé.

Financement et localisation:
Le doctorat sera financé par un contrat CIFRE et se tiendra en région parisienne (Boulogne Billancourt et Paris), en France.

12
Juin

Analyse des mouvements et gestes des piétons via caméra embarquée pour la prédiction de leurs intentions

Description DU TRAVAIL DE RECHERCHE

Contexte & Etat de l’art

Dans le cadre d’une collaboration avec l’Institut Vedecom, le Centre de Robotique MINES ParisTech propose une thèse intitulée « Analyse des mouvements et gestes des piétons via caméra embarquée pour la prédiction de leurs intentions».

Le véhicule autonome est un enjeu majeur de la mobilité de demain. Des avancées sont réalisées tous les jours pour parvenir à sa réalisation ; il reste cependant de nombreux problèmes à résoudre pour parvenir à un résultat sûr vis-à-vis des utilisateurs de la route les plus vulnérables, et notamment les piétons.
En effet, détecter et comprendre le comportement d’un être humain du point de vue du véhicule autonome est essentiel pour que celui-ci puisse prendre les bonnes décisions. Une solution simple consiste à s’arrêter dès que la situation devient critique ou qu’un piéton se trouve « proche » du véhicule. Cette solution reste cependant très loin d’être satisfaisante en termes d’efficience et de qualité de service.
La résurgence des réseaux de neurones depuis une dizaine d’année due à l’explosion de la capacité de calculs apportée par les GPU fournit aujourd’hui de nouvelles solutions pour aborder certains problèmes impossibles à résoudre par des approches classiques. Parmi ces solutions se trouvent des classifieurs, des estimateurs, etc. qui utilisent des entrées complexes (images, vidéos, nuages de points) et qui sont capables de prédire de façon satisfaisante (> 95%) la nature de l’objet ou des indicateurs impossibles à définir autrement (du moins avec la même efficacité en terme de temps de calculs).

C’est dans ce contexte que s’inscrit le sujet défini ici.

OBJECTIFS

A partir des travaux déjà réalisés sur la détection et l’identification de squelettes dans l’image (OpenPose, …), l’objectif de ces travaux sera de définir une solution exploitant l’information caméra (domaine image) et reposant sur les réseaux de neurones pour concevoir un système capable de comprendre l’intention d’un piéton en fonction de sa gestuelle (pas pressés, attention du piéton vis-à-vis de son environnement, …) et de définir à partir de celle-ci la localisation future du piéton de manière à déterminer s’il est susceptible de représenter un obstacle pour le véhicule autonome ou non.
La solution se composera d’un ou plusieurs réseaux de neurones (détection du piéton, détection de son squelette, prédiction de son comportement, …) et devra être de prendre en compte l’aspect temporel (positions passées du piéton, etc.).

Suite à des travaux issues de la thèse d’Olivier Huynh au CAOR, au cadre le projet BGLE-EMMA (Briques généralistes pour les logiciels embarqués), concernant la reconnaissance de personnes suivant leurs silhouettes. A présent, le CAOR mène un projet innovant sur l’analyse de scène sportive (match de football, tennis). Il s’agit de la détection et du suivi de personnes par vision mono-caméra et par apprentissage profond. Les éléments discriminants étant les articulations et les membres (donc le squelette).

L’apprentissage est effectué sur une base de données très grande (Coco-Dataset), contenant des corps, membres, visages humains, annotés et régularisés dans un format standard. Le suivi automatique permet l’analyse statistique des matchs, mais aussi du geste sportif.

Les pistes d’investigation que nous proposerons sont les suivantes :
– L’analyse macroscopique par apprentissage des trajectoires symboliques (grilles d’occupation, par exemple) des personnes sur le bord de la route, afin de pouvoir prédire les déplacements et les changements de direction ainsi que d’expliquer, à posteriori, les défaillances. Il s’agit des analyses proches de ce qu’on appelle l’analyse de démarche, jeux de situations destinés à améliorer la prédictibilité des piétons, mais pas seulement.
– L’analyse des événements ou comportements anormaux (chute de personne, mouvement de foule, etc.), domaine très sensible pour la conduite autonome, permettant par exemple, l’arrêt en situation d’urgence.

p1p2p3p4

Ci-dessus, on peut apercevoir quelques images correspondant à des différentes vues-caméras, sur lesquelles nous avons utilisé la même famille d’algorithmes de détection des parties du corps humain, que pour l’analyse de scène sportive.

Nous proposerons, par la suite, d’utiliser les réseaux profonds de type Mask-R-CNN pour apprendre les silhouettes humaines en même temps que leur segmentation (détourage), sur la même base de données.

Ces algorithmes peuvent facilement être étendus aux applications de réalité augmentée et ses briques peuvent servir à d’autres fonctionnalités des véhicules autonomes.

Profil DU CANDIDAT(E) RECHERCHE 

          DIPLÔME: Le candidat devra être titulaire d’un Master 2 dans le domaine de l’informatique, des mathématiques appliquées ou d’un autre domaine connexe.

COMPETENCES: Des compétences en vision par ordinateur et machine learning (OpenCV, Framework Deep Learning, Python ou C++) seraient appréciées.

Références BIBLIOGRAPHIQUES

Cette thèse débutera en Octobre 2018, pour une période de 3 ans.

CANDIDATURE : Pour toute candidature, veuillez envoyer CV + lettre de motivation à :

Bogdan Stanciulescu : bogdan.stanciulescu@mines-paristech.fr

         Fabien Moutarde : fabien.moutarde@mines-paristech.fr

         Steve Pechberti: steve.pechberti@vedecom.fr

         Guillaume Bresson : guillaume.bresson@vedecom.fr