Real-time abnormal object of behavior detection from LiDAR data

Sujet de Thèse, 2021-2024

Centre de Robotique – CAOR, MINES ParisTech / ARMINES

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement de doctorant est prévu, pour un démarrage en octobre 2021 et une durée de 3 ans.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Niveau Master 2
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique

Mines ParisTech / ARMINES

60 boulevard Saint Michel

75272 Paris Cedex 06                  

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

François Goulette, Professeur

Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr

Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Détection temps-réel d’objet ou comportement anormal
à partir de données Lidar

Real-time abnormal object of behavior detection from LiDAR data

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement d’ingénieur de recherche – post-doctorant est prévu, pour une durée de 18 mois, et un démarrage dès que possible. La personne recrutée sera en charge du suivi opérationnel du projet (reporting, livrables, expérimentations) et participera à l’encadrement d’un doctorant recruté sur le même projet.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Doctorat
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique
Mines ParisTech / ARMINES
60 boulevard Saint Michel
75272 Paris Cedex 06

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

• François Goulette, Professeur
  Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr
• Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Reconstruction de surface d’environnements extérieurs relevés par lasers mobiles

Surface reconstruction of outdoor environments

from mobile laser data

Post-Doctorat

CAOR / Mines ParisTech

2015

Mots clés : reconstruction de surface, modélisation 3D, LIDAR, caméra, système mobile, cartographie, route

Keywords: surface reconstruction, LIDAR, camera, mobile system, cartography, road, 3D modelling, driving simulator

Contexte, objectifs, travail à réaliser

            La création de cartes 3D présente un intérêt considérable pour de nombreuses applications : navigation routière et pédestre, planification d’itinéraires, visites virtuelles, jeux, applications militaires, etc. Ceci entraîne depuis quelques années un engouement, à la fois pour l’usage de ces cartes, et pour de nouvelles méthodes d’acquisition plus performantes et moins coûteuses, à la fois par des grandes entreprises (Google Maps, Microsoft Virtual Earth), et par des laboratoires de recherche.

  Read more