caor@mines-paristech.fr
16
Avr

Thèse 2021 : Détection temps-réel d’objet ou comportement anormal à partir de données Lidar

Real-time abnormal object of behavior detection from LiDAR data

Sujet de Thèse, 2021-2024

Centre de Robotique – CAOR, MINES ParisTech / ARMINES

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement de doctorant est prévu, pour un démarrage en octobre 2021 et une durée de 3 ans.

Références

 

Profil du candidat

Profil général

  • Niveau Master 2
  • Bon relationnel, rigueur et autonomie
  • Qualités de rédaction et de présentation à l’oral
  • Anglais parlé et écrit.
  • (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

  • Traitement de données 3D
  • Traitement d’images
  • Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique

Mines ParisTech / ARMINES

60 boulevard Saint Michel

75272 Paris Cedex 06                  

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

François Goulette, Professeur

Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr

Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

16
Avr

Recrutement d’un Ingénieur de Recherche / Post-doc, 2021-2022

Détection temps-réel d’objet ou comportement anormal
à partir de données Lidar

Real-time abnormal object of behavior detection from LiDAR data

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement d’ingénieur de recherche – post-doctorant est prévu, pour une durée de 18 mois, et un démarrage dès que possible. La personne recrutée sera en charge du suivi opérationnel du projet (reporting, livrables, expérimentations) et participera à l’encadrement d’un doctorant recruté sur le même projet.

Références

 

Profil du candidat

Profil général

  • Doctorat
  • Bon relationnel, rigueur et autonomie
  • Qualités de rédaction et de présentation à l’oral
  • Anglais parlé et écrit.
  • (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

  • Traitement de données 3D
  • Traitement d’images
  • Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique
Mines ParisTech / ARMINES
60 boulevard Saint Michel
75272 Paris Cedex 06

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

18
Fév

Poste de Tenure Track

Le Centre de Robotique ouvre un poste de Tenure Track, pour plus d’informations, vous pouvez consulter la fiche de poste suivante :

13
Oct

Research scientist offer « Development of an end-to-end embedding of a CNN into a HMM for human action recognition »

The Centre for Robotics of MINES ParisTech, PSL Université Paris, is involved in several research projects on human motion pattern recognition applied to the Factory of the Future, the Creative and Cultural Industries and the Autonomous Vehicles. The main objective of these projects is the development of novel methodologies and technological paradigms that improve the perception of the machine and allows for natural body interactions in human-machine partnerships.

The Centre for Robotics of MINES ParisTech is opening a short-term position for a research scientist on the ‘Development of an end-to-end embedding of a CNN into a HMM’, which is horizontal on various H2020 and industrial projects.

For more information:  https://euraxess.ec.europa.eu/jobs/567248

30
Oct

Stage Ingénieur ou Master 2 — Conception par Machine-Learning d’une IA vérifiant la saisonnalité de bouquets par reconnaissance des variétés de fleurs

Le stage consistera à concevoir et développer une IA capable d’identifier, sur les photos de bouquets transmises par les fleuristes, les variétés de fleurs le constituant, et d’alerter automatiquement si une fleur d’un bouquet semble hors-saison (en localisant clairement sur la photo la fleur « suspecte » avec sa variété reconnue). Il s’agit donc d’abord d’entraîner par Deep- Learning un module de détection et catégorisation reconnaissance des fleurs du bouquet. Il est envisagé d’utiliser un Réseau Convolutif profond de type « Mask_RCNN », « Faster_RCNN » ou similaire, qui sera entraîné notamment sur les bases d’images existantes des fleurs produites par les horticulteurs agréés par Fleurs-d’Ici, ainsi que sur des bases publiques telles que http://www.robots.ox.ac.uk/~vgg/data/flowers/102/. Pour chaque variété de fleur reconnue, l’IA devra afficher en surimpression sur la photo de bouquet les variétés fleurs reconnues (avec leur localisation sur la photo), et mettre en évidence les éventuelles fleurs qui paraissent « hors saison » compte tenu des informations de saisonnalité (déjà associées par Fleurs-d’Ici à chaque type de fleur).

26
Mar

Chargé(e) de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes

Dans le cadre du développement de ses activités de recherche et d’enseignement dans le domaine de l’Intelligence Artificielle et du Machine-Learning au CAOR, MINES ParisTech, membre de PSL Université, ouvre un poste de chargé de recherche en Intelligence Artificielle pour la Robotique et les Véhicules Autonomes.

Ouvert sous la forme d’un contrat à durée indéterminée, ce poste s’adresse à un jeune chercheur (H/F, principalement 3-10 ans après la thèse) ayant le goût d’un travail multidisciplinaire à l’interface de la recherche fondamentale et du monde industriel dans le domaine des Véhicules Autonomes et de la Robotique.

Pour plus d’informations, consultez l’offre.

22
Août

Postdoc offer – Computer Vision for Scene Understanding and Human Motion Pattern Recognition

The Centre for Robotics of MINES ParisTech is involved in several research projects on human motion pattern recognition applied to the Factory of the Future, the Creative and Cultural Industries and the Autonomous Vehicles. The main objective of these projects is the development of novel methodologies and technological paradigms that improve the perception of the machine and allows for natural body interactions in human-machine partnerships.

More information about the offer: https://euraxess.ec.europa.eu/jobs/326208

26
Mai

Sujet de thèse CIFRE Optis – MINES ParisTech : Simulation de capteurs dans des nuages de points, Rendu photo-réaliste de scène par rendu hybride de rasterisation et raytracing

rendu

CONTEXTE : Optis

Depuis 1989, OPTIS offre son savoir-faire en lumière et en vision humaine au travers de logiciels de CAO bien connus et de solutions dédiées d’immersion en réalités virtuelles. Cette synergie permet de créer des maquettes aussi vraies que nature permettant aux entreprises de faire des choix importants et pertinents. Aujourd’hui, plus de 2 500 clients dans plus de 50 pays font confiance à OPTIS et innovent chaque jour grâce à ses solutions en s’assurant de l’efficacité et du design de leurs produits.

CONTEXTE : Relevés laser mobiles

Mines ParisTech a mis au point une technique de numérisation 3D d’environnements urbains et routiers, utilisant une plateforme de développement appelée L3D2 [GOULETTE06]. Il s’agit d’un véhicule équipé d’un système de localisation géographique précis (GPS, Centrale Inertielle), d’un scanner laser fixé à l’arrière du véhicule, et de caméras. Ce dispositif permet de recueillir des nuages de points 3D, appelés relevés laser mobiles, décrivant avec une bonne précision les éléments présents le long des trajets effectués (routes, ronds-points, façades, arbres, voitures…), et après traitement d’avoir des modèles 3D des scènes numérisées.

SUJET : Simulation capteurs dans un nuage de points, Rendu photo-réaliste de scène par rendu hybride de rasterisation et raytracing

Cette thèse CIFRE est en lien avec un projet qui a pour objectif de produire de manière automatique des bases de données 3D et une capacité de simulation photo-réaliste d’environnements pour la validation de véhicules autonomes.

L’idée est de simuler de manière réaliste un ensemble de capteurs (caméra, lidar, radar) à partir d’une scène 3D entièrement construite de manière automatique à partir de nuages de points 3D et d’images. Une étape de classification des éléments de la scène et de distinction des matériaux sera le travail d’une autre thèse en amont.

Les logiciels de rendu temps-réel et de réalité virtuelle d’OPTIS sont déjà capables de charger et d’afficher un nuage de points avec des informations de colorimétrie en maintenant une fréquence d’affichage supérieure à 20 images par seconde pour un nombre de point atteignant les 300 millions dans une simulation.

Une première étape sera de charger un ensemble de données encore plus grand, contenant en plus les normales et une information de matériau en chaque point permettant la ré-illumination de la scène. En effet, avec la normale et une information même basique sur la réflectance bidirectionnelle des matériaux, il sera possible de modifier les couleurs qui ont été capturées lors de l’acquisition et de les faire évoluer avec le déplacement des sources lumineuses ou des capteurs dans la simulation.

Une seconde étape consistera à adapter le principe de lancer de rayons sur nuages de points [LINSEN07]. Pour diminuer le temps de calcul et atteindre le temps réel, une solution consistera à utiliser des processeurs graphiques (GPU) au lieu des processeurs classiques (CPU) afin de bénéficier de leur capacité de traitement massivement parallèle.

Enfin, OPTIS a déjà une expertise dans le domaine de la simulation de capteurs pour véhicules. Toutefois, ces capteurs n’ont pas été conçus pour effectuer des simulations sur des environnements réalistes et bruités comme des nuages de points. Un travail de recherche et développement est nécessaire pour adapter les capteurs simulés existants à ces nouveaux environnements et nouvelles techniques de simulation.

Cette thèse débutera en octobre 2017 pour une durée de 3 ans.

REFERENCES :

– [GOULETTE06] François Goulette, Fawzi Nashashibi, Samer Ammoun, Claude Laurgeau, An integrated on-board laser range sensing system for On-the-Way City and Road Modelling, ISPRS International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006
– [LINSEN07] Lars Linsen, Karsten Muller, Paul Rosenthal, Splat-based Ray Tracing of Point Clouds, Journal of WSCG, 2007

CANDIDATURE :

Pour toute candidature, veuillez envoyer CV + lettre de motivation à :
jean-emmanuel.deschaud@mines-paristech.fr

16
Mar

Sujet de thèse – Stabilisation en temps fini de systèmes dynamiques modélisés par des EDPs et EDOs

De nombreux systèmes peuvent être modélisés par des équations aux dérivées partielles (EDPs) couplées aux bords par des équations différentielles ordinaires (EDOs). Des résultats existent dans la littérature sur la stabilisation asymptotique ou exponentielle de ce type de systèmes. On se pose la question de la stabilisation en temps fini et de l’application des techniques développées à des cas d’étude dans le domaine de la mécanique, l’acoustique et la mécanique des fluides. Cette thèse est financée dans le cadre du projet ANR Finite4SoS (Stabilisation en temps fini de systèmes de systèmes).

Elle débutera en octobre 2017 pour une durée de 3 ans.

Le candidat devra être titulaire d’un Master 2 dans le domaine de l’automatique ou des mathématiques appliquées. Des compétences en simulation (ScicosLab, Matlab ou C++) seraient appréciées.

Lieu : Centre de Robotique, MINES ParisTech, 60 bvd Saint-Michel, 75006 Paris

Encadrants :

4
Déc

Post-doc – Reconstruction de surface

Image1 Image2

 

Reconstruction de surface d’environnements extérieurs relevés par lasers mobiles

Surface reconstruction of outdoor environments

from mobile laser data

Post-Doctorat

CAOR / Mines ParisTech

2015

Mots clés : reconstruction de surface, modélisation 3D, LIDAR, caméra, système mobile, cartographie, route

Keywords: surface reconstruction, LIDAR, camera, mobile system, cartography, road, 3D modelling, driving simulator

 

Contexte, objectifs, travail à réaliser

            La création de cartes 3D présente un intérêt considérable pour de nombreuses applications : navigation routière et pédestre, planification d’itinéraires, visites virtuelles, jeux, applications militaires, etc. Ceci entraîne depuis quelques années un engouement, à la fois pour l’usage de ces cartes, et pour de nouvelles méthodes d’acquisition plus performantes et moins coûteuses, à la fois par des grandes entreprises (Google Maps, Microsoft Virtual Earth), et par des laboratoires de recherche.

  Read more