Sotiris Manitsaris a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches intitulée : Movement-based Human-Machine Collaboration: a Human-centred AI approach.

Résumé : The context of this thesis is the collaboration between humans and machines in various industrial real-world situations. I propose collaboration mechanisms that are based on Human-centred Artificial Intelligence, which I define as methods and concepts of machine learning and pattern recognition on signals recorded from the human body. I am interested in enabling human-machine partnerships in which the machine can understand and anticipate the human gestures and actions and react accordingly. Two scientific and technological hypotheses have oriented my research in movement-based Human-Machine Collaboration: 1. whether a machine can learn to recognize kinematic parameters of situated expert and non-expert gestures; and 2. whether gesture recognition can be used as an alternative to instrumental interaction mechanisms. These hypotheses were confirmed through a number of tests and experiments conducted, among others, on Human-Robot Collaboration, computer-mediated sensori-motor human learning and Digital Musical Instruments.

Rapporteurs :

• Emilios Cambouropoulos, Professor  – Aristotle University of Thessaloniki
• Sarah Fletcher, Senior Researcher- University of Cranfield
• Wendy Mackay, Research Director- INRIA

Examinateurs :

• Brigitte d’ Andréa-Novel, Professor   – IRCAM, Sorbonne Université
• Amel Bouzheghoub, Professor- Télécom Paris Sud
• Leontios Hadjileontiadis, Professor   – Khalifa University
• Patrick Henaff, Professor- Mines Nancy, Université de Lorraine
• Fabien Moutarde, Professor- MINES ParisTech, PSL Université Paris

La soutenance aura lieu le Jeudi 6 Mai à 14h par visioconférence sous zoom. Merci de cliquer ICI pour obtenir le lien zoom.

Real-time abnormal object of behavior detection from LiDAR data

Sujet de Thèse, 2021-2024

Centre de Robotique – CAOR, MINES ParisTech / ARMINES

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement de doctorant est prévu, pour un démarrage en octobre 2021 et une durée de 3 ans.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Niveau Master 2
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique

Mines ParisTech / ARMINES

60 boulevard Saint Michel

75272 Paris Cedex 06                  

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

François Goulette, Professeur

Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr

Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Détection temps-réel d’objet ou comportement anormal
à partir de données Lidar

Real-time abnormal object of behavior detection from LiDAR data

Mots clés : LiDAR, apprentissage profond, temps réel, détection d’objet, véhicule autonome, train

Keywords: LiDAR, deep learning, real time, object detection, autonomous vehicle, train

L’équipe « Nuages de Points et Modélisation 3D » (NPM3D) du Centre de Robotique-CAOR de MINES ParisTech / ARMINES s’intéresse aux techniques d’acquisition et de traitement de nuages de points 3D pour plusieurs applications (cartographie 3D, robotique mobile, archéologie…) [Web NPM3D].

Le projet européen 5G-Med [Web 5G-Med] porte sur le déploiement de diverses applications utilisant les communications 5G, en particulier pour la sécurité des trains et des véhicules. Dans ce cadre, l’équipe NPM3D, qui vient de rejoindre le projet, a en charge la conception, le développement et l’expérimentation de solutions de détection temps-réel d’objets ou de comportement anormal à partir de données Lidar, à la fois pour des applications automobiles et ferroviaires.

La détection temps-réel d’objets ou de comportement anormal est d’une grande importance pour des questions de sécurité, et est un problème difficile actuellement non résolu. L’utilisation de données Lidar permet de gagner en robustesse par rapport à l’imagerie 2D. Des travaux récents et prometteurs se sont intéressés à cette question en utilisant de l’estimation de flux de scène sur données 3D [Mittal et al. 2020].

Dans le cadre du projet, il s’agira de concevoir une approche répondant aux besoins de l’application visée. Des expérimentations sont à prévoir, à la fois sur des données fournies par les partenaires ou à acquérir avec eux (Valeo, IRT Saint Exupéry, SNCF…), et sur des bases de données publiques (Kitti [Web Kitti] et autres, pour les véhicules). L’approche sera développée en lien avec l’équipe NPM3D (permanents, doctorants travaillant sur des sujets connexes).

Un recrutement d’ingénieur de recherche – post-doctorant est prévu, pour une durée de 18 mois, et un démarrage dès que possible. La personne recrutée sera en charge du suivi opérationnel du projet (reporting, livrables, expérimentations) et participera à l’encadrement d’un doctorant recruté sur le même projet.

Références

• [Web NPM3D] Site Web de l’équipe NPM3D : http://caor-mines-paristech.fr/en/research/point-cloud-and-3d-modeling-pc3dm/
• [Web 5G-Med] Projet européen 5G-Med : https://5g-ppp.eu/5gmed/
• [Mittal et al. 2020] Just Go with the Flow: Self-Supervised Scene Flow Estimation (2020). Himangi Mittal, Brian Okorn, David Held. Proc. of Int. Conf. on Computer Vision and Pattern Recognition (CVPR).
• [Kitti] Dataset Kitti : http://www.cvlibs.net/datasets/kitti/

Profil du candidat

Profil général

• Doctorat
• Bon relationnel, rigueur et autonomie
• Qualités de rédaction et de présentation à l’oral
• Anglais parlé et écrit.
• (Pour étrangers) Français parlé et écrit.

Compétences demandées / appréciées

Connaissances scientifiques et technologiques utilisées :

• Traitement de données 3D
• Traitement d’images
• Méthodes d’apprentissage

Les développements informatiques se feront sur PC sous Windows ou Linux en Python et/ou C++.

Laboratoire d’accueil

Centre de Robotique
Mines ParisTech / ARMINES
60 boulevard Saint Michel
75272 Paris Cedex 06

Renseignements :

Equipe NPM3D, Centre de Robotique de MINES ParisTech / ARMINES :

• François Goulette, Professeur
  Tél. : 01.40.51.92.35,  E-mail : francois.goulette@mines-paristech.fr
• Jean-Emmanuel Deschaud, Chargé de Recherche Tél. : 01.40.51.93.58,  E-mail : jean-emmanuel.deschaud@mines-paristech.fr

Marin Toromanoff a le plaisir de vous inviter à sa soutenance de thèse le mercredi 31 Mars 2021, à 14h. A cause des conditions actuelles, elle ne sera probablement accessible qu’en visio-conférence.

Cette thèse a été réalisée au Centre de Robotique MINES ParisTech sous la direction de Fabien Moutarde ainsi qu’avec l’entreprise Valeo et l’encadrement de Emilie Wirbel. Intitulée « Apprentissage par renforcement du contrôle d’un véhicule autonome à partir de la vision », elle sera défendue en français (le titre en anglais est « End-to-end Autonomous Driving using Deep Reinforcement Learning »).

Le jury sera composé de :
Prof. Olivier PIETQUIN – Université de Lille (INRIA/SEQUEL) et GoogleBrain (rapporteur)
Prof. Thierry CHATEAU – Université de Clermont Auvergne (rapporteur)
DR. Pierre-Yves OUDEYER – INRIA Bordeaux (examinateur)
Prof. Christian GAGNE – Université Laval (Québec CANADA) (examinateur)
DR. Rémi MUNOS – Université de Lille (INRIA/SEQUEL) et DeepMind (examinateur)
Prof. Véronique CHERFAOUI – Université de Compiègne (Québec CANADA) (examinateur)
Prof. Fabien MOUTARDE – Mines ParisTech
Docteur Emilie WIRBEL – Nvidia (anciennement Valeo)

Résumé :

« Dans cette thèse, nous abordons les défis de la conduite autonome en environnement urbain en utilisant des algorithmes d’apprentissage par renforcement profond de bout-en-bout, i.e. des données brutes des capteurs jusqu’au contrôle des actuateurs du véhicule. L’apprentissage  par  renforcement  (RL)  est  un  des  trois  grands  paradigmes  de  l’apprentissage  automatique.  Il  se distingue  de  l’apprentissage  supervisé  par  le  fait  que  les  agents  apprennent  par  essai-erreur  à  partir  d’un  signal  de récompense et non pas par simple supervision avec des paires entrée-label comme pour l’apprentissage supervisé,le type d’apprentissage le plus utilisé aujourd’hui dans les applications d’intelligence artificielle. Dans l’apprentissage par renforcement, on cherche explicitement à optimiser des séquences d’actions afin de maximiser le comportement à long terme. L’intérêt majeur du RL est que l’agent apprend de lui-même le comportement à suivre en explorant et en interagissant avec son environnement : on n’a donc pas besoin d’indiquer explicitement les actions à prendre. Dans un premier temps, nous avons proposé un nouvel algorithme de renforcement fondé sur la fonction de valeur,Rainbow-IQN Ape-X, en combinant trois articles majeurs du domaine. Cet algorithme atteint des performances au niveau de l’état de l’art sur le benchmark Atari.En utilisant cet algorithme de renforcement distribué, nous avons introduit les indices implicites, une nouvelle méthode permettant  d’entraîner  par  renforcement  des  réseaux  de  neurones  avec  bien  plus  de  paramètres  et  des  entrées  de plus grande dimension que les travaux précédents en DRL. Cette technique nous a ainsi permis de démontrer pour la première fois un algorithme de renforcement capable de conduire dans un simulateur complexe incluant des piétons, des véhicules et surtout des feux tricolores. Finalement, nous avons utilisé toutes nos contributions précédentes pour effectuer de l’apprentissage par renforcement sur données réelles pour de la conduite en environnement urbain. L’idée fondamentale de notre approche est d’utiliser un simulateur fondé sur des images réelles pour réussir à entraîner des agents capables de généraliser aux données réelles »

Dans le cadre de la parution du N° 12 de la série #EnjeuxNumériques « Intelligences artificielles et humaines, quelles interactions ? », les Annales des Mines ont organisé une table ronde animée par Arnaud de La Fortelle (Directeur du Centre de Robotique).

Imane Bello, Elise Berlinski, Arthur Gaudron (enseignant-chercheur au Centre de Robotique) ont présenté leur article « Algorithmes et droit pénal : quel avenir ? » à 55:24. L’article publié est librement accessible ici.

Le Centre de Robotique ouvre un poste de Tenure Track, pour plus d’informations, vous pouvez consulter la fiche de poste suivante :

Laetitia Li a le plaisir de vous inviter à sa soutenance de thèse, intitulée « Modélisation et contrôle d’un véhicule tout-terrain à deux trains directeurs ». La soutenance aura lieu le vendredi 15 janvier 2021 à 10h00 en salle L109 à l’école des mines de Paris. Le nombre de places étant limité à 20 personnes, elle sera diffusée en ligne au lien suivant:  

https://mines-paristech.zoom.us/j/93859044756?pwd=YU5UZVh6dXM5c0ZkZHB0RkVIZjFtQT09

Le jury est composé de :

M. Hugues Mounier – Professeur, Polytech Paris Saclay/UFR de Physique (rapporteur)
M. Dominique Gruyer – Directeur de recherche, COSYS PICS-L Université Gustave Eiffel (rapporteur)
M. Michel Basset – Professeur, Université de Haute Alsace (Examinateur)
Mme Brigitte d’Andréa-Novel, Directrice de recherche, UMR IRCAM (Directrice de thèse)
M. Arnaud Quadrat, Ingénieur Safran Electronics & Defense (Co-encadrant)
M. Sylvain Thorel, Ingénieur Nexter Robotics (Invité)
M. Arnaud de La Fortelle — Professeur, MINES ParisTech (Invité)

Résumé :
L’intérêt pour les véhicules autonomes n’a cessé de croître ces dernières années. La conduite autonome sur des terrains accidentés, ou encore avec des conditions d’adhérences faibles sont encore des défis technologiques à relever. Le système de contrôle doit être capable d’identifier la variabilité de ces terrains tout en suivant une trajectoire de la meilleure manière possible. Les travaux décrits dans ce mémoire se focalisent sur le développement d’une stratégie globale de commande pour adresser le problème de la conduite de véhicule autonome à deux trains directeurs en milieu tout-terrain. Dans de tels milieux et lors de déplacement à vitesse élevée, les pneumatiques sont soumis à d’importants glissements qui entraînent un comportement sous vireur ou survireur du véhicule. L’objectif est donc d’évoluer le plus rapidement possible dans des environnements difficiles tout en gardant un suivi précis quelles que soient les conditions d’adhérence.
Pour ce faire, plusieurs points ont été abordés notamment au niveau de la modélisation du véhicule et des pneumatiques, de l’estimation des efforts pneumatiques et de la commande de véhicule à deux trains directeurs. Les contributions principales sont les suivantes : un algorithme d’estimation des forces latérales à partir de deux paramètres fondamentaux : le coefficient de rigidité de dérive et le coefficient de friction latérale maximale, et un algorithme de commande qui assure le suivi de la trajectoire de référence. La commande est basée sur un modèle dynamique afin de prendre en compte les interactions entre la roue et le sol. En effet, à des vitesses importantes, les fortes dynamiques rendent les modèles cinématiques peu réalistes. Ceux-ci sont uniquement capables de représenter des phénomènes relativement lents et donc ne conviennent que pour des véhicules se déplaçant à vitesse faible. Cette commande cherchera à maintenir, dans la mesure du possible, le comportement du pneumatique dans un domaine linéaire. L’exploitation du deuxième train directeur permettra de réguler l’orientation du véhicule relativement à une trajectoire de référence. Cela permettra de contrôler le véhicule même en présence de glissements importants et ainsi de pousser les limites de stabilité du véhicule.

Abstract : Interest in autonomous vehicles has increased steadily over recent years. Autonomous driving on rough terrain or with low grip conditions are still technological challenges to be met. The control system must be able to identify the variability of these terrains while following a trajectory. The work described in this thesis focuses on the development of a control strategy to address the problem of autonomous driving with four steering wheels in an off-road environment. In such environments, at high speed, tires are subject to significant slippage which causes the phenomenon of understeering or oversteering. Thus, the objective is to evolve as quickly as possible in difficult environments while following a reference path whatever the grip conditions. 
To do so, several points were addressed, such as vehicle and tires modeling, estimation of tire forces and control of four wheel steering vehicles. The main contributions are:
a lateral forces estimation algorithm obtained from two fundamental parameters: the cornering stiffness coefficient and the maximum lateral friction coefficient and a control algorithm allowing to follow a reference trajectory. The control strategy is based on a dynamic model in order to take into account the interactions between the wheel and the ground. Indeed, at high speeds, vehicles are subject to important dynamic phenomena making the kinematic models unrealistic. Kinematic models are only able to represent relatively slow phenomena and therefore are only suitable for low speed vehicles. The developped control strategy will maintain, as far as possible, the tire’s behavior in the linear domain. The second steering axle will add an additional degree of freedom allowing to control the vehicle yaw angle with respect to a reference trajectory. This will allow to control the vehicle even in presence of significant slippage and thus increase the vehicle stability.

Jean-Emmanuel Deschaud a le plaisir de vous inviter à sa soutenance d’habilitation à diriger des recherches, intitulée « Nuage de Points et Modélisation 3D »
Elle aura lieu le Jeudi 17 Décembre à 14h par Visioconférence sous Zoom.
Voici le lien pour la Visio sous Zoom :https://zoom.us/j/91906337334?pwd=dWQ0WlNOcDlzL1BnTk5CU3V0VldFQT09

Le jury est composé de :
M. Paul CHECCHIN, Professeur, Université Clermont Auvergne (Rapporteur)
M. David FILLIAT, Professeur, ENSTA Paris (Rapporteur)
M. Pierre GRUSSENMEYER, Professeur, INSA de Strasbourg (Rapporteur)
M. François GOULETTE, Professeur, MINES ParisTech (Examinateur)
Mme Beatriz MARCOTEGUI, Professeur, MINES ParisTech (Examinatrice)
M. Pascal MORIN, Professeur, Sorbonne Université (Examinateur)
M. Nicolas PAPARODITIS, Directeur de Recherche, Université Gustave Eiffel (Examinateur)
M. Laurent TRASSOUDAINE, Professeur, Université Clermont Auvergne (Examinateur)

Résumé :
Mes travaux de recherche portent tout d’abord sur les systèmes innovants de cartographie mobile basés LiDAR permettant la création de grands volumes de données 3D représentants l’environnement routier ou urbain traversés. A partir de ces données, des traitements automatisés sont nécessaires comme la détection de primitives géométriques, la segmentation sémantique, la reconstruction de surfaces pour arriver à une modélisation du réel. Je détaillerai les contributions apportées à ces différentes problématiques avec des solutions les plus génériques possibles aux données d’entrée. Plusieurs applications concrètes ont été imaginées à partir de nuage de points d’environnements réels : le calcul de distance de visibilité sur route, la création d’environnements virtuels pour les simulateurs de conduite, la simulation de capteurs LiDARs à partir de données LiDAR et enfin la simulation d’écoulements de fluides autour de géométrie sous forme de nuage de points.

Grégoire Dupont de Dinechin a le plaisir de vous inviter à sa soutenance de thèse, intitulée « Vers l’observation confortable, en réalité virtuelle, d’environnements virtuels créés à partir de photos du monde réel », et défendue en anglais sous le titre « Towards comfortable virtual reality viewing of virtual environments created from photographs of the real world ». Cette thèse a été réalisée au Centre de Robotique (CAOR) de MINES ParisTech, Université PSL sous la direction d’Alexis PALJIC.

La soutenance aura lieu le vendredi 18 décembre 2020 à 14h, et sera diffusée depuis l’amphi L109 de MINES ParisTech, Université PSL (60 boulevard Saint-Michel, 75006 Paris).La diffusion en ligne pourra être suivie au lien suivant : https://www.twitch.tv/dinechingreg.

Le jury est composé de :

• M. Anatole LÉCUYER – Directeur de recherche, Inria Rennes (rapporteur)
• M. Anthony STEED – Professor, University College London (rapporteur)
• Mme Selma RIZVIĆ – Professor, University of Sarajevo (examinateur)
• M. Diego GUTIERREZ – Professor, Universidad de Zaragoza (examinateur)
• M. Jean-Philippe FARRUGIA – Maître de conférences, Université Lyon 1 (examinateur)
• M. Alexis PALJIC – Chargé de recherche, MINES ParisTech, Université PSL (examinateur)
  

Résumé
La reconstitution en réalité virtuelle de lieux, personnes, et objets réels ouvre la voie à de nombreux usages, tels que préserver et promouvoir des sites culturels, générer des avatars photoréalistes pour se retrouver virtuellement avec famille et amis à distance, ou encore recréer des lieux ou situations spécifiques à des fins thérapeutiques ou de formation. Tout cela s’appuie sur notre capacité à transformer des images du monde réel (photos et vidéos) en environnements 360° immersifs et objets 3D interactifs.
Cependant, ces environnements virtuels à base d’images demeurent souvent imparfaits, et peuvent ainsi rendre le visionnage en réalité virtuelle inconfortable pour les utilisateurs. En particulier, il est difficile de reconstituer avec précision la géométrie d’une scène réelle, et souvent de nombreuses approximations sont ainsi faites qui peuvent être source d’inconfort lors de l’observation ou du déplacement. De même, il est difficile de restituer fidèlement l’aspect visuel de la scène: les méthodes classiques ne peuvent ainsi restituer certains effets visuels complexes tels que transparence et réflexions spéculaires, tandis que les algorithmes de rendu plus spécialisés ont tendance à générer des artefacts visuels et peuvent être source de latence. Par ailleurs, ces problèmes deviennent d’autant plus complexes lorsqu’il s’agit de reconstituer des personnes, l’oeil humain étant très sensible aux défauts dans l’apparence ou le comportement de personnages virtuels.
Par conséquent, l’objectif de cette thèse est d’étudier les méthodes permettant de rendre les utilisateurs plus confortables lors du visionnage immersif de reconstitutions digitales du monde réel, par l’amélioration et le développement de nouvelles méthodes de création d’environnements virtuels à partir de photos. Nous démontrons et évaluons ainsi des solutions permettant (1) de fournir une meilleure parallaxe de mouvement lors du visionnage d’images 360°, par le biais d’une interface immersive pour l’estimation de cartes de profondeur, (2) de générer automatiquement des agents virtuels 3D capables d’interaction à partir de vidéos 360°, en combinant des réseaux convolutionnels pré-entrainés, et (3) de restituer des effets visuels de façon photoréaliste en réalité virtuelle, par le développement d’outils que nous appliquons ensuite pour recréer virtuellement la collection d’un musée de minéralogie. Nous évaluons chaque approche par le biais d’études utilisateur, et rendons notre code accessible sous forme d’outils open source.

Abstract
There are many applications to capturing and digitally recreating real-world people and places for virtual reality (VR), such as preserving and promoting cultural heritage sites, placing users face-to-face with faraway family and friends, and creating photorealistic replicas of specific locations for therapy and training. This is typically done by transforming sets of input images, i.e. photographs and videos, into immersive 360° scenes and interactive 3D objects.
However, such image-based virtual environments are often flawed such that they fail to provide users with a comfortable viewing experience. In particular, accurately recovering the scene’s 3D geometry is a difficult task, causing many existing approaches to make approximations that are likely to cause discomfort, e.g. as the scene appears distorted or seems to move with the viewer during head motion. In the same way, existing solutions most often fail to accurately render the scene’s visual appearance in a comfortable fashion. Standard 3D reconstruction pipelines thus commonly average out captured view-dependent effects such as specular reflections, whereas complex image-based rendering algorithms often fail to achieve VR-compatible framerates, and are likely to cause distracting visual artifacts outside of a small range of head motion. Finally, further complications arise when the goal is to virtually recreate people, as inaccuracies in the appearance of the displayed 3D characters or unconvincing responsive behavior may be additional sources of unease.
Therefore, in this thesis, we investigate the extent to which users can be made more comfortable when viewing digital replicas of the real world in VR, by enhancing, combining, and designing new solutions for creating virtual environments from input sets of photographs. We thus demonstrate and evaluate solutions for (1) providing motion parallax during the viewing of 360° images, using a VR interface for estimating depth information, (2) automatically generating responsive 3D virtual agents from 360° videos, by combining pre-trained deep learning networks, and (3) rendering captured view-dependent effects at high framerates in a game engine widely used for VR development, which we apply to digitally recreate a museum’s mineralogy collection. We evaluate and discuss each approach by way of user studies, and make our codebase available as an open-source toolkit.

The Centre for Robotics of MINES ParisTech, PSL Université Paris, is involved in several research projects on human motion pattern recognition applied to the Factory of the Future, the Creative and Cultural Industries and the Autonomous Vehicles. The main objective of these projects is the development of novel methodologies and technological paradigms that improve the perception of the machine and allows for natural body interactions in human-machine partnerships.

The Centre for Robotics of MINES ParisTech is opening a short-term position for a research scientist on the ‘Development of an end-to-end embedding of a CNN into a HMM’, which is horizontal on various H2020 and industrial projects.

For more information:  https://euraxess.ec.europa.eu/jobs/567248