Capturing Real Scenes for VR made easy. Release of Colibri VR !

as a part of his PhD thesis, Grégoire de Dinechin has developed a Platform for non VR experts : it allows the easy capture and exploration of real scenes for VR.

We are happy to announce that we released COLIBRI VR, our open source platform for image based rendering for Unity ! It is made to be simple :

  • 1) take pictures
  • 2) process it in Colibri VR
  • 3) experience your 3D scene* in VR.

*including complex view dependent effects such as reflexions and refractions.

Tutorials and Download :
Paper :

Use it for anything you want : capture every day scenes, objects, create training scenarios, tell stories, create an online museum … Great work from Grégoire Dupont de Dinechin within his PhD thesis ! Cheers Grégoire !



Dates de réalisation : du 01/12/2018 au 30/11/2021

Type de projet: Européen, H2020

Financeur: Commission Européenne (Grant agreement No 822336)

Chercheur associé: Sotiris Manitsaris

Résumé du projet:

Mingei is a Horizon 2020 project that aims to digitize and transfer knowledge about the (in)tangible aspects of crafts. This covers the representation, preservation, and accessibility of craft as cultural heritage. Crafts include tangible artefacts, materials, and tools, as well as intangible dimensions, such as dexterity, skill, and the relationship between master and apprentice. These dimensions involve traditional and culturally identifying elements of the communities of practice, innovation, and artistic creation. At the same time, they are part of the history and economy of the areas and societies in which they flourish.

Mingei will explore the possibilities of representing and making accessible both tangible and intangible aspects of craft as cultural heritage (CH). Heritage Crafts (HCs) involve craft artefacts, materials, and tools and encompass craftsmanship as a form of Intangible Cultural Heritage. Intangible HC dimensions include dexterity, know-how, and skilled use of tools, as well as, tradition, and identity of the communities in which they are, or were, practiced. HCs are part of the history and have impact upon the economy of the areas in which they flourish. The significance and urgency to the preservation of HCs is underscored, as several are threatened with extinction.
Despite their cultural significance efforts for HC representation and preservation are scattered geographically and thematically. Mingei will provide means to establish HC representations based on digital assets, semantics, existing literature and repositories, as well as, mature digitisation and representation technologies. These representations will capture and preserve tangible and intangible dimensions of HCs.
Central to craftsmanship is skill and its transmission from master to apprentice. Mingei will capture the motion and tool usage of HC practitioners, from Living Human Treasures and archive documentaries, in order to preserve and illustrate skill and tool manipulation.
The represented knowledge will be availed through compelling experiential presentations, using storytelling and educational applications and based on AR and MR and the Internet.
Engaging cultural experiences have positive impact on interest growth and tourism, which support HC communities and institutions and foster HC sustainability and preservation.
The consortium brings together complementary expertise and content. Pilot themes exhibit richness in tangible and intangible dimensions and are directly related to European history.

This project has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement no. 822336.

Want to learn more about Mingei? Visit our website and follow us on Facebook, Instagram, Twitter and LinkedIn.
Subscribe to the monthly Mingei newsletter to stay up to date.


Marion Pilté reçoit le Thales PhD Award

Marion Pilté, doctorante Cifre du centre de robotique entre 2015 et 2018, en partenariat avec l’entreprise Thales, et encadrée par Silvère Bonnabel, a reçu le Thales PhD Award 2019 des mains de Bernhard Quendt, directeur technique de Thales. Ce prix récompense deux lauréats sur environ 70 thèses Cifre soutenues au sein de l’entreprise.


Seminar on Large-scale simulations for automated mobility

The Chair Drive for All is pleased to invite you to a seminar on “Large-scale simulations for automated mobility in Zurich and Paris”. We have the honor to receive Sebastian Hörl from the Institute for Transport Planning and Systems within the Swiss Federal Institute of Technology in Zurich (ETHZ).

It will take place:

  • on Wednesday 26 February 2020 14:00 – 15:00
  • in the Board room (salle Vendôme) of MINES ParisTech
  • 60, Boulevard Saint-Michel 75006 Paris
  • Luxembourg station on RER line B

This seminar is public and free of charge but registration is mandatory.


In recent years Autonomous Mobility on Demand (AMoD) has become an active research field in transport planning. So far, several simulation studies have been presented that estimate which automated taxi fleet size would be able to serve the mobility demand in various cities around the world. One major part in these simulations has been missing so far: the customer behaviour. The talk will cover how this problem has been tackled at the Institute for Transport Planning and Systems at ETH Zurich over the past two years. After a short introduction of the MATSim simulation platform an overview of current results regarding costs, surveys and simulation around AMoD will be given. For the case of Paris a novel simulation scenario will be introduced, including first preliminary results of fleet sizing under the presence of customer behaviour.

All the information is also available in the document below.

Short bio: With a background of systems theory and systems engineering, Sebastian Hörl received his MSc degree in Complex Adaptive Systems from Chalmers University, Sweden, in 2016. After a stay at the Future Cities Laboratory in Singapore, he started his PhD degree at ETH Zürich on the topic of large-scale agent-based transport simulation. His research focuses on the synthesis of artificial populations and the impact of highly automated vehicle fleets on travel behaviour and system performance.


Soutenance de thèse — Michel Valente

Michel Valente a plaisir de vous inviter à sa soutenance de thèse le mercredi 18 décembre 2019 à 16h00.

La soutenance aura lieu dans le nouvel amphithéâtre L118 à Mines ParisTech, 60 bd Saint Michel 75006.

Elle sera défendue en anglais et s’intitule: « SLAM and Data Fusion for Autonomous Vehicles. From classical approaches to deep learning methods. »

Le jury sera composé comme suit:

  • – M. Ching-Yao Chan – UC Berkeley (Rapporteur)
  • – M. Vincent Fremont – École Centrale de Nantes (Rapporteur)
  • – M. David Filliat – ENSTA (Examinateur)
  • – Mme. Emilie Wirbel – Valeo (Examinatrice)
  • – M. Arnaud de La Fortelle – Mines ParisTech (Examinateur)
  • – M. Cyril Joly – Mines ParisTech (Examinateur)

Self-driving cars have the potential to provoke a mobility transformation that will impact our everyday lives. In order to reach this goal, the vehicles need to perform autonomously three main tasks: perception, planning and control. When it comes to urban environments, perception becomes a challenging task that needs to be reliable for the safety of the driver and the others. It is extremely important to have a good understanding of the environment and its obstacles, along with a precise localization, so that the other tasks are well performed. 
This thesis explores from classical approaches to Deep Learning techniques to perform mapping and localization for autonomous vehicles equipped with low cost sensors in urban environments. In the first part, we propose solutions to sensor fusion and localization using the Dempster-Shafer theory approach based on occupancy grid maps. Sequentially, we explore how the recent advances in Deep Learning techniques can be applied to the localization problem. We propose novel solutions that use directly the input from the sensors in neural networks to estimate the localization of the vehicle during its trajectory. Our solutions are tested and validated on different challenging urban scenarios showing the robustness and accuracy of the proposed approaches. 

L’arrivée des voitures autonomes va provoquer une transformation très importante de la mobilité urbaine telle que nous la connaissons, avec un impact significatif sur notre vie quotidienne. Pour atteindre cet objectif, les véhicules autonomes doivent effectuer en toute sécurité et de manière autonome trois tâches principales: la perception, la planification et le contrôle. La perception est une tâche particulièrement difficile en milieu urbain, car elle se doit d’être suffisamment précise pour assurer à la fois la sécurité du conducteur et celle des autres. Il est décisif d’avoir une bonne compréhension de l’environnement et de ses obstacles, ainsi qu’une localisation précise, afin que les autres tâches puissent être performantes.
L’objectif de cette thèse est d’explorer différentes techniques pour la cartographie et la localisation des voitures autonomes en milieu urbain, en partant des approches classiques jusqu’aux algorithmes d’apprentissage profond. Dans la première partie, nous proposons des solutions pour la fusion de capteurs et la localisation du véhicule en utilisant l’approche théorique de Dempster-Shafer basée sur des cartes de grille d’occupation. Ensuite, nous explorons comment les récents progrès des techniques d’apprentissage en profondeur peuvent s’appliquer au problème de localisation. Nous proposons de nouvelles solutions qui utilisent directement les entrées des capteurs dans les réseaux de neurones pour estimer la localisation du véhicule au cours de sa trajectoire. Nos solutions sont testées et validées sur différents scénarios urbains complexes montrant la robustesse et la précision des approches proposées.


Soutenance de thèse — Hugues Thomas

Hugues Thomas a le plaisir de vous inviter à sa soutenance de thèse le mardi 19 novembre 2019 à 9h30.
Elle a été réalisée au Centre de Robotique de Mines ParisTech, en partenariat avec Terra3D. Sous la direction de François Goulette (CAOR) et Beatriz Marcotegui (CMM), elle a été encadrée par Jean-Emmanuel Deschaud (CAOR) et Yann Le Gall (Terra3D). Elle sera défendue en français et s’intitule: « Apprentissage de nouvelles représentations pour la sémantisation de nuages de points 3D » ou « Learning new representations for 3D point cloud semantic segmentation » en anglais.

La soutenance aura lieu dans le nouvel amphithéâtre Schlumberger à l’École des Mines ParisTech, 60 bd Saint Michel 75006.


  •  – Paul CHECCHIN – Université Clermont Auvergne (Rapporteur) 
  • – Bruno Vallet – IGN Institut national de l’information géographique et forestière (Rapporteur) 
  • – Martin Weinmann – KIT Karlsruhe Institute of Technology (Examinateur) 
  • – Beatriz Marcotegui – CMM Mines ParisTech (Examinateur) 
  • – Pascal Monasse, Professeur à l’Ecole Nationale des Ponts et Chaussées, examinateur
  • – Jean-Emmanuel Deschaud – CAOR Mines ParisTech (Examinateur) 
  • – François Goulette – CAOR Mines ParisTech (Examinateur) 
  • – Yann Le Gall – Terra3D (Invité)

Stage Ingénieur ou Master 2 — Conception par Machine-Learning d’une IA vérifiant la saisonnalité de bouquets par reconnaissance des variétés de fleurs

Le stage consistera à concevoir et développer une IA capable d’identifier, sur les photos de bouquets transmises par les fleuristes, les variétés de fleurs le constituant, et d’alerter automatiquement si une fleur d’un bouquet semble hors-saison (en localisant clairement sur la photo la fleur « suspecte » avec sa variété reconnue). Il s’agit donc d’abord d’entraîner par Deep- Learning un module de détection et catégorisation reconnaissance des fleurs du bouquet. Il est envisagé d’utiliser un Réseau Convolutif profond de type « Mask_RCNN », « Faster_RCNN » ou similaire, qui sera entraîné notamment sur les bases d’images existantes des fleurs produites par les horticulteurs agréés par Fleurs-d’Ici, ainsi que sur des bases publiques telles que Pour chaque variété de fleur reconnue, l’IA devra afficher en surimpression sur la photo de bouquet les variétés fleurs reconnues (avec leur localisation sur la photo), et mettre en évidence les éventuelles fleurs qui paraissent « hors saison » compte tenu des informations de saisonnalité (déjà associées par Fleurs-d’Ici à chaque type de fleur).


Premier prix au « CARLA Autonomous Driving challenge » 2019 (catégorie « vision-only »)

Marin Toromanoff (doctorant CIFRE Valeo encadré par Fabien Moutarde) a obtenu le PREMIER PRIX au « CARLA Autonomous Driving challenge » 2019 (catégorie « vision-only »).
Cette distinction récompense son approche d’Apprentissage Profond par Renforcement (Deep Reinforcement Learning) pour la conduite autonome fondée sur la vision, qui a obtenu les meilleures performances pour la « track 2 » (vision seule) dans cette compétition internationale. Ce benchmark évalue dans l’environnement de simulation CARLA la capacité d’algorithmes de conduite automatisée à effectuer des trajets quelconques dans une ville inconnue, en respectant les feux tricolores et en évitant les collisions avec autres véhicules et piétons.

Vidéo des résultats de approche d’Apprentissage Profond par Renforcement de Marin Toromanoff


Publications de 2019 IEEE Intelligent Vehicles Symposium (IV) disponibles

Les publications du Symposium IV19 à Paris en juin 2019 organisé par le Centre de Robotique MINES ParisTech, VEDECOM et l’IFSTTAR sont maintenant disponibles sur IEEE Explore.



Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes

Titre de la thèse:

Fusion de capteurs pour l’apprentissage non supervisé de cas rares appliquée aux voitures autonomes


Huawei travaille sur des systèmes clés de la plate-forme de conduite autonome L2-L3 et se concentre de plus en plus sur le développement de technologies de pointe nécessaires à l’autonomie L4-L5. Demain, les voitures autonomes pilotées par AI associeront l’informatique en calcul périphérique et dans le cloud, à un grand nombre de capteurs pour transporter les personnes de manière sûre et autonome, ainsi que pour la livraison autonome de marchandise. Chez Huawei, nous développons une chaine complète de technologies pour réaliser ce rêve, comprenant des unités de calcul, des capteurs, de l’infrastructure de communication et du cloud. Nous recherchons les meilleurs candidats pour la thèse CIFRE avec une formation en vision par ordinateur, apprentissage profond, apprentissage par renforcement, cartographie, perception, fusion de capteurs, cognition et autres domaines connexes, afin de travailler au sein de l’équipe IoV à Paris Research Center (PRC) . En tant que membre IoV PRC, vous travaillerez en étroite collaboration avec de nombreuses équipes dans le monde entier pour développer votre expertise et pour transférer avec succès les résultats de vos recherches dans de vrais produits.

Un des axes importants des travaux du Centre de Robotique-CAOR de l’Ecole des Mines de Paris et d’ARMINES est la mise au point d’outils, d’algorithmes et d’applications d’analyse temps-réel de flux issus de multiples capteurs, dont des caméras. De nombreuses applications ont ainsi été développées dans le domaine des Systèmes de Transport Intelligents (STI). Des outils et algorithmes performants de reconnaissance visuelle de catégorie d’objet (piétons, voitures, visages, panneaux routiers) ont été développés dans ce contexte.

Cette plate-forme logicielle est aujourd’hui commercialisée par l’entreprise INTEMPORA sous le nom de RT-MAPS pour Real Time Multisensor Advanced Prototyping Software. Elle permet l’acquisition et le prototypage puis l’exécution de traitement temps-réel de flux de données synchronisés, étant utilisée par de nombreux acteurs industriels et académiques tels que Valeo, PSA, Renault, l’INRIA, l’INRETS, etc. dans différents projets tels que Cybercars ou CityMobil.  Enfin le Centre de Robotique a acquis une certaine expertise sur l’utilisation dans le contexte temps-réel de diverses méthodes pour la fusion de données (filtrage particulaire, théorie des possibilités, etc…). Au travers de ce projet l’expertise apportée par le Centre de Robotique dans le domaine des systèmes de perception pour les véhicules, pourra être mise à profit dans cette thèse.

Sujet de recherche:

Le sujet principal de cette thèse doit être centré sur la résolution du problème de la fusion de capteurs pour un apprentissage non supervisé de cas rares, en exploitant une grande quantité de données disponibles à l’aide de plusieurs capteurs et véhicules. En combinant les résultats du traitement de la même entité physique par plusieurs capteurs redondants et par des données cartographiques, il est possible de détecter les causes des défaillances, en comparant les résultats obtenus entre plusieurs sources. L’apprentissage non supervisé devrait améliorer encore plus la précision de la recherche des erreurs, en particulier dans les cas rares où les données d’apprentissage pour les capteurs conventionnels sont absentes, ces données ne comportant pas d’annotations manuelles. Toutefois, les méthodes automatisées SOTA pourraient être utilisées pour extraire des informations relevantes sur la perception, sur la localisation et sur la cartographie afin de transformer le problème en solution. L’apprentissage non supervisé étant considéré comme l’un des problèmes les plus difficiles de nos jours, nous nous attendons à des progrès considérables dans ce domaine, qui pourraient permettre à des véhicules automatisés suffisamment fiables de faire partie de notre vie quotidienne.

Description des activités de recherche:

–  Étudier l’état de l’art sur la perception, sur la fusion de capteurs et sur la cognition

– Étudier l’état de l’art de l’apprentissage supervisé et non-supervisé

– Identifier les principaux verrous technologiques dans SOTA de (1 et 2) avec une application aux problèmes de la conduite autonome

– Proposer une nouvelle solution à l’un des principaux verrous technologiques (3) en mettant l’accent sur les applications pratiques à grande échelle pour les voitures autonomes

– Algorithme de recherche et développement basé sur la solution proposée (4), capable d’identifier de manière non supervisée des défaillances rares de divers capteurs dans le but d’améliorer la précision des données de capteur pour les voitures autonomes.

– Appliquer l’algorithme proposé (5) au domaine des voitures autonomes utilisant des jeux de données existants ou spécialement collectés

– Publier les résultats de recherche dans les meilleures conférences et participer à des séminaires scientifiques


Cette thèse sera supervisée conjointement par Huawei Technologies France et le Centre de Robotique de MINES ParisTech et d’ARMINES

Conditions préalables:

Le candidat doit être motivé pour mener des recherches de classe internationale et posséder un Master en vision par ordinateur et/ou robotique. Il/Elle devra avoir de solides compétences dans les domaines suivants:

– Implémenter du code en Python et en C ++

– Appliquer ou utiliser les bibliothèques existantes pour un apprentissage approfondi des tâches liées au projet

– Bonne connaissance des outils Git, ROS, OpenCV, Boost, multi-threading, CMake, Make et Linux

– Documentation du code et de l’algorithme

– Reporting et planification du projet

– Rédaction de publications scientifiques et participation à des conférences

– Maîtrise de l’anglais, parlé et écrit; Le français et/ou le chinois est un plus

– Aptitudes interculturelles et de coordination, attitude pratique et volontaire

– Aptitudes interpersonnelles, esprit d’équipe et style de travail indépendant


Les candidats intéressés doivent envoyer un CV détaillé comprenant les notes de leur Master à et à .

Les candidats doivent posséder un visa de travail en France, ou être ressortissants d’un des états de l’Union Européenne ou de l’Espace Economique Européen.

Date limite:

Notre objectif est de pourvoir ce poste le plus rapidement possible et de commencer au 2e semestre 2019. Les candidatures seront examinées jusqu’à ce qu’un candidat approprié soit trouvé.

Financement et localisation:

Le doctorat sera financé par un contrat CIFRE et se tiendra en région parisienne (Boulogne Billancourt et Paris), en France.