Les réseaux de neurones artificiels peuvent transformer une photo 2D en un rendu 3D étonnamment précis

TC_Color-002

Reproduire un visage avec précision est une tâche complexe. Cela nécessite une série de photos avec un éclairage parfait et cohérent sous tous les angles. Si vous voulez capturer tous les détails et les imperfections du visage, vous avez besoin d’un éclairage professionnel et d’une multitude de prises. Cependant, un groupe de recherche a conçu un dispositif permettant de faciliter le processus.

Du 2D au 3D

Les chercheurs Hao Li, Shunsuke Saito, Lingyu Wei, Koki Nagano et Liwen Hu utilisent des réseaux de neurones artificiels pour créer des modèles 3D détaillés et très précis en utilisant une seule photo 2D. Les chercheurs ont utilisé une vaste base de données en ligne de visages afin de recréer des textures précises. Les réseaux de neurones choisissent d’abord une texture qui correspond au visage d’une façon probabiliste, puis mélangent les caractéristiques faciales et les tons de peau avec le modèle 3D. Et les résultats sont remarquables précis, même avec des photos qui ne sont pas parfaites.

Les scientifiques ont soumis leurs recherches à l’Université Cornell, où ils affirment que cette invention  « pourrait influencer de nouvelles formes de communication immersive, l’éducation et les jeux, notamment la NBA 2K17, qui offre déjà la possibilité de scanner votre visage pour en faire un joueur ». Cependant, les résultats ne sont pas aussi précis. Mais contrairement aux scannes des visages du jeu NBA 2K17, l’utilisation de réseaux de neurones artificiels produit des modèles 3D très précis. Voici des exemples.

Puisque les bases de données officielles concernant les visages sont facilement disponibles en ligne, des questions de confidentialité et d’éthique sont à prévoir. Cette méthode peut fournir un haut degré de réalisme dans le monde virtuel, mais elle peut également permettre différents types d’utilisations contraires à l’éthique. Mais pour les photographes, cette découverte serait un excellent outil pour manipuler leurs photos en modifiant par exemple l’apparence des sujets qui sont présents dans leurs images.

[via]