Parmi les nombreuses technologies naissantes dévoilées lors de l’Adobe MAX cette année, « Sky Replace » a été l’une des plus intrigantes. Comme son nom l’indique, ce nouvel outil permet automatiquement de remplacer un ciel ennuyeux ou surexposé par un autre plus intéressant. Tout cela peut parraître assez simple à concevoir, mais en fait la fonctionnalité « Sky Replace » est assez intelligente pour savoir quelle zone d’une image doit être préservée et lesquelles doivent être remplacées.
L’un des aspects les plus impressionnants de « Sky Replace » c’est qu’il ne suffit pas de copier et de coller un ciel sur un autre; cet outil ajuste le premier plan d’une image pour imiter avec précision l’éclairage et les couleurs du nouveau ciel. Plusieurs exemples sont donnés dans la vidéo ci-dessus.
Selon le technicien Shen qui a fait cette démonstration dans la vidéo :
Nous segmentons le premier plan en différentes régions telles que l’herbe, les bâtiments et les personnes, car les tons de la peau affectent les tons de peau des autres personnes dans l’image, et les couleurs d’un bâtiment affectent celles des autres édifices. De cette façon, le système s’assure qu’il n’y a pas de « couleurs bizarres » dans le résultat final.
Toujours selon Shen, l’outil « Sky Replace » est encore loin d’être parfait. Les scènes où il y a de l’eau par exemple, peuvent être un problème. « Quand il n’y a pas de reflets du ciel dans l’eau, notre méthode fonctionne généralement bien », a déclaré Shen. « À ce stade, nous ne manipulons pas parfaitement les images avec des réflexions venant du ciel.
Plusieurs défis
Un autre défi sont les images dont la lumière est très directionnelle, notamment des scènes en contre-jour ou lorsque la lumière venant du soleil est très directe. Le problème ici n’est pas tant une limitation technique de l’algorithme, mais plutôt la sélection d’un ciel de remplacement. « Le ciel de remplacement doit avoir un éclairage très similaire », a expliqué Shen.
Le logiciel peut suggérer des ciels de remplacement en fonction de l’image d’origine. Toutefois, Adobe n’a tout simplement pas une assez grande collection de ciels pouvant s’adapter à toutes les variations possibles. Shen a déclaré que l’équipe avait l’intention de solutionner ce problème avec une fonction de recherche d’images qui s’adapteraient mieux aux photos des utilisateurs.
L’outil « Sky Replace » est très intéressant pour les photographies, mais nous ne savons pas si celui-ci peut être utilisé pour la vidéo. Shen a affirmé que la vidéo présentait de nouveaux défis auxquels l’équipe prévoyait de s’attaquer. En théorie, « Sky Replace » pourrait être utilisé de la même façon qu’un écran vert au cinéma sans avoir à passer par un processus de masquage lors de la post-production. Il pourrait être particulièrement intéressant pour les productions de science-fiction à petit budget.
Dans Photoshop ?
Comme avec d’autres nouvelles fonctionnalités, il n’y a aucune garantie que le « Sky Replace » sera offert dans l’un des produits de l’entreprise. Ce nouvel outil étant en phase de développement depuis plus d’un an, seulement le temps nous dira si les utilisateurs de Photoshop pourront un jour l’utiliser.
