Pour ceux qui ne connaîtraient pas encore Paul Debevec, voici un reportage dans lequel il expose une partie de ses travaux.
Au programme notamment, ses recherches sur le HDRI et l'image-based lightning, qui ont permis des progrès spectaculaires dans le domaine du rendu réaliste. Il évoque aussi la photogrammétrie (reconstitution d'objets en 3D à partir de photos) ou encore d'une méthode de récupération des détails du relief d'un visage.

via hdrlabs.com

(Encore un) projet perso : des light probes HDRI haute résolution gratuits.

Les origines du projet

Suite à une discussion sur 3dvf concernant les light probes HDRI, et les sphères réfléchissantes utilisées pour en réaliser, j'ai acquis du matériel qui me permet de faire sans : un objectif fisheye (Peleng 8mm, acheté sur ebay).

Ce type d'objectif permet de faciliter la prise de vue panoramique grâce à un champ de vision proche de 180 degrés.

(pour ceux qui ne connaissent pas : les light probes HDRI, pour faire simple, sont des photos panoramiques que l'on peut utiliser pour éclairer une scène 3D de façon réaliste ; plus d'infos par ici)

Le projet

Avec ce matériel, je vais créer une petite série d'une dizaine d'environnements HDRI, que je mettrai en téléchargement gratuit et sans doute sous une license de type creative commons : comme les environnements HDRI gratuits sont rares sur le net, je me dis que ça peut intéresser du monde...

Les environnements seront aussi utilisés dans d'autres projets personnels, comme le "projet Emilie".

Votre avis compte !

Afin de faire quelque chose d'adapté à un maximum de gens, j'aurais besoin de retours de ceux qui pourraient être intéressés :

• Le format serait probablement du .hdr, est-ce que certains softs ne le supportent pas ?
• Pour l'environnement, vous préférez latitude-longitude, angular map, cubemap ? (cf l'image en bas du message). Je peux faire les trois, s'il y a de la demande.
• la présence d'un trou en bas de l'image (la position du trépied, en fait) est-elle gênante ou est-ce sans importance ? A priori ça ne gênera que pour les reflets...
• Est-ce qu'inclure des "backplates", autrement dit des photos classiques pouvant servir de fond, est utile ou bien est-ce que le panoramique a une résolution suffisante ? (cf ce qui suit)
• Je suis sur Paris, donc s'il y a des suggestions spécifiques de lieux pour les panoramiques HDRI, c'est possible. ;)

j'ai mis en ligne trois version d'un panoramique en .hdr, qui donne une idée de la qualité des environnements finaux.
( 5000x2500 pixels pour le lat-long, 3000x3000 pour angular map, 3750x5000 pour la cubemap )

Trouvé via le site hdrlabs, centré sur l'actu des images HDR (que ce soit pour des applications 2D ou 3D), une intervention de Paul Debevec, le "père" de cette technologie née à la fin des années 90 et qui a bouleversé le monde de l'éclairage réaliste en 3D.

Ceux qui comprennent mal l'anglais ou qui sont novices en 3D peuvent lire en premier le texte situé après la vidéo, dans lequel j'essaie de donner quelques explications.... plus ou moins limpides.

HDRI, éclairage réaliste

Pour rappel, les images HDR sont des images à grande plage dynamique ; concrètement, cela veut dire qu'elles ont pour but de pouvoir enregistrer dans une même image des intensités à la fois très faibles et très fortes : à l'inverse des photos classiques, qui peuvent avoir des zones sous exposées ou surexposées, une image HDR enregistrera toute l'information.
En 3D, on peut utiliser ce type d'image pour éclairer une scène virtuelle avec un environnement lumineux réaliste : on convertit une image panoramique HDR en un ensemble de source lumineuse, un peu comme si l'on recréait l'ambiance lumineuse de la scène réelle avec des spots colorés. Vous pouvez lire à ce sujet la page de ce site consacrée à l'Image based lightning.

C'est justement ce dont parle Paul Debevec dans un premier temps. En partant des scènes développées dans le cadre de ses travaux de recherche, il explique les techniques sous-jacentes.

Eclairage réaliste sur un humain en mouvement

Dans une seconde partie il se penche sur la façon dont on peut capturer les effets de la lumière sur un être humain afin de pouvoir s'en servir dans des scènes virtuelles : si on sait comment les éclairages du spot x ou du spot y agissent sur le modèle, on en déduit par exemple l'image que donnerait ce modèle éclairé de x et y en même temps.

Installation de Debevec: Le cobaye marche sur un tapis roulant ; autour de lui des spots vont permettre de définir précisément l'éclairage. En photographiant le personnage sous de multiples éclairages prédéfinis, on en déduit son apparence pour un éclairage quelconque.
Le fond mat permet de récupérer la silhouette du personnage afin de faciliter l'incrustation dans une scène 3D.

Rendu final: Une représentation virtuelle du cobaye est insérée dans des scènes 3D ; on simule l'effet qu'aurait sur lui l'éclairage de la scène.

Capture du relief du visage

Il continue ensuite dans le domaine du rendu des visages humains en expliquant une nouvelle méthode de capture du relief d'un visage. En effet, les méthodes classiques ne sont pas satisfaisantes :

• Scanner un visage avec un laser ne permet pas d'avoir un résultat précis, car la peau comporte du subsurface scattering.
  Ce phénomène optique a lieu dans des matériaux tels que le lait, le marbre ou la peau : un rayon lumineux arrivant sur l'objet va être absorbé, diffusé dans le matériau et réémis un peu plus loin. C'est ce qui explique par exemple l'aspect d'une main ou d'une oreille vues à contre-jour.
  Pour le problème qui nous intéresse, le Subsurface Scattering va avoir tendance à faire diffuser le laser, qui va s'"étaler" sur la peau ; la mesure sera donc imprécise.
  D'autres méthodes utilisant la lumière (motif projeté sur le visage) ont le même problème : on ne récupère pas tous les détails.
• Une autre méthode serait de mouler le visage puis de scanner le moulage effectué dans un matériau sans subsurface scattering ; problème, un moulage aura tendance à écraser et déformer le visage...

Debevec propose de s'appuyer sur la réflexion spéculaire, celle qui donne un effet brillant aux objets (par exemple une pomme ou un front humain sans maquillage), par opposition à la réflexion diffuse (aspect mat). L'avantage de cette réflexion est qu'elle n'est pas sensible au subsurface scattering, contrairement à la réflexion diffuse ; elle permet en outre de souligner les détails de la texture du visage. C'est ce que montre Debevec dans la vidéo, photo d'Hillary Swank(!) à l'appui.

Cette étape va permettre de calculer relativement précisément les détails du visage tels que pores ou aspérités. On obtient donc une version haute résolution du visage, par l'intermédiaire d'une normal map. Enfin, on peut utiliser ce visage dans une application temps réel avec un éclairage quelconque ; le subsurface scattering sera simulé à l'aide des données acquises précédemment.

Visage haute résolution: une version 3D du visage a été affinée grâce aux informations fournies par la réflexion spéculaire.

Last, but not least...

Pour terminer son exposé, Debevec présente ses travaux les plus récents, qui portent sur des projections 3D d'objets, avec un effet d'hologramme. Le système comporte un miroir incliné tournant sur lui-même à grande vitesse, combiné à des projecteurs.

Pour en savoir plus

Paul Debevec a mis en ligne sur son site personnel de nombreuses publications, images et vidéos concernant ses travaux.
Les images illustrant cet article sont issues de ce site et des publications que l'on y trouve.

Si les explications données ici ne sont pas assez claires, n'hésitez pas à poser des questions !