Trouvé via le site hdrlabs, centré sur l'actu des images HDR (que ce soit pour des applications 2D ou 3D), une intervention de Paul Debevec, le "père" de cette technologie née à la fin des années 90 et qui a bouleversé le monde de l'éclairage réaliste en 3D.

Ceux qui comprennent mal l'anglais ou qui sont novices en 3D peuvent lire en premier le texte situé après la vidéo, dans lequel j'essaie de donner quelques explications.... plus ou moins limpides.

HDRI, éclairage réaliste

Pour rappel, les images HDR sont des images à grande plage dynamique ; concrètement, cela veut dire qu'elles ont pour but de pouvoir enregistrer dans une même image des intensités à la fois très faibles et très fortes : à l'inverse des photos classiques, qui peuvent avoir des zones sous exposées ou surexposées, une image HDR enregistrera toute l'information.
En 3D, on peut utiliser ce type d'image pour éclairer une scène virtuelle avec un environnement lumineux réaliste : on convertit une image panoramique HDR en un ensemble de source lumineuse, un peu comme si l'on recréait l'ambiance lumineuse de la scène réelle avec des spots colorés. Vous pouvez lire à ce sujet la page de ce site consacrée à l'Image based lightning.

C'est justement ce dont parle Paul Debevec dans un premier temps. En partant des scènes développées dans le cadre de ses travaux de recherche, il explique les techniques sous-jacentes.

Eclairage réaliste sur un humain en mouvement

Dans une seconde partie il se penche sur la façon dont on peut capturer les effets de la lumière sur un être humain afin de pouvoir s'en servir dans des scènes virtuelles : si on sait comment les éclairages du spot x ou du spot y agissent sur le modèle, on en déduit par exemple l'image que donnerait ce modèle éclairé de x et y en même temps.

Installation de Debevec: Le cobaye marche sur un tapis roulant ; autour de lui des spots vont permettre de définir précisément l'éclairage. En photographiant le personnage sous de multiples éclairages prédéfinis, on en déduit son apparence pour un éclairage quelconque.
Le fond mat permet de récupérer la silhouette du personnage afin de faciliter l'incrustation dans une scène 3D.

Rendu final: Une représentation virtuelle du cobaye est insérée dans des scènes 3D ; on simule l'effet qu'aurait sur lui l'éclairage de la scène.

Capture du relief du visage

Il continue ensuite dans le domaine du rendu des visages humains en expliquant une nouvelle méthode de capture du relief d'un visage. En effet, les méthodes classiques ne sont pas satisfaisantes :

• Scanner un visage avec un laser ne permet pas d'avoir un résultat précis, car la peau comporte du subsurface scattering.
  Ce phénomène optique a lieu dans des matériaux tels que le lait, le marbre ou la peau : un rayon lumineux arrivant sur l'objet va être absorbé, diffusé dans le matériau et réémis un peu plus loin. C'est ce qui explique par exemple l'aspect d'une main ou d'une oreille vues à contre-jour.
  Pour le problème qui nous intéresse, le Subsurface Scattering va avoir tendance à faire diffuser le laser, qui va s'"étaler" sur la peau ; la mesure sera donc imprécise.
  D'autres méthodes utilisant la lumière (motif projeté sur le visage) ont le même problème : on ne récupère pas tous les détails.
• Une autre méthode serait de mouler le visage puis de scanner le moulage effectué dans un matériau sans subsurface scattering ; problème, un moulage aura tendance à écraser et déformer le visage...

Debevec propose de s'appuyer sur la réflexion spéculaire, celle qui donne un effet brillant aux objets (par exemple une pomme ou un front humain sans maquillage), par opposition à la réflexion diffuse (aspect mat). L'avantage de cette réflexion est qu'elle n'est pas sensible au subsurface scattering, contrairement à la réflexion diffuse ; elle permet en outre de souligner les détails de la texture du visage. C'est ce que montre Debevec dans la vidéo, photo d'Hillary Swank(!) à l'appui.

Cette étape va permettre de calculer relativement précisément les détails du visage tels que pores ou aspérités. On obtient donc une version haute résolution du visage, par l'intermédiaire d'une normal map. Enfin, on peut utiliser ce visage dans une application temps réel avec un éclairage quelconque ; le subsurface scattering sera simulé à l'aide des données acquises précédemment.

Visage haute résolution: une version 3D du visage a été affinée grâce aux informations fournies par la réflexion spéculaire.

Last, but not least...

Pour terminer son exposé, Debevec présente ses travaux les plus récents, qui portent sur des projections 3D d'objets, avec un effet d'hologramme. Le système comporte un miroir incliné tournant sur lui-même à grande vitesse, combiné à des projecteurs.

Pour en savoir plus

Paul Debevec a mis en ligne sur son site personnel de nombreuses publications, images et vidéos concernant ses travaux.
Les images illustrant cet article sont issues de ce site et des publications que l'on y trouve.

Si les explications données ici ne sont pas assez claires, n'hésitez pas à poser des questions !