Non classé Archives

Vous êtes-vous déjà demandé à quoi ressemblerait le plus grands des espions anglais, interprété par Sean Connery, s’il était remplacé par Jean Dujardin ? Grâce à la technologie Eisko AI Face Replacement, nous avons pu rendre James Bond Français…

Pour fêter la sortie de notre service Eisko AI Face Replacement, nous allons vous dévoiler les coulisses de ce projet et vous expliquer comment nous avons réussi à créer un remplacement de visage d’une qualité inégalée à l’aide de nos outils et algorithmes propriétaires de deep learning.

Qu’est-ce que Eisko AI Face Replacement ?

Eisko AI Face Replacement est une technologie propriétaire de deep learning allant au-delà des deepfakes traditionnels. Elle permet une résolution encore jamais atteinte de 1024×1024 et utilise une méthode d’entraînement de modèle améliorée pour créer un face swap de pointe pour l’industrie du cinéma, du jeu vidéo et bien plus encore.
Notre équipe d’experts en machine learning a développé un protocole de capture de visage dans notre système de scan 3D pour préserver l’expressivité et la performance exacte de la personne reproduite.

Avec la magie de notre l’intelligence artificielle, nous pouvons reproduire des visages animés de haute qualité et même des vidéos compositées prêtes à l’emploi pour vos productions !

Remplacer le visage de Sean Connery par celui de Jean Dujardin

Pour ce projet, notre équipe a utilisé la technologie Eisko AI Face Replacement pour remplacer le visage de Sean Connery par celui de Jean Dujardin dans le célèbre film de James Bond, Dr. No. Nous avons commencé par créer un ensemble de données d’entraînement d’apprentissage automatique basé sur des photos existantes de Sean Connery et Jean Dujardin. Cet ensemble de données a permis à notre technologie d’apprendre les traits du visage et les expressions de chaque acteur, crucial pour créer un deepfake convaincant.
Une fois que nous avions l’ensemble de données, nous avons utilisé les outils propriétaires Eisko de deep learning pour créer le remplacement de visage. Notre technologie capture précisément l’expressivité de la performance de l’acteur et affecte le visage de toutes les conditions de lumière, d’action et d’occlusion pour un compositing homogène. Pour renforcer le réalisme du deepfake, notre équipe d’artistes a embelli le film de trois couches de compositing : uniformité du grain, équilibre des couleurs et équilibre des hautes lumières et des ombres.

Le résultat final? Un face swap de visage de haute qualité de Jean Dujardin en James Bond, indiscernable de la séquence originale. Grâce à la technologie de remplacement de visage par intelligence artificielle développée par Eisko, nous avons pu créer un remplacement de visage sans couture qui a capturé l’expressivité de Jean Dujardin en gardant la performance de Sean Connery intacte.

L’avenir du remplacement de visage

La technologie de remplacement de visage par IA d’Eisko ne se limite pas seulement aux échanges de visages dans les films et les jeux vidéo. Elle peut également être utilisée pour créer des doublures numériques pour les cascades ou pour ressusciter des personnes décédées. Avec la capacité de créer des visages animés de haute qualité ou des vidéos compositées prêtes à l’emploi, la technologie AI Face Replacement est un véritable game-changer pour l’industrie du divertissement.

Travaillons ensemble

La technologie Eisko AI Face Replacement est un outil révolutionnaire qui repousse les limites des deepfakes traditionnels. Avec une résolution de 1024×1024 et une méthode d’entraînement de modèle améliorée, elle permet des remplacements de visage de haute qualité qui capturent précisément l’expressivité et la performance de la personne émulée.

Le deepfake de Sean Connery/Jean Dujardin n’est que le début de ce qui est possible avec ce nouveau procédé, et nous sommes impatients de collaborer sur votre prochain projet.

Le monde des effets visuels, du cinéma, des jeux vidéo et de la publicité continue d’évoluer avec des contenus visuels toujours plus impressionnants, tout comme la technologie 3D utilisée pour les créer.

Le scan 3D est devenu un outil essentiel pour créer des doublures numériques réalistes de célébrités, qu’il s’agisse de scan 3D du corps ou de scan 3D du visage. Plus la technologie progresse, plus les possibilités de scan 3D sont nombreuses. De la photogrammétrie à la photométrie en passant par des systèmes hybrides, il existe une multitude d’options quant à la capture de scans 3D de doublures numériques d’acteurs pour la production AAA.

Dans cet article, nous allons explorer les deux technologies les plus en vogues – la photogrammétrie et la photométrie – et déterminer laquelle est la mieux adaptée aux différents besoins.

Le plus efficace pour le Scan 3D de corps : la photogrammétrie

Depuis quelques années, la photogrammétrie est une des technologies d’acquisition 3D les plus utilisées par les artistes 3D en raison de la précision offerte par la photographie dans la captation des détails. Pourtant, la photogrammétrie existe depuis… le XIXème siècle !

Elle a été développé pour la première fois par le photographe Français Aimé Laussedat qui a eu l’idée d’utiliser deux appareils photo placés à 90 degrés de part et d’autre de la surface d’un objet afin de photographier simultanément ses différentes faces (Laussedat & Chavigny) : le premier système de scan 3D.

La photogrammétrie consiste à prendre des photos avec des champs de vision se superposant, puis à utiliser des algorithmes logiciels qui mesurent des points sur chaque image avant de les reconstruire en un modèle 3D qui peut être manipulé ultérieurement en postproduction : ajout de textures, blendshapes, etc. Les scanners 3D photométriques sont devenus de plus en plus populaires parmi les professionnels des VFX, que ce soit pour le scan visage ou le scan corps.

Ces scanners d’humains 3D offrent des textures de haute résolution ainsi que des modèles 3D précis, pouvant s’intégrer dans des productions cinématographiques où le réalisme doit être atteint sans compromettre l’efficacité. Le scan 3D photométrique est également performant pour les objets de grandes tailles, en tant que scanner 3D de corps entier par exemple.

Le plus précis pour le visage et la tête : la photométrie

La photométrie est très appréciée comme scanner 3D visage car elle utilise des sources lumineuses placées à différents angles par rapport à l’acteur à scanner plutôt que des caméras seules comme le fait la photogrammétrie. On obtient ainsi des mesures plus précises car les ombres créées par ces lumières aident à définir la profondeur plus finement que ne le permettraient les seules images de la caméra – surtout si la surface à scanner contient des courbes ou des formes irrégulières (éléments souvent présents sur les visages humains).

Plus techniquement, la photométrie permet d’estimer les normales de surface d’un objet en le capturant sous différentes orientations lumineuses. Il s’agit de prendre plusieurs photos du même objet sous différents angles, puis d’utiliser la lumière et les ombres de chaque image pour calculer les normales de surface de l’objet dans l’espace 3D.

Un autre avantage de la numérisation 3D photométrique est qu’elle permet de capturer des informations sur la texture et la couleur de la surface, ce qui donne un aspect plus réaliste aux modèles 3D. Cela se traduit par une capture de textures PBR (Physically Based Rendering, rendu basée sur la physique) qui comprennent généralement une map de couleurs, une map de rugosité, une map métallique, une normal map et une carte d’occlusion ambiante.

Ces textures sont utilisées pour contrôler les propriétés visuelles d’un matériau, comme la façon dont il reflète la lumière et son aspect rugueux ou brillant.

Quelle technologie de scan 3D pour votre production ?

Pour choisir l’une ou l’autre technique, il faut d’abord tenir compte des exigences du projet. Avez-vous besoin d’un scan 3D de la tête, d’un scan 3D du visage ou d’un scan 3D du corps ? :

Si vous avez besoin d’un scan 3D rapide et précis, ou de scan 3D de corps entier, alors optez pour la photogammétrie.
A contrario, si vous avez vraiment besoin d’un scan 3D d’humain extrêmement fin et précis (comme un scan de visage), sous des conditions de lumière complexes, alors optez plutôt pour un système photométrique ou hybride – incorporant les deux technologies – mais gardez à l’esprit qu’ils ont tendance à être plus coûteux en raison de leur niveau de complexité.

Scan 3D de qualité cinéma à Paris : le solution Eisko

Eisko a développé plusieurs systèmes de scan 3D propriétaires afin de créer les meilleurs doublures numériques pour vos productions, qu’il s’agisse de scan 3D du corps ou du scan 3D tête et visage.

Notre scanner 3D de l’intégralité du corps va au-delà des normes du marché en combinant 120 caméras à une technologie photogrammétrique. Il permet des scans 3D rapides et précis d’acteurs, d’accessoires et d’objets, et permet d’obtenir des modèles 3D photo-réalistes.

Nous avons également déployé une technologie propriétaire pour le scan 3D de têtes et le scan 3D de visages offrant une précision géométrique sans biais et des textures PBR (physical based rendering) des matériaux physiques, pour le pré-calculé ou vos moteurs temps réels (Unreal Engine 5, Unity…).

En résumé, si vous avez besoin de la meilleure qualité de scan 3D à Paris ou dans le monde entier, rendez-vous chez Eisko.

Pour aller plus loin :

Nous contacter

Posts in category: Non classé

Comment nous avons remplacé le visage de James Bond avec Eisko AI Face Replacement