Point-E, nouvel outil d’Open AI, permet de générer des images en 3D au moyen d’une simple requête textuelle. Les œuvres sont produites à partir de nuages de points.
Des productions simples sont générées en quelques minutes.
© Capture Point-E
Des productions simples sont générées en quelques minutes.
© Capture Point-E
ChatGPT, DALL-E et maintenant Point-E. OpenAI ne cesse de développer des outils en ligne basés sur l’intelligence artificielle. L’organisation fondée par Elon Musk a présenté, mardi 20 décembre 2022, son nouvel outil visant à générer des images en trois dimensions à l’aide d’un simple texte.
Habituellement, produire une image de synthèse en 3D demande une puissance de calcul importante et de longues heures de rendu. Avec l’outil développé par OpenAI, il est possible de créer une image en une ou deux minutes avec un seul GPU (unité de traitement graphique). Pour générer une œuvre, une simple phrase en langage naturel est suffisante. Les modèles de Point-E et le code viennent d’être publiés sur le dépôt Github d’OpenAI.
Pour générer fissa une image, Point-E va en réalité produire une vue synthétique du concept à créer. Un nuage de points alignés en fonction de la demande de l’utilisateur sera produit, livrant un visuel global de l’objet demandé. “Notre méthode génère d’abord une vue synthétique unique à l’aide d’un modèle de diffusion texte-image, puis produit un nuage de points 3D à l’aide d’un second modèle de diffusion qui conditionne l’image générée”, détaille OpenAI.
Les différentes étapes qui conduisent à la création d’une image 3D.
© Capture OpenAI
Les différentes étapes qui conduisent à la création d’une image 3D.
© Capture OpenAI
Pour produire une correspondance image/texte correcte, le modèle texte-image de Point-E a été entraîné en deep learning sur “un large corpus de paires (texte, image)”. Le modèle image/3D est quant à lui basé sur un plus petit ensemble de données de paires, expliquent les chercheurs. La génération d’image 3D en quelques minutes est une véritable innovation qui pourrait intéresser de nombreux secteurs. Une adaptation en vidéo de Point-E pour produire des effets, des objets ou encore des personnages en 3D est même possible.
Actuellement le modèle d’OpenAI se base sur des rendus synthétiques et n’autorise pas une qualité optimale. “En outre, si notre méthode produit des formes tridimensionnelles colorées, elle le fait à une résolution relativement faible dans un format 3D (nuages de points) qui ne capture pas les formes ou les textures fines”, rappellent les chercheurs.
Plusieurs créations générées avec Point-E.
© Point-E / Github
Plusieurs créations générées avec Point-E.
© Point-E / Github
Par ailleurs, les images 3D générées par Point-E pourraient permettre de fabriquer des objets dans le monde réel au moyen d’une imprimante 3D. Créer virtuellement un objet 3D dangereux pourrait alors ouvrir la possibilité à une impression de ce dernier, alertent les spécialistes. On imagine par exemple la génération d’une arme en 3D par une simple commande textuelle sur le modèle.
De son côté, OpenAI espère que son approche “pourra servir de point de départ pour des travaux ultérieurs dans le domaine de la synthèse en 3D”.
Une piste à explorer, des indices à découvrir et une énigme à résoudre… Voici comment participer au jeu-concours Boulanger et tenter de…
Suivez-nous
