Le laboratoire de recherche en intelligence artificielle OpenAI a annoncé les détails de sa dernière technologie qui améliorera considérablement le rendu 3D. OpenAI est la société derrière le générateur de texte en image DALL-E, qui s'est maintenant concentré sur la traduction d'indices textuels en nuages de points 3D, qu'il appellera POINT-E.
Selon document, publié par OpenAI, POINT-E "crée des modèles 3D en seulement 1 à 2 minutes sur un seul GPU", par rapport à d'autres solutions existantes qui peuvent prendre des heures et nécessiter plusieurs GPU.
Un extrait du rapport détaille la place actuelle de POINT-E dans le monde de la modélisation 3D : "Bien que notre méthode ne soit toujours pas à la pointe de la technologie en termes de qualité d'échantillon, elle est d'un à deux ordres de grandeur plus rapide, offrant un compromis pratique pour certains cas d'utilisation."
Il fonctionne en créant une seule image de synthèse avec un modèle de diffusion texte-image. Un nuage de points 3D est alors généré, plus facile à synthétiser, réduisant la charge sur les GPU, bien qu'il ne capture pas les détails fins, ce qui est un compromis mentionné dans l'article.
Une IA secondaire a été formée pour atténuer certains de ces problèmes, mais le document explique qu'elle peut "parfois manquer des parties subtiles/éparses d'objets" telles que des tiges de plantes, créant l'illusion de fleurs flottantes.
OpenAI promet d'entraîner l'intelligence artificielle sur plusieurs millions de modèles 3D et leurs métadonnées, même si son champ d'application reste assez limité jusqu'à présent.
Un tel exemple est le rendu d'objets réels pour l'impression 3D, bien qu'à mesure que la technologie se développe et s'améliore, il est probable que nous la verrons utilisée dans des applications plus complexes telles que les jeux et même la télévision.
Projet open source disponible sur GitHub.
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.