NVIDIA transforma im谩genes individuales en modelos 3D

GANverse3D, un nuevo modelo de IA de NVIDIA, utiliza una red generativa antag贸nica para sintetizar im谩genes que representan el mismo objeto desde m煤ltiples 谩ngulos a partir de una 煤nica fotograf铆a.

NVIDIA Corp. anunci贸 durante el evento GTC 2021 una nueva aplicaci贸n de aprendizaje profundo que puede tomar una imagen 2D est谩ndar y transformarla en un modelo 3D extremadamente realista, que puede visualizarse y controlarse en un entorno virtual.

La aplicaci贸n GANverse3D, desarrollada en el Laboratorio de Investigaci贸n de Inteligencia Artificial de NVIDIA en Toronto, puede tomar una sola foto de un coche, por ejemplo, y transformarla en un modelo 3D completo con faros y luces traseras realistas que puede conducir por un mundo virtual.

La aplicaci贸n se construy贸 utilizando lo que se denomina una red generativa antag贸nica, o GAN, que puede sintetizar im谩genes que representan el mismo objeto desde m煤ltiples 谩ngulos, a partir de una 煤nica fotograf铆a. NVIDIA afirma que las im谩genes sintetizadas son tan precisas como las tomadas por un fot贸grafo que camina alrededor de un coche aparcado, haciendo m煤ltiples tomas desde distintos 谩ngulos. Las im谩genes sint茅ticas pueden introducirse en un marco de renderizado para gr谩ficos inversos, que es el proceso de inferir modelos de malla 3D a partir de im谩genes 2D.

NVIDIA mostr贸 un ejemplo del legendario coche de lucha contra el crimen KITT de “Knight Rider” (en la imagen), del que se import贸 una 煤nica foto como extensi贸n en la nueva herramienta de dise帽o y colaboraci贸n NVIDIA Omniverse, que se utiliza para simular objetos con calidad de imagen fotorrealista.

“Para recrear a KITT, los investigadores simplemente alimentaron el modelo entrenado con una imagen del coche, dejando que GANverse3D predijera una malla de textura 3D correspondiente, as铆 como diferentes partes del veh铆culo como las ruedas y los faros”, escribi贸 Isha Salian de NVIDIA en una entrada de blog. “A continuaci贸n, utilizaron las herramientas NVIDIA Omniverse Kit y NVIDIA PhysX para convertir la textura predicha en materiales de alta calidad que dieran a KITT un aspecto m谩s realista, y lo colocaron en una secuencia de conducci贸n din谩mica junto a otros coches”.

NVIDIA afirma que los modelos anteriores que transforman im谩genes 2D en modelos 3D, como ShapeNet, necesitan ser entrenados utilizando conjuntos de datos de formas 3D para conseguir los mismos resultados. La compa帽铆a, que ofrece GANverse3D como una extensi贸n en Omniverse, dijo que la aplicaci贸n ser谩 煤til para arquitectos, creadores, desarrolladores de juegos y dise帽adores que carecen de experiencia en el modelado 3D, d谩ndoles una manera f谩cil de a帽adir nuevos objetos a sus maquetas de dise帽o.

“Omniverse permite a los investigadores llevar una investigaci贸n emocionante y de vanguardia directamente a los creadores y usuarios finales”, dijo Jean-Francois Lafleche, ingeniero de aprendizaje profundo en NVIDIA. “Ofrecer GANverse3D como una extensi贸n en Omniverse ayudar谩 a los artistas a crear mundos virtuales m谩s ricos para el desarrollo de juegos, la planificaci贸n de ciudades o incluso el entrenamiento de nuevos modelos de aprendizaje autom谩tico.”

NVIDIA tiene previsto exponer la investigaci贸n en la que se basa GANverse3D en dos conferencias pr贸ximas: la International Conference on Learning Representations, en mayo, y la Conference on Computer Vision and Pattern Recognition, en junio.

Imagen: NVIDIA




Contacto | Diario TI es una publicaci贸n de MPA Publishing International Ltd.