NVIDIA Corp. anunció durante el evento GTC 2021 una nueva aplicación de aprendizaje profundo que puede tomar una imagen 2D estándar y transformarla en un modelo 3D extremadamente realista, que puede visualizarse y controlarse en un entorno virtual.
La aplicación GANverse3D, desarrollada en el Laboratorio de Investigación de Inteligencia Artificial de NVIDIA en Toronto, puede tomar una sola foto de un coche, por ejemplo, y transformarla en un modelo 3D completo con faros y luces traseras realistas que puede conducir por un mundo virtual.
La aplicación se construyó utilizando lo que se denomina una red generativa antagónica, o GAN, que puede sintetizar imágenes que representan el mismo objeto desde múltiples ángulos, a partir de una única fotografía. NVIDIA afirma que las imágenes sintetizadas son tan precisas como las tomadas por un fotógrafo que camina alrededor de un coche aparcado, haciendo múltiples tomas desde distintos ángulos. Las imágenes sintéticas pueden introducirse en un marco de renderizado para gráficos inversos, que es el proceso de inferir modelos de malla 3D a partir de imágenes 2D.
NVIDIA mostró un ejemplo del legendario coche de lucha contra el crimen KITT de “Knight Rider” (en la imagen), del que se importó una única foto como extensión en la nueva herramienta de diseño y colaboración NVIDIA Omniverse, que se utiliza para simular objetos con calidad de imagen fotorrealista.
“Para recrear a KITT, los investigadores simplemente alimentaron el modelo entrenado con una imagen del coche, dejando que GANverse3D predijera una malla de textura 3D correspondiente, así como diferentes partes del vehículo como las ruedas y los faros”, escribió Isha Salian de NVIDIA en una entrada de blog. “A continuación, utilizaron las herramientas NVIDIA Omniverse Kit y NVIDIA PhysX para convertir la textura predicha en materiales de alta calidad que dieran a KITT un aspecto más realista, y lo colocaron en una secuencia de conducción dinámica junto a otros coches”.
NVIDIA afirma que los modelos anteriores que transforman imágenes 2D en modelos 3D, como ShapeNet, necesitan ser entrenados utilizando conjuntos de datos de formas 3D para conseguir los mismos resultados. La compañía, que ofrece GANverse3D como una extensión en Omniverse, dijo que la aplicación será útil para arquitectos, creadores, desarrolladores de juegos y diseñadores que carecen de experiencia en el modelado 3D, dándoles una manera fácil de añadir nuevos objetos a sus maquetas de diseño.
“Omniverse permite a los investigadores llevar una investigación emocionante y de vanguardia directamente a los creadores y usuarios finales”, dijo Jean-Francois Lafleche, ingeniero de aprendizaje profundo en NVIDIA. “Ofrecer GANverse3D como una extensión en Omniverse ayudará a los artistas a crear mundos virtuales más ricos para el desarrollo de juegos, la planificación de ciudades o incluso el entrenamiento de nuevos modelos de aprendizaje automático.”
NVIDIA tiene previsto exponer la investigación en la que se basa GANverse3D en dos conferencias próximas: la International Conference on Learning Representations, en mayo, y la Conference on Computer Vision and Pattern Recognition, en junio.
Imagen: NVIDIA
