NVIDIA replantea los fundamentos gráficos de la Internet en 3D

USD es un formato que, según la empresa, será la base de la Internet en 3D, al igual que HTML lo fue para la Internet en 2D.

NVIDIA está a la vanguardia de una creciente transformación gráfica y está utilizando tres grandes motores para impulsarla. El primero es Omniverse Avatar Cloud Engine (ACE), un conjunto de modelos y servicios de IA nativos en la nube para simplificar la creación y personalización de asistentes virtuales y humanos digitales de gran realismo, que permitirá a los usuarios crear gráficos 3D realistas con la ayuda de la IA. El segundo motor es Universal Scene Description (USD), una plataforma colaborativa para crear mundos virtuales y gemelos digitales. El tercer y último motor es NVIDIA Omniverse, la plataforma de computación para crear mundos virtuales y gemelos digitales. La combinación de estas tres iniciativas por parte de NVIDIA sin duda provocará un profundo cambio en la industria del diseño gráfico.

En su intento por convertir Internet de modo 2D en un entorno 3D interactivo, NVIDIA está introduciendo importantes modificaciones en la tecnología de gráficos. Algunas de las tecnologías que se están desarrollando en los laboratorios de NVIDIA tienen como objetivo sentar una nueva base para crear, renderizar y manipular gráficos y vídeos en 3D, así como para distribuir ese contenido a los dispositivos. Estas tecnologías, que combinan la inteligencia artificial con el procesamiento de vídeo e imágenes, se proponen como la base de una nueva generación de herramientas gráficas 3D.

NVIDIA presentó más de una docena de ponencias en la reciente conferencia SIGGRAPH de Vancouver (Canadá) para profundizar en algunos de esos conceptos.

La empresa clasifica sus últimos avances en gráfica 3D como “gráficos neuronales”, un nombre que ha desarrollado para incorporar la IA como componente fundamental en el flujo de trabajo de los gráficos. La firma dispone actualmente de tecnologías de IA como DLSS (Deep Learning Super Sampling), una herramienta de trazado de rayos que mejora los efectos visuales en tiempo real.

La empresa prevé la producción, mejora y creación de imágenes en tiempo real para mundos virtuales en 3D, incluyendo una buena dosis de IA para obtener mejores resultados. Cuando los elementos visuales, como las fotos del mundo real, se envíen a la nube, las computadoras de escritorio podrían proporcionar la capa inicial de mejoras. La tecnología de IA en la nube o en los centros de datos será utilizada por los proveedores de servicios en línea para mejorar aún más esos gráficos.

NVIDIA también está trabajando para minimizar el tamaño de los archivos con el fin de incluir más datos de imágenes 3D, reduciendo la sobrecarga y el tiempo necesario para analizar los datos gráficos. Cabe señalar que todo el procesamiento de las propuestas de gráficos 3D basados en IA debe pasar por las GPU de NVIDIA, que tienen los mecanismos necesarios para esta aceleración.

Las propuestas de NVIDIA abordan algunos de los problemas asociados a la incorporación de la IA en el flujo de trabajo actual de los gráficos 2D. El escalado de imágenes 2D basado en IA de empresas como Topaz Labs está ganando popularidad debido a su sencilla interfaz de usuario, en la que los usuarios envían el vídeo y la IA se encarga del resto.

Sin embargo, los intentos más flexibles de eliminación de ruido y escalado de gráficos requieren conocimientos de redes neuronales, conjuntos de datos de vídeo y scripts. Además, se necesitan GPU de alta gama, lo que puede ser costoso para los PC. El Google Video2X Colab Notebook permite acceder a las GPU basadas en la nube para el escalado de vídeo, pero no es tan sencillo como descargar un archivo. El servicio Launchpad de NVIDIA da acceso a sus GPU basadas en la nube, aunque está dirigido principalmente a usuarios corporativos.

El pipeline de gráficos neurales de NVIDIA comprende el enrutamiento de los componentes 2D de los gráficos, como la animación o la iluminación, a través de los núcleos de la GPU dedicados a los shaders, el trazado de rayos y la IA, lo que ayuda a la creación de las escenas 3D. A continuación, la imagen o el vídeo en 3D pueden mejorarse con herramientas como DLSS.

NVIDIA abordó en SIGGRAPH la cuestión de la creación de contenidos para entornos virtuales. Para generar imágenes se pueden utilizar fotos 2D o 3D del mundo real que se pueden reconstruir en un mundo 3D. Las herramientas para ello ya existen, pero son bastante pesadas para los artistas e incluyen varias herramientas diferentes.

La empresa está conectando sus herramientas de producción de contenidos en 3D con el metaverso, un reino animado paralelo que refleja la realidad. En este sentido, la empresa afirmó que la IA es fundamental para la producción de contenidos 3D, sobre todo para el metaverso, porque actualmente no hay suficientes especialistas para suministrar todo el contenido necesario para éste.

NVIDIA también demostró un sistema de aprendizaje por refuerzo para automatizar la generación de avatares virtuales que aprenden a caminar en un entorno recreado de forma realista mediante el análisis de datos de movimiento humano.

El metaverso cobrará vida con asistentes virtuales, avatares con los que interactuamos con la misma naturalidad que al hablar con otra persona. Trabajarán en fábricas digitales, participarán en juegos en línea y prestarán servicios de atención al cliente a los comercios electrónicos.

“Habrá miles de millones de avatares”, dijo en SIGGRAPH Jensen Huang, CEO de NVIDIA, quien los calificó como “uno de los tipos de robots más utilizados” que se diseñarán, entrenarán y manejarán en Omniverse. Según explicó, los humanos digitales y los avatares requieren procesamiento de lenguaje natural, visión artificial, complejas animaciones faciales y corporales y mucho más. Para moverse y hablar de forma realista, este conjunto de complejas tecnologías debe estar sincronizado al milisegundo. Es un trabajo arduo que NVIDIA pretende simplificar y acelerar con Omniverse Avatar Cloud Engine. ACE es una colección de modelos y servicios de IA que se basan en el trabajo de NVIDIA y que abarcan desde la IA conversacional hasta herramientas de animación como Audio2Face y Audio2Emotion.

Paralelamente, NVIDIA está creando un conjunto de tecnologías estándar para suministrar rápidamente imágenes 3D a los auriculares reduciendo el tamaño de los archivos. Para mostrar el almacenamiento volumétrico, NVIDIA está promocionando NeuralVDB, una versión para el mundo de la IA y el 3D de OpenVDB, un estándar del sector nominado a los premios de la Academia.

Para los conjuntos de datos de volumen disperso, la optimización de la IA y la GPU mediante NeuralVDB disminuye la huella de memoria hasta cien veces. NeuralVDB disminuye drásticamente la huella de memoria utilizando el aprendizaje automático, lo que permite mostrar datos 3D con una resolución considerablemente mejor.

NVIDIA también ha intensificado su apuesta por USD, un formato de archivo que, según la empresa, será la base de la Internet en 3D, al igual que HTML lo fue para la Internet en 2D. El formato de archivo USD se desarrolló inicialmente en Pixar, pero NVIDIA lo está promocionando activamente para obtener una ventaja temprana en una competencia anticipada de formatos de archivo metaverso. Muchas organizaciones ya generan material en 3D utilizando el formato glTF, respaldado por Khronos Group, que ha sido apodado el “JPEG del cosmos 3D”.

Ilustración: fotograma, presentación de NVIDIA sobre SIGGRAPH.

Por Héctor Pizarro, Diario TI


Únase a la conversación

Contacto | Diario TI es una publicación de MPA Publishing International Ltd., Reino Unido. © Copyright 1997-2022