El nuevo modelo de inteligencia artificial de NVIDIA crea rápidamente objetos y personajes para mundos virtuales

intenta aliviar el dolor de crear mundos virtuales en 3D con un nuevo modelo. GET3D puede crear personajes, edificios, vehículos y otros tipos de objetos 3D, dice NVIDIA. El modelo también debe ser capaz de formar formas rápidamente. La compañía dice que GET3D puede representar alrededor de 20 objetos por segundo usando una sola GPU.

Los investigadores entrenaron al modelo usando imágenes 2D sintéticas de formas 3D tomadas desde múltiples ángulos. NVIDIA dice que tomó solo dos días renderizar casi 1 millón de imágenes en GET3D usando GPU A100 Tensor Core.

El modelo puede crear objetos con «texturas de alta fidelidad y detalles geométricos complejos», Isha Salian de NVIDIA . Las formas producidas por GET3D tienen «la forma de una malla triangular, como un modelo de papel maché, cubierto con material texturizado», agregó Salyan.

Los usuarios deberían poder importar rápidamente objetos para editarlos en motores de juegos, modeladores 3D y procesamiento de películas, ya que GET3D los generará en formatos compatibles. Eso significa que puede ser mucho más fácil para los desarrolladores crear mundos virtuales densos para juegos y el metaverso. NVIDIA citó la robótica y la arquitectura como otros casos de uso.

Con base en una base de datos de capacitación de imágenes de automóviles, GET3D pudo producir sedanes, camiones, autos de carreras y camionetas, dijo la compañía. También puede escupir zorros, rinocerontes, caballos y osos después de entrenarlo con imágenes de animales. Como era de esperar, NVIDIA señala que cuanto más grande y diverso sea el conjunto de entrenamiento introducido en GET3D, «más diversa y detallada será la salida».

Con la ayuda de otra herramienta NVIDIA AI, , es posible aplicar diferentes estilos a un objeto con información sobre herramientas basada en texto. Puede aplicar un aspecto quemado a un automóvil, convertir una casa modelo en una casa encantada o, como sugiere el video que muestra la tecnología, aplicar rayas de tigre a cualquier animal.

El equipo de investigación de NVIDIA que creó GET3D cree que las futuras versiones podrían entrenarse con imágenes del mundo real en lugar de datos sintéticos. También es posible entrenar el modelo en diferentes tipos de formas 3D, en lugar de centrarse en una sola categoría de objetos en un momento dado.