La tecnología para construir la holocubierta

Cuando visité recientemente a mi anciana madre en Alemania, me di cuenta de que podría ser una de las últimas veces que la vería en la pequeña y acogedora casa que ha llamado hogar durante más de dos décadas. Entonces hice lo que cualquiera haría: saqué mi teléfono y tomé muchas fotos del lugar para preservar tantos recuerdos como fuera posible: la cálida chimenea; los estantes llenos de libros familiares; el viejo y desvencijado banco de jardín que todo el mundo firmó durante una celebración especial de cumpleaños hace muchos años.

Luego, intenté algo más. abrí Scaniverseuna aplicación de escáner 3D de Pokémon Ir fabricante Niantic, y capturé algunas de esas cosas como objetos 3D, agachándome y caminando de puntillas mientras movía lentamente mi teléfono para registrar cada ángulo y centímetro. Los resultados fueron un poco imperfectos en los bordes, pero aun así se sintieron profundos. Cuando abrí los escaneos más tarde, tanto en mi teléfono como con un visor de realidad virtual, pude mirar ese banco de jardín desgastado desde todos los ángulos, como si estuviera parado justo frente a él. La experiencia me conmovió emocionalmente de una manera para la que no estaba preparado.

Esa experiencia fue posible gracias a la dispersión gaussiana, un novedoso método de captura 3D que se inventó hace menos de dos años y que ya está arrasando en la industria tecnológica. Tanto Niantic como Google lo están utilizando para desarrollar sus respectivos productos cartográficos; Snap ha agregado soporte para símbolos, que es como se llaman coloquialmente los objetos capturados con símbolos gaussianos, a su plataforma de desarrollo Lens Studio, y Meta quiere usar símbolos gaussianos para crear un metaverso que se parezca al mundo real.

Las empresas de tecnología están enamoradas de la dispersión gaussiana por su capacidad para capturar de forma fotorrealista y luego recrear digitalmente objetos tridimensionales. Pronto podría permitir que cualquiera escanee habitaciones enteras y cambie la forma en que los creativos de Hollywood y más allá graban videos en 3D. Cuando se combina con la IA generativa, tiene el potencial no sólo de preservar los espacios existentes sino también de transportarnos a mundos 3D completamente nuevos.

“Es un gran cambio de juego”, dijo el inversor y experto en AR/VR Tipatat Chennavasin. Como cofundador y socio general de la Fondo de realidad de riesgoChennavasin tiene un interés financiero en el éxito de esta tecnología. Como geek y ex artista 3D, se ha enamorado de él, comparándolo con el viaje a las estrellas holodeck, que permitió a los miembros de la tripulación ingresar a simulaciones holográficas en 3D de espacios reales e imaginarios. “Estamos empezando a llegar a una holocubierta fotorrealista”.

Capturar objetos en 3D, incluso en tu teléfono, no es algo nuevo. Sin embargo, la mayoría de los esfuerzos anteriores se basaban en polígonos, el tipo de mallas triangulares de aspecto ciberpunk que has visto si alguna vez has usado una aplicación móvil de RA.

La captura y reconstrucción 3D basada en mallas poligonales es lo suficientemente buena para objetos básicos con superficies planas, pero puede tener problemas con texturas detalladas e iluminación compleja. Los objetos capturados de esta manera a menudo parecen pegajosos e irreales, y los humanos capturados en 3D siempre parecen haber usado demasiado gel en lugar de tener mechones de cabello individuales. “Era prometedor en ese momento, pero siempre tuvo enormes limitaciones”, dijo Chennavasin.

Todo eso cambió en el verano de 2023, cuando un grupo de científicos europeos publicó un artículo sobre algo que llamaron “salpicadura gaussiana 3D”. Su enfoque al problema fue deshacerse de las mallas y en su lugar capturar objetos 3D como una colección de manchas translúcidas y borrosas, también conocidas como gaussianas.

Cada una de estas manchas se captura con información exacta sobre su color, ubicación, escala, rotación y nivel de transparencia, y cuando combinas millones de ellas, obtienes una imagen mucho más detallada de un objeto 3D que también detalla cómo se ve desde cualquier ángulo dado, gracias a todos estos datos adicionales. Utilizando el aprendizaje automático, pudieron capturar objetos con mucho más detalle, con mayor fidelidad y renderizarlos en tiempo real sin la necesidad de pesados ​​equipos de renderizado de gráficos.

Los expertos en el campo quedaron inmediatamente impresionados por los resultados. “Finalmente tenemos la oportunidad de tener un verdadero 3D que sea fotorrealista”, dijo Chennavasin. “Es el momento JPEG para la computación espacial”.

Brian McClendon, vicepresidente senior de ingeniería de Niantic, cree que los símbolos gaussianos son el avance más profundo en el campo de los gráficos 3D en más de 30 años. “Lo vemos como un cambio fundamental”, dijo.

Según McClendon, la dispersión gaussiana democratizará la captura 3D, y Niantic quiere estar a la vanguardia de este cambio. Después de adquirir la aplicación Scaniverse en 2021Niantic agregó el splatting gaussiano como tecnología de captura el año pasado. En agosto lanzó una nueva versión de Scaniverse que pone las salpicaduras al frente y al centro. En octubre, la empresa de código abierto su propio formato de archivo para símbolos. Y en diciembre, Scaniverse se expandió a la realidad virtual, permitiendo a los usuarios ver símbolos gaussianos. en los auriculares Meta's Quest.

Niantic tiene sus propias razones para impulsar el splatting. Scaniverse comenzó como una aplicación para capturar recuerdos personales y otros objetos individuales, pero Niantic ahora anima a las personas a escanear también estatuas, fuentes y otros puntos de interés públicos. La empresa considera que estos escaneos son componentes clave del Mapa 3D del mundo que está construyendo. – el mismo mapa que impulsa Pokémon Ir, Peridotoy futuros juegos y experiencias de AR geoespaciales. “Estamos muy concentrados en el mapa, en escanear y reconstruir el exterior”, dijo McClendon.

“Ya tenemos cientos de miles de estos (tipos de escaneos) en Scaniverse en este momento”, dijo McClendon. “Con suerte, llegaremos pronto al millón”.

Los símbolos gaussianos no sirven sólo para capturar contenido estático. Inicio de visión por computadora <a target="_blank" href="https://www.gracia.ai/”>Gracia IA ha estado utilizando la tecnología para grabar videos volumétricos en 3D, que se pueden ver en los auriculares Meta Quest. uno de esos clips <a target="_blank" href="https://store.gracia.ai/creator/Gracia%20Labs/7baad2b9-a8b6-42f0-871b-056adcf51273″>muestra un chef preparando una comida, y los espectadores pueden ver la acción desde todos los ángulos en realidad virtual e incluso acercarse para observar su cuchillo cortando un trozo reluciente de salmón crudo.

Gracia grabó este vídeo en un estudio de captura 3D profesional, utilizando un conjunto de 40 cámaras apuntando al chef desde todos los ángulos. Así es como los profesionales han estado grabando contenido holográfico para experiencias de AR y VR durante años, pero una vez más, la transición de polígonos a símbolos gaussianos marca la diferencia.

Anteriormente, la captura de video en 3D presentaba una serie de desafíos visuales que conducían a códigos de vestimenta estrictos para las personas capturadas: nada de patrones recargados, nada translúcido, nada suelto y colgante que pudiera resultar en artefactos extraños. Cuando Microsoft capturó a David Attenborough de esta manera hace varios años, incluso tuvo que pegarle el cuello a la camisa y use cantidades obscenas de laca para el cabello para evitar literalmente cualquier cabo suelto que pueda arruinar el proceso de captura.

Con los símbolos gaussianos, todas esas limitaciones desaparecen. “No hay restricciones con la ropa, no hay restricciones con el cabello”, dijo el cofundador y director ejecutivo de Gracia, Georgii Vysotskii, quien cuenta con el Venture Reality Fund de Chennavasin entre los inversores de su empresa. Mientras que la captura de vídeo volumétrico de la generación anterior requería cantidades cegadoras de luz para eliminar las sombras, Gracia ha podido grabar escenas en una oscuridad casi total. “Puedes dejar todas las sombras y utilizar iluminación artística”, dijo Vysotskii. “Es sorprendente cuánta flexibilidad creativa se obtiene con los símbolos gaussianos”.

Eso no quiere decir que todavía no haya desafíos. Por el momento, los clips de salpicaduras gaussianas todavía requieren 9 GB de datos por minuto de vídeo, demasiado para la transmisión por secuencias o para cualquier otra cosa más allá de una breve demostración técnica. Vysotskii dijo que la compañía ahora está trabajando para reducirlo a 2 a 3 GB por minuto, y los videos de realidad virtual volumétricos de 180 grados podrían requerir tan solo 1 GB de datos por minuto. Él imagina que este tipo de clips eventualmente reemplazarán las grabaciones de los instructores en aplicaciones de entrenamiento de realidad virtual como Supernatural o contenido educativo profesional porque permiten a los usuarios ver las instrucciones desde todos los ángulos.

Meta ha construido una de las demostraciones más ambiciosas de símbolos gaussianos hasta la fecha. Hiperpaisajeque la compañía presentó en su conferencia Meta Connect este otoño, es una aplicación para los auriculares Meta's Quest que permite a los usuarios explorar representaciones fotorrealistas en 3D. La aplicación se lanzó con seis espacios escaneados, incluidos cinco estudios de artistas y una sala de conferencias en el campus de Meta que alguna vez sirvió como oficina de Mark Zuckerberg.

Hyperscape te permite moverte libremente en estos espacios, lo cual es una experiencia fascinante con este tipo de fidelidad visual. Puedes explorar las muchas rarezas en el estudio de San Francisco de la artista de medios mixtos Dianne Hoffman, que incluye innumerables muñecas y una caja con la etiqueta “piel de serpiente y conchas”. Podrá maravillarse con la extensa colección Porsche del artista visual Daniel Arsham e incluso contemplar los helechos y los árboles fuera de la ventana de la antigua oficina de Zuck. Las representaciones parecen tan reales que Meta se sintió obligado a incluir una advertencia para no apoyarse en ninguno de los muebles representados.

Por el momento, Hyperscape no es mucho más que una demostración tecnológica personalizada. Sin embargo, Meta tiene grandes planes para los símbolos gaussianos, como me dijeron Mark Rabkin, vicepresidente de Meta Horizon OS y Quest, en Meta Connect este otoño. “Los símbolos gaussianos ya se están ejecutando para nosotros en un motor que es más o menos el motor Horizon”, dijo Rabkin, refiriéndose a la plataforma social de realidad virtual de Meta. “Así que, tecnológicamente, el camino para lograr que funcione en un mundo es bastante corto”.

Meta visualiza los splats como una herramienta más para que los creadores de realidad virtual construyan mundos y experiencias inmersivos para Mundos horizonte. La compañía incluso tiene planes de permitir eventualmente que cualquiera escanee su propia casa y luego cargue una copia digital de la misma en el metaverso. “Definitivamente”, dijo Rabkin. “Para eso estamos trabajando”.

No está claro cuánto tiempo llevará ese trabajo y si Mundos horizonte sobrevivirá en su forma actual hasta entonces es otra cuestión completamente diferente. Meta se negó a participar en entrevistas de seguimiento para esta historia, pero McClendon de Niantic advirtió que no se debe subestimar la complejidad de crear una herramienta de escaneo como Hyperscape.

“Básicamente han producido una vista perfecta”, dijo McClendon. Meta probablemente combinó múltiples escaneos para cada habitación y probablemente también realizó una buena cantidad de edición y limpieza manual, sugirió. Y dado que los escaneos resultantes son demasiado grandes para procesarlos en tiempo real en un dispositivo, Meta los renderiza en la nube y los transmite directamente a los auriculares.

“Eso no escala, pero se ve muy bien”, dijo McClendon. “¿Tienen un camino para escalar eso? No sé.”

El desarrollo de la tecnología de salpicaduras gaussianas avanza a un ritmo rápido. McClendon me dijo que la velocidad a la que aparecen nuevos artículos científicos sobre el tema refleja la de la investigación de IA generativa. “Ahora mismo los artículos se publican muy rápido”, afirmó. “La emoción es real”. Y la tecnología que están desarrollando se está implementando rápidamente, afirmó Chennavasin. “O convertirse en nuevas empresas”.

Una de las áreas propicias para un gran avance es la combinación de símbolos e inteligencia artificial. La IA generativa podría mejorar la captura y renderizado de símbolos gaussianos, lo que podría permitir que una empresa como Gracia ai capture videos con muchas menos cámaras. Al mismo tiempo, muchas más personas que capturen objetos y escenas en 3D también aumentarán drásticamente la cantidad de datos de entrenamiento de alta calidad para modelos de video generativos en 3D.

Todo esto apunta hacia un futuro en el que la gente común podrá generar espacios 3D fotorrealistas con indicaciones de IA, capturas de símbolos gaussianos o una combinación de ambas, y luego ingresar a esos espacios con cascos de realidad virtual o gafas de realidad aumentada.

“La excelente aplicación de XR es una holocubierta multijugador”, dijo Chennavasin. “La IA generativa y los símbolos gaussianos es la forma en que los creamos con una fidelidad visual que es casi indistinguible de la realidad. No sucederá de la noche a la mañana. Pero ahora es una posibilidad clara”.

Un futuro así al alcance de la mano plantea la pregunta: si tuvieras una holocubierta, ¿qué visitarías primero? ¿Representaciones fotorrealistas de lugares lejanos a los que aún no has tenido la oportunidad de viajar? ¿Estudios de grabación, museos o bibliotecas famosos? ¿O, mejor dicho, mundos fantásticos como castillos medievales, mazmorras o decorados de películas de Marvel?

Para mí, puede que sea simplemente la acogedora casita de mi madre y ese desvencijado banco del jardín.