Blog

Jun 17, 2023

El aprendizaje profundo permite la realidad

Utilizando inteligencia artificial, los científicos ahora pueden generar rápidamente hologramas 3D en color fotorrealistas incluso en un teléfono inteligente. Y según un nuevo estudio, esta nueva tecnología podría encontrar uso en virtual

Utilizando inteligencia artificial, los científicos ahora pueden generar rápidamente hologramas 3D en color fotorrealistas incluso en un teléfono inteligente. Y según un nuevo estudio, esta nueva tecnología podría usarse en auriculares de realidad virtual (VR) y realidad aumentada (AR) y otras aplicaciones.

Un holograma es una imagen que esencialmente se asemeja a una ventana 2D que mira a una escena 3D. Los píxeles de cada holograma dispersan ondas de luz que caen sobre ellos, haciendo que estas ondas interactúen entre sí de manera que generen una ilusión de profundidad.

Las pantallas de vídeo holográficas crean imágenes en 3D que las personas pueden ver sin cansar la vista, a diferencia de las pantallas 3D convencionales que producen la ilusión de profundidad utilizando imágenes en 2D. Sin embargo, aunque empresas como Samsung han avanzado recientemente hacia el desarrollo de hardware que pueda mostrar vídeo holográfico, sigue siendo un desafío importante generar los datos holográficos para que dichos dispositivos los muestren.

Cada holograma codifica una cantidad extraordinaria de datos para crear la ilusión de profundidad en toda la imagen. Como tal, generar vídeo holográfico a menudo ha requerido la potencia de cálculo de una supercomputadora.

Para llevar el video holográfico a las masas, los científicos han probado varias estrategias diferentes para reducir la cantidad de cálculo necesario; por ejemplo, reemplazando simulaciones físicas complejas con tablas de búsqueda simples. Sin embargo, esto suele tener como coste la calidad de la imagen.

Ahora, investigadores del MIT han desarrollado una nueva forma de producir hologramas casi instantáneamente: un método basado en aprendizaje profundo tan eficiente que puede generar hologramas en una computadora portátil en un abrir y cerrar de ojos. Detallaron sus hallazgos esta semana, que fueron financiados en parte por Sony, en línea en la revista Nature.

"Todo salió mágicamente, lo que realmente superó todas nuestras expectativas", dice el autor principal del estudio, Liang Shi, científico informático del MIT.

El uso de simulaciones físicas para holografía generada por computadora implica calcular la apariencia de muchos fragmentos de un holograma y luego combinarlos para obtener el holograma final, señala Shi. Usar tablas de búsqueda es como memorizar un conjunto de fragmentos de hologramas utilizados con frecuencia, pero esto sacrifica la precisión y aún requiere el paso de combinación, afirma.

En cierto modo, la holografía generada por computadora es un poco como descubrir cómo cortar un pastel, dice Shi. Usar simulaciones físicas para calcular la apariencia de cada punto en el espacio es un proceso que requiere mucho tiempo y que se asemeja al uso de ocho cortes precisos para producir ocho rebanadas de pastel. Usar tablas de búsqueda para holografía generada por computadora es como marcar el límite de cada corte antes de cortarlo. Aunque esto ahorra un poco de tiempo al eliminar el paso de calcular dónde cortar, realizar los ocho cortes todavía lleva mucho tiempo.

Por el contrario, la nueva técnica utiliza el aprendizaje profundo para esencialmente descubrir cómo cortar un pastel en ocho rebanadas usando solo tres cortes, dice Shi. La red neuronal convolucional, un sistema que imita aproximadamente cómo el cerebro humano procesa datos visuales, aprende atajos para generar un holograma completo sin necesidad de calcular por separado cómo aparece cada fragmento, "lo que reducirá las operaciones totales en órdenes de magnitud", dijo. dice.

Una visualización del cálculo de hologramas 3-D. (Izquierda) Un modelo 3-D. (Centro) Una imagen en color que incluye datos de profundidad. (Derecha) Una simulación de los patrones de luz dispersa que generan un holograma tridimensional. Imagen: MIT

Los investigadores primero construyeron una base de datos personalizada de 4.000 imágenes generadas por computadora, cada una de las cuales incluía información de color y profundidad para cada píxel. Esta base de datos también incluía un holograma 3D correspondiente a cada imagen.

Utilizando estos datos, la red neuronal convolucional aprendió cómo calcular la mejor manera de generar hologramas a partir de las imágenes. Luego podría producir nuevos hologramas a partir de imágenes con información de profundidad, que se proporciona con imágenes típicas generadas por computadora y se puede calcular a partir de una configuración de múltiples cámaras o de sensores lidar, ambos estándar en algunos iPhones nuevos.

El nuevo sistema requiere menos de 620 kilobytes de memoria y puede generar 60 hologramas 3D en color por segundo con una resolución de 1.920 por 1.080 píxeles en una única GPU de consumo. Los investigadores podrían ejecutarlo en un iPhone 11 Pro a una velocidad de 1,1 hologramas por segundo y en un Google Edge TPU a una velocidad de 2 hologramas por segundo, lo que sugiere que algún día podría generar hologramas en tiempo real en la futura realidad virtual (VR). ) y auriculares móviles de realidad aumentada (AR).

La holografía 3D en tiempo real también podría ayudar a mejorar las llamadas técnicas de impresión 3D volumétrica, que crean objetos 3D proyectando imágenes en cubas de líquido y pueden generar estructuras huecas complejas. Los científicos señalan que su técnica también podría usarse en pinzas ópticas y acústicas útiles para manipular materia a nivel microscópico, así como en microscopios holográficos que pueden analizar células y hologramas estáticos convencionales para su uso en arte, seguridad, almacenamiento de datos y otras aplicaciones.

Investigaciones futuras podrían agregar tecnología de seguimiento ocular para acelerar el sistema mediante la creación de hologramas de alta resolución sólo hacia donde miran los ojos, dice Shi. Otra dirección es generar hologramas teniendo en cuenta la agudeza visual de una persona, de modo que los usuarios con gafas no necesiten cascos de realidad virtual especiales que coincidan con su graduación ocular, añade.