Noticias

May 24, 2023

Usando modelo

Imagen de Compuscript Ltd: Procesos de generación y reconstrucción de hologramas 4K mediante 4K-DMDNet. ver más Crédito: OEA Una nueva publicación de Opto-Electronic Advances, 10.29026/oea.2023.220135

Compuscript Ltd.

Imagen: Procesos de generación y reconstrucción de hologramas 4K mediante 4K-DMDNet.ver más

Crédito: OEA

Una nueva publicación de Opto-Electronic Advances, 10.29026/oea.2023.220135, analiza el uso del aprendizaje profundo basado en modelos para lograr una visualización holográfica en color 4K de alta fidelidad.

En 2009, Avatar IMAX tridimensional (3D) arrasó en el mercado cinematográfico mundial. Unos años más tarde, el concierto 3D de Hatsune Miku atrajo la atención de todos los fans del anime. Y recientemente, los dispositivos para la cabeza AR/VR 3D condujeron a un desarrollo floreciente del metaverso. Cada avance en elpantalla 3Deste campo trae consigo preocupaciones sociales y beneficios económicos esenciales.

Para obtener experiencias visuales más realistas, la mayoría de las principales soluciones comerciales para visualización 3D se basan en los principios devisión binocular.

Sin embargo, a diferencia de la observación de objetos 3D reales, la profundidad del enfoque visual permanece sin cambios mientras el espectador lleva puesto el dispositivo para obtener información 3D. Este tipo deconflicto de acomodación de vergenciahace que el espectador sea susceptible a la fatiga visual y al vértigo, limitando las experiencias del usuario.

Elholografía generada por computadora (CGH) puede evitar la generación de conflictos de acomodación de vergencia desde el origen. Las configuraciones experimentales son simples y compactas. El CGH ha recibido una atención significativa por parte de la academia y la industria. Se considera la forma futura de visualización 3D.

En principio, CGH codifica el objeto 3D en un formato digital.holograma bidimensional (2D)Residencia encálculos difractivos. Y luego el holograma 2D se carga en un modulador de luz espacial (SLM) iluminado por ondas planas. La reconstrucción óptica del objeto 3D se obtiene a una distancia determinada. El CGH tiene aplicaciones potenciales en una amplia gama de pantallas 3D, como pantallas montadas en la cabeza, pantallas de visualización frontal y pantallas de proyección.

como generaralta velocidad y alta calidadLos hologramas 2D son un tema clave y una dirección de investigación esencial en este campo en la actualidad.

Recientemente, Hololab de la Universidad de Tsinghua propuso unaprendizaje profundo basado en modelosred neuronal, llamada4K-DMDNet . Realiza la generación de hologramas de alta velocidad y alta calidad y logracolor 4K de alta fidelidadpantallas holográficas.

Debido a las limitaciones de SLM, las distribuciones de amplitud compleja calculadas en el plano holográfico deben convertirse en hologramas de solo amplitud o hologramas de solo fase (POH). Entre ellos, el proceso de generación de POH suele ser un proceso mal planteado.problema inverso . Tiene el desafío de que la solución puede no ser única, estable o existente.

Eliterativo Los algoritmos pueden convertir el proceso de generación de POH en un problema de optimización. Se pueden obtener soluciones numéricas con buena convergencia. Sin embargo, los algoritmos enfrentan uncompensaciónentre velocidad computacional y calidad de reconstrucción.

El poderosoprocesamiento en paralelocapacidades deaprendizaje profundo han aportado mejoras revolucionarias en la resolución de problemas de optimización. También se han producido los profundos impactos del aprendizaje profundo en CGH.

El conjunto de datos de entrenamiento de objetos 3D y el conjunto de datos de holograma correspondiente se obtienen de antemano para que sirvan como entradas y salidas delred neuronal . La red neuronal está entrenada para aprender la relación de mapeo entre ellos. La red entrenada puede lograr una predicción rápida de las entradas de destino de visualización fuera del conjunto de datos de entrenamiento. Se espera quesimultáneamenteRealice una generación de hologramas de alta velocidad y alta calidad.

La idea de utilizar redes neuronales para la generación de hologramas fue propuesta por investigadores japoneses ya en 1998. Pero limitado por larendimiento de hardware y softwarede computadoras en ese momento, sólo se obtuvieron resultados preliminares.

Con las amplias aplicaciones deGPUyredes neuronales convolucionales (CNN) , el rendimiento actual del hardware y el software es más adecuado con las características matemáticas de CGH. El CGH basado en el aprendizaje ha experimentado rápidos avances.

En 2021, investigadores del MIT propusieron una red de holografía Tensor que permite latiempo realgeneración de hologramas 2K en teléfonos inteligentes.

Para obtener predicciones de red precisas, el conjunto de datos de entrenamiento y el conjunto de datos de holograma correspondiente necesitan unapérdida de tiempo proceso de generación. Además, como la red simplemente aprende el mapeo entre entradas y salidas, la calidad del conjunto de datos del hologramalimita el techode los resultados del entrenamiento.

Para superar las limitaciones anteriores debasado en datosaprendizaje profundo, esquemas de generación de hologramas basados ​​enimpulsado por modelosSe propone el aprendizaje profundo.

En lugar de generar el conjunto de datos del holograma por adelantado, la red se entrena utilizando elmodelo fisico avanzado del problema inverso como una restricción en el método basado en modelos. De este modo, la red puede aprender a codificar hologramas de forma autónoma, superando las limitaciones del tamaño y la calidad del conjunto de datos de hologramas.

Sin embargo, las redes de aprendizaje profundo basadas en modelos convencionales requierentransferir aprendizaje en los objetivos de visualización para lograr mejores actuaciones. El costo de tiempo adicional limita las aplicaciones prácticas del aprendizaje profundo basado en modelos.

El 4K-DMDNet propuesto en este trabajo utiliza un residualU-Net marco de red neuronal. ElModelo de difracción de Fresnel actúa como limitación para el proceso de formación. Es capaz de generar hologramas 4K de alta fidelidad.sin transferencia de aprendizaje.

En general, el rendimiento de predicción de la red está influenciado tanto por elCapacidad limitada de aprendizaje de la red.y elLimitaciones insuficientes en el proceso de formación..

Para abordar los desafíos de la capacidad de aprendizaje limitada, 4K-DMDNet presenta laconvolución de subpíxeles método. En la ruta de muestreo ascendente, el número de canales se expande cuatro veces mediante el uso de convoluciones y la expansión espacial se obtiene mediante la reproducción aleatoria de píxeles. El método de convolución de subpíxeles resuelve los desafíos de agregar una gran cantidad de parámetros cero para la expansión espacial en la convolución transpuesta tradicional. Aumenta los parámetros que se pueden aprender en la ruta de muestreo a cuatro veces el tamaño original sin cambiar el volumen general de datos. Mejora efectivamente la capacidad de aprendizaje de la red, lo que resulta en una mejora significativa en la nitidez y fidelidad de las reconstrucciones.

Para abordar los desafíos de las limitaciones insuficientes en el proceso de capacitación, 4K-DMDNet presenta elsobremuestreo operación en el modelo de difracción de Fresnel. La región de restricción en el dominio de la frecuencia se rellena con ceros para duplicar el tamaño en el proceso de cálculo. Según el mapeo entre el intervalo de muestreo espacial y el rango de frecuencia, las reconstrucciones cumplen con el teorema de muestreo de Nyquist-Shannon. Al reforzar las restricciones en el dominio de la frecuencia, se mejora la precisión del modelo de difracción.

Los investigadores han validado 4K-DMDNet con experimentos ópticos de imágenes binarias e imágenes en color. Las reconstrucciones ópticas muestran que 4K-DMDNet puede lograr elpantalla 4K de alta fidelidad, superando

Palabras clave: CHolografía generada por ordenador/aprendizaje profundo/red neuronal basada en modelos/convolución de subpíxeles/sobremuestreo

# # # # # #

Liangcai Cao recibió su licenciatura y maestría y su doctorado. títulos del Instituto de Tecnología de Harbin y la Universidad de Tsinghua, en 1999/2001 y 2005, respectivamente. Luego se convirtió en profesor asistente en el Departamento de Instrumentos de Precisión de la Universidad de Tsinghua. Actualmente es profesor titular y director del Instituto de Ingeniería Optoelectrónica de la Universidad de Tsinghua. Fue académico visitante en UC Santa Cruz y MIT en 2009 y 2014, respectivamente. Sus intereses de investigación son las imágenes holográficas y la visualización holográfica. Es becario SPIE y becario OPTICA.Página principal:http://www.holoddd.com.Código fuente:https://github.com/THUHoloLab/4K-DMDNet

# # # # # #

Opto-Electronic Advances (OEA) es una revista SCI mensual de alto impacto, acceso abierto y revisada por pares con un factor de impacto de 8,933 (Journal Citation Reports for IF2021). Desde su lanzamiento en marzo de 2018, la OEA ha estado indexada en las bases de datos SCI, EI, DOAJ, Scopus, CA e ICI a lo largo del tiempo y ha ampliado su consejo editorial a 36 miembros de 17 países y regiones (índice h promedio 49).

La revista es publicada por el Instituto de Óptica y Electrónica de la Academia de Ciencias de China y tiene como objetivo proporcionar una plataforma para que investigadores, académicos, profesionales, practicantes y estudiantes impartan y compartan conocimientos en forma de artículos de investigación empíricos y teóricos de alta calidad que cubren los temas de óptica, fotónica y optoelectrónica.

# # # # # #

Más información:http://www.oejournal.org/oea

Consejo editorial:http://www.oejournal.org/oea/editorialboard/list

Todos los números disponibles en el archivo en línea (http://www.oejournal.org/oea/archive).

Envíos aOEAse puede realizar utilizando ScholarOne (https://mc03.manuscriptcentral.com/oea).

ISSN:2096-4579

CN:51-1781/TN

Contáctenos:[email protected]

Gorjeo:@OptoElectronAdv (https://twitter.com/OptoElectronAdv?lang=en)

WeChat:OE_Diario

# # # # # #

Referencia del artículo Liu KX, Wu JC, He ZH, Cao LC. 4K-DMDNet: red basada en modelos de difracción para holografía 4K generada por computadora. Avanzado en optoelectrones6 , 220135 (2023). doi: 10.29026/oea.2023.220135

# # # # # #

10.29026/oea.2023.220135

Descargo de responsabilidad: AAAS y EurekAlert! ¡No somos responsables de la exactitud de los comunicados de prensa publicados en EurekAlert! por instituciones contribuyentes o para el uso de cualquier información a través del sistema EurekAlert.