Blog

Nov 26, 2023

Un sensor de imagen integrado para la aberración

Nature volumen 612, páginas 62–71 (2022)Cite este artículo 32k Accesos 21 Citas 54 Detalles de Altmetric Metrics Los sensores de imagen digitales planos facilitan amplias aplicaciones en una amplia gama de

Nature volumen 612, páginas 62–71 (2022)Cite este artículo

32k Accesos

21 citas

54 altmétrico

Detalles de métricas

Los sensores de imagen digitales planos facilitan amplias aplicaciones en una amplia gama de áreas1,2,3,4,5, y el número de píxeles ha aumentado rápidamente en los últimos años2,6. Sin embargo, el rendimiento práctico de los sistemas de imágenes está fundamentalmente limitado por aberraciones ópticas espacialmente no uniformes que se originan en lentes imperfectas o alteraciones ambientales7,8. Aquí proponemos un sensor de imágenes de campo de luz de escaneo integrado, denominado sensor de metaimagen, para lograr fotografías tridimensionales con corrección de aberraciones de alta velocidad para aplicaciones universales sin modificaciones de hardware adicionales. En lugar de detectar directamente una proyección de intensidad bidimensional, el sensor de metaimagen captura distribuciones de campo de luz tetradimensionales extrafinas a través de una matriz de microlentes codificadas por vibración, lo que permite una síntesis flexible y precisa de imágenes moduladas en campos complejos en el posprocesamiento. . Usando el sensor, logramos fotografías de alto rendimiento de hasta un gigapíxel con una sola lente esférica sin datos previos, lo que lleva a reducciones de órdenes de magnitud en la capacidad del sistema y los costos de imágenes ópticas. Incluso en presencia de turbulencias atmosféricas dinámicas, el sensor de metaimagen permite la corrección de aberraciones en múltiples sitios a lo largo de 1.000 segundos de arco en un telescopio terrestre de 80 centímetros sin reducir la velocidad de adquisición, allanando el camino para estudios sinópticos del cielo de alta resolución. Además, se pueden recuperar simultáneamente mapas de profundidad precisos de alta densidad, lo que facilita diversas aplicaciones, desde conducción autónoma hasta inspecciones industriales.

Los sensores de imágenes bidimensionales (2D) han revolucionado muchos campos, incluida la inspección industrial, los dispositivos móviles, la conducción autónoma1, la vigilancia2, el diagnóstico médico3, la biología4 y la astronomía5. Beneficiándose del rápido desarrollo de la industria de los semiconductores, el número de píxeles de los sensores digitales ha crecido rápidamente en la última década2,6. Sin embargo, el rendimiento práctico de la mayoría de los sistemas de imágenes ha llegado a un cuello de botella debido a la óptica en lugar de la electrónica. Por ejemplo, dado un sensor de gigapíxeles, el número de píxeles efectivos de un sistema de imágenes suele estar limitado al nivel de megapíxeles, debido a aberraciones ópticas originadas por lentes imperfectas o perturbaciones ambientales, que hacen que la luz emitida desde un punto se extienda sobre una gran región. en un sensor 2D7,8. Mientras tanto, la proyección de escenas tridimensionales (3D) a un plano 2D conlleva la pérdida de diversas libertades del campo luminoso, como la profundidad y la coherencia local. Como resultado, durante mucho tiempo ha sido un desafío obtener mapas de profundidad de alta densidad con un sensor integrado9.

Los expertos en ingeniería óptica han pasado cientos de años diseñando sistemas de imágenes perfectos para la corrección de aberraciones con múltiples lentes diseñadas con precisión en modo secuencial10. Sin embargo, la dificultad del diseño y la fabricación ópticos aumenta exponencialmente con el producto espacio-ancho de banda, que describe el número total de grados de libertad de un sistema óptico y establece un límite superior en el número de píxeles efectivos debido a los límites de difracción11. En este caso, los sistemas de imágenes incoherentes de alto rendimiento con productos de gran ancho de banda espacial efectivo suelen ser muy caros y voluminosos, como los telescopios de gran apertura12 y los mesoscopios13,14. Las lentes metálicas y las ópticas de forma libre pueden aliviar potencialmente este problema mediante la fabricación de superficies de lentes optimizadas cuando se les proporciona suficiente precisión de mecanizado a gran escala15,16. Los algoritmos de eliminación de imágenes borrosas pueden mejorar el contraste de la imagen mediante estimaciones precisas de la función de dispersión de puntos (PSF)17,18,19. La ingeniería PSF con una apertura codificada preserva más información al reducir los nulos en el dominio de la frecuencia20,21. Sin embargo, es muy difícil recuperar la información de alta frecuencia perdida por una función de transferencia de modulación (MTF) baja, y estos enfoques generalmente requieren datos previos específicos y estimaciones precisas de PSF, especialmente para aberraciones espacialmente no uniformes22. Además, todos estos métodos siguen siendo sensibles a las aberraciones ambientales dinámicas con pequeñas profundidades de campo.

La óptica adaptativa logra correcciones activas de aberración con una matriz de espejos deformables o un modulador de luz espacial para dirigir los rayos emitidos desde un punto a la misma posición en el sensor en diferentes ángulos5,23. Los frentes de onda aberrados pueden medirse mediante una estrella guía y un sensor de frente de onda o mediante actualizaciones iterativas de acuerdo con métricas de evaluación específicas24. La óptica adaptativa ha tenido un gran éxito tanto en astronomía como en microscopía y ha contribuido a importantes descubrimientos científicos23. Sin embargo, el campo de visión efectivo (FOV) del enfoque actual de óptica adaptativa es muy pequeño debido a aberraciones espacialmente no uniformes23. Particularmente para los telescopios terrestres, la aberración causada por la turbulencia atmosférica limita el campo de visión de la óptica adaptativa a aproximadamente 40 segundos de arco de diámetro, lo cual es demasiado pequeño para un telescopio de rastreo sinóptico de gran tamaño25,26. Más importante aún, los sistemas de óptica adaptativa actuales suelen ser complicados, voluminosos y costosos, lo que dificulta el desarrollo de sistemas livianos o dispositivos portátiles.

Aquí proponemos un marco integrado de escaneo de imágenes de campo de luz que incluye hardware y software, denominado sensor de metaimagen, para lograr imágenes 3D con corrección de aberraciones con un producto de gran ancho de banda espacial a bajo costo. Similar a las metasuperficies para manipulaciones sin precedentes de campos de luz con nanoestructuras16, el sensor de metaimagen facilita mediciones y síntesis del campo de luz en el dominio espacial-angular a alta velocidad con una matriz de microlentes codificadas por vibración, que son mucho más precisas que las tradicionales. técnicas de campo, desacoplando el proceso de modulación óptica de la adquisición de datos. Luego logramos imágenes 3D de alto rendimiento con corrección de aberración multisitio a través de óptica adaptativa digital (DAO) basada en onda óptica en un único sensor integrado. Al explotar la continuidad espaciotemporal, desarrollamos un algoritmo de corrección de movimiento basado en flujo óptico para evitar artefactos de movimiento y mantener la velocidad de imagen (hasta la velocidad de fotogramas de la cámara).

Para establecer las capacidades del sensor de metaimagen, realizamos análisis cuantitativos con diversas aplicaciones en fotografía, conducción autónoma, inspección industrial, videovigilancia y astronomía. Específicamente, obtenemos imágenes totalmente enfocadas de alto rendimiento de hasta gigapíxeles con una sola lente, lo que indica una reducción de tres órdenes de magnitud en los costos y la capacidad del sistema. Especialmente en condiciones con graves aberraciones no uniformes, el sensor de metaimagen logra una mejora de más de diez veces en la resolución. Además, el sensor de metaimagen facilita correcciones de aberración en múltiples sitios de más de 1.000 segundos de arco de diámetro en un telescopio de 80 cm de apertura, allanando el camino hacia estudios sinópticos terrestres de alta resolución. Se pueden obtener mapas de profundidad de megapíxeles simultáneamente a una escala de milisegundos con mayor precisión y resolución que las cámaras de campo de luz tradicionales para diversas aplicaciones industriales.

Los sensores 2D tradicionales plantean un gran desafío para la óptica como resultado de la filosofía de diseño establecida desde hace mucho tiempo para la retina humana: "lo que ves es lo que obtienes". Las imágenes de campo luminoso o imágenes plenópticas proporcionan otra solución a la visión artificial al detectar información espacial-angular de cuatro dimensiones (4D) como bloques de construcción y sintetizar imágenes con modulaciones arbitrarias durante el posprocesamiento;27,28 este enfoque ha mostrado un gran potencial en 3D. visión29, corrección de aberraciones30 y microscopía31. Sin embargo, las cámaras de campo luminoso existentes adolecen de una resolución espacial gravemente degradada debido al fallo de la apertura sintética incoherente (ISA), lo que restringe sus aplicaciones prácticas en diversos campos32. Al explotar el efecto de difracción causado por la pequeña apertura de cada microlente, la microscopía de campo luminoso de barrido evita el equilibrio entre resoluciones espaciales y angulares con un sistema galvo 2D que cambia el plano de la imagen periódicamente33, pero este tipo de microscopía requiere sistemas ópticos adicionales. y no se puede utilizar para imágenes universales.

Para abordar estos problemas, proponemos un marco para el sensor de metaimagen mediante la integración de una matriz de microlentes codificadas en una etapa piezoeléctrica de alta velocidad, que luego se une a un sensor de imagen convencional con el área fotosensible ubicada en el plano focal posterior del matriz de microlentes (Fig. 1a). Cada microlente enfoca la luz desde diferentes ángulos en diferentes píxeles del sensor para el muestreo angular (Fig. 1b, correspondiente a 15 × 15 píxeles angulares). El tamaño de apertura de cada microlente es solo aproximadamente diez veces el límite de difracción del plano de la imagen, lo que introduce un efecto de difracción en el campo de luz incoherente y preserva la información de alta frecuencia durante la separación de ángulos a través del alias de frecuencia (Datos extendidos, Fig. 1a, b). Al aumentar el tamaño de la apertura de la microlente, el efecto de difracción disminuirá gradualmente, lo que conducirá a una reducción de la resolución espacial (Datos ampliados, figura 1c). A diferencia de una técnica de escaneo de campo de luz anterior33, cubrimos además una película de cromo con un patrón circular en cada microlente para bloquear la luz que pasa a través de las esquinas circundantes de la huella cuadrada de cada microlente (ver Métodos y Fig. 1a). Dicha apertura circular reduce los valores nulos en las funciones de transferencia óptica para una reconstrucción sin artefactos, lo cual es esencial para escenarios de imágenes universales sin la escasa aplicación previa en imágenes de fluorescencia (Datos ampliados, figuras 1d-g). Luego utilizamos la deriva periódica de alta velocidad de la matriz de microlentes para aumentar la densidad de muestreo espacial limitada por el tamaño físico de las microlentes, lo que puede desmezclar el alias de frecuencia de ISA (Datos ampliados, figuras 2a a f). Después de ensamblar los píxeles con el mismo ángulo de acuerdo con las posiciones de las microlentes en el espacio de fase (Fig. 1b), aplicamos un algoritmo ISA basado en deconvolución para obtener una pila focal de resolución completa o imágenes totalmente enfocadas con la profundidad extendida de resolución limitada por campo y difracción de la lente de imagen (consulte Métodos y datos ampliados, figuras 3a a f). Se puede recuperar simultáneamente un mapa de profundidad de alta densidad basado en estéreo de vista múltiple (ver Métodos). El sensor de metaimagen puede reemplazar directamente los sensores de imagen convencionales sin modificaciones adicionales de hardware (Fig. 1c).

a, El sensor de metaimagen (metasensor) integra cuatro elementos principales: un patrón circular periódico con una máscara de intensidad circular en cada microlente, una matriz de microlente para capturar las distribuciones de luz angulares en cada región local, una etapa piezoeléctrica para hacer vibrar la microlente matriz periódicamente y aumentar la densidad de muestreo espacial para la separación del estado, y un sensor semiconductor complementario de óxido de metal (CMOS) convencional colocado en el plano focal posterior de la matriz de microlentes para la detección de fotones de alto rendimiento. b, El principio de imagen del sensor de metaimagen. La luz procedente de diferentes ángulos (etiquetada con diferentes colores) se enfoca en diferentes píxeles después de cada microlente. Las mediciones espacial-angulares 4D de alta resolución se obtienen combinando píxeles con el mismo ángulo según las posiciones de las microlentes, que pueden usarse para generar imágenes de campo modulado complejo hasta el límite de difracción de la lente de imágenes con ISA. c, El prototipo de cámara con el sensor de metaimagen en su interior, como se utiliza en todos los experimentos. d, la aberración óptica altera la luz emitida desde el mismo punto, lo que da como resultado imágenes 2D borrosas o desplazamientos laterales de diferentes componentes angulares. Aunque todos los componentes angulares se mezclan coherentemente en un sensor 2D, se separan en el sensor de metaimagen y se pueden realinear durante el posprocesamiento para recuperar la imagen de alta resolución con corrección de aberraciones; esta técnica se llama óptica adaptativa digital (DAO). e, para aberraciones espacialmente no uniformes, un sistema de óptica adaptativa de hardware con una matriz de espejos deformables solo puede corregir un FOV pequeño, mientras que DAO puede lograr correcciones de aberración multisitio simultáneamente sin influir en la velocidad de adquisición de datos. f, Comparaciones de los resultados obtenidos por una sola lente de plástico con un sensor 2D, un sensor de campo de luz tradicional y el sensor de metaimagen con y sin DAO. En cada prueba se utilizó el mismo tipo de chip CMOS.

Más importante aún, con distribuciones de luz plenóptica de alta resolución, podemos generar imágenes moduladas de campo complejo con precisión en el posprocesamiento sin dispositivos ópticos adicionales, que es la ventaja clave del sensor de metaimagen sobre los sensores 2D convencionales. Un ejemplo típico es la corrección de aberraciones, que es un problema fundamental en óptica. Las lentes imperfectas o las turbulencias perturban los rayos emitidos desde el mismo punto, provocando graves desenfoques en los sensores 2D. Estos desenfoques son difíciles de corregir sin un dispositivo activo o mediciones precisas de aberración (Fig. 1d). Por el contrario, el sensor de metaimagen es más resistente a las aberraciones con una diafonía reducida entre componentes angulares, que pueden recombinarse para lograr un enfoque perfecto durante el posprocesamiento; este es el marco DAO33. Aquí ampliamos el concepto de DAO de la óptica geométrica a la óptica ondulatoria, proporcionando una descripción más precisa del modelo de imagen (ver Métodos). La fase aberrada se puede estimar a partir de los desplazamientos laterales relativos de la misma estructura en diferentes vistas34, que se pueden utilizar para generar PSF 4D precisos para ISA con correcciones de aberración. Para evaluar cuantitativamente el rendimiento, realizamos simulaciones numéricas con diferentes niveles de aberración (Datos ampliados, Fig. 4a, b). La DAO basada en óptica de ondas logra una mejora de la relación señal-ruido máxima de aproximadamente 10 dB con respecto a la DAO basada en óptica geométrica, con estimaciones más precisas de frentes de onda aberrados. En comparación con un enfoque de óptica adaptativa de hardware basado en una matriz de espejos deformables con actuadores de inclinación de punta de 15 × 15, DAO obtiene un rendimiento similar (Datos ampliados, figuras 4c-e). Los resultados experimentales en un gráfico de prueba de resolución verifican aún más la superioridad del modelo de óptica de ondas (Datos ampliados, figura 4f). Además, el marco DAO exhibe una gran robustez al ruido con un rendimiento de estimación de aberración consistente, porque el proceso de correlación utiliza todas las señales contenidas en una región pequeña (datos extendidos, figuras 5a a g).

Al integrar la capacidad de óptica adaptativa en el sensor, el sensor de metaimagen puede lograr correcciones de aberración en múltiples sitios sin reducir la velocidad de adquisición de datos (Fig. 1e y Tabla complementaria 1). Debido a la gran falta de uniformidad de las distribuciones de aberración, los FOV efectivos de los sistemas de óptica adaptativa de hardware tradicionales suelen ser muy pequeños, lo que provoca un desperdicio considerable de píxeles del sensor. Por el contrario, el sensor de metaimagen puede aplicar diferentes correcciones de aberración para cada región local en un amplio campo de visión, lo que también es difícil de obtener con las cámaras de luz tradicionales (Fig. 1f).

El costo y el tamaño de las lentes de las cámaras crecen rápidamente con el aumento del producto efectivo de ancho de banda espacial, ya que generalmente requieren múltiples lentes bien diseñadas con grandes aperturas para corregir aberraciones ópticas espacialmente no uniformes, lo que plantea grandes desafíos para sistemas livianos o dispositivos portátiles6. Mientras tanto, las pruebas en superficie de sistemas ópticos de gran apertura son otro desafío al que se enfrentan muchos telescopios con respecto a la caracterización de aberraciones. El sensor de metaimagen proporciona una solución distribuida escalable a estos problemas desde el lado del sensor.

Para demostrar la superioridad del sensor de metaimagen sobre los sensores 2D, realizamos una comparación experimental generando imágenes de un gráfico de resolución (estándar de la Organización Internacional de Normalización ISO 12233) con una única lente de plástico impresa en 3D que cuesta menos de 1 dólar estadounidense (Fig. .2a). Las aberraciones del sistema se corrigieron mediante una estimación de aberración global (ver Métodos). Partiendo del supuesto de que las aberraciones del sistema cambian suavemente en todo el campo de visión, desarrollamos un algoritmo de registro no rígido para calcular las disparidades entre diferentes vistas y la vista central, correspondiente a los mapas de gradiente de frentes de onda aberrados (Fig. 2b y Datos ampliados Fig. 3e). Luego, las aberraciones en diferentes regiones locales se obtuvieron mediante la integración de diferentes gradientes de subapertura (Fig. 2c). Con el enfoque DAO multisitio, el sensor de metaimagen podría lograr imágenes efectivas de 48 megapíxeles (limitadas por el número de píxeles del sensor) con un rendimiento constante en todo el campo de visión. Por el contrario, el rendimiento de imágenes de un sensor 2D convencional con el mismo tipo de chip transistor semiconductor de óxido metálico complementario (CMOS) se degradó rápidamente al aumentar las distancias fuera del eje (Fig. 2d, e). Incluso con algoritmos avanzados de eliminación de borrosidad, fue difícil recuperar la información de alta frecuencia perdida por el sistema de imágenes (Datos ampliados, Fig. 6a,b)35,36,37,38,39. En términos de MTF, el sensor de metaimagen logró una mejora de aproximadamente cinco veces en el borde (Fig. 2f). Además, los datos sin procesar del sensor de metaimagen mostraron una relación señal-ruido mucho mejor que el sensor 2D en las mismas condiciones de imagen y tiempo de exposición, lo que ilustra la robustez a la aberración intrínseca del marco de detección (Datos extendidos, Fig. 6c– mi). Aunque un sensor 2D convencional podría lograr un rendimiento similar con una lente de cámara de alta calidad (Canon EF70-200mm 1:2.8L), la lente de la cámara tenía un tamaño mayor y era 1000 veces más cara que la lente de plástico impresa en 3D (Extended Data Figura 6f-i). Dado que se espera que se desarrolle un CMOS de gigapíxeles en un futuro próximo, el sensor de metaimagen allana el camino hacia la obtención de imágenes de gigapíxeles en dispositivos portátiles con sistemas ópticos compactos y de bajo costo. Además, realizamos imágenes de gigapíxeles con una sola lente plano-convexa desplazando los sensores lateralmente para cubrir el campo de visión en más de 1 gigapíxel (Datos ampliados, figuras 7a a f). El sensor de metaimagen muestra una mejor resolución y contraste que el sensor 2D con un rendimiento uniforme en todo el rango.

a, Esquema de la configuración de imágenes. La lente de plástico con una distancia focal de 135 mm y un número f efectivo de 10 cuesta menos de 1 dólar estadounidense. b, Mediciones de las aberraciones del sistema espacialmente no uniformes con el sensor de metaimagen mediante la obtención de imágenes de una muestra estática, utilizando los cuatro gráficos de resolución que se muestran en d. Los mapas de disparidad para diferentes vistas (usando la vista central como referencia) corresponden a los gradientes de fase en cada región local para diferentes subaperturas. c, Frentes de onda aberrados en todo el FOV obtenidos mediante la integral de los gradientes. Los términos de desenfoque se eliminan para una mejor visualización. d, Resultados de imágenes de los cuatro gráficos de resolución (ISO 12233). e, las regiones ampliadas de d muestran comparaciones entre el sensor 2D y el sensor de metaimagen, con aberraciones estimadas que se muestran en los recuadros. Se utilizó el mismo tipo de chip CMOS para realizar comparaciones justas. f, MTF medidos del sensor 2D (izquierda) y del sensor de metaimagen (derecha) a diferentes frecuencias espaciales y diferentes distancias desde el centro del FOV. lp mm−1, pares de líneas por mm. Barras de escala: 7.000 píxeles (b), 40 mm (d), 5 mm (e).

Datos fuente

Además, los sensores 2D convencionales, incluso equipados con costosas lentes de cámara, sufren de profundidades de campo limitadas y aberraciones ambientales como gotas de agua y cristales irregulares, mientras que el sensor de metaimagen es más robusto con una profundidad de campo extendida. Realizamos una comparación experimental colocando tres trozos de envoltura plástica frente a la lente (Canon EF 300 mm 1:2.8L) para introducir aberraciones ambientales (Fig. 3a y Video complementario 1). Un juguete colocado frente al gráfico de resolución estaba borroso cuando el sensor 2D se enfocó en el gráfico de resolución sin la envoltura de plástico (Fig. 3b). Después de agregar la envoltura de plástico, observamos una degradación severa en el sensor 2D (Fig. 3c), pero el sensor de metaimagen aún podría preservar la resolución con una ligera reducción en el contraste (Fig. 3b-e). Aunque los artefactos de unión permanecieron en todo el campo de visión debido a la deconvolución de partición y las grandes variaciones de aberración, el rendimiento siguió siendo consistente como resultado de la capacidad DAO multisitio. Las curvas MTF muestran al menos una mejora diez veces mayor en la resolución (Fig. 3f). Además, todas las muestras estaban dentro de la profundidad de campo extendida del sensor de metaimagen, lo que era un dilema para el sensor 2D (Fig. 3e).

a, Esquema del experimento en el que se colocaron tres trozos de plástico delante de una lente de cámara de alta calidad (Canon EF 300 mm 1:2,8 L) para introducir aberraciones intensas, fijas y no uniformes. Para este escenario, utilizamos los gráficos de resolución para medir el MTF y colocamos un juguete frente al gráfico para mostrar la profundidad de campo ampliada (video complementario 1). b – e, Las regiones marcadas I – IV en b están ampliadas en las columnas de la derecha. b, Imagen obtenida por el sensor 2D al enfocar la tabla de resolución sin la envoltura. c, Imagen obtenida por el sensor 2D al enfocar la tabla de resolución con la envoltura. d, Imagen obtenida por el sensor de metaimagen al enfocar la tabla de resolución con la envoltura. Las aberraciones estimadas se muestran en recuadros y la escala de colores va de 6λ (rojo) a −6λ (azul). e, Imagen obtenida por el sensor 2D al enfocar el juguete sin el envoltorio. f, curvas MTF calculadas en función de la región marcada en b para el sensor 2D con y sin envoltura y el sensor de metaimagen con envoltura. Barras de escala: 20 mm (b – e), 5 mm (I – IV).

Datos fuente

De manera similar al desenfoque de movimiento que ocurre durante la exposición con el sensor 2D, el movimiento durante el escaneo produce artefactos de movimiento en el sensor de metaimagen (Fig. 4a-c). Afortunadamente, la mayoría de las escenas del mundo real cambian continuamente en el dominio temporal; Esta propiedad se puede utilizar para eliminar artefactos de movimiento hasta la velocidad de fotogramas de la cámara. Sin embargo, los movimientos, como los comportamientos humanos, son muy no uniformes y son difíciles de abordar para algoritmos de registro rígidos simples (Fig. 4d).

a, Vista central de los datos capturados por el sensor de metaimagen sin corrección de movimiento. Las matrículas de los coches de otras personas estaban ocultas para mayor privacidad. b, Región ampliada marcada en a para estructuras estáticas. c, Región ampliada marcada en a para estructuras dinámicas, que ilustra los artefactos inducidos por los movimientos durante el escaneo. d, Resultado después de la corrección del movimiento rígido con artefactos restantes debido a movimientos no uniformes. e, Canalización del algoritmo de corrección de movimiento basado en estimaciones de flujo óptico para cada vista (Video complementario 2). Se utilizó una ventana deslizante del período de escaneo para realinear múltiples imágenes de baja resolución en una imagen de alta resolución en el punto de tiempo central con la misma frecuencia de muestreo temporal. Se estimaron los mapas de flujo óptico desde otros cuadros de baja resolución hasta el cuadro central de baja resolución para calcular coordenadas precisas para todos los puntos de muestreo de baja resolución en la cuadrícula de malla de alta resolución en el punto central de tiempo (etiquetado con puntos de diferentes colores). ). Luego, la imagen de alta resolución podría obtenerse mediante interpolación dispersa con muestreo denso y posiciones de escaneo equivalentes precisas para cada microlente. El círculo coloreado en el recuadro del mapa de flujo óptico representa la barra de escala de los vectores de disparidad normalizados para los mapas de flujo óptico, con diferentes colores correspondientes a diferentes vectores de disparidad en las coordenadas polares normalizadas. f, resultados ISA de las estructuras dinámicas con y sin corrección de movimiento. g, resultados ISA de las estructuras estáticas con y sin corrección de movimiento.

Por lo tanto, desarrollamos un algoritmo basado en flujo óptico para videos de lapso de tiempo para corregir artefactos de movimiento no uniforme sin reducir la resolución espacial. Todo el proceso se realizó en cada vista por separado (Fig. 4e y Video complementario 2). A medida que la matriz de microlentes se movía periódicamente (aquí 5 × 5 fotogramas), aplicamos una ventana deslizante (25) para sintetizar una imagen de alta resolución a partir de imágenes de baja resolución durante el período de escaneo sin reducir la densidad de muestreo temporal. Específicamente, calculamos el flujo óptico desde imágenes de baja resolución en diferentes puntos temporales hasta la imagen de baja resolución en el punto temporal central, y estos mapas de flujo se utilizaron para generar coordenadas precisas de estas mediciones de baja resolución en la malla de alta resolución. cuadrícula con muestreo denso. Luego, la imagen de alta resolución sin artefactos de movimiento se obtuvo mediante la interpolación dispersa de 25 imágenes de baja resolución con coordenadas precisas de alta resolución. Finalmente, se utilizaron imágenes de alta resolución de diferentes vistas para ISA sin artefactos de movimiento ni reducción de velocidad (Fig. 4f). El algoritmo propuesto también puede preservar eficazmente la resolución espacial para escenas estáticas (Fig. 4g).

Los estudios astronómicos ópticos a gran escala han producido varios descubrimientos importantes en astronomía40. Sin embargo, la turbulencia atmosférica introduce inevitablemente aberraciones altamente dinámicas, imponiendo un límite fundamental a la resolución espacial de los telescopios terrestres41. Las técnicas de óptica adaptativa de hardware pueden aliviar este problema y facilitar aplicaciones amplias, aunque implican altos costos y adolecen de un FOV efectivo pequeño (generalmente menos de 40 segundos de arco de diámetro), debido a distribuciones de aberración no uniformes5. El sensor de metaimágenes brinda una gran oportunidad para los telescopios de rastreo de gran apertura con capacidad DAO multisitio simplemente reemplazando el sensor de imágenes.

Para verificar su efectividad, comparamos nuestro sensor de metaimagen con un sensor 2D convencional que contiene el mismo chip CMOS en el telescopio Tsinghua-NAOC de 80 cm en el Observatorio Xinglong de los Observatorios Astronómicos Nacionales de China (NAOC) (Datos extendidos Fig. 8a). Elegimos la Luna como objetivo. De manera similar a los movimientos de las muestras, las imágenes de baja resolución cambiaron rápidamente durante el escaneo debido a las aberraciones dinámicas causadas por la turbulencia, y la distribución de las aberraciones se mantuvo uniforme en todo el campo de visión. Por lo tanto, aquí utilizamos el algoritmo de registro no rígido para estimar el mapa de flujo óptico suave y compensar los artefactos de movimiento (Datos ampliados, figuras 8b-g). Luego, la imagen totalmente enfocada con corrección de aberración se obtuvo a través de ISA con DAO multisitio (Fig. 5a-d). El sensor de metaimagen logró una resolución y un contraste mucho mejores que el sensor 2D convencional sin otras modificaciones de hardware en todo el campo de visión (cubriendo más de 1000 segundos de arco de diámetro). Se podría obtener directamente un FOV más grande con un sensor más grande. Aunque el sensor de metaimagen en sí era resistente a las aberraciones, era necesario DAO basado en óptica de ondas para resolver estructuras diminutas, que no se podían distinguir con sensores 2D (Fig. 5e, f). Además, descubrimos que el sensor de metaimagen logró un rendimiento sólido y constante a largo plazo, pero los resultados del sensor 2D se distorsionaron rápidamente con la turbulencia (Fig. 5g, h). La resolución mejorada obtenida por el sensor de metaimagen es difícil de lograr seleccionando la imagen más clara de un video en lapso de tiempo capturado con un sensor 2D (Video complementario 3). Además, se puede obtener una mejor resolución en telescopios con mayores aperturas gracias al sensor de metaimagen, mientras que la resolución de los sensores 2D ha alcanzado el límite establecido por la turbulencia.

a, Imágenes obtenidas por el sensor 2D y el sensor de metaimagen con el telescopio Tsinghua-NAOC de 80 cm a las 21:12 (GMT+8) del 25 de marzo de 2021 (vídeo complementario 3). b – d, regiones ampliadas marcadas en a con aberraciones estimadas que se muestran en los recuadros. Las funciones de la pupila tienen forma de anillo. e, Comparaciones de las regiones marcadas en un obtenido por el sensor 2D y el sensor de metaimagen con y sin DAO, que ilustran la efectividad de DAO. f, perfiles transversales de las líneas discontinuas marcadas en e. g, Regiones ampliadas del cráter Morey marcadas en una imagen obtenida por el sensor 2D y el sensor de metaimagen. h, Kymógrafos de líneas discontinuas marcadas en g durante unos 10 s. Barras de escala: 100 segundos de arco (a), 10 segundos de arco (b – g), 10 segundos de arco verticalmente, 1 s horizontalmente (h).

Datos fuente

Vale la pena señalar que, además de las imágenes de alta resolución con amplio campo de visión en un entorno complejo, la información de profundidad también se puede recuperar simultáneamente mediante sensores de metaimagen, con mayor precisión tanto en el dominio lateral como en el axial que las cámaras tradicionales de campo luminoso, lo que proporciona una solución de bajo costo para la conducción autónoma (Fig. 6a,b). Como se muestra en la Fig. 6c y en la Fig. 9a de datos ampliados, las muestras ubicadas a diferentes profundidades tienen diferentes pendientes en el dominio espacial-angular; Estas pendientes se pueden utilizar para inferir profundidades con algoritmos de estimación existentes42. La mayor densidad de muestreo espacial no solo aumenta la resolución lateral sino que también aumenta la precisión de la profundidad (Fig. 6d y video complementario 4). De lo contrario, es difícil distinguir diferentes profundidades cuando los desplazamientos laterales máximos del píxel correspondiente en diferentes vistas son menores que el intervalo de muestreo.

a, Imagen del Museo de Arte de la Universidad de Tsinghua capturada por el sensor de metaimagen. b, Mapas de profundidad reconstruidos del sensor de campo de luz tradicional (sin escaneo) y del sensor de metaimagen para comparaciones con las regiones ampliadas que se muestran en los recuadros. c, Regiones ampliadas de los datos sin procesar obtenidos por la cámara de campo de luz tradicional (sin escaneo) y el sensor de metaimagen. Se muestran tanto la vista central como las imágenes del plano epipolar de las líneas marcadas. d, mapas de profundidad ampliados de la misma región que en c, para comparaciones con los perfiles de profundidad de las líneas marcadas. e, Imagen de una placa de circuito obtenida por el sensor de metaimagen con un objetivo de 0,15 NA (apertura numérica). f, Verdad fundamental del mapa de profundidad capturado mediante microscopía comercial de variación de enfoque durante media hora. g, Mapa de profundidad obtenido por la cámara de campo de luz tradicional después de la corrección de la aberración del sistema. h, mapa de profundidad obtenido por el sensor de metaimagen después de la corrección de la aberración del sistema. i, Perfiles de profundidad de las líneas blancas marcadas en f – h. j, Espesores medios de los cuatro componentes del mismo tipo obtenidos por diferentes métodos. Los valores centrales representan el promedio. Las barras de error representan 1 desviación estándar (n = 14.400 píxeles para cada componente). Barra de escala: 1 mm (e–h).

Datos fuente

Además, demostramos la aplicación del sensor de metaimagen en inspecciones industriales, que requieren imágenes de alto rendimiento y detección 3D (video complementario 5). El sensor de metaimagen tomó imágenes de una placa de circuito con y sin escaneo (correspondiente a la cámara de campo de luz tradicional) bajo un objetivo de 0,15 NA (apertura numérica) en 1 s (Fig. 6e). Se utilizó microscopía de variación de enfoque comercial43 para obtener mediciones de la verdad del terreno, que tardaron aproximadamente media hora en cubrir todo el rango de profundidad (Fig. 6f y Datos ampliados Fig. 9b). Antes de la estimación de la profundidad, aplicamos la corrección de aberración global en óptica geométrica para corregir las aberraciones del sistema (Datos ampliados, figuras 9c a f). Al aplicar el mismo algoritmo de estimación de la profundidad del campo de luz con parámetros optimizados, el sensor de metaimagen logró una resolución más alta y un mapa de profundidad más preciso que las cámaras de campo de luz tradicionales (Fig. 6g, h). El sensor de metaimagen podría incluso recuperar estructuras diminutas que eran difíciles de distinguir con las imágenes tradicionales de campo de luz (Fig. 6i y Datos ampliados Fig. 9g). Al analizar las alturas de cuatro componentes del mismo tipo, encontramos que el sensor de metaimagen redujo el error de profundidad en el FOV grande (Fig. 6j y Datos extendidos Fig. 9h).

Hay dos características críticas para ISA con DAO en el sensor de metaimagen. Una es la necesidad del modelo de óptica ondulatoria para la reconstrucción de alta resolución con corrección de aberraciones. Las aberraciones ópticas no solo cambiarán las PSF angulares sino que también cambiarán ligeramente sus distribuciones de intensidad, lo que no se ha considerado en marcos DAO anteriores33. Por lo tanto, utilizamos PSF generados por fase durante las iteraciones en DAO de óptica de onda, lo que condujo a una mejor síntesis de imágenes y estimaciones de aberración más precisas (Datos ampliados, figuras 4c-e). El otro punto se refiere al proceso de escaneo integrado de la matriz de microlentes, que proporciona una superposición espacial virtual entre microlentes adyacentes que separa la información de alta frecuencia para ISA hasta el límite de difracción de la lente de imagen44,45. Un proceso de escaneo de este tipo aborda el equilibrio intrínseco entre resoluciones espaciales y angulares, mientras que la alta resolución espacial en el campo de luz tradicional, ya sea con esquemas enfocados o desenfocados, tiene el costo de una resolución angular y profundidad de campo reducidas46.

De manera similar a un sensor de imágenes convencional, se pueden adoptar métodos basados ​​en el aprendizaje con modelos previamente entrenados para mejorar aún más la salida del sensor de metaimágenes utilizando datos anteriores (Datos extendidos, figuras 10a-c)47,48. Además, dadas aplicaciones específicas, se pueden diseñar algoritmos más avanzados con dispositivos informáticos paralelos para lograr un mejor rendimiento o reducir los costos computacionales. Tomando, por ejemplo, fotografía de alto rendimiento con una sola lente, las aberraciones del sistema se pueden calibrar por adelantado una sola vez, sin necesidad de estimaciones de aberración adicionales en uso. Se pueden utilizar redes neuronales profundas para acelerar cada paso del proceso de reconstrucción de aplicaciones en tiempo real. Como se muestra en las figuras 10d-g de datos extendidos, utilizamos una red de retroproyección recurrente previamente entrenada49 para realizar la corrección de movimiento de objetos dinámicos durante el escaneo. Aunque podemos observar una ligera reducción de la resolución en los resultados basados ​​en el aprendizaje, el tiempo de procesamiento se puede reducir 29 veces en una computadora de escritorio. Además, mientras que el sensor de metaimagen actual está diseñado para imágenes en escala de grises, se puede desarrollar un sensor de metaimagen multicolor utilizando redundancia angular para la codificación del espectro sin reducir la resolución espacial50. Las aberraciones cromáticas se pueden modelar durante ISA. El sensor de metaimagen también es compatible con aplicaciones con poca luz, como la microscopía de fluorescencia33. Tenga en cuenta que la óptica adaptativa de hardware y DAO no están en conflicto; en cambio, se pueden combinar para lograr una corrección de aberración más sólida. Al integrar digitalmente la flexibilidad de modulaciones ópticas precisas para luz incoherente, creemos que el sensor de metaimagen propuesto abre nuevos horizontes para la obtención de imágenes computacionales en aplicaciones prácticas y universales con superioridad en órdenes de magnitud, inaccesibles para los sensores 2D tradicionales.

El sensor de metaimagen se construyó sobre un sensor CMOS existente con una matriz de microlentes codificadas por vibración (MLA) unidas frente al área fotosensible, como se muestra en la Fig. 1a. Para el sistema de prueba de concepto, elegimos un sensor CMOS de 48 megapíxeles (CMOSIS CMV50000, 7920 × 6004 píxeles) con la cámara Flare 48M30-CX (IO Industry) para una detección de alto rendimiento. El sensor tiene un tamaño de píxel de 4,6 μm con una velocidad de fotogramas máxima de 30 Hz para todo el campo de visión. El tamaño de paso del MLA es de 69 μm para coincidir con el tamaño de los píxeles del sensor de 15 × 15, correspondientes a 225 mediciones angulares. Debido a que la mayoría de las lentes utilizadas para los experimentos tienen un número f alrededor de 10, elegimos la distancia focal del MLA como 690 μm, lo que lleva al límite de difracción de 5 μm para la longitud de onda de 500 nm en el plano focal posterior del MLA. También se puede seleccionar una distancia focal más pequeña del MLA para lentes de cámara con una gran apertura numérica (NA) a costa de la profundidad de campo.

En comparación con el límite de difracción de la lente de imagen, el tamaño de apertura de cada microlente debe ser lo suficientemente pequeño como para introducir los efectos de difracción en el plano de la imagen para el alias de frecuencia, lo que puede evitar la degradación de la resolución debido a la segmentación de la pupila para muestreos angulares (Figura de datos extendidos). .1). A diferencia del método anterior de escaneo de campo de luz con una apertura rectangular para cada microlente33, cubrimos una película de cromo con un patrón circular en cada microlente cuadrada para garantizar que la luz solo pase a través de cada microlente a través de una apertura circular, en lugar de las esquinas circundantes de la Huella cuadrada de las microlentes. El diámetro de la abertura circular también es de 69 µm. La apertura circular de cada microlente puede reducir los nulos en las funciones de transferencia óptica para diferentes vistas, lo cual es esencial para la reconstrucción sin artefactos de aplicaciones de imágenes universales sin la escasa aplicación previa en imágenes de fluorescencia (Datos ampliados, figura 1d). Luego comparamos los resultados con y sin patrones circulares en simulaciones numéricas, demostrando la efectividad del patrón difractivo codificado para eliminar los artefactos de reconstrucción de estructuras densas (Datos ampliados, figuras 1e a g).

Luego, el MLA codificado se fija en una etapa piezoeléctrica (P16XY100, CoreMorrow), que facilita un escaneo periódico preciso para aumentar la densidad de muestreo espacial de las mediciones espacial-angulares a alta velocidad. El proceso de escaneo puede cubrir toda la información espacial y crear superposiciones virtuales entre microlentes adyacentes para abordar el problema de alias de frecuencia para ISA, similar al proceso ptográfico44,45. Como el área fotosensible del chip CMOS debe colocarse en el plano focal posterior de MLA para maximizar la profundidad de campo46, retiramos todos los lentes encima del chip. Para fijar con precisión el MLA aproximadamente 690 μm delante del área fotosensible, utilizamos una etapa de traducción lineal (DHC, GCM-V25M) para ajustar la etapa piezoeléctrica en el dominio axial y determinamos la posición óptima cuando las imágenes después de microlentes adyacentes eran tangentes usando una lente de cámara con un número f de 10. Se usó una platina compacta de cinco ejes (PY005, Thorlabs) para ajustar ligeramente el paso y la orientación del MLA durante la alineación, de modo que el MLA pudiera estar paralelo al CMOS. chip para un rendimiento uniforme en un gran campo de visión. Finalmente, todos estos dispositivos estaban empaquetados herméticamente y con buena disipación de calor para usarlos como un único sensor de metaimagen.

Hay cuatro modos de escaneo diferentes de nuestro sensor de metaimagen, creados cambiando el MLA con diferentes períodos: 1 × 1, 3 × 3, 5 × 5 y 15 × 15. Los períodos más largos corresponden a intervalos de cambio más pequeños con un muestreo espacial más alto. densidad. El desplazamiento máximo del MLA es menor que el tamaño de paso de una microlente. Utilizamos escaneo 1 × 1 para capturar las mediciones de cámaras de campo de luz tradicionales para realizar comparaciones. Se realizaron simulaciones numéricas en estructuras densas para mostrar la influencia de diferentes períodos de escaneo (Datos ampliados, figura 2). Encontramos que el desempeño de la reconstrucción alcanza la convergencia con un período de 5 × 5 en términos de medida del índice de similitud estructural (SSIM). Por lo tanto, utilizamos 5 × 5 en la mayoría de nuestros experimentos para reducir los artefactos de movimiento durante el escaneo.

La sincronización de hardware del sensor de metaimagen se dividió en tres etapas y se obtuvo con un dispositivo de E/S multifunción (USB-6363, National Instruments). Primero, activamos la etapa piezoeléctrica para desplazar el MLA a la siguiente posición. Luego, establecimos un período de retraso antes de activar la exposición de la cámara, que generalmente duraba 5 ms para esperar el movimiento del piezo. Finalmente, se activó el chip CMOS para la exposición. El tiempo de lectura del chip CMOS se puede superponer con el período de retardo.

En todos los experimentos, el sensor de metaimagen se colocó directamente en el plano de imagen de los sistemas ópticos existentes. Utilizamos el mismo tipo de chips CMOS para realizar comparaciones justas entre el sensor de metaimagen y los sensores 2D tradicionales colocados en la misma posición. Para ISA con DAO multisitio, las imágenes sin procesar obtenidas por el sensor de metaimagen pasaron por el mismo proceso de procesamiento de datos, incluido el preprocesamiento (realineación de píxeles, corrección de movimiento y estimaciones iniciales de aberración global), estimaciones de frente de onda para diferentes regiones locales y síntesis sintética incoherente. apertura (Datos ampliados Fig. 3). Cabe señalar que la estimación inicial de la aberración global se puede realizar sólo una vez para un sistema de imágenes específico. Las condiciones de imagen detalladas para todos los experimentos, incluido el tipo de lente, las especificaciones de la lente, el tiempo de exposición, la velocidad de fotogramas, el período de escaneo y los tamaños de bloque para DAO multisitio se ilustran en la Tabla complementaria 1.

La realineación de píxeles es el principal paso de preprocesamiento para convertir las mediciones sin procesar del sensor de metaimagen L (x, y, t) en mediciones espacial-angulares de alta resolución Vh (x, y, u, v, t). Como se muestra en la Fig. 1b, diferentes píxeles del sensor después de cada microlente corresponden a diferentes ángulos de la luz o diferentes vistas con coordenadas de (u, v), con la vista central ubicada en (0, 0). Cada microlente toma muestras de una región espacial local con una coordenada de (x, y), correspondiente a la posición central de la microlente. Debido al límite de tamaño físico, el intervalo mínimo de muestreo de una única imagen de campo de luz es el diámetro de la microlente. El escaneo de las microlentes puede aumentar la densidad de muestreo y crear una superposición virtual entre microlentes adyacentes. Luego ensamblamos los píxeles del sensor de la misma vista (u, v) dentro de un período de escaneo en función de la posición central de su microlente correspondiente (x, y) para obtener mediciones espacial-angulares de alta resolución Vh(x, y, u , v, t) con el intervalo de muestreo cinco veces menor que el diámetro de la microlente para el período de escaneo de 5 × 5, lo que se denomina realineación de píxeles. La ventana deslizante en el dominio temporal con un tamaño de ventana del período de escaneo puede preservar la densidad de muestreo temporal del sensor de metaimagen. Antes de la realineación, la imagen sin procesar del campo de luz también se cambió de tamaño y se giró para garantizar que cada microlente cubra aproximadamente 15 × 15 píxeles del sensor. Este proceso de rectificación es necesario para calibrar el error del sistema causado por la alineación y las fabricaciones de microlentes, lo que aumenta la robustez de la estructura. Se necesitan aproximadamente 0,95 s para escanear imágenes de campo luminoso 5 × 5 con un número de píxeles de 8000 × 6000 para realizar la rectificación y realineación de píxeles en una computadora de escritorio con una unidad de procesamiento gráfico (CPU, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX Titán).

Para muestras altamente dinámicas que se mueven durante el proceso de escaneo del sensor de metaimagen, surgen artefactos de movimiento después de la realineación de píxeles. En técnicas anteriores de escaneo de campo luminoso, se desarrolló un algoritmo ponderado en el tiempo para eliminar los artefactos de movimiento a costa de la degradación de la resolución espacial33. Aquí proponemos un algoritmo basado en flujo óptico para la corrección del movimiento sin reducir la resolución espaciotemporal explotando la continuidad espaciotemporal en la naturaleza. Todo el proceso y el pseudocódigo se muestran en la Fig. 4e y en la Fig. 3d de datos extendidos. Encontramos que los artefactos de movimiento se originan a partir de una realineación incorrecta de los píxeles de diferentes imágenes de campo de luz capturadas en diferentes puntos de tiempo, porque las posiciones de muestreo espacial reales de estas microlentes se cambian con los movimientos de la muestra. Afortunadamente, la mayoría de estos cambios aún caen en el amplio campo de visión del sensor de metaimagen, porque los objetos generalmente se mueven continuamente en la escena. De lo contrario, a los sensores de imágenes convencionales también les resulta difícil captar la dinámica debido al desenfoque del movimiento. Mientras podamos estimar con precisión los movimientos de la muestra, aún podremos recuperar mediciones densas de marcos adyacentes con coordenadas de muestreo espacial precisas. Por lo tanto, llevamos a cabo el algoritmo de corrección de movimiento en cada vista por separado durante la realineación de píxeles según los mapas de flujo óptico. Para los movimientos inducidos por las muestras, utilizamos el mismo mapa de flujo óptico estimado a partir de la vista central (o la vista con mayor nitidez para las condiciones sin una vista central) para todas las vistas. Para movimientos inducidos por aberraciones dinámicas, los mapas de flujo óptico de diferentes vistas deben estimarse por separado. Tomando el modo de escaneo de 5 × 5 como ejemplo, aplicamos una ventana deslizante para sintetizar la imagen de alta resolución Vh (x, y, u, v, t) en el punto de tiempo t a partir de imágenes adyacentes de baja resolución Vl (x , y, u, v, t + k − (T + 1)/2) (k = 1, 2, 3,…, T) (con una baja densidad de muestreo espacial en el intervalo del diámetro de la microlente) a lo largo del escaneo periodo T = 25 sin reducir la densidad de muestreo temporal. Para obtener las coordenadas precisas de todas las mediciones en el momento t, aplicamos un algoritmo de flujo óptico de última generación51 para calcular los mapas de flujo (∆x, ∆y) de todas las imágenes de baja resolución Vl(x, y, u, v, t + k − (T + 1)/2) a la imagen de baja resolución Vl(x, y, u, v, t) en el punto temporal t. Luego, las coordenadas de muestreo correspondientes de las mediciones de baja resolución en la cuadrícula de malla de alta resolución se pueden representar como:

Finalmente, la imagen de alta resolución Vh(x′, y′, u, v, t) sin artefactos de movimiento se puede obtener mediante un método de interpolación dispersa52,53 de estas 25 imágenes de baja resolución basadas en las coordenadas de muestreo densas precisas.

Para movimientos inducidos por turbulencias, utilizamos un algoritmo de registro no rígido para estimar los flujos ópticos, debido a sus distribuciones suaves, que es el mismo que el método para estimaciones de aberración del sistema. Se necesitan aproximadamente 45 s para escanear imágenes de campo luminoso 5 × 5 con un número de píxeles de 1000 × 1000 para realizar la corrección de movimiento con realineación de píxeles para todas las vistas en una computadora de escritorio con una unidad de procesamiento gráfico (CP, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX Titan). Los resultados de las muestras dinámicas validan la efectividad del algoritmo (Fig. 4f y Datos extendidos Fig. 8). Los resultados de las muestras estáticas indican que la resolución espacial se puede conservar muy bien (Fig. 4g).

Debido a que las aberraciones espacialmente no uniformes de los sistemas ópticos existentes son fijas, primero generalmente realizamos una estimación de aberración global inicial para un sistema de imágenes específico (Datos extendidos, figura 3e). No es esencial para el sensor de metaimagen. Sin embargo, puede reducir en gran medida los costos computacionales para aplicaciones prácticas sin la necesidad de corregir las aberraciones ambientales dinámicas, porque las aberraciones del sistema se pueden calibrar solo una vez por adelantado al generar imágenes de escenas con suficientes texturas. Para experimentos de imágenes con una sola lente y experimentos de inspección industrial, utilizamos un tablero de control con un tamaño de bloque de aproximadamente 200 × 200 píxeles de sensor para estimar las aberraciones globales no uniformes del sistema. La aberración del sistema A(u, v, x, y)exp[jφ(u, v, x, y)] con coordenadas (u, v) en el plano de la pupila se puede dividir en dos partes, incluidas las distribuciones de fase de la pupila φ( u, v, x, y) y distribuciones de intensidad de pupila A (u, v, x, y), debido a la no telecentricidad de los sistemas de imágenes comunes. Aquí j es la unidad imaginaria. Para los frentes de onda de aberración φ(u, v, x, y) en diferentes regiones locales (x, y) del plano de la imagen, los gradientes de fase locales en diferentes regiones de subapertura (dφ/du, dφ/dv) = c(Δsx, Δsy) se puede obtener a través de las disparidades (Δsx(u, v, x, y), Δsy(u, v, x, y)) desde diferentes vistas Vh(x, y, u, v) a la vista central Vh( x, y, 0, 0) con una constante c relacionada con la ampliación del sistema y el tamaño de píxel del sensor (Fig. 2b). Partiendo del supuesto de que las aberraciones del sistema cambian suavemente en todo el campo de visión, las disparidades se estiman con un algoritmo de registro no rígido. Entonces los frentes de onda de aberración se pueden obtener mediante una integral como se muestra a continuación:

El algoritmo de registro no rígido se implementa resolviendo el siguiente problema de optimización en Pytorch1.9.0 con el optimizador Adam:

Donde ||•||2 corresponde a la norma L2. Para cada vista durante la optimización, configuramos manualmente 20 × 15 × 2 puntos de control en todo el FOV para ajustar los mapas de desplazamiento con una distribución suave.

Para la intensidad de aberración A (u, v, x, y) en diferentes regiones locales (x, y), podemos inferir la forma de la pupila a partir de las distribuciones de intensidad angular. En la práctica, promediamos las intensidades de diferentes vistas dentro de un bloque fijo para DAO multisitio (consulte la Tabla complementaria 1). Luego, las formas de las pupilas de aberración en diferentes regiones locales se obtienen mediante la binarización de las distribuciones de intensidad angular con el umbral normalizado (se puede obtener un rendimiento similar para el umbral que oscila entre 0,5 y 0,8). Este proceso es esencial para la ISA del sensor de metaimagen en aplicaciones de imágenes universales, porque la mayoría de las regiones de la mayoría de los sistemas de imágenes no son telecéntricas y los rayos principales no son perpendiculares al plano de la imagen. Otro ejemplo es el telescopio Cassegrain con estructura de anillo para modulaciones de intensidad de pupila. Toda esta información se puede estimar directamente a partir de mediciones precisas de alta dimensión del campo de luz realizadas por el sensor de metaimagen.

Una vez que obtenemos las distribuciones globales de aberración no uniforme, se pueden usar como aberraciones locales iniciales para estimaciones adicionales del frente de onda causadas por dinámicas ambientales como la turbulencia, o directamente para ISA con corrección de aberraciones en condiciones sin el requisito de corregir aberraciones ambientales. Se necesitan aproximadamente 450 s para escanear imágenes de campo luminoso 5 × 5 con un número de píxeles de 8000 × 6000 para realizar una estimación de la aberración global del sistema en una computadora de escritorio (CPU, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX Titán).

Para luz incoherente, sólo podemos detectar las distribuciones de intensidad con la información de fase perdida debido al promedio temporal. Por lo tanto, cuando segmentamos directamente el plano de la pupila en diferentes subaperturas para muestrear las distribuciones de intensidad angular, la resolución espacial se reduce intrínsecamente debido a la pérdida de información de alta frecuencia (Datos ampliados, figura 1a). Afortunadamente, encontramos que MLA en el plano de la imagen con un tamaño pequeño de cada microlente puede abordar este equilibrio intrínseco entre resoluciones espaciales y angulares. La apertura circular de cada microlente con un tamaño aproximadamente diez veces mayor que el límite de difracción en el plano de la imagen añade coherencia adicional al campo de luz incoherente, preservando la información de alta frecuencia en la región de baja frecuencia de las funciones de transferencia óptica para diferentes vistas. similar a la microscopía de iluminación estructurada54 (Datos ampliados, figura 1). El proceso de escaneo aumenta aún más la densidad de muestreo espacial para abordar el problema del alias de frecuencia y separar la información codificada de alta frecuencia. Luego, dicha coherencia adicional puede reflejarse en las variaciones de diferentes PSF angulares con diferente énfasis en el dominio de la frecuencia espacial, que se pueden usar con la deconvolución del espacio de fase para ISA55 (Datos extendidos, figura 3c). Además, encontramos que los patrones de difracción circular periódicos pueden eliminar los artefactos de reconstrucción para aplicaciones de imágenes universales con estructuras densas al reducir los nulos en las funciones de transferencia óptica (Datos ampliados, figuras 1d-g).

Como se muestra en la Fig. 1d, las aberraciones ópticas distorsionan la luz emitida desde el mismo punto en diferentes posiciones en el plano de la imagen, lo que degrada la resolución espacial y el contraste de los sensores 2D tradicionales. Al capturar información espacial-angular de alta resolución, el sensor de metaimagen reduce la interferencia coherente entre diferentes vistas y mantiene los fotones enfocados dentro de la profundidad de campo extendida, lo que facilita una mayor robustez ante la aberración que los sensores 2D tradicionales, lo cual es importante para la estimación de la aberración. y corrección en el posprocesamiento durante ISA (Datos extendidos Fig. 6c-e). Debido a que las aberraciones ópticas generalmente no son uniformes en un FOV grande, podemos segmentar todo el FOV en bloques pequeños por igual con una superposición de 20 píxeles (los tamaños de bloque detallados se muestran en la Tabla complementaria 1). Suponemos que la aberración es uniforme en cada bloque. Luego podemos realizar una estimación y corrección de aberraciones en múltiples sitios en el posprocesamiento sin influir en la velocidad de adquisición de datos. Finalmente, las imágenes de alta resolución después de ISA con DAO multisitio se unen (Datos extendidos, Fig. 3c).

Para cada región local, el proceso DAO se divide en dos partes: estimación del frente de onda e ISA. Cuando no necesitamos corregir las aberraciones ambientales u otras aberraciones adicionales, la estimación del frente de onda se puede omitir utilizando la aberración del sistema local obtenida directamente a través de la estimación de la aberración global inicial para reducir los costos computacionales. Para una estimación adicional de la aberración ambiental, aplicamos un método de multiplicadores de dirección alterna (ADMM)56 para actualizar los frentes de onda aberrados φ(u, v) de forma iterativa como se muestra a continuación:

donde Ii(x, y) es la imagen de reconstrucción intermedia de la i-ésima iteración, Nangle es el número total de ángulos efectivos determinados por la forma de la pupila y Hi(x, y, u, v) es el PSF para la vista ( u, v) generado con la aberración estimada A(u, v)exp(jφi(u, v)) agregada en el plano de la pupila. La función de generación de PSF PSFGen() se describe como antes basándose en la función de transferencia de Rayleigh-Sommerfeld57. Deconv(A, B) es la deconvolución de la imagen A por el núcleo de B con el método de deconvolución rápida de última generación basado en el prior hiperlaplaciano58. Corr() representa el cálculo de la matriz de correlación cruzada en el dominio espacial para estimar los desplazamientos laterales con la función de Findmax() para encontrar las coordenadas del valor máximo. Para el valor inicial del frente de onda aberrado φ1(u, v), podemos establecerlo en cero o en la aberración del sistema local φsystem(u, v) calibrado anteriormente. En DAO anterior en óptica geométrica33, simplificamos la influencia de la aberración como desplazamientos laterales de los PSF angulares ideales Hi (x, y, u, v). Sin embargo, encontramos que la aberración también influirá en la coherencia adicional entre las diferentes vistas introducidas por el MLA codificado, lo que conducirá a cambios en las distribuciones del PSF. Por lo tanto, ampliamos el DAO en el modelo de óptica de ondas actualizando los PSF aberrados con aberraciones estimadas basadas en el modelo de óptica de ondas para cada tres iteraciones durante el método ADMM (Datos extendidos, figura 3b). Usamos el polinomio de Zernike hasta el orden 45 para ajustar la fase aberrada durante las iteraciones. Para la convergencia de la iteración, establecemos el umbral en 0,1 longitud de onda en términos de la raíz cuadrática media (rms) de la fase residual. Por lo general, se necesitan aproximadamente dos iteraciones para converger para el frente de onda adicional con un valor eficaz de 1 longitud de onda, y diez iteraciones para el frente de onda adicional con un valor eficaz de 5 longitudes de onda. El proceso de estimación del frente de onda tarda aproximadamente 32 s para 1 iteración en imágenes de campo de luz de escaneo 5 × 5 con un número de píxeles de 2000 × 2000 en una computadora de escritorio (CPU, Intel i9-10940X; RAM, 128 GB; GPU, NVIDIA GeForce RTX Titán).

Finalmente, el ISA con DAO para cada región local se obtiene mediante deconvolución del espacio de fase con los PSF aberrados estimados. Por lo general, se necesitan aproximadamente 9 s para escanear imágenes de campo luminoso de 5 × 5 con un número de píxeles de 2000 × 2000 en una computadora de escritorio con una unidad de procesamiento gráfico con las especificaciones enumeradas anteriormente.

Se realizaron una serie de simulaciones numéricas para verificar cuantitativamente el desempeño de ISA y DAO. Las mediciones simuladas se generaron mediante convolución de las imágenes reales con los PSF simulados. Las imágenes reales utilizadas en Extended Data Figs. 1, 2, 4, 5 fueron capturados por un sensor convencional con una lente de cámara de alta calidad. Los parámetros del proceso de imágenes simuladas fueron los mismos que los del sistema de imágenes experimental con una longitud de onda central de 525 nm, un factor de aumento de 10 y el número f de imágenes en el plano objetivo de 1 (correspondiente a un número f de 10). en el plano de la imagen). Para la simulación del PSF y la función de transferencia óptica, elegimos la longitud de onda central de 1000 nm para simplificar (Datos ampliados, figura 1). Se agregaron ruidos gaussianos para simular el ruido de lectura del sensor CMOS. Utilizamos tanto la relación señal-ruido (SNR) máxima como SSIM para evaluar los resultados de la reconstrucción. Para caracterizar el rendimiento de DAO (Datos extendidos, Figs. 4, 5), agregamos diferentes niveles de aberraciones en el plano de la pupila en términos de rms con un orden de Zernike máximo de 45. La relación σ entre los rms del error del frente de onda residual y Se utilizó el valor pico-valle del frente de onda aberrado de la verdad fundamental para mostrar el rendimiento de la corrección del frente de onda. Supusimos que la óptica adaptativa del hardware podría medir perfectamente los frentes de onda aberrados y corregir la aberración con una matriz de espejos deformables basada en punta e inclinación de última generación de 15 × 15 segmentos, correspondientes al mismo número de vista del meta-. sensor de imágenes. Los resultados simulados de la óptica adaptativa de hardware se obtuvieron mediante convolución de la imagen de verdad sobre el terreno con el PSF de campo amplio generado por el frente de onda de la pupila residual, y los resultados simulados de un sensor 2D convencional se obtuvieron mediante convolución de la imagen de verdad sobre el terreno con el PSF de campo amplio generado por el frente de onda de la pupila aberrada.

Se pueden aplicar redes neuronales profundas para mejorar aún más el rendimiento de imágenes del sensor de metaimágenes o acelerar el proceso de reconstrucción explotando los datos previamente. Aunque utilizamos algoritmos de optimización basados ​​en la física en todos los experimentos para caracterizar el rendimiento del sensor de metaimagen, hemos probado varias redes neuronales existentes con modelos previamente entrenados para mostrar su gran potencial para el desarrollo futuro. Para la superresolución de imágenes que se muestra en las figuras 10a a c de datos extendidos, aplicamos dos redes de superresolución de una sola imagen47,48 con sus respectivos modelos preentrenados de código abierto. Utilizamos los resultados reconstruidos del sensor de metaimagen directamente como entrada de estas redes para mostrar que el sensor de metaimagen también es compatible con los algoritmos de procesamiento de imágenes existentes para mejorar aún más el rendimiento utilizando datos previos. Para acelerar el proceso de corrección de movimiento que se muestra en las figuras 10d-g de datos extendidos, utilizamos la red de retroproyección recurrente49 con su modelo previamente entrenado de código abierto. Utilizamos las imágenes de baja resolución 3 × 3 de la vista central como entrada de la red para obtener la imagen de alta resolución sin artefactos de movimiento. Aunque la salida de la red tiene una resolución espacial ligeramente reducida en comparación con los resultados obtenidos por nuestro algoritmo de corrección de movimiento basado en flujo óptico, la inferencia de la red es aproximadamente 29 veces más rápida que el algoritmo de optimización, lo que demuestra el potencial de aplicar redes neuronales profundas. para acelerar todos los procesos de reconstrucción del sensor de metaimagen.

Las disparidades entre diferentes vistas proporcionan pistas para la detección de profundidad basada en estéreo multivista59. El sensor de metaimagen captura las mediciones espacial-angulares con mejor resolución que la de una cámara de campo de luz tradicional, lo que facilita la detección de profundidad de alta densidad con mayor precisión. Para mostrar la mejora, aplicamos el mismo método de estimación de profundidad a los datos del campo de luz tradicional y al sensor de metaimagen por separado. Elegimos un algoritmo de estimación de profundidad de última generación diseñado para campos de luz con regularización basada en superpíxeles sobre regiones parcialmente ocluidas42. El mapa de disparidad obtenido por este método se convirtió en distancias o espesores reales sobre la base de los parámetros geométricos del sistema de imágenes. Para evaluar la precisión de la estimación de profundidad, utilizamos un microscopio comercial de variación de enfoque (InfiniteFocus G5plus, Bruker Alicona)43 para medir la verdad fundamental del mapa de profundidad de la placa de circuito en la Fig. 6. Se necesita aproximadamente media hora para Capture todo el campo de visión mediante el escaneo de un gran volumen para el sistema comercial. Finalmente, los errores de espesor se calcularon después de una alineación precisa entre los resultados de la reconstrucción de diferentes métodos y la verdad del terreno. Más importante aún, encontramos que las aberraciones ópticas influirán en la precisión del mapa de profundidad, así como en la detección de profundidad basada en la visión, que son difíciles de corregir en los sistemas de imágenes tradicionales. Aquí utilizamos los mapas de aberración obtenidos mediante la estimación de aberración global inicial para deformar diferentes vistas para la corrección geométrica antes de la estimación de profundidad. Los resultados con corrección de aberraciones muestran un mejor rendimiento que aquellos sin corrección (Datos ampliados, figuras 9c a f).

Todos los datos generados o analizados durante este estudio se incluyen en este artículo publicado y en el repositorio de Zenodo con los siguientes enlaces: https://doi.org/10.5281/zenodo.6641847, https://doi.org/10.5281/zenodo.6643915 y https://doi.org/10.5281/zenodo.6644095. Los datos originales se proporcionan con este documento.

Los códigos para todo el proceso del sensor de metaimagen están disponibles en https://github.com/freemercury/Aberration_correction_metasensor.

Yurtsever, E., Lambert, J., Carballo, A. y Takeda, K. Un estudio sobre la conducción autónoma: prácticas comunes y tecnologías emergentes. Acceso IEEE 8, 58443–58469 (2020).

Artículo de Google Scholar

Brady, DJ y cols. Fotografía de gigapíxeles multiescala. Naturaleza 486, 386–389 (2012).

Artículo CAS PubMed Google Scholar

Yun, SH & Kwok, SJJ Luz en diagnóstico, terapia y cirugía. Nat. Biomédica. Ing. 1, 0008 (2017).

Artículo CAS PubMed PubMed Central Google Scholar

Lichtman, JW y Conchello, J.-A. Microscopio fluorescente. Nat. Métodos. 2, 910–919 (2005).

Artículo CAS PubMed Google Scholar

Hardy, JW Óptica adaptativa para telescopios astronómicos (Oxford Univ. Press, 1998).

Cossairt, OS, Miau, D. & Nayar, SK Ley de escala para imágenes computacionales utilizando óptica esférica. J. Optar. Soc. Soy. A 28, 2540–2553 (2011).

Artículo de Google Scholar

Sasián, J. Introducción a las aberraciones en los sistemas de imágenes ópticas (Cambridge Univ. Press, 2013).

Roggemann, MC y Welsh, BM Imágenes a través de turbulencias (CRC, 2018).

Rogers, C. y col. Un sensor de imágenes 3D universal sobre una plataforma fotónica de silicio. Naturaleza 590, 256–261 (2021).

Artículo CAS PubMed Google Scholar

Conrady, AE Óptica Aplicada y Diseño Óptico, Primera Parte (Courier, 2013).

Lohmann, AW, Dorsch, RG, Mendlovic, D., Zalevsky, Z. & Ferreira, C. Producto espacio-ancho de banda de señales y sistemas ópticos. J. Optar. Soc. Soy. A 13, 470–473 (1996).

Artículo de Google Scholar

Sutherland, W. y col. El telescopio de rastreo astronómico visible e infrarrojo (VISTA): diseño, descripción técnica y rendimiento. Astron. Astrofia. 575, A25 (2015).

Artículo de Google Scholar

Fan, J. y col. Imágenes a velocidad de vídeo de la dinámica biológica a escala centimétrica y resolución micrométrica. Nat. Fotónica 13, 809–816 (2019).

Artículo CAS Google Scholar

McConnell, G. y col. Un nuevo microscopio óptico para obtener imágenes de embriones grandes y volúmenes de tejido con resolución subcelular en todas partes. eLife 5, e18659 (2016).

Artículo PubMed PubMed Central Google Scholar

Wu, R. y col. Diseño de ópticas de iluminación de forma libre. Fotónica láser Rev. 12, 7 (2018).

Artículo de Google Scholar

Khorasaninejad, M. et al. Metalentes en longitudes de onda visibles: enfoque limitado por difracción e imágenes con resolución por debajo de la longitud de onda. Ciencia 352, 1190-1194 (2016).

Artículo CAS PubMed Google Scholar

Xu, L. y Jia, J. Estimación del núcleo de dos fases para una eliminación robusta del movimiento. En Proc. Conferencia Europea Visión por computadora (ECCV) (eds Daniilidis, K. et al.) 157–170 (2010).

Heide, F. y col. Imágenes computacionales de alta calidad a través de lentes simples. Transmisión ACM. Grafico. 32, 1-14 (2013).

Google Académico

Schuler, CJ, Hirsch, M., Harmeling, S. & Schölkopf, B. Corrección ciega de aberraciones ópticas. En Proc. Conferencia Europea Visión por computadora (ECCV) (eds Fitzgibbon, A. et al.) 187–200 (2012).

Chung, J., Martinez, GW, Lencioni, KC, Sadda, SR y Yang, C. Compensación de la aberración computacional mediante corrección de la aberración basada en apertura codificada obtenida a partir de codificación óptica de Fourier y estimación de desenfoque. Óptica 6, 647–661 (2019).

Artículo PubMed PubMed Central Google Scholar

Peng, Y. et al. Aprendió imágenes de gran campo de visión con óptica de placa delgada. Transmisión ACM. Grafico. 38, 219 (2019).

Artículo de Google Scholar

Koh, J., Lee, J. & Yoon, S. Eliminación de desenfoque de imágenes únicas con redes neuronales: un estudio comparativo. Computadora. Vis. Comprensión de la imagen. 203, 103134 (2021).

Artículo de Google Scholar

Booth, MJ Óptica adaptativa en microscopía. Filos. Trans. R. Soc., A 365, 2829–2843 (2007).

Artículo de Google Scholar

Booth, MJ Microscopía óptica adaptativa: la búsqueda continua de una imagen perfecta. Luz: ciencia. Aplica. 3, e165 (2014).

Artículo de Google Scholar

Wizinowich, P. y col. Primeras imágenes de óptica adaptativa a la luz del telescopio Keck II: una nueva era de imágenes de alta resolución angular. Publ. Astron. Soc. Pac. 112, 315 (2000).

Artículo de Google Scholar

Ivezić, Ž. et al. LSST: desde impulsores científicos hasta diseño de referencia y productos de datos anticipados. Astrofia. J. 873, 111 (2019).

Artículo de Google Scholar

Adelson, EH & Wang, JYA Estéreo de lente única con cámara plenóptica. Traducción IEEE. Patrón Anal. Mach. Intel. 14, 99-106 (1992).

Artículo de Google Scholar

Levoy, M. & Hanrahan, P. Representación de campo de luz. En Proc. 23ª Conferencia Anual. Gráficos por computadora y técnicas interactivas (ed. Fujii, J.) 31–42 (ACM, 1996).

Ng, R. y col. Fotografía de campo de luz con cámara plenóptica de mano. Informe técnico en informática de la Universidad de Stanford CSTR 2005-02 (Univ. de Stanford, 2005).

Ng, R. & Hanrahan, PM Corrección digital de aberraciones de lentes en fotografía de campos luminosos. En Proc. Conferencia Internacional de Diseño Óptico. WB2 (OSA, 2006).

Levoy, M., Ng, R., Adams, A., Footer, M. y Horowitz, M. Microscopía de campo luminoso. Transmisión ACM. Grafico. 25, 924–934 (2006).

Ihrke, I., Restrepo, J. & Mignard-Debise, L. Principios de la obtención de imágenes de campo luminoso: revisión breve de 25 años de investigación. Proceso de señal IEEE. revista 33, 59–69 (2016).

Artículo de Google Scholar

Wu, J. y col. La tomografía iterativa con óptica adaptativa digital permite la observación intravital de una hora de duración de la dinámica subcelular 3D a escala de milisegundos. Celda 184, 3318-3332.e17 (2021).

Milkie, DE, Betzig, E. & Ji, N. Microscopía óptica adaptativa basada en segmentación de pupila con iluminación de pupila completa. Optar. Letón. 36, 4206–4208 (2011).

Artículo PubMed Google Scholar

Dong, J., Pan, J., Su, Z. y Yang, M.-H. Desenfoque de imágenes ciegas con manejo de valores atípicos. En Proc. Conferencia Internacional IEEE. Visión por computadora (ICCV) (eds Ikeuchi, K. et al.) 2497–2505 (IEEE, 2017).

Jin, M., Roth, S. y Favaro, P. Deconvolución ciega normalizada. En Proc. Conferencia Europea Visión por computadora (ECCV) (eds Ferrari, V. et al.) 694–711 (2018).

Liu, Y., Dong, W., Gong, D., Zhang, L. y Shi, Q. Desenfoque de imagen natural mediante campos supergaussianos. En Proc. Conferencia Europea Visión por computadora (ECCV) (eds Ferrari, V. et al.) 467–484 (2018).

Bai, Y., Cheung, G., Liu, X. & Gao, W. Imagen ciega basada en gráficos que elimina el desenfoque de una sola fotografía. Traducción IEEE. Proceso de imagen. 28, 1404-1418 (2018).

Artículo MathSciNet Google Scholar

Yue, T., Suo, J., Wang, J., Cao, X. y Dai, Q. Corrección ciega de la aberración óptica mediante la exploración de antecedentes geométricos y visuales. En Proc. Conferencia IEEE. Visión por computadora y reconocimiento de patrones (CVPR) 1684–1692 (IEEE, 2015).

Robertson, BE y cols. Ciencia de la formación y evolución de galaxias en la era del Gran Telescopio de Rastreo Sinóptico. Nat. Rev. Phys. 1, 450–462 (2019).

Artículo de Google Scholar

Deng, L. y col. Lenghu en la meseta tibetana como lugar de observación astronómica. Naturaleza 596, 353–356 (2021).

Artículo CAS PubMed PubMed Central Google Scholar

Chen, J., Hou, J., Ni, Y. y Chau, LP Estimación precisa de la profundidad del campo de luz con regularización de superpíxeles sobre regiones parcialmente ocluidas. Traducción IEEE. Proceso de imagen. 27, 4889–4900 (2018).

Artículo MathSciNet PubMed Google Scholar

Zangl, K., Danzl, R., Helmli, F. y Prantl, M. μCMM óptica de alta precisión para la medición de microagujeros. Procedia CIRP 75, 397–402 (2018).

Artículo de Google Scholar

Chen, Z. y col. La pticografía electrónica alcanza límites de resolución atómica establecidos por las vibraciones de la red. Ciencia 372, 826–831 (2021).

Artículo CAS PubMed Google Scholar

Zheng, G., Horstmeyer, R. & Yang, C. Microscopía pticográfica de Fourier de alta resolución y campo amplio. Nat. Fotónica. 7, 739–745 (2013).

Artículo CAS PubMed PubMed Central Google Scholar

Zhu, S., Lai, A., Eaton, K., Jin, P. y Gao, L. Sobre la comparación fundamental entre cámaras de campo de luz enfocadas y desenfocadas. Aplica. Optar. 57, A1-A11 (2018).

Artículo PubMed Google Scholar

Lim, B., Son, S., Kim, H., Nah, S. & Lee, KM Redes residuales profundas mejoradas para superresolución de una sola imagen. En Proc. Conferencia IEEE. Visión por computadora y reconocimiento de patrones (talleres CVPR) 1132–1140 (IEEE, 2017).

Wang, X. y col. ESRGAN: Redes adversarias generativas de superresolución mejoradas. En Proc. Conferencia Europea Visión por computadora (Talleres ECCV) (eds Leal-Taixé, L. & Roth, S.) 63–79 (2018).

Haris, M., Shakhnarovich, G. y Ukita, N. Red de retroproyección recurrente para superresolución de vídeo. En Proc. Conferencia IEEE. Visión por computadora y reconocimiento de patrones (CVPR) 3892–3901 (IEEE, 2019).

Wu, J. y col. Microscopía volumétrica hiperespectral instantánea. Ciencia. Rep. 6, 24624 (2016).

Artículo CAS PubMed PubMed Central Google Scholar

Liu, C. Más allá de los píxeles: exploración de nuevas representaciones y aplicaciones para el análisis de movimiento. Tesis doctoral, Instituto de Tecnología de Massachusetts (2009).

Gallagher, RH Análisis estructural de elementos finitos. En t. J. Número. Métodos Ing. 23, 731–732 (1986).

Artículo de Google Scholar

Watson, DF Contouring: una guía para el análisis y visualización de datos espaciales (Elsevier, 2013).

Gustafsson, MG Microscopía de iluminación estructurada no lineal: imágenes de fluorescencia de campo amplio con resolución teóricamente ilimitada. Proc. Nacional. Acad. Ciencia. 102, 13081–13086 (2005).

Artículo CAS PubMed PubMed Central Google Scholar

Lu, Z. y col. Deconvolución del espacio de fases para microscopía de campo luminoso. Optar. Expreso 27, 18131–18145 (2019).

Artículo PubMed Google Scholar

Boyd, S., Parikh, N., Chu, E., Peleato, B. y Eckstein, J. Optimización distribuida y aprendizaje estadístico mediante el método de multiplicadores de dirección alterna. Encontró. Tendencias Mach. Aprender. 3, 1–122 (2011).

Artículo MATEMÁTICAS Google Scholar

Zhang, Y. et al. Seccionamiento óptico computacional con un modelo de dispersión multiescala incoherente para microscopía de campo luminoso. Nat. Comunitario. 12, 6391 (2021).

Artículo CAS PubMed PubMed Central Google Scholar

Krishnan, D. y Fergus, R. Deconvolución rápida de imágenes utilizando antecedentes hiperlaplacianos. Adv. Inf. neuronal. Proceso. Sistema. 22, 1033-1041 (2009).

Google Académico

Zhang, Y. et al. Estimación de la profundidad del campo de luz mediante análisis de imágenes del plano epipolar e incrustación localmente lineal. Traducción IEEE. Sistema de circuitos. Tecnología de vídeo. 27, 739–747 (2017).

Artículo de Google Scholar

Descargar referencias

Agradecemos a Z. Zhou por su ayuda en el uso del telescopio Tsinghua-NAOC de 80 cm en el Observatorio NAOC Xinglong. Agradecemos a T. Yan, T. Zhu, Y. Zhang, X. Yuan y X. Wang por sus útiles debates. Este trabajo fue apoyado por la Fundación Nacional de Ciencias Naturales de China (62088102, 61860206003, 62071272, 62125106) y el Programa Nacional Clave de Investigación y Desarrollo de China (2020AAA0130000, 2021ZD0109901).

Estos autores contribuyeron igualmente: Jiamin Wu, Yuduo Guo, Chao Deng

Departamento de Automatización, Universidad de Tsinghua, Beijing, China

Jiamin Wu, Chao Deng, Hui Qiao, Zhi Lu, Jiachen Xie y Qionghai Dai

Centro Nacional de Investigación de Ciencias de la Información y Tecnología de Beijing, Universidad de Tsinghua, Beijing, China

Jiamin Wu, Lu Fang y Qionghai Dai

Instituto de Ciencias Cognitivas y del Cerebro, Universidad de Tsinghua, Beijing, China

Jiamin Wu, Chao Deng, Anke Zhang, Hui Qiao, Zhi Lu, Jiachen Xie, Lu Fang y Qionghai Dai

Departamento de Ingeniería Electrónica, Universidad de Tsinghua, Beijing, China

Yuduo Guo y Lu Fang

Escuela Internacional de Graduados Tsinghua Shenzhen, Universidad de Tsinghua, Shenzhen, China

Yuduo Guo y Anke Zhang

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

QD y JW concibieron y diseñaron el proyecto. JW, YG y AZ diseñaron el sistema mecánico. JW, YG y CD diseñaron y construyeron el sistema óptico. YG, JW y ZL desarrollaron toda la gama de algoritmos de reconstrucción y realizaron las simulaciones numéricas. YG y HQ llevaron a cabo la sincronización del hardware. HQ y LF optimizaron el rendimiento de los algoritmos. YG diseñó e implementó el algoritmo de corrección de movimiento. YG, AZ, JX y CD realizaron los experimentos con el telescopio. CD llevó a cabo los experimentos de detección de profundidad. YG, JW y CD realizaron los otros experimentos de imágenes. QD y LF supervisaron el trabajo. JW, YG, LF, CD y QD prepararon figuras y escribieron el manuscrito con aportaciones de todos los autores.

Correspondencia a Lu Fang o Qionghai Dai.

QD, JW, YG, CD, AZ, HQ y LF poseen patentes sobre tecnologías relacionadas con los dispositivos desarrollados en este trabajo (números de patente de China ZL202110792338.5 y ZL202111014061.X) y presentaron solicitudes de patente relacionadas. QD y JW son fundadores y accionistas de Beijing Yuantong Technology LLC.

Nature agradece a Chao Zuo y a los demás revisores anónimos por su contribución a la revisión por pares de este trabajo.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

a, Las funciones de transferencia óptica (OTF) de diferentes vistas obtenidas mediante segmentación directa de la pupila, que ilustran la pérdida de resolución espacial. El esquema se muestra en la fila superior, en la que la matriz de microlentes (MLA) se coloca en el plano de la pupila con una gran apertura de microlentes. b, Los OTF de diferentes vistas obtenidas por el sensor de metaimagen sin el patrón codificado. Todos los parámetros de imágenes de simulación son los mismos que los del sistema de imágenes descrito en los Métodos con un factor de aumento de 10 y un número f de imágenes de 1. Establecimos la longitud de onda central en 1000 nm para facilitar la simulación. c, Los OTF de diferentes vistas obtenidas por el sensor de metaimagen sin el patrón codificado con una apertura de microlente más grande y el mismo número f: tamaño de paso de 142,6 μm para ángulos de 31 × 31. Los nulos en los OTF aumentan con una gran apertura de microlente debido a la reducción del efecto de difracción. d, Los OTF de diferentes vistas obtenidas por el sensor de metaimagen con el patrón codificado circular y un tamaño de microlente de 69 μm, que ilustran nulos reducidos en el OTF. Las bandas verticales en el OTF a bajas frecuencias transversales son el artefacto originado a partir de la función fftn en Matlab debido a la gran profundidad de campo de la función de dispersión de puntos (PSF). e, Imagen de verdad sobre el terreno utilizada para simulación numérica. f, Resultado reconstruido del sensor de metaimagen sin el patrón circular en cada microlente, que muestra artefactos de reconstrucción de estructuras densas. g, Resultado reconstruido del sensor de metaimagen con el patrón circular en cada microlente sin artefactos. Barra de escala: 1 μm-1. PSNR, relación señal-ruido máxima.

a, Imagen de verdad sobre el terreno utilizada para simulaciones numéricas. Todos los parámetros de imagen son los mismos que los del sistema de imagen descrito en Métodos con un factor de aumento de 10 y un número f de 1. b – e, Imágenes reconstruidas del sensor de metaimagen con diferentes períodos de escaneo: 1 × 1 (b) , 3×3 (c), 5×5 (d) y 15×15 (e). El período de escaneo 1×1 corresponde a la cámara tradicional de campo luminoso sin el proceso de escaneo. f, La curva de la medida del índice de similitud estructural (SSIM) entre la reconstrucción y la verdad sobre el terreno versus diferentes períodos de escaneo. Se puede observar que el rendimiento de la reconstrucción converge gradualmente con el aumento del número de escaneos. Por lo tanto, elegimos el período de escaneo de 5 × 5 para la mayoría de los experimentos de nuestro manuscrito (consulte la Tabla complementaria 1).

a, Módulo de preprocesamiento. Los datos sin procesar se convirtieron primero en diferentes vistas mediante realineación de píxeles. Para muestras dinámicas, se utiliza la corrección de movimiento para eliminar artefactos de movimiento. Luego, las vistas globales se segmentan uniformemente en pequeños bloques para estimar y corregir las aberraciones espacialmente no uniformes. b, Módulo de estimación de frente de onda para cada bloque local. Se puede omitir utilizando directamente la aberración del sistema local para reducir los costos computacionales. Para cada bloque local, podemos estimar aún más las aberraciones ambientales con un método de multiplicadores de dirección alterna (ADMM). Extendemos el DAO a la óptica de ondas actualizando los PSF aberrados con aberraciones estimadas basadas en el modelo de óptica de ondas para cada tres iteraciones durante el método ADMM. c, Apertura sintética incoherente (ISA). La imagen corregida por aberración para cada bloque local se puede obtener mediante deconvolución del espacio de fase con los PSF aberrados estimados. Se unen diferentes bloques promediando el área superpuesta para la reconstrucción global posterior. d, Módulo de corrección de movimiento aplicado a cada vista por separado. e, Estimación de aberración global inicial utilizada para estimar las aberraciones del sistema espacialmente no uniformes. f, módulo de deconvolución rápida. La imagen estimada durante el paso de estimación del frente de onda se obtiene mediante el promedio de los resultados desconvolucionados con diferentes PSF angulares basados ​​en el hiperlaplaciano anterior.

a, Verdad fundamental de la imagen simulada. b, Resultados obtenidos por un sensor 2D convencional, un sensor 2D con óptica adaptativa (AO) de hardware a través de una matriz de espejos deformables con punta-inclinación (15 × 15 segmentos) y el sensor de metaimagen con DAO en óptica geométrica y ondulatoria. ópticas, mostradas en diferentes filas. Los resultados con diferentes valores eficaces de aberraciones (0,5λ, 1λ y 3λ) se muestran en diferentes columnas. Las aberraciones se generan aleatoriamente con un orden Zernike máximo de 45. La configuración de imágenes simuladas es la misma que se mencionó anteriormente. Las aberraciones reales se muestran en los recuadros de los resultados del sensor 2D, mientras que las aberraciones corregidas de diferentes métodos se muestran en los recuadros correspondientes. Las barras de colores para cada columna se muestran en la parte inferior. c, Las curvas de SNR máxima (PSNR) versus diferentes rms de aberraciones agregadas para diferentes métodos. d, Las curvas de SSIM versus diferentes rms de aberraciones agregadas para diferentes métodos. e, Las curvas de errores residuales relativos del frente de onda σ versus diferentes rms de aberraciones agregadas para diferentes métodos, donde σ se calcula a través de la relación entre la fase residual rms y el valor pico a valle de la aberración agregada. f, Resultados de datos experimentales obtenidos por sensor 2D y sensor de metaimagen con DAO en óptica geométrica y óptica ondulatoria. Barra de escala: 20 mm (f).

Datos fuente

a, Las curvas del SSIM y la SNR máxima frente a diferentes niveles de ruido indicados por la SNR bajo diferentes niveles de aberración (0λ, 1λ, 2λ y 3λ). Se agregan diferentes niveles de ruidos gaussianos para simular el ruido de lectura. Los ajustes simulados son los mismos que los mencionados anteriormente. b, Resultados obtenidos por un sensor 2D convencional con SNR de 20 dB (derecha) y 40 dB (izquierda) sin aberraciones. c – e, Resultados obtenidos por el sensor de metaimagen con diferentes SNR: 40 dB (c), 20 dB (d) y 3 dB (e), y niveles de aberración. f, Las curvas de errores residuales relativos del frente de onda σ versus diferentes SNR bajo diferentes niveles de aberración (1λ, 2λ y 3λ), que muestran una fuerte robustez al ruido del sensor de metaimagen para estimaciones de aberración. g, Aberraciones reales y aberraciones estimadas correspondientes con diferentes SNR.

Datos fuente

a, Imagen de vista central obtenida mediante un sensor de metaimagen con una sola lente de plástico. La muestra son cuatro gráficos de resolución (ISO 12233), que son iguales a los de la Fig. 2d. b, Parte de la imagen capturada por un sensor 2D convencional con una única lente de plástico y resultados correspondientes tras aplicar diferentes algoritmos de deconvolución ciega marcados en la parte superior17, 35,36,37,38,39. El resultado obtenido por el sensor de metaimagen en las mismas condiciones también se muestra para compararlo con la aberración estimada que se muestra en el recuadro. c – e, las regiones ampliadas de los datos sin procesar capturados por el sensor 2D y el sensor de metaimagen bajo las mismas condiciones de imagen y tiempo de exposición para mostrar la mejora de la SNR del sensor de metaimagen con la existencia de fuertes aberraciones. f – i, regiones ampliadas marcadas en a obtenidas mediante diferentes métodos, incluido el sensor 2D con una lente de cámara réflex de lente única (SLR) de alta calidad (Canon EF70-200 mm 1:2.8L), el sensor 2D con una sola lente de plástico, y el sensor de metaimagen con la misma lente de plástico única. En los recuadros se muestran las aberraciones estimadas de las regiones locales. Barras de escala: 40 mm (a), 5 mm (b – i).

Datos fuente

a, La imagen obtenida por un sensor 2D convencional con una única lente plano-convexa. Nosotros mismos montamos las escenas en el laboratorio. Se utiliza un cuadro negro para bloquear el logotipo por motivos de derechos de autor. Una fotografía de la pintura 'A lo largo del río durante el Festival Qingming' de Qiu Ying se imprimió como una de las muestras que se fotografiarán. b, La imagen obtenida por el sensor de metaimagen con una única lente plano-convexa. Para lograr imágenes de gigapíxeles con nuestro chip CMOS actual, fijamos la lente y desplazamos manualmente el sensor 2D y el sensor de metaimagen en el dominio lateral para cubrir un gran campo de visión (FOV). Luego, las imágenes de gigapíxeles se obtuvieron uniendo las imágenes con pequeñas superposiciones. El número de píxeles de ambas imágenes después de la unión fue 26.207 × 39.194 (~1,03 gigapíxeles). Se utiliza un cuadro negro para bloquear el logotipo por motivos de derechos de autor. c – f, Ampliación de las regiones marcadas en a obtenida por el sensor 2D (arriba) y el sensor de metaimagen (abajo). Las aberraciones estimadas por el sensor de metaimagen se muestran en el recuadro. Los círculos discontinuos representan la región telecéntrica con un número f de 10.

a, Colocamos directamente nuestro sensor de metaimagen o el sensor 2D convencional que contiene el mismo chip CMOS en el plano de imagen del telescopio Tsinghua-NAOC de 80 cm. El telescopio es un telescopio Cassegrain de 80 cm. La fotografía que muestra nuestra cámara de prueba de concepto instalada en el telescopio durante los experimentos. b, La vista (−4, −3) después de la realineación directa de píxeles de la Luna fotografiada por el sensor de metaimagen sin corrección de movimiento. c, El mapa de flujo óptico desde el punto de tiempo adyacente al punto de tiempo central obtenido mediante el algoritmo de registro no rígido. d – g, Ampliación de las regiones marcadas en b para visualizar mejor los datos de la vista sin (arriba) y con correcciones de movimiento (abajo), lo que ilustra la efectividad del algoritmo. Barras de escala: 100 segundos de arco (b,c), 10 segundos de arco (d – g).

a, Vista central de una placa de circuito obtenida por nuestro sensor de metaimagen. El plano espacial-angular de la línea continua azul se muestra en la parte inferior. Se pueden estimar diferentes profundidades a partir de las pendientes de los puntos correspondientes. b, El mapa de profundidad de la verdad del terreno obtenido mediante una microscopía comercial de variación de enfoque. c, d, Los mapas de profundidad obtenidos con la cámara tradicional de campo de luz (correspondiente al sensor de metaimagen sin escaneo) sin (c) y con (d) corrección de aberración. e, f, Los mapas de profundidad obtenidos por el sensor de metaimagen sin (e) y con (f) corrección de aberración. g, Ampliación de la región marcada en a para mostrar la diferencia de estructuras diminutas. h, El espesor promedio de cuatro componentes marcados en a tanto para el campo de luz tradicional como para el sensor de metaimagen con y sin correcciones de aberración. Los valores centrales representan el promedio. Las barras de error representan 1 desviación estándar (n = 14.400 píxeles para cada componente). Barras de escala: 1 mm.

a, Los resultados de imágenes obtenidos por el sensor de metaimagen con aumentos para una mejor visualización. b,c, Los resultados correspondientes después de la superresolución mediante dos métodos diferentes basados ​​en aprendizaje profundo47,48 con modelos previamente entrenados para mejorar aún más la resolución con los datos anteriores, lo que indica que el sensor de metaimagen es compatible con el procesamiento de señales existente algoritmos. d, Las vistas centrales de las escenas dinámicas obtenidas por el sensor de metaimagen sin corrección de movimiento. e, Los resultados correspondientes después de nuestra corrección de movimiento basada en flujo óptico. f, Los resultados correspondientes después de la corrección de movimiento basada en el aprendizaje con una red neutral profunda previamente entrenada, una red de retroproyección recurrente (RBPN)49. g, Comparaciones del tiempo de procesamiento necesario para la corrección de movimiento de una sola vista con 400 × 400 píxeles, que ilustran una aceleración de aproximadamente 29 veces lograda por el método basado en aprendizaje.

El archivo contiene la Tabla complementaria 1, que proporciona los parámetros experimentales utilizados para la adquisición de datos y la reconstrucción del sensor de metaimagen.

Imágenes a través de fuertes aberraciones no uniformes introducidas por múltiples capas de envoltura de plástico.

La canalización y demostración del algoritmo de corrección de movimiento para escenas dinámicas.

Óptica adaptativa digital (DAO) multisitio para el telescopio terrestre de 80 cm.

Detección de profundidad para la aplicación de conducción autónoma.

Sensación de profundidad para la aplicación de inspección industrial.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Wu, J., Guo, Y., Deng, C. et al. Un sensor de imagen integrado para fotografía 3D con corrección de aberraciones. Naturaleza 612, 62–71 (2022). https://doi.org/10.1038/s41586-022-05306-8

Descargar cita

Recibido: 09 de noviembre de 2021

Aceptado: 01 de septiembre de 2022

Publicado: 19 de octubre de 2022

Fecha de emisión: 01 de diciembre de 2022

DOI: https://doi.org/10.1038/s41586-022-05306-8

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

FotoniX (2023)

Métodos de la naturaleza (2023)

Comunicaciones de la naturaleza (2023)

Naturaleza (2023)

Luz: ciencia y aplicaciones (2023)

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.