Esquema de mejora de la precisión de la percepción de profundidad del módulo de cámara TOF en AR

En el desarrollo de la tecnología de realidad aumentada (RA), la precisión de la percepción de profundidad afecta directamente la integración de objetos virtuales con escenas reales. El módulo de cámara TOF (Tiempo de Vuelo), con su capacidad para adquirir datos espaciales tridimensionales en tiempo real, se ha convertido en el componente principal de los dispositivos de RA. Sin embargo, la industria sigue priorizando la mejora de la precisión de la percepción de profundidad en entornos complejos. Este artículo analizará el esquema de mejora de la precisión de la percepción de profundidad del TOF. módulo de cámara en aplicaciones de RA desde tres dimensiones: optimización técnica, diseño y fusión de múltiples sensores.

Los sensores TOF tradicionales son propensos a la interferencia de la luz ambiental en datos de profundidad ruidosos. La solución personalizada por Ouster para el Meizu 17 Pro emplea algoritmos de filtrado de alto rendimiento que, mediante tecnología de supresión de ruido adaptativa, eliminan específicamente el ruido de baja frecuencia, mejorando significativamente la claridad del mapa de profundidad. Además, en combinación con el motor de profundidad optimizado por Qualcomm DSP, el consumo de energía del sistema se reduce en un 15 %, manteniendo una velocidad de fotogramas estable de 30 FPS, lo que garantiza la fluidez de las aplicaciones de RA.

Para compensar la insuficiente resolución de To, el marco DELTAR, desarrollado por el equipo de la Universidad de Zhejiang, logra una fusión ligera de imágenes ToF y RGB mediante aprendizaje profundo. Este esquema utiliza los detalles de textura del RGB para complementar la información de profundidad de ToF. En el experimento ECCV 2022, su error de estimación de profundidad se redujo en un 23 % en comparación con los métodos tradicionales y su eficiencia computacional aumentó en un 40 %, lo que lo hace adecuado para dispositivos con recursos limitados, como los terminales móviles.

La innovación a nivel de hardware es la base para mejorar la precisión. El módulo Femto-W de Ouster utiliza tecnología iToF para lograr una precisión milimétrica en un rango de 0,2 a 2,5 metros, integra una plataforma de computación de profundidad y no requiere soporte de computación externa. Su diseño ultraancho (campo de visión de 120°) permite capturar información espacial más amplia, y la salida de datos infrarrojos y de profundidad en formato Y16 proporciona datos de alta fidelidad para el modelado de escenas.

Para las necesidades de producción en masa, el módulo considera la eficiencia de la calibración en la línea de producción durante la selección del hardware, mejora el rendimiento a través de la tecnología de calibración integral y funciones complejas como reconocimiento facial 3D, SLAM, etc., satisfaciendo las necesidades duales de la electrónica de consumo y escenarios de automatización industrial.

Los sensores mono ToF aún presentan limitaciones en escenarios con iluminación compleja o poca textura. Al integrar datos multimodales como RGB e IMU, se puede construir un sistema de percepción de profundidad más completo. Por ejemplo, la función de regla de RA del Meizu 18 Pro combina datos de profundidad ToF con información de actitud de la IMU para lograr una precisión centimétrica en la medición de distancias. El marco DELTAR, el algoritmo de alineación de características y el registro a nivel de píxel del mapa de profundidad ToF y la imagen RGB, eliminan los errores de paralaje y mejoran la precisión del posicionamiento espacial de los objetos virtuales.

Además, en escenas dinámicas, la fusión multisensor puede solucionar eficazmente el problema del desenfoque de movimiento. Mediante la recopilación sincronizada de datos ToF y RGB y la combinación de un algoritmo de optimización de secuencia temporal, el sistema corrige en tiempo real la desviación de profundidad causada por el movimiento, garantizando así la estabilidad de la interacción con RA.

Actualmente, los módulos de lentes ToF han alcanzado aplicaciones revolucionarias en la realidad aumentada (RA) para teléfonos móviles. La función de desenfoque de video en tiempo real del Meizu 17 Pro, mediante el motor de profundidad ToF, logra una separación precisa entre el fondo y el sujeto, y la transición del desenfoque es más natural. La solución personalizada de Orbbec para el 18 Pro admite funciones innovadoras como la visión de RA, que amplía las posibilidades de aplicación de la RA en entornos con poca luz. En el futuro, con el desarrollo de algoritmos ligeros y hardware de bajo consumo, los módulos ToF se reducirán en tamaño y costo, impulsando la popularización de la tecnología de RA en hogares inteligentes, inspección industrial y otros campos.

La mejora de la precisión de la percepción de profundidad del módulo de lente ToF se basa en el desarrollo coordinado de la optimización de algoritmos, la innovación de hardware y la fusión multimodal. Gracias a la continua superación de obstáculos técnicos, ToF se convertirá en el motor principal para que los dispositivos logren una integración fluida entre lo virtual y lo real, ofreciendo a los usuarios una experiencia interactiva más inmersiva y precisa.