Esquema de melhoria da precisão da percepção de profundidade do módulo da câmera TOF em RA

No desenvolvimento da tecnologia de realidade aumentada (RA), a precisão da percepção de profundidade afeta diretamente o efeito de integração de objetos virtuais com cenas reais. O módulo de câmera TOF (Time of Flight), com sua capacidade de adquirir dados espaciais tridimensionais em tempo real, tornou-se o componente central dos dispositivos de RA. No entanto, como aprimorar ainda mais sua precisão de percepção de profundidade em ambientes complexos ainda é o foco da indústria. Este artigo discutirá o esquema de aprimoramento da precisão da percepção de profundidade do TOF. módulo de câmera em aplicações de RA em três dimensões: otimização técnica, design e fusão multissensor.

Sensores TOF tradicionais são propensos à interferência da luz ambiente em dados de profundidade com ruído. A solução personalizada pela Ouster para o Meizu 17 Pro emprega algoritmos de filtragem de alto desempenho que, por meio da tecnologia de supressão adaptativa de ruído, eliminam especificamente ruídos de baixa frequência, melhorando significativamente a clareza do mapa de profundidade. Além disso, combinado com o mecanismo de profundidade otimizado pela Qualcomm DSP, o consumo de energia do sistema é reduzido em 15%, mantendo uma taxa de quadros estável de 30 FPS, garantindo a fluidez de aplicativos de realidade aumentada.

Para compensar o problema da resolução insuficiente de ToF, a estrutura DELTAR, desenvolvida pela equipe da Universidade de Zhejiang, realiza a fusão leve de imagens ToF e RGB por meio de aprendizado profundo. Esse esquema utiliza os detalhes da textura RGB para complementar as informações de profundidade de ToF. No experimento ECCV 2022, seu erro de estimativa de profundidade foi reduzido em 23% em comparação com os métodos tradicionais e sua eficiência computacional foi aumentada em 40%, tornando-o adequado para dispositivos com recursos limitados, como terminais móveis.

A inovação em nível de hardware é a base para a melhoria da precisão. O módulo Femto-W da Ouster utiliza a tecnologia iToF para atingir precisão milimétrica na faixa de 0,2 a 2,5 metros, integra uma plataforma de computação de profundidade e não requer suporte de computação externa. Seu design ultra-amplo (campo de visão de 120°) permite capturar informações espaciais mais amplas, e a saída de dados infravermelhos e de profundidade no formato Y16 fornece dados de alta fidelidade para modelagem de cenas.

Para necessidades de produção em massa, o módulo considera a eficiência da calibração na linha de produção durante a seleção de hardware, melhora o rendimento por meio de tecnologia de calibração completa e funções complexas, como reconhecimento facial 3D, SLAM, etc., atendendo às necessidades duplas de eletrônicos de consumo e cenários de automação industrial.

Sensores ToF mono ainda apresentam limitações em cenários complexos de iluminação ou baixa textura. Ao integrar dados multimodais, como RGB e IMU, é possível construir um sistema de percepção de profundidade mais completo. Por exemplo, a função de régua de realidade aumentada do Meizu 18 Pro combina dados de profundidade ToF com informações de atitude IMU para obter precisão de medição de distância em centímetros. A estrutura DELTAR, o algoritmo de alinhamento de recursos e o registro em nível de pixel do mapa de profundidade ToF e da imagem RGB eliminam erros de paralaxe e aumentam a precisão do posicionamento espacial de objetos virtuais.

Além disso, em cenas dinâmicas, a fusão multissensor pode resolver eficazmente o problema de desfoque de movimento. Ao coletar dados ToF e RGB de forma síncrona e combinar o algoritmo de otimização de sequência temporal, o sistema corrige em tempo real o desvio de profundidade causado pelo movimento, garantindo a estabilidade da interação de realidade aumentada.

Atualmente, os módulos de lentes ToF alcançaram aplicações inovadoras em realidade aumentada (RA) para celulares. A função de desfoque de vídeo em tempo real do Meizu 17 Pro, por meio do mecanismo de profundidade ToF, realiza a separação precisa entre o fundo e o objeto, e a transição do desfoque é mais natural; a solução personalizada da Orbbec para o 18 Pro suporta funções inovadoras, como a visão de RA, que expande os limites de aplicação da RA em ambientes com pouca luz. No futuro, com o desenvolvimento de algoritmos leves e hardware de baixo consumo de energia, os módulos ToF evoluirão para tamanhos menores e custos mais baixos, promovendo a popularização da tecnologia de RA em residências inteligentes, inspeção industrial e outros campos.

A melhoria da precisão da percepção de profundidade do módulo de lente ToF depende do desenvolvimento coordenado de otimização de algoritmos, inovação de hardware e fusão multimodal. Através da contínua superação de gargalos técnicos, o ToF se tornará a principal força motriz para que os dispositivos alcancem a "integração perfeita entre o virtual e o real", proporcionando aos usuários uma experiência interativa mais imersiva e precisa.