Schéma d'amélioration de la précision de la perception de la profondeur du module de caméra TOF en RA

Dans le développement de la technologie de réalité augmentée (RA), la précision de la perception de la profondeur influence directement l'intégration des objets virtuels aux scènes réelles. Le module de caméra TOF (Time of Flight), capable d'acquérir des données spatiales tridimensionnelles en temps réel, est devenu le composant central des dispositifs de RA. Cependant, l'amélioration de la précision de la perception de la profondeur dans les environnements complexes reste une préoccupation majeure du secteur. Cet article présente le système d'amélioration de la précision de la perception de la profondeur du module TOF. module de caméra dans les applications de RA à partir de trois dimensions : optimisation technique, conception et fusion multi-capteurs.

Les capteurs TOF traditionnels sont sujets aux interférences de la lumière ambiante, notamment dans les données de profondeur bruyantes. La solution personnalisée par Ouster pour le Meizu 17 Pro utilise des algorithmes de filtrage haute performance qui, grâce à une technologie de suppression adaptative du bruit, éliminent spécifiquement le bruit basse fréquence, améliorant ainsi considérablement la clarté de la carte de profondeur. De plus, grâce au moteur de profondeur optimisé par Qualcomm DSP, la consommation d'énergie du système est réduite de 15 %, tout en maintenant une fréquence d'images stable de 30 images par seconde, garantissant ainsi la fluidité des applications de réalité augmentée.

Pour pallier le problème de résolution insuffisante du To, le framework DELTAR développé par l'équipe de l'Université du Zhejiang réalise une fusion légère d'images ToF et RVB grâce à l'apprentissage profond. Ce schéma utilise les détails de texture du RVB pour compléter les informations de profondeur du ToF. Dans l'expérience ECCV 2022, son erreur d'estimation de profondeur a été réduite de 23 % par rapport aux méthodes traditionnelles et son efficacité de calcul a été augmentée de 40 %, ce qui le rend adapté aux appareils à ressources limitées tels que les terminaux mobiles.

L'innovation matérielle est la clé de voûte de l'amélioration de la précision. Le module Femto-W d'Ouster utilise la technologie iToF pour atteindre une précision millimétrique comprise entre 0,2 et 2,5 mètres. Il intègre une plateforme de calcul de profondeur et ne nécessite aucune puissance de calcul externe. Sa conception ultra-large (champ de vision de 120°) permet de capturer une information spatiale plus large, et la sortie au format Y16 des données infrarouges et de profondeur fournit des données haute fidélité pour la modélisation de scènes.

Pour les besoins de production de masse, le module prend en compte l'efficacité de l'étalonnage sur la ligne de production lors de la sélection du matériel, améliore le rendement grâce à une technologie d'étalonnage à guichet unique et des fonctions complexes telles que la reconnaissance faciale 3D, SLAM, etc., répondant aux doubles besoins de l'électronique grand public et des scénarios d'automatisation industrielle.

Les capteurs mono ToF présentent encore des limites en cas d'éclairage complexe ou de faible texture. L'intégration de données multimodales telles que RVB et IMU permet de construire un système de perception de la profondeur plus complet. Par exemple, la fonction de règle AR du Meizu 18 Pro combine les données de profondeur ToF avec les informations d'attitude IMU pour obtenir une précision de mesure de distance au centimètre près. Le framework DELTAR, l'algorithme d'alignement des caractéristiques, l'enregistrement au pixel près de la carte de profondeur ToF et de l'image RVB éliminent les erreurs de parallaxe et améliorent la précision du positionnement spatial des objets virtuels.

De plus, dans les scènes dynamiques, la fusion multicapteurs permet de résoudre efficacement le problème du flou de mouvement. En collectant de manière synchrone les données ToF et RVB et en combinant un algorithme d'optimisation de la séquence temporelle, le système corrige en temps réel l'écart de profondeur causé par le mouvement, garantissant ainsi la stabilité de l'interaction AR.

Actuellement, les modules d'objectifs ToF ont connu des applications révolutionnaires en réalité augmentée sur téléphone mobile. La fonction de flou vidéo en temps réel du Meizu 17 Pro, grâce au moteur de profondeur ToF, permet une séparation précise de l'arrière-plan et du sujet, et une transition de flou plus naturelle. La solution personnalisée d'Orbbec pour le Meizu 18 Pro prend en charge des fonctions innovantes telles que la vision AR, qui élargit les possibilités d'application de la réalité augmentée en conditions de faible luminosité. À l'avenir, grâce au développement d'algorithmes légers et de matériel basse consommation, les modules ToF évolueront vers des tailles plus compactes et des coûts plus faibles, favorisant ainsi la popularisation de la technologie AR dans la maison connectée, l'inspection industrielle et d'autres domaines.

L'amélioration de la précision de la perception de la profondeur du module d'objectif ToF repose sur le développement coordonné de l'optimisation des algorithmes, de l'innovation matérielle et de la fusion multimodale. Grâce à la résolution continue des obstacles techniques, ToF deviendra le moteur principal des appareils pour une intégration fluide du virtuel et du réel, offrant aux utilisateurs une expérience interactive plus immersive et plus précise.