Schema zur Verbesserung der Tiefenwahrnehmungspräzision des TOF-Kameramoduls in AR

Bei der Entwicklung von Augmented Reality (AR)-Technologie beeinflusst die Genauigkeit der Tiefenwahrnehmung direkt die Integration virtueller Objekte in reale Szenen. Das TOF-Kameramodul (Time of Flight) mit seiner Fähigkeit, dreidimensionale Raumdaten in Echtzeit zu erfassen, ist zur Kernkomponente von AR-Geräten geworden. Die weitere Verbesserung der Tiefenwahrnehmung in komplexen Umgebungen steht jedoch weiterhin im Fokus der Branche. Dieser Artikel befasst sich mit dem Optimierungsschema für die Tiefenwahrnehmung von TOF. Kameramodul in AR-Anwendungen aus drei Dimensionen: technische Optimierung, Design und Multisensorfusion.

Herkömmliche TOF-Sensoren sind anfällig für Störungen durch Umgebungslicht und liefern verrauschte Tiefendaten. Die von Ouster für das Meizu 17 Pro angepasste Lösung nutzt leistungsstarke Filteralgorithmen, die mithilfe adaptiver Rauschunterdrückungstechnologie insbesondere hochfrequentes Rauschen eliminieren und so die Klarheit der Tiefenkarte deutlich verbessern. In Kombination mit der von Qualcomm DSP optimierten Tiefen-Engine reduziert sich der Stromverbrauch des Systems um 15 %, während eine stabile Bildrate von 30 FPS beibehalten wird, was die flüssige Darstellung von AR-Anwendungen gewährleistet.

Um das Problem der unzureichenden To-Auflösung zu kompensieren, ermöglicht das vom Team der Zhejiang-Universität entwickelte DELTAR-Framework eine leichte ToF- und RGB-Bildfusion durch Deep Learning. Dieses Verfahren nutzt die Texturdetails des RGB, um die Tiefeninformationen des ToF zu ergänzen. Im ECCV 2022-Experiment wurde der Tiefenschätzfehler im Vergleich zu herkömmlichen Methoden um 23 % reduziert und die Rechenleistung um 40 % gesteigert, wodurch es sich für ressourcenbeschränkte Geräte wie mobile Endgeräte eignet.

Innovationen auf Hardwareebene bilden die Grundlage für Präzisionsverbesserungen. Das Femto-W-Modul von Ouster nutzt die iToF-Technologie, um Millimetergenauigkeit im Bereich von 0,2 bis 2,5 Metern zu erreichen. Es integriert eine Plattform für Tiefenberechnungen und benötigt keine externe Rechenleistung. Sein ultraweites Design (120°-Sichtfeld) ermöglicht die Erfassung eines breiteren räumlichen Informationsumfangs, und die Ausgabe von Infrarot- und Tiefendaten im Y16-Format liefert hochpräzise Daten für die Szenenmodellierung.

Für die Anforderungen der Massenproduktion berücksichtigt das Modul bei der Auswahl der Hardware die Effizienz der Kalibrierung in der Produktionslinie, verbessert den Ertrag durch One-Stop-Kalibrierungstechnologie und komplexe Funktionen wie 3D-Gesichtserkennung, SLAM usw. und erfüllt so die doppelten Anforderungen von Szenarien der Unterhaltungselektronik und der industriellen Automatisierung.

Mono-ToF-Sensoren stoßen bei komplexer Beleuchtung oder wenig Textur noch an ihre Grenzen. Durch die Integration multimodaler Daten wie RGB und IMU lässt sich ein umfassenderes Tiefenwahrnehmungssystem aufbauen. Beispielsweise kombiniert die AR-Linealfunktion des Meizu 18 Pro ToF-Tiefendaten mit IMU-Lageinformationen, um eine zentimetergenaue Entfernungsmessung zu erreichen. Das DELTAR-Framework, der Feature-Alignment-Algorithmus und die pixelgenaue Registrierung von ToF-Tiefenkarte und RGB-Bild, eliminieren Parallaxenfehler und verbessern die räumliche Positionierungsgenauigkeit virtueller Objekte.

Darüber hinaus kann die Multisensorfusion in dynamischen Szenen das Problem der Bewegungsunschärfe effektiv lösen. Durch die synchrone Erfassung von ToF- und RGB-Daten und die Kombination eines Zeitsequenz-Optimierungsalgorithmus korrigiert das System die durch Bewegung verursachte Tiefenabweichung in Echtzeit und gewährleistet so die Stabilität der AR-Interaktion.

ToF-Objektivmodule erzielen derzeit bahnbrechende Anwendungen in der AR-Technologie von Mobiltelefonen. Die Echtzeit-Video-Unschärfefunktion des Meizu 17 Pro ermöglicht mithilfe der ToF-Tiefen-Engine eine präzise Trennung von Hintergrund und Motiv, und der Unschärfeübergang wirkt natürlicher. Die maßgeschneiderte Lösung von Orbbec für das 18 Pro unterstützt innovative Funktionen wie AR-Vision, die die Anwendungsgrenzen von AR in Umgebungen mit wenig Licht erweitert. Mit der Entwicklung leichter Algorithmen und stromsparender Hardware werden ToF-Module zukünftig kleiner und kostengünstiger und fördern so die Verbreitung der AR-Technologie im Smart Home, der industriellen Inspektion und anderen Bereichen.

Die Verbesserung der Tiefenwahrnehmungsgenauigkeit des ToF-Objektivmoduls basiert auf der koordinierten Entwicklung von Algorithmusoptimierung, Hardware-Innovation und multimodaler Fusion. Durch die kontinuierliche Beseitigung technischer Engpässe wird ToF zur zentralen Triebkraft für Geräte, die eine „nahtlose Integration von virtuell und real“ erreichen und den Nutzern ein intensiveres und präziseres interaktives Erlebnis bieten.