Schemat poprawy precyzji percepcji głębi modułu kamery TOF w rozszerzonej rzeczywistości

W rozwoju technologii rozszerzonej rzeczywistości (AR) dokładność percepcji głębi bezpośrednio wpływa na efekt integracji obiektów wirtualnych ze scenami rzeczywistymi. Moduł kamery TOF (Time of Flight), dzięki swojej zdolności do pozyskiwania trójwymiarowych danych przestrzennych w czasie rzeczywistym, stał się podstawowym elementem urządzeń AR. Jednak to, jak dalej poprawić dokładność percepcji głębi w złożonych środowiskach, nadal stanowi przedmiot zainteresowania branży. W tym artykule omówiono schemat poprawy precyzji percepcji głębi TOF moduł kamery w zastosowaniach rozszerzonej rzeczywistości w trzech wymiarach: optymalizacji technicznej, projektowania i łączenia danych z wielu czujników.

Tradycyjne czujniki TOF są podatne na zakłócenia spowodowane światłem otoczenia w zaszumionych danych głębi. Rozwiązanie dostosowane przez Ouster do Meizu 17 Pro wykorzystuje wydajne algorytmy filtrowania, które dzięki adaptacyjnej technologii tłumienia szumów eliminują szczególnie szum o wysokiej częstotliwości, znacznie poprawiając przejrzystość mapy głębi. Ponadto, w połączeniu z silnikiem głębi zoptymalizowanym przez Qualcomm DSP, zużycie energii przez system jest zmniejszone o 15%, przy jednoczesnym zachowaniu stabilnej liczby klatek na sekundę wynoszącej 30 FPS, co zapewnia płynność aplikacji AR.

Aby zrekompensować problem niewystarczającej rozdzielczości To, struktura DELTAR opracowana przez zespół Uniwersytetu Zhejiang osiąga lekkie połączenie obrazów ToF i RGB poprzez głębokie uczenie. Ten schemat wykorzystuje szczegóły tekstury RGB w celu uzupełnienia informacji o głębi ToF. W eksperymencie ECCV 2022 błąd szacowania głębokości został zmniejszony o 23% w porównaniu z tradycyjnymi metodami, a wydajność obliczeniowa wzrosła o 40%, dzięki czemu nadaje się do urządzeń o ograniczonych zasobach, takich jak terminale mobilne.

Innowacja na poziomie sprzętowym jest podstawą poprawy precyzji. Moduł Femto-W firmy Ouster wykorzystuje technologię iToF, aby osiągnąć dokładność milimetrową w zakresie 0,2–2,5 metra, integruje platformę mocy obliczeniowej głębokości i nie wymaga zewnętrznego wsparcia mocy obliczeniowej. Jego ultraszeroka konstrukcja (pole widzenia 120°) może przechwytywać szersze informacje przestrzenne, a wyjście danych w podczerwieni i głębokości w formacie Y16 zapewnia dane o wysokiej wierności do modelowania scen.

W przypadku potrzeb produkcji masowej moduł uwzględnia efektywność kalibracji na linii produkcyjnej podczas doboru sprzętu, zwiększa wydajność dzięki kompleksowej technologii kalibracji i złożonym funkcjom, takim jak rozpoznawanie twarzy 3D, SLAM itp., spełniając jednocześnie podwójne potrzeby: elektroniki użytkowej i automatyki przemysłowej.

Czujniki Mono ToF nadal mają ograniczenia w przypadku złożonego oświetlenia lub scenariuszy o niskiej teksturze. Poprzez integrację danych multimodalnych, takich jak RGB i IMU, można skonstruować bardziej kompletny system percepcji głębi. Na przykład funkcja linijki AR w Meizu 18 Pro łączy dane głębokości ToF z informacjami o położeniu IMU, aby osiągnąć dokładność pomiaru odległości na poziomie centymetrów. Struktura DELTAR, algorytm wyrównywania cech, rejestracja mapy głębokości ToF i obrazu RGB na poziomie pikseli eliminuje błędy paralaksy i zwiększa dokładność pozycjonowania przestrzennego obiektów wirtualnych.

Ponadto w dynamicznych scenach fuzja wielu czujników może skutecznie rozwiązać problem rozmycia ruchu. Poprzez synchroniczne zbieranie danych ToF i RGB oraz łączenie algorytmu optymalizacji sekwencji czasowej, system w czasie rzeczywistym koryguje odchylenie głębi spowodowane ruchem, zapewniając stabilność interakcji AR.

Obecnie moduły soczewek ToF osiągnęły przełomowe zastosowania w AR telefonów komórkowych. Funkcja rozmycia wideo w czasie rzeczywistym w Meizu 17 Pro, poprzez silnik głębi ToF, realizuje precyzyjne oddzielenie tła i obiektu, a przejście rozmycia jest bardziej naturalne; dostosowane rozwiązanie Orbbec dla 18 Pro obsługuje innowacyjne funkcje, takie jak wizja AR, która rozszerza granice zastosowań AR w warunkach słabego oświetlenia. W przyszłości, wraz z rozwojem lekkich algorytmów i sprzętu o niskim poborze mocy, moduły ToF będą ewoluować w kierunku mniejszych rozmiarów i niższych kosztów, promując popularyzację technologii AR w inteligentnym domu, inspekcji przemysłowej i innych dziedzinach.

Poprawa dokładności percepcji głębi modułu soczewki ToF polega na skoordynowanym rozwoju optymalizacji algorytmów, innowacji sprzętowych i fuzji multimodalnej. Dzięki ciągłemu przełamywaniu wąskich gardeł technicznych, ToF stanie się główną siłą napędową urządzeń, aby osiągnąć „bezproblemową integrację wirtualnego i rzeczywistego”, zapewniając użytkownikom bardziej wciągające i dokładniejsze interaktywne doświadczenie.