Schema di miglioramento della precisione della percezione della profondità del modulo della telecamera TOF in AR

Nello sviluppo della tecnologia di realtà aumentata (AR), l'accuratezza della percezione della profondità influenza direttamente l'effetto di integrazione degli oggetti virtuali con le scene reali. Il modulo telecamera TOF (Time of Flight), con la sua capacità di acquisire dati spaziali tridimensionali in tempo reale, è diventato il componente principale dei dispositivi AR. Tuttavia, come migliorarne ulteriormente l'accuratezza della percezione della profondità in ambienti complessi è ancora al centro dell'attenzione del settore. Questo articolo discuterà lo schema di miglioramento della precisione della percezione della profondità del TOF. modulo telecamera nelle applicazioni di realtà aumentata da tre dimensioni: ottimizzazione tecnica, progettazione e fusione multisensore.

I sensori TOF tradizionali sono soggetti a interferenze dovute alla luce ambientale, con conseguente rumore nei dati di profondità. La soluzione personalizzata da Ouster per Meizu 17 Pro impiega algoritmi di filtraggio ad alte prestazioni che, grazie alla tecnologia di soppressione adattiva del rumore, eliminano specificamente il rumore a bassa frequenza, migliorando significativamente la nitidezza della mappa di profondità. Inoltre, in combinazione con il motore di profondità ottimizzato da Qualcomm DSP, il consumo energetico del sistema è ridotto del 15%, mantenendo al contempo un frame rate stabile di 30 FPS, garantendo la fluidità delle applicazioni AR.

Per compensare il problema dell'insufficiente risoluzione To, il framework DELTAR sviluppato dal team dell'Università di Zhejiang consente la fusione di immagini ToF e RGB in modo leggero tramite deep learning. Questo schema utilizza i dettagli della texture RGB per integrare le informazioni di profondità del ToF. Nell'esperimento ECCV 2022, l'errore di stima della profondità è stato ridotto del 23% rispetto ai metodi tradizionali e l'efficienza computazionale è aumentata del 40%, rendendolo adatto a dispositivi con risorse limitate come i terminali mobili.

L'innovazione a livello hardware è la base per il miglioramento della precisione. Il modulo Femto-W di Ouster utilizza la tecnologia iToF per raggiungere una precisione millimetrica nell'intervallo 0,2-2,5 metri, integra una piattaforma di calcolo della profondità e non richiede supporto di potenza di calcolo esterna. Il suo design ultra-ampio (campo visivo di 120°) consente di acquisire una più ampia gamma di informazioni spaziali e l'output in formato Y16 dei dati a infrarossi e di profondità fornisce dati ad alta fedeltà per la modellazione di scene.

Per le esigenze di produzione di massa, il modulo considera l'efficienza della calibrazione sulla linea di produzione durante la selezione dell'hardware, migliora la resa tramite la tecnologia di calibrazione one-stop e funzioni complesse come il riconoscimento facciale 3D, SLAM, ecc., soddisfacendo le doppie esigenze dell'elettronica di consumo e degli scenari di automazione industriale.

I sensori ToF monocromatici presentano ancora delle limitazioni in scenari di illuminazione complessi o con texture ridotte. Integrando dati multimodali come RGB e IMU, è possibile realizzare un sistema di percezione della profondità più completo. Ad esempio, la funzione righello AR di Meizu 18 Pro combina i dati di profondità ToF con le informazioni di assetto dell'IMU per ottenere una precisione centimetrica nella misurazione della distanza. Il framework DELTAR, l'algoritmo di allineamento delle feature e la registrazione a livello di pixel della mappa di profondità ToF e dell'immagine RGB, eliminano gli errori di parallasse e migliorano la precisione di posizionamento spaziale degli oggetti virtuali.

Inoltre, nelle scene dinamiche, la fusione multi-sensore può risolvere efficacemente il problema del motion blur. Raccogliendo in modo sincrono i dati ToF e RGB e combinando l'algoritmo di ottimizzazione della sequenza temporale, il sistema corregge in tempo reale la deviazione di profondità causata dal movimento, garantendo la stabilità dell'interazione AR.

Attualmente, i moduli ToF hanno raggiunto applicazioni rivoluzionarie nella realtà aumentata per smartphone. La funzione di sfocatura video in tempo reale di Meizu 17 Pro, grazie al motore di profondità ToF, garantisce una separazione precisa tra sfondo e soggetto, e la transizione della sfocatura risulta più naturale; la soluzione personalizzata di Orbbec per 18 Pro supporta funzioni innovative come la visione AR, che amplia i confini applicativi della realtà aumentata in ambienti con scarsa illuminazione. In futuro, con lo sviluppo di algoritmi leggeri e hardware a basso consumo, i moduli ToF raggiungeranno dimensioni più ridotte e costi inferiori, promuovendo la diffusione della tecnologia AR nella smart home, nell'ispezione industriale e in altri settori.

Il miglioramento della precisione della percezione della profondità del modulo obiettivo ToF si basa sullo sviluppo coordinato di algoritmi di ottimizzazione, innovazione hardware e fusione multimodale. Grazie al continuo superamento dei colli di bottiglia tecnici, il ToF diventerà il motore trainante per i dispositivi che raggiungeranno una "perfetta integrazione tra virtuale e reale", offrendo agli utenti un'esperienza interattiva più immersiva e accurata.