Skema peningkatan presisi persepsi kedalaman modul kamera TOF dalam AR

Dalam pengembangan teknologi augmented reality (AR), akurasi persepsi kedalaman secara langsung memengaruhi efek integrasi objek virtual dengan pemandangan nyata. Modul kamera TOF (Time of Flight), dengan kemampuannya untuk memperoleh data spasial tiga dimensi secara real time, telah menjadi komponen inti perangkat AR. Namun, bagaimana cara meningkatkan akurasi persepsi kedalamannya di lingkungan yang kompleks masih menjadi fokus industri. Artikel ini akan membahas skema peningkatan presisi persepsi kedalaman TOF modul kamera dalam aplikasi AR dari tiga dimensi: optimasi teknis, desain, dan fusi multi-sensor.

Sensor TOF tradisional rentan terhadap gangguan dari cahaya sekitar, dalam data kedalaman yang bising. Solusi yang disesuaikan oleh Ouster untuk Meizu 17 Pro menggunakan algoritma penyaringan berkinerja tinggi, yang, melalui teknologi peredam bising adaptif, menghilangkan bising frekuensi rendah yang tinggi secara khusus, sehingga secara signifikan meningkatkan kejelasan peta kedalaman. Selain itu, dikombinasikan dengan mesin kedalaman yang dioptimalkan oleh Qualcomm DSP, konsumsi daya sistem berkurang 15%, sambil mempertahankan frame rate yang stabil sebesar 30FPS, yang memastikan kelancaran aplikasi AR.

Untuk mengimbangi masalah resolusi To yang tidak memadai, kerangka kerja DELTAR yang dikembangkan oleh tim Universitas Zhejiang mencapai fusi gambar ToF dan RGB yang ringan melalui pembelajaran mendalam. Skema ini menggunakan detail tekstur RGB untuk melengkapi informasi kedalaman ToF. Dalam eksperimen ECCV 2022, kesalahan estimasi kedalamannya berkurang hingga 23% dibandingkan dengan metode tradisional dan efisiensi komputasinya meningkat hingga 40%, sehingga cocok untuk perangkat dengan sumber daya terbatas seperti terminal seluler.

Inovasi tingkat perangkat keras merupakan dasar untuk peningkatan presisi. Modul Femto-W Ouster menggunakan teknologi iToF untuk mencapai akurasi milimeter dalam kisaran 0,2-2,5 meter, mengintegrasikan platform daya komputasi kedalaman, dan tidak memerlukan dukungan daya komputasi eksternal. Desainnya yang sangat lebar (bidang pandang 120°) dapat menangkap informasi spasial yang lebih luas, dan keluaran format Y16 dari data inframerah dan kedalaman menyediakan data dengan ketelitian tinggi untuk pemodelan pemandangan.

Untuk kebutuhan produksi massal, modul ini mempertimbangkan efisiensi kalibrasi pada lini produksi selama pemilihan perangkat keras, meningkatkan hasil melalui teknologi kalibrasi satu atap, dan fungsi kompleks seperti pengenalan wajah 3D, SLAM, dll., yang memenuhi kebutuhan ganda skenario elektronik konsumen dan otomasi industri.

Sensor Mono ToF masih memiliki keterbatasan pada skenario pencahayaan kompleks atau tekstur rendah. Dengan mengintegrasikan data multimoda seperti RGB dan IMU, sistem persepsi kedalaman yang lebih lengkap dapat dibangun. Misalnya, fungsi penggaris AR Meizu 18 Pro menggabungkan data kedalaman ToF dengan informasi posisi IMU untuk mencapai akurasi pengukuran jarak tingkat sentimeter. Kerangka kerja DELTAR, algoritma penyelarasan fitur, registrasi tingkat piksel peta kedalaman ToF dan gambar RGB, menghilangkan kesalahan paralaks dan meningkatkan akurasi posisi spasial objek virtual.

Selain itu, dalam adegan dinamis, fusi multisensor dapat secara efektif mengatasi masalah keburaman gerakan. Dengan mengumpulkan data ToF dan RGB secara bersamaan, dan menggabungkan algoritma pengoptimalan urutan waktu, sistem mengoreksi deviasi kedalaman yang disebabkan oleh gerakan secara real-time, memastikan stabilitas interaksi AR.

Saat ini, modul lensa ToF telah mencapai terobosan aplikasi dalam AR ponsel. Fungsi pemburaman video real-time Meizu 17 Pro, melalui mesin kedalaman ToF, mewujudkan pemisahan latar belakang dan subjek secara presisi, dan transisi pemburaman menjadi lebih alami; solusi khusus Orbbec untuk 18 Pro mendukung fungsi inovatif seperti penglihatan AR, yang memperluas batasan aplikasi AR di lingkungan dengan cahaya redup. Di masa mendatang, dengan pengembangan algoritme ringan dan perangkat keras berdaya rendah, modul ToF akan mengembangkan ukuran yang lebih kecil dan biaya yang lebih rendah, yang akan mendorong popularisasi teknologi AR di rumah pintar, inspeksi industri, dan bidang lainnya.

Peningkatan akurasi persepsi kedalaman modul lensa ToF bergantung pada pengembangan terkoordinasi dari pengoptimalan algoritma, inovasi perangkat keras, dan fusi multimoda. Melalui terobosan berkelanjutan dari hambatan teknis, ToF akan menjadi kekuatan pendorong utama bagi perangkat untuk mencapai "integrasi virtual dan nyata yang mulus", menghadirkan pengalaman interaktif yang lebih mendalam dan lebih akurat bagi pengguna.