TOF kamera modülü derinlik algısı hassasiyeti iyileştirme şeması AR'de

Artırılmış gerçeklik (AR) teknolojisinin geliştirilmesinde, derinlik algısı doğruluğu sanal nesnelerin gerçek sahnelerle bütünleşme etkisini doğrudan etkiler. Gerçek zamanlı olarak üç boyutlu mekansal veri edinme yeteneğine sahip TOF (Uçuş Süresi kamera modülü) AR cihazlarının temel bileşeni haline gelmiştir. Ancak, derinlik algısı doğruluğunun karmaşık ortamlarda nasıl daha da iyileştirileceği hala endüstrinin odak noktasıdır. Bu makale, TOF'un derinlik algısı hassasiyetini iyileştirme şemasını tartışacaktır kamera modülü Üç boyutlu AR uygulamalarında: teknik optimizasyon, tasarım ve çoklu sensör füzyonu.

Geleneksel TOF sensörleri gürültülü derinlik verilerinde ortam ışığından kaynaklanan parazite eğilimlidir. Ouster tarafından Meizu 17 Pro için özelleştirilen çözüm, uyarlanabilir gürültü bastırma teknolojisi aracılığıyla özellikle yüksek düşük frekanslı gürültüyü ortadan kaldıran ve derinlik haritasının netliğini önemli ölçüde artıran yüksek performanslı filtreleme algoritmaları kullanır. Ayrıca, Qualcomm DSP tarafından optimize edilen derinlik motoruyla birleştirildiğinde, sistem güç tüketimi %15 azaltılırken, 30FPS'lik sabit bir kare hızı korunarak AR uygulamalarının akıcılığı sağlanır.

Yetersiz To çözünürlüğü sorununu telafi etmek için, Zhejiang Üniversitesi ekibi tarafından geliştirilen DELTAR çerçevesi derin öğrenme yoluyla hafif ToF ve RGB görüntü füzyonu elde eder. Bu şema, ToF'nin derinlik bilgilerini tamamlamak için RGB'nin doku ayrıntılarını kullanır. ECCV 2022 deneyinde, derinlik tahmin hatası geleneksel yöntemlere kıyasla %23 oranında azaltıldı ve hesaplama verimliliği %40 oranında artırıldı, bu da onu mobil terminaller gibi kaynak açısından kısıtlı cihazlar için uygun hale getirdi.

Donanım düzeyindeki yenilik, hassasiyet iyileştirmesinin temelidir. Ouster'ın Femto-W modülü, 0,2-2,5 metre aralığında milimetre doğruluğu elde etmek için iToF teknolojisini kullanır, bir derinlik hesaplama gücü platformunu entegre eder ve harici hesaplama gücü desteği gerektirmez. Ultra geniş tasarımı (120° görüş alanı) daha geniş bir mekansal bilgiyi yakalayabilir ve kızılötesi ve derinlik verilerinin Y16 formatlı çıktısı, sahne modellemesi için yüksek doğrulukta veri sağlar.

Kitle üretim ihtiyaçları için modül, donanım seçimi sırasında üretim hattındaki kalibrasyonun verimliliğini dikkate alır, tek noktadan kalibrasyon teknolojisi ile verimi artırır ve 3D yüz tanıma, SLAM vb. gibi karmaşık işlevler sunarak tüketici elektroniği ve endüstriyel otomasyon senaryolarının ikili ihtiyaçlarını karşılar.

Mono ToF sensörleri hala karmaşık aydınlatma veya düşük doku senaryolarında sınırlamalara sahiptir. RGB ve IMU gibi çok modlu verileri entegre ederek daha eksiksiz bir derinlik algılama sistemi oluşturulabilir. Örneğin, Meizu 18 Pro'nun AR cetvel işlevi, santimetre düzeyinde mesafe ölçüm doğruluğu elde etmek için ToF derinlik verilerini IMU tutum bilgileriyle birleştirir. Özellik hizalama algoritması olan DELTAR çerçevesi, ToF derinlik haritasının ve RGB görüntüsünün piksel düzeyinde kaydı, paralaks hatalarını ortadan kaldırır ve sanal nesnelerin mekansal konumlandırma doğruluğunu artırır.

Ayrıca dinamik sahnelerde, çoklu sensör füzyonu hareket bulanıklığı sorununu etkili bir şekilde çözebilir. ToF ve RGB verilerini eş zamanlı olarak toplayarak ve zaman dizisi optimizasyon algoritmasını birleştirerek, sistem hareketin neden olduğu derinlik sapmasını gerçek zamanlı olarak düzeltir ve AR etkileşiminin kararlılığını sağlar.

Şu anda, ToF lens modülleri mobil telefon AR'sinde çığır açan uygulamalar elde etti. Meizu 17 Pro'nun ToF derinlik motoru aracılığıyla gerçek zamanlı video bulanıklaştırma işlevi, arka plan ve öznenin hassas bir şekilde ayrılmasını sağlar ve bulanıklaştırmanın geçişi daha doğaldır; Orbbec'in 18 Pro için özelleştirilmiş çözümü, düşük ışık ortamında AR'nin uygulama sınırını genişleten AR görüşü gibi yenilikçi işlevleri destekler. Gelecekte, hafif algoritmaların ve düşük güç donanımlarının geliştirilmesiyle ToF modülleri daha küçük boyutlara ve daha düşük maliyetlere evrilecek ve akıllı ev, endüstriyel denetim ve diğer alanlarda AR teknolojisinin popülerleşmesini teşvik edecektir.

ToF lens modülünün derinlik algısı doğruluğunun, algoritma optimizasyonunun, donanım inovasyonunun ve çok modlu füzyonun koordineli gelişimine dayanması için iyileştirilmesi. Teknik darboğazların sürekli olarak aşılmasıyla, ToF, cihazların "sanal ve gerçekliğin kusursuz entegrasyonunu" elde etmesi için temel itici güç haline gelecek ve kullanıcılara daha sürükleyici ve daha doğru bir etkileşimli deneyim sunacaktır.