طرح بهبود دقت درک عمق ماژول دوربین TOF در AR

در توسعه فناوری واقعیت افزوده (AR)، دقت درک عمق به طور مستقیم بر اثر ادغام اشیاء مجازی با صحنه‌های واقعی تأثیر می‌گذارد. TOF (ماژول دوربین Time of Flight، با توانایی خود برای به دست آوردن داده های فضایی سه بعدی در زمان واقعی، به جزء اصلی دستگاه های واقعیت افزوده تبدیل شده است. با این حال، چگونگی بهبود بیشتر محیط های پیچیده دقت درک عمق آن همچنان در کانون توجه صنعت است. این مقاله به طرح بهبود دقت درک عمق TOF می پردازد. ماژول دوربین در برنامه های AR از سه بعد: بهینه سازی فنی، طراحی و ترکیب چند حسگر.

سنسورهای TOF سنتی مستعد تداخل نور محیطی در داده های عمق پر سر و صدا هستند. راه حل سفارشی سازی شده توسط Ouster برای Meizu 17 Pro از الگوریتم های فیلتر با کارایی بالا استفاده می کند که از طریق فناوری سرکوب نویز تطبیقی، نویز با فرکانس پایین را به طور خاص حذف می کند و وضوح نقشه عمق را به طور قابل توجهی بهبود می بخشد. علاوه بر این، همراه با موتور عمق بهینه شده توسط Qualcomm DSP، مصرف انرژی سیستم 15٪ کاهش می یابد، در حالی که نرخ فریم ثابت 30FPS را حفظ می کند و از روان بودن برنامه های AR اطمینان می دهد.

برای جبران مشکل ناکافی بودن وضوح تصویر، چارچوب DELTAR که توسط تیم دانشگاه ژجیانگ توسعه داده شده است، از طریق یادگیری عمیق به ترکیب تصاویر ToF و RGB سبک وزن می‌رسد. این طرح از جزئیات بافت RGB برای تکمیل اطلاعات عمق ToF استفاده می کند. در آزمایش ECCV 2022، خطای تخمین عمق آن 23 درصد نسبت به روش‌های سنتی کاهش یافت و راندمان محاسباتی آن تا 40 درصد افزایش یافت و آن را برای دستگاه‌های با محدودیت منابع مانند پایانه‌های سیار مناسب کرد.

نوآوری در سطح سخت افزار پایه و اساس بهبود دقیق است. ماژول Femto-W Ouster از فناوری iToF برای دستیابی به دقت میلی متری در محدوده 0.2-2.5 متر استفاده می کند، یک پلت فرم قدرت محاسباتی عمقی را ادغام می کند و نیازی به پشتیبانی توان محاسباتی خارجی ندارد. طراحی فوق‌العاده آن (میدان دید 120 درجه) می‌تواند اطلاعات فضایی وسیع‌تری را ثبت کند و خروجی فرمت Y16 از داده‌های فروسرخ و عمق داده‌های با وفاداری بالا را برای مدل‌سازی صحنه فراهم می‌کند.

برای نیازهای تولید انبوه، ماژول کارایی کالیبراسیون در خط تولید را در هنگام انتخاب سخت افزار در نظر می گیرد، بازده را از طریق فناوری کالیبراسیون یک مرحله ای بهبود می بخشد و عملکردهای پیچیده ای مانند تشخیص چهره سه بعدی، SLAM و غیره را برآورده می کند که نیازهای دوگانه الکترونیک مصرفی و سناریوهای اتوماسیون صنعتی را برآورده می کند.

سنسورهای Mono ToF هنوز هم محدودیت هایی در نور پیچیده یا سناریوهای کم بافت دارند. با ادغام داده های چند وجهی مانند RGB و IMU، می توان یک سیستم درک عمق کامل تری ساخت. برای مثال، تابع خط‌کش AR Meizu 18 Pro داده‌های عمق ToF را با اطلاعات نگرش IMU ترکیب می‌کند تا به دقت اندازه‌گیری فاصله در سطح سانتی‌متر دست یابد. چارچوب DELTAR، الگوریتم تراز ویژگی، ثبت نقشه عمق ToF و تصویر RGB در سطح پیکسل، خطاهای اختلاف منظر را حذف می کند و دقت موقعیت مکانی اشیاء مجازی را افزایش می دهد.

علاوه بر این در صحنه های پویا، همجوشی چند حسگر می تواند به طور موثر مشکل تاری حرکت را حل کند. با جمع‌آوری همزمان داده‌های ToF و RGB و ترکیب الگوریتم بهینه‌سازی توالی زمانی، سیستم در زمان واقعی انحراف عمق ناشی از حرکت را تصحیح می‌کند و از ثبات تعامل AR اطمینان می‌دهد.

در حال حاضر، ماژول های لنز ToF به کاربردهای موفقیت آمیزی در AR تلفن همراه دست یافته اند. عملکرد تاری ویدیوی بی‌درنگ Meizu 17 Pro، از طریق موتور عمق ToF، به تفکیک دقیق پس‌زمینه و سوژه پی می‌برد و انتقال تاری طبیعی‌تر است. راه حل سفارشی Orbbec برای 18 Pro از عملکردهای نوآورانه مانند دید AR پشتیبانی می کند که مرز برنامه AR را در محیط های کم نور گسترش می دهد. در آینده، با توسعه الگوریتم‌های سبک وزن و سخت‌افزار کم‌مصرف، ماژول‌های ToF اندازه‌های کوچک‌تر و هزینه‌های کمتری را ایجاد می‌کنند و باعث ترویج محبوبیت فناوری AR در خانه‌های هوشمند، بازرسی صنعتی و سایر زمینه‌ها می‌شوند.

بهبود دقت درک عمق ماژول لنز ToF برای تکیه بر توسعه هماهنگ بهینه‌سازی الگوریتم، نوآوری سخت‌افزار و همجوشی چند وجهی. از طریق پیشرفت مداوم تنگناهای فنی، ToF به نیروی محرکه اصلی دستگاه‌ها تبدیل می‌شود تا به «ادغام یکپارچه مجازی و واقعی» دست یابند و تجربه تعاملی فراگیرتر و دقیق‌تری را برای کاربران به ارمغان می‌آورند.