Схема повышения точности восприятия глубины модуля камеры TOF в дополненной реальности

В развитии технологии дополненной реальности (AR) точность восприятия глубины напрямую влияет на эффект интеграции виртуальных объектов с реальными сценами. Модуль камеры TOF (Time of Flight), с его способностью получать трехмерные пространственные данные в реальном времени, стал основным компонентом устройств AR. Однако, как еще больше повысить точность восприятия глубины в сложных средах, по-прежнему находится в центре внимания отрасли. В этой статье будет обсуждаться схема улучшения точности восприятия глубины TOF модуль камеры в приложениях дополненной реальности из трех измерений: техническая оптимизация, дизайн и слияние нескольких датчиков.

Традиционные датчики TOF подвержены помехам от окружающего света, в зашумленных данных глубины. Решение, разработанное Ouster для Meizu 17 Pro, использует высокопроизводительные алгоритмы фильтрации, которые с помощью технологии адаптивного подавления шума устраняют в частности высокие низкочастотные шумы, значительно улучшая четкость карты глубины. Кроме того, в сочетании с движком глубины, оптимизированным Qualcomm DSP, энергопотребление системы снижается на 15%, при этом сохраняется стабильная частота кадров 30FPS, что обеспечивает плавность приложений AR.

Чтобы компенсировать проблему недостаточного разрешения To, фреймворк DELTAR, разработанный командой Чжэцзянского университета, достигает легкого слияния изображений ToF и RGB с помощью глубокого обучения. Эта схема использует детали текстуры RGB для дополнения информации о глубине ToF. В эксперименте ECCV 2022 его ошибка оценки глубины была снижена на 23% по сравнению с традиционными методами, а его вычислительная эффективность была увеличена на 40%, что делает его пригодным для устройств с ограниченными ресурсами, таких как мобильные терминалы.

Инновации на уровне оборудования являются основой для повышения точности. Модуль Femto-W компании Ouster использует технологию iToF для достижения точности миллиметра в диапазоне 0,2-2,5 метра, интегрирует платформу вычислительной мощности глубины и не требует поддержки внешней вычислительной мощности. Его сверхширокий дизайн (поле зрения 120°) может захватывать более широкую пространственную информацию, а выходной формат Y16 инфракрасных и глубинных данных обеспечивает высокоточные данные для моделирования сцены.

Для нужд массового производства модуль учитывает эффективность калибровки на производственной линии при выборе оборудования, повышает выход продукции за счет технологии универсальной калибровки и таких сложных функций, как 3D-распознавание лиц, SLAM и т. д., удовлетворяя двойные потребности потребительской электроники и сценариев промышленной автоматизации.

Монодатчики ToF все еще имеют ограничения в сложных сценариях освещения или с низкой текстурой. Интегрируя мультимодальные данные, такие как RGB и IMU, можно построить более полную систему восприятия глубины. Например, функция AR-линейки Meizu 18 Pro объединяет данные глубины ToF с информацией об ориентации IMU для достижения точности измерения расстояния на уровне сантиметра. Структура DELTAR, алгоритм выравнивания признаков, регистрация на уровне пикселей карты глубины ToF и изображения RGB устраняют ошибки параллакса и повышают точность пространственного позиционирования виртуальных объектов.

Кроме того, в динамических сценах мультисенсорное слияние может эффективно решать проблему размытия движения. Синхронно собирая данные ToF и RGB и объединяя алгоритм оптимизации временной последовательности, система в реальном времени корректирует отклонение глубины, вызванное движением, обеспечивая стабильность взаимодействия AR.

В настоящее время модули объектива ToF достигли прорывных приложений в дополненной реальности на мобильных телефонах. Функция размытия видео в реальном времени Meizu 17 Pro с помощью механизма глубины ToF реализует точное разделение фона и объекта, а переход размытия становится более естественным; индивидуальное решение Orbbec для 18 Pro поддерживает инновационные функции, такие как зрение дополненной реальности, что расширяет границы применения дополненной реальности в условиях низкой освещенности. В будущем, с разработкой легких алгоритмов и маломощного оборудования, модули ToF будут развиваться в меньших размерах и с более низкой стоимостью, способствуя популяризации технологии дополненной реальности в умном доме, промышленном контроле и других областях.

Улучшение точности восприятия глубины модуля объектива ToF должно опираться на скоординированную разработку оптимизации алгоритма, аппаратных инноваций и многомодального слияния. Благодаря непрерывному прорыву технических узких мест ToF станет основной движущей силой для устройств, чтобы достичь «бесшовной интеграции виртуального и реального», предоставляя пользователям более захватывающий и более точный интерактивный опыт.