Sơ đồ cải thiện độ chính xác nhận thức chiều sâu của mô-đun camera TOF trong AR

Trong quá trình phát triển công nghệ thực tế tăng cường (AR), độ chính xác của nhận thức chiều sâu ảnh hưởng trực tiếp đến hiệu ứng tích hợp của các đối tượng ảo với các cảnh thực. Mô-đun camera TOF (Time of Flight), với khả năng thu thập dữ liệu không gian ba chiều theo thời gian thực, đã trở thành thành phần cốt lõi của các thiết bị AR. Tuy nhiên, làm thế nào để cải thiện hơn nữa độ chính xác nhận thức chiều sâu của nó trong các môi trường phức tạp vẫn là trọng tâm của ngành. Bài viết này sẽ thảo luận về sơ đồ cải thiện độ chính xác nhận thức chiều sâu của TOF mô-đun máy ảnh trong các ứng dụng AR từ ba chiều: tối ưu hóa kỹ thuật, thiết kế và kết hợp nhiều cảm biến.

Cảm biến TOF truyền thống dễ bị nhiễu từ ánh sáng xung quanh, trong dữ liệu độ sâu nhiễu. Giải pháp được Ouster tùy chỉnh cho Meizu 17 Pro sử dụng các thuật toán lọc hiệu suất cao, thông qua công nghệ khử nhiễu thích ứng, loại bỏ nhiễu tần số thấp cụ thể, cải thiện đáng kể độ rõ nét của bản đồ độ sâu. Ngoài ra, kết hợp với công cụ độ sâu được tối ưu hóa bởi Qualcomm DSP, mức tiêu thụ điện năng của hệ thống giảm 15%, đồng thời duy trì tốc độ khung hình ổn định là 30FPS, đảm bảo tính trôi chảy của các ứng dụng AR.

Để bù đắp cho vấn đề độ phân giải To không đủ, khuôn khổ DELTAR do nhóm Đại học Chiết Giang phát triển đạt được sự hợp nhất hình ảnh ToF và RGB nhẹ thông qua học sâu. Sơ đồ này sử dụng các chi tiết kết cấu của RGB để bổ sung thông tin độ sâu của ToF. Trong thí nghiệm ECCV 2022, lỗi ước tính độ sâu của nó đã giảm 23% so với các phương pháp truyền thống và hiệu quả tính toán của nó đã tăng 40%, khiến nó phù hợp với các thiết bị hạn chế về tài nguyên như thiết bị đầu cuối di động.

Đổi mới ở cấp độ phần cứng là nền tảng cho việc cải thiện độ chính xác. Mô-đun Femto-W của Ouster sử dụng công nghệ iToF để đạt được độ chính xác đến từng milimét trong phạm vi 0,2-2,5 mét, tích hợp nền tảng năng lực tính toán độ sâu và không yêu cầu hỗ trợ năng lực tính toán bên ngoài. Thiết kế siêu rộng (trường nhìn 120°) của nó có thể nắm bắt thông tin không gian rộng hơn và đầu ra định dạng Y16 của dữ liệu hồng ngoại và độ sâu cung cấp dữ liệu có độ trung thực cao để mô hình hóa cảnh.

Đối với nhu cầu sản xuất hàng loạt, mô-đun này sẽ xem xét hiệu quả hiệu chuẩn trên dây chuyền sản xuất trong quá trình lựa chọn phần cứng, cải thiện năng suất thông qua công nghệ hiệu chuẩn một cửa và các chức năng phức tạp như nhận dạng khuôn mặt 3D, SLAM, v.v., đáp ứng nhu cầu kép của điện tử tiêu dùng và các tình huống tự động hóa công nghiệp.

Cảm biến Mono ToF vẫn có những hạn chế trong điều kiện ánh sáng phức tạp hoặc các tình huống có kết cấu thấp. Bằng cách tích hợp dữ liệu đa phương thức như RGB và IMU, có thể xây dựng được hệ thống nhận thức độ sâu hoàn thiện hơn. Ví dụ, chức năng thước đo AR của Meizu 18 Pro kết hợp dữ liệu độ sâu ToF với thông tin thái độ IMU để đạt được độ chính xác đo khoảng cách ở mức centimet. Khung DELTAR, thuật toán căn chỉnh tính năng, đăng ký cấp độ pixel của bản đồ độ sâu ToF và hình ảnh RGB, loại bỏ lỗi thị sai và tăng cường độ chính xác định vị không gian của các đối tượng ảo.

Ngoài ra trong các cảnh động, sự kết hợp nhiều cảm biến có thể giải quyết hiệu quả vấn đề nhòe chuyển động. Bằng cách thu thập đồng bộ dữ liệu ToF và RGB, và kết hợp thuật toán tối ưu hóa chuỗi thời gian, hệ thống hiệu chỉnh độ lệch độ sâu do chuyển động gây ra theo thời gian thực, đảm bảo tính ổn định của tương tác AR.

Hiện tại, các mô-đun ống kính ToF đã đạt được các ứng dụng đột phá trong AR trên điện thoại di động. Chức năng làm mờ video theo thời gian thực của Meizu 17 Pro, thông qua công cụ độ sâu ToF, nhận ra sự tách biệt chính xác giữa nền và chủ thể, và quá trình chuyển đổi làm mờ tự nhiên hơn; giải pháp tùy chỉnh của Orbbec cho 18 Pro hỗ trợ các chức năng sáng tạo như tầm nhìn AR, mở rộng ranh giới ứng dụng của AR trong môi trường thiếu sáng. Trong tương lai, với sự phát triển của các thuật toán nhẹ và phần cứng công suất thấp, các mô-đun ToF sẽ phát triển kích thước nhỏ hơn và chi phí thấp hơn, thúc đẩy sự phổ biến của công nghệ AR trong nhà thông minh, kiểm tra công nghiệp và các lĩnh vực khác.

Cải thiện độ chính xác của cảm nhận chiều sâu của mô-đun ống kính ToF dựa trên sự phát triển phối hợp của tối ưu hóa thuật toán, đổi mới phần cứng và hợp nhất đa phương thức. Thông qua sự đột phá liên tục của các nút thắt kỹ thuật, ToF sẽ trở thành động lực cốt lõi để các thiết bị đạt được "tích hợp liền mạch giữa thực và ảo", mang đến cho người dùng trải nghiệm tương tác đắm chìm và chính xác hơn.