繁体中文
立體視覺相機模組中深度感知的科學：完整指南
創建於 09.22
在一個越來越期望機器能夠“看見”並與物理世界互動的時代，深度感知已成為一項基石技術。從智能手機的人臉識別到自動駕駛汽車導航和工業機器人，準確的深度感知使設備能夠理解空間關係、測量距離並做出明智的決策。在各種深度感知技術中——包括激光雷達（LiDAR）、飛行時間（ToF）和結構光——立體視覺相機模組以其成本效益、实时性能以及依赖于与人类视觉本身一样古老的原理：双眼视差而脱颖而出。
這篇文章深入探討了立體視覺系統中深度感測的科學，解析了這些相機模組如何複製人類的深度感知、使其運作的關鍵組件、技術挑戰以及實際應用。無論您是工程師、產品開發者還是科技愛好者，理解這項技術對於在您的項目中發揮其潛力至關重要。
1. 基礎：立體視覺如何模仿人類深度感知
在其核心，立體視覺依賴於相同的生物機制，使人類能夠感知深度：雙眼視覺。當你看著一個物體時，你的左眼和右眼捕捉到略微不同的影像（由於它們之間的距離，稱為“瞳距”）。你的大腦比較這兩個影像，計算差異（或稱“差距”），並利用這些信息來確定物體距離你的遠近。
立體視覺相機模組通過兩個同步的相機在固定距離（稱為基線）上安裝來複製這一過程。就像人類的眼睛一樣，每個相機從略微偏移的角度捕捉同一場景的2D圖像。然後，模組的處理器分析這兩幅圖像以計算差異，最終得出深度。
關鍵概念：差異與深度
差異是左圖和右圖中對應點之間的水平位移。例如，如果一個咖啡杯在右圖中相對於參考點向左偏移10個像素，但在左圖中僅向左偏移5個像素，那麼差異就是5個像素。
差異與深度之間的關係是反向的，並受相機的內部和外部參數所控制：
深度 (Z) = (基線 (B) × 焦距 (f)) / 差異 (d) |
• 基線 (B)：兩個相機之間的距離。較長的基線可以提高遠距物體的深度準確性，而較短的基線則更適合近距離感測。
• 焦距 (f)：相機鏡頭與影像感測器之間的距離（以像素為單位測量）。較長的焦距會增加放大倍率，增強小物體的差異。
• 差異 (d)：對應點之間的像素位移。較近的物體具有較大的差異；遠處的物體則具有較小（甚至為零）的差異。
這個公式是立體深度感測的核心——它將2D影像數據轉換為3D空間信息。
2. 立體視覺相機模組的解剖學
一個功能性的立體視覺系統不僅僅需要兩個攝像頭。它結合了硬件組件和軟件算法，以確保同步圖像捕捉、準確校準和可靠的視差計算。以下是關鍵元素：
2.1 相機對 (左側和右側感應器)
兩台相機必須同步，以便在完全相同的時間捕捉圖像——任何時間延遲（即使是毫秒）都會導致運動模糊或錯位，破壞差異計算。它們還需要匹配的規格：
• 解析度：兩個相機應該具有相同的解析度（例如，1080p或4K），以確保逐像素比較。
• 鏡頭焦距：匹配的焦距可防止兩幅圖像之間的失真不匹配。
• 影像感測器類型：CMOS 感測器因其低功耗和高幀率（對於像機器人這樣的實時應用至關重要）而受到青睞。
2.2 基線配置
基線（兩個相機之間的距離）是根據使用案例量身定制的：
• 短基線 (<5cm)：用於智能手機（例如，肖像模式）和無人機，空間有限。非常適合近距離深度感測（0.3–5米）。
• 長基線 (>10cm)：用於自動駕駛車輛和工業掃描儀。能夠對遠距離物體（5–100+ 米）進行精確的深度測量。
2.3 校準系統
立體相機並不完美——鏡頭畸變（例如，桶形或枕形畸變）和不對齊（兩個相機之間的傾斜、旋轉或偏移）可能會引入錯誤。校準通過以下方式來修正這些問題：
1. 從多個角度捕捉已知圖案（例如，棋盤）的圖像。
2. 計算每個相機的內部參數（焦距、感應器大小、畸變係數）。
3. 計算外部參數（兩個相機的相對位置和方向）以對齊它們的坐標系統。
校準通常在製造過程中進行一次，但一些先進系統包括即時校準以適應環境變化（例如，溫度引起的鏡頭偏移）。
2.4 圖像處理管道
一旦校準完成，立體模組會實時處理圖像以生成深度圖（2D 陣列，其中每個像素代表到場景中相應點的距離）。該流程包括四個關鍵步驟：
步驟 1：影像校正
矯正將左右圖像轉換，使得對應的點位於同一水平線上。這簡化了視差計算——算法不再需要在整個圖像中尋找匹配，而只需沿著單一行進行搜索。
步驟 2：特徵匹配
算法識別左側和右側圖像之間的“對應點”。這些可以是邊緣、角落或紋理圖案（例如，書本的角落或牆上的斑點）。兩種常見的方法是：
• 區塊匹配：比較左側圖像的小區塊像素（例如，5x5或9x9）與右側圖像中的區塊，以找到最佳匹配。速度快，但對於無紋理區域的準確性較低。
• 基於特徵的匹配：使用像 SIFT（尺度不變特徵變換）或 ORB（定向 FAST 和旋轉 BRIEF）這樣的算法來檢測獨特特徵，然後在圖像之間進行匹配。更準確但計算密集。
步驟 3：差異計算
使用匹配的点，算法为每个像素计算视差。对于没有明显特征的区域（例如，平坦的白色墙壁），“孔填充”技术根据邻近像素估计视差。
步驟 4：深度圖優化
原始深度圖通常包含噪聲或錯誤（例如，來自遮擋的情況，其中一個物體在一個攝像頭中阻擋了另一個物體的視線）。精煉技術——例如中值濾波、雙邊濾波或基於機器學習的後處理——平滑深度圖並修正不一致性。
3. 立體深度感測的技術挑戰
雖然立體視覺具有多功能性，但它面臨幾個挑戰，這些挑戰可能影響準確性和可靠性。了解這些限制是設計有效系統的關鍵：
3.1 阻塞
遮挡发生在一个相机中可见的物体在另一个相机中不可见的情况（例如，一个人站在树前——他们的身体在一幅图像中遮挡了树）。这在深度图中产生了“差异孔”，因为算法无法找到被遮挡区域的对应点。解决方案包括：
• 使用機器學習來預測遮擋區域的深度。
• 添加第三個相機（三聲道系統）以捕捉額外的視角。
3.2 無紋理或均勻表面
沒有明顯特徵的區域（例如，白色牆壁、晴朗的天空）使得特徵匹配幾乎不可能。為了解決這個問題，一些系統將已知的模式（例如，紅外點）投射到場景中（將立體視覺與結構光結合）以創造人工紋理。
3.3 照明條件
極端明亮（例如，直射陽光）或低光環境可能會沖淡特徵或引入噪聲，從而降低匹配準確性。解決方案包括：
• 使用具有高動態範圍（HDR）的相機來處理對比度。
• 添加紅外線 (IR) 相機以進行低光感應 (IR 對人眼不可見，但在特徵匹配方面效果良好)。
3.4 計算複雜度
實時深度感測需要快速處理，特別是對於高解析度圖像。對於計算能力有限的邊緣設備（例如智能手機或無人機），這是一個挑戰。硬體的進步（例如，專用的立體視覺晶片，如高通的Snapdragon Visual Core）和優化的算法（例如，GPU加速的區塊匹配）使得實時性能成為可能。
4. 立體視覺深度感測的實際應用
立體視覺相機模組因其成本、準確性和實時性能的平衡而被廣泛應用於各行各業。以下是一些主要應用：
4.1 消費電子產品
• 智能手機：用於人像模式（通過檢測深度來模糊背景）、面部識別（例如，蘋果的 Face ID，結合立體視覺和紅外線），以及增強現實濾鏡（將虛擬物體疊加在真實場景上）。
• 虛擬現實 (VR)/擴增實境 (AR)：立體相機追蹤頭部動作和手勢，實現沉浸式體驗（例如，Oculus Quest 的手部追蹤）。
4.2 自動駕駛車輛
立體視覺通過提供高解析度的深度數據來補充LiDAR和雷達，以進行短距離感測（例如，檢測行人、自行車騎士和路緣）。它對於ADAS（先進駕駛輔助系統）功能，如車道偏離警告和自動緊急制動，具有成本效益。
4.3 機器人技術
• 工業機器人：機器人使用立體視覺來挑選和放置物體，在組裝過程中對齊元件，並在工廠地面上導航。
• 服務機器人：家用機器人（例如，吸塵器）使用立體視覺來避開障礙物，而送貨機器人則利用它來導航人行道。
4.4 醫療保健
立體視覺在醫學影像中用於創建器官的3D模型（例如，在腹腔鏡手術期間）以及在康復中跟踪患者的動作（例如，物理治療運動）。
5. 立體視覺深度感測的未來趨勢
隨著科技的進步，立體視覺系統變得越來越強大和多功能。以下是塑造其未來的關鍵趨勢：
5.1 與人工智能和機器學習的整合
機器學習（ML）正在革新立體深度感測：
• 深度學習基礎的視差估計：像 DispNet 和 PSMNet 這樣的模型使用卷積神經網絡 (CNNs) 來比傳統算法更準確地計算視差，特別是在無紋理或被遮擋的區域。
• 端到端深度預測：ML模型可以直接從原始立體圖像預測深度圖，跳過手動特徵匹配步驟並減少延遲。
5.2 微型化
微電子學的進步使得立體模組變得更小，適合用於可穿戴設備（例如，智能眼鏡）和微型無人機。例如，智能手機的立體攝像頭現在可以適應基線短至2厘米的纖薄設計。
5.3 多模態融合
立體視覺正越來越多地與其他深度感測技術結合，以克服限制：
• 立體 + LiDAR：LiDAR 提供長距離深度數據，而立體視覺則為近距離物體添加高解析度細節（用於自動駕駛車輛）。
• 立體 + ToF: ToF 提供快速的深度感測以應對動態場景，而立體視覺則提高了準確性（用於機器人技術）。
5.4 邊緣計算
隨著邊緣 AI 晶片的崛起，立體視覺處理正從雲端伺服器轉移到本地設備。這降低了延遲（對於機器人等實時應用至關重要）並提高了隱私（無需將影像數據發送到雲端）。
6. 結論
立體視覺相機模組是自然啟發技術如何解決複雜工程問題的證明。通過複製人類雙眼視覺，這些系統以低於LiDAR或高端ToF系統的成本提供準確的實時深度感測。從智能手機到自駕車，它們的應用正在迅速擴展，這得益於校準、影像處理和AI整合的進步。
隨著我們展望未來，立體視覺與機器學習和多模態感知的結合將解鎖更多可能性——使設備能夠以與人類相同的空間意識來看待世界。無論您是在設計一款新的消費產品還是一個工業機器人，理解立體深度感知背後的科學對於構建創新且可靠的系統至關重要。
對於在您的項目中實施立體視覺有疑問嗎？請在下方留言，我們的專家團隊將樂意提供幫助！
聯繫
留下您的信息，我們將與您聯繫。
WhatsApp
WeChat