繁体中文
HDR 如何在小型相機模組中運作 — 演算法與取捨
創建於 10.08
如果你曾經想過，為什麼智慧型手機的相機可以在同一張照片中同時捕捉明亮的窗戶和昏暗的室內，而便宜的 USB 相機模組卻難以處理過曝的高光和死黑的陰影，答案通常歸結於高動態範圍，也就是 HDR。但 HDR 不只是相機應用程式裡的一個開關。在緊湊的成像系統中——想想微型安全攝影機、生物辨識模組、工業視覺感測器和嵌入式相機——HDR 的實現是一場感測器物理特性、處理能力和現實世界限制之間的持續戰鬥。
小型相機模組之所以獨特且充滿挑戰，在於所有東西都縮小了。更小的像素收集的光線更少。更緊湊的電路板佈局限制了散熱。邊緣處理器在嚴格的功耗預算下運行。然而市場期望卻不斷攀升：消費者和工業買家都希望在任何光照條件下都能獲得乾淨、細緻的影像。這推動工程師在根本上不同的 HDR 架構中做出選擇，每種架構都有其自身的優勢、失效模式和隱藏成本。
本文深入剖析 HDR 在微型相機模組中的實際運作方式，從感測器層級的技術到 ISP 管線演算法。我們將比較三種主流方法，解釋最重要的工程取捨，並探討隨著 AI 和計算攝影更深入嵌入式系統，這項技術的發展方向。
為什麼小型感測器首先在動態範圍上遇到困難
在深入探討演算法之前，先將討論建立在基礎物理學上會有所幫助。成像系統中的動態範圍是最亮可偵測訊號與最暗可偵測雜訊底噪之間的比值。它通常以分貝（dB）為單位來衡量，其中每 6 dB 大約對應一級光量。
典型的人眼在單一場景中大約能感知 90–100 dB 的動態範圍，而且我們會隨著時間進一步適應。一個未搭載 HDR 的標準小型 CMOS 感測器可能提供 60–70 dB。在嚴苛的光照條件下——例如直射陽光緊鄰深邃陰影、逆光人臉，或是有路燈的夜間場景——這個差距就會變得顯而易見。
問題隨著像素縮小而加劇。1080p安全感測器中的1.4 µm像素，其集光面積僅為DSLR中5 µm像素的一小部分。其滿井容量——即飽和前所能容納的電子數——要低得多。一旦像素飽和，所有高光細節便永久丟失。與此同時，讀取雜訊和暗電流則不斷侵蝕暗部端。其結果是可用範圍狹窄，迫使人們做出選擇：為高光曝光而失去暗部，或為暗部曝光而讓高光爆掉。
HDR 技術的存在就是為了彌補這個差距。核心概念很簡單：擷取多個曝光等級，並將它們組合成單一輸出畫面。然而，實際執行會分支成截然不同的路徑，每條路徑都針對不同的限制條件進行最佳化。
緊湊型模組中的三種主要 HDR 架構
在現今的小型相機模組中，三種 HDR 方法佔據主導地位：多重曝光數位 HDR、行交錯 HDR，以及像素級或雙增益 HDR。每種方法在成像管線的不同階段運作，並且在運動偽影、解析度、成本和功耗方面各有不同的取捨。
多幀數位 HDR（拍攝後合併）
這是大多數人聯想到智慧型手機攝影時所想到的方法。感測器會在不同曝光設定下擷取兩個或多個完整影格——一個短曝光、一個中曝光、一個長曝光——然後影像訊號處理器（ISP）將它們合併成一個具有擴展動態範圍的單一輸出影格。
理論上，多影格 HDR 具有靈活性。它幾乎可以在任何感測器上運作，不需要特殊的像素設計，而且合併演算法可以透過韌體更新。影格之間的曝光比例可以根據場景調整：4 倍、8 倍、16 倍或更多。
在實務上，小型嵌入式模組採用此方法會面臨兩大問題。
首先是運動。如果在曝光之間有任何東西移動——有人走動、樹木搖曳，甚至攝影機在廉價支架上震動——合併後的影像會出現鬼影、光暈或邊緣模糊。先進的對齊演算法可以減少這種情況，但會消耗運算週期。在低功耗邊緣晶片上，完整的光流對齊在 30 fps 下可能不可行。
第二，影格率與延遲。每個輸出影格擷取兩次曝光，實際上會將感測器的讀出速率減半，或迫使它降低解析度。對於手勢辨識、條碼掃描或即時物件偵測等應用，額外的延遲與減少的時間取樣可能會完全破壞使用情境。
由於這些限制，小型模組中的純多影格 HDR 最常見於靜態或近乎靜態的場景：室內安全攝影機、門鈴，以及慢速移動的工業檢測。它很少是高影格率或低延遲應用的首選。
行交錯（DOL-HDR）
數位重疊 HDR，或稱行交錯 HDR，是現代安全監控與車用攝影機的主力技術。感測器並非在不同曝光下擷取完整影格，而是在單一影格週期內以短曝光和長曝光讀取交替的列。
想像奇數列曝光 1 毫秒，偶數列曝光 8 毫秒。接著 ISP 透過插值和合併這兩個曝光層來重建全解析度 HDR 影格。由於兩次曝光是在大致相同的時間窗口內擷取，與多影格合併相比，運動偽影大幅減少。
這種架構之所以流行，是因為它能在感測器僅需適度修改的情況下，提供良好的動態範圍增益——通常可達 90–100 dB，並且能很好地融入標準的 MIPI CSI-2 介面。許多受歡迎的 2 MP 和 4 MP 監控用影像感測器都原生支援 DOL-HDR。
但它也有自身的取捨。由於每條曝光線在空間上有所偏移，快速的垂直運動可能會產生稱為「線閃爍」或歪斜的邊緣偽影。帶有交流頻率閃爍的人造光源也可能與交錯的曝光線產生不良交互作用，產生難以在後製中移除的條紋圖案。
這也有解析度成本。每次曝光的有效解析度會降低，且需要插值來重建完整細節。實務上，對於監控與車用場景而言，銳利度損失通常可以接受，但對於細節至關重要的生物辨識與檢測模組來說，這點就很重要。
像素級雙增益 HDR
第三種做法是將 HDR 移入像素本身。在雙轉換增益（DCG）或雙增益 HDR 中，每個像素有兩條具有不同增益設定的讀出路徑。一條路徑以低增益讀取以保留亮部，另一條以高增益讀取以保留暗部。兩者同時從同一個光電二極體的電荷中讀出。
由於兩個訊號在同一時刻來自同一個像素，因此沒有運動偽影、沒有空間偏移，也沒有行傾斜。動態範圍增益乾淨且可預測。這使得像素級 HDR 對於快速移動的場景、機器視覺，以及任何時間準確性至關重要的應用極具吸引力。
那麼，為什麼不是每個小型模組都採用它呢？
首先是感測器複雜度。雙增益像素需要在每個像素內增加額外的電晶體，這會降低填充因子——即實際收集光線的像素面積百分比。在已經很小的像素上，這可能使低光靈敏度惡化並增加固定圖案雜訊。
第二，成本。專用 HDR 感測器的成本高於標準零件。對於大量生產的消費性產品而言，即使每單位成本只有微小差異，也可能使物料清單傾向採用 DOL-HDR 或多幀解決方案。
第三，動態範圍的增益通常小於多重曝光方法所能達到的效果。雙增益像素可能增加 12–18 dB 的範圍，而 3 次曝光的 DOL 系統則可增加 30+ dB。對於極高對比的場景，僅靠像素級 HDR 可能不夠。
許多現代感測器現在會結合多種技術：雙增益像素加上第二次曝光讀出，或 DCG 搭配短／長線交錯。這些混合方法可將動態範圍推升至 110 dB 以上，但同時也會倍增 ISP 管線的複雜度。
ISP 內部：HDR 處理管線
擷取多重曝光只是工作的一半。將它們轉換為看起來自然的最终影像需要精心調校的處理鏈。在小型相機模組中，此管線在 ISP 內運行——無論是專用硬體 ISP 晶片或主 SoC 內的區塊。
典型的 HDR 管線遵循以下幾個階段：
1. 曝光對齊與配準
對於多幀和行交錯式 HDR，第一步是對齊不同的曝光層。多幀系統使用全域或基於區塊的運動估計，將短曝光幀偏移和扭曲到長曝光幀上。行交錯式系統則校正行偏移和任何滾動快門歪斜。
對齊不良是可見 HDR 偽影的首要原因。廉價模組通常跳過進階對齊以節省週期，導致移動物體周圍出現鬼影。高品質的實作使用次像素精確的運動模型，但它們需要更多的處理能力和記憶體頻寬。
2. 權重圖生成
對齊之後，ISP 必須決定每個像素要使用多少各曝光。這是透過權重圖來完成的。明亮的像素主要從短曝光取得其數值；暗的像素主要從長曝光取得。中間調則混合兩者。
簡單的權重圖僅基於像素強度。更好的演算法會加入邊緣感知、雜訊估計和運動信心。如果某個像素可能正在移動，演算法可能會更偏重某一次曝光以避免鬼影，即使這意味著該區域的動態範圍會略微降低。
這正是調校發揮巨大差異的地方。兩個搭載相同感測器、相同 HDR 模式的模組，可能因為權重圖的建構方式不同而產生天差地遠的結果。過於激進的混合看起來很不自然；過於保守的混合則浪費了動態範圍。
3. 降噪與色調映射
HDR 影像包含極大範圍的數值，但顯示器和人類視覺在壓縮範圍下運作最佳。色調映射將高位元深度的 HDR 訊號壓縮為標準的 8 位元或 10 位元輸出，同時保留對比度和細節。
色調映射大致分為兩大類：全域和局部。全域色調映射對整張影像套用相同的曲線。它快速、簡單，且能避免偽影，但可能使場景看起來平淡。局部色調映射則逐區域調整曲線，保留局部對比度並產生更「搶眼」的效果。但它也更可能產生光暈、邊緣振鈴和不自然的「HDR 外觀」。
在小型模組中，局部色調映射通常會被簡化或受限，以節省處理能力。許多嵌入式 ISP 支援混合方法：全域基礎曲線加上溫和的局部對比度增強。
降噪同樣重要。長曝光陰影區域包含更多散粒雜訊和讀取雜訊。與短曝光資料合併有幫助，但 ISP 還必須套用智慧降噪，既能保留邊緣又不會模糊精細細節。在最小的模組中，雜訊表現往往是可用動態範圍的真正限制因素，而非感測器的理論井容量。
4. 色彩校正與一致性
HDR 合併可能會扭曲色彩。不同的曝光等級可能有略微不同的色彩響應，特別是當感測器在高訊號電平下具有非線性響應時。ISP 必須套用考量曝光等級的色彩校正，否則最終影像可能會在高光或陰影中出現色彩偏移。
這是經常被忽略的調校步驟。一個動態範圍良好但色彩一致性差的模組，看起來仍然廉價。專業模組供應商會花費大量校準時間，來匹配各曝光層級之間色彩響應。
真正的取捨：在生產環境中真正重要的是什麼
選擇 HDR 架構並不是要挑選資料表上 dB 數值最高的那一個，而是要在五個相互競爭的因素與終端應用的需求之間取得平衡。
動態範圍與低光源靈敏度
更多的 HDR 曝光通常意味著更高的動態範圍，但並不總是代表更好的影像。多重曝光方法會將可用的積分時間分配到多次曝光中。在極低光源下，短曝光可能幾乎只包含雜訊。將其合併進來實際上可能會降低影像品質，而非改善它。
這就是為什麼許多 HDR 模組在暗場景中會自動停用或降低 HDR。演算法會偵測到整體光線不足，並退回單一長曝光以獲得最大靈敏度。轉換點必須仔細調整；校準不良的切換會導致雜訊和對比度出現明顯跳變。
運動偽影與幀率
多影格 HDR 的動態假影最嚴重，但可以在最便宜的感測器上運作。行交錯式 HDR 大幅減少了動態假影，但會引入垂直歪斜和閃爍敏感度。像素級 HDR 基本上沒有動態假影，但成本更高，且提供的總動態範圍較少。
對於固定安裝的室內攝影機監看安靜的走廊，多幀 HDR 就足夠了。對於門鈴攝影機監看快速接近的人，行交錯或雙增益是更好的選擇。對於高速工業檢測系統追蹤輸送帶上的零件，像素級 HDR 可能是唯一可接受的選項。
解析度與處理成本
更高解析度的感測器越來越便宜，但 HDR 處理會隨著像素數量而增加。4K HDR 管線所需的記憶體頻寬和處理能力是 1080p 管線的四倍。在低功耗邊緣處理器上，這可能迫使做出選擇：4K 15 fps 搭配 HDR，或 1080p 30 fps 搭配 HDR。
許多產品團隊低估了 HDR 的 ISP 成本。不僅僅是感測器；還包括更快的介面、更多 RAM、更大的散熱預算，以及更長的韌體開發時間。對於成本敏感的大量生產產品，稍微降低解析度的簡化 HDR 模式通常在整體系統成本上更具優勢。
功耗與影像品質
每個額外的處理階段都會消耗電力。多幀運動估計、局部色調映射和進階降噪都會消耗電流。在電池供電的相機中——門鈴、隨身攝影機、無線安全感測器——電力預算通常是最嚴苛的限制。
這就是硬體加速 HDR 如此重要的原因。當 HDR 功能在專用 ISP 硬體中實現時，其功耗僅為韌體或 CPU 演算法的一小部分。模組設計者必須選擇具有原生 HDR 硬體支援的感測器和 SoC，以達成功耗目標。
可靠性與調校工作量
HDR 影像處理流程出了名地難以調校。一組在陽光充足的辦公室中運作良好的配置，可能在螢光燈下、夕陽逆光下，或是在具有強烈鏡面反射的場景中失效。要在所有操作條件下取得一致的結果，需要大量的測試與反覆調校。
較便宜的現成模組通常搭載通用 ISP 調校，在一般條件下表現「還可以」，但在極端情況下就會失效。對於影像品質是競爭差異化關鍵的產品而言，客製化 HDR 調校是一項重大的工程投資——許多買家並未為此編列完整預算。
使用案例範例：不同應用如何最佳化 HDR
為了讓這些取捨更具體，讓我們看看三種常見的小型模組應用如何處理 HDR。
安全與視訊門鈴
戶外安全攝影機面臨最極端的照明條件：正午直射陽光、夜間紅外線照明、逆光門廊以及夜間車頭燈。動態範圍是首要考量。
大多數安全模組採用 2–3 次曝光行交錯 HDR，在 2 MP 或 4 MP 解析度下提供 90–105 dB 的動態範圍。它們搭配強大的 2D/3D 降噪和保守的色調映射，以避免人工 HDR 外觀。在典型步行速度下，運動偽影是可接受的，且單位成本維持低廉，適合大量生產。
電池供電的門鈴增加了額外限制：電力。它們通常使用較簡單的雙增益感測器，搭配較輕量的處理，僅在偵測到動作時才喚醒進入完整 HDR 模式。
生物辨識與人臉辨識模組
人臉辨識模組需要準確的膚色、一致的邊緣細節，以及零動作偽影。出現鬼影或模糊的人臉可能導致驗證失敗。
這些模組越來越傾向於像素級雙增益 HDR 或極短多重曝光方案。動態範圍需求適中——室內窗戶背光為主要挑戰——但時間與空間精確度至關重要。解析度通常為 2 MP 或更低，這使得處理成本易於管理。
許多生物辨識模組也將 HDR 與近紅外線成像結合，使用 IR 通道作為額外的曝光層，以提升動態範圍而不產生可見光運動偽影。
工業與機器視覺
工業檢測相機經常拍攝高反射性的金屬零件、明亮的 LED 照明組件，或在輸送帶上快速移動的物體。運動模糊和歪斜會直接導致量測誤差。
在這裡，具備像素級 HDR 的全局快門感測器很常見。首要考量是時間準確性和可重複的測量結果，而非最漂亮的影像。有些工業感測器使用 12 位元或 14 位元原始輸出，不進行機內色調映射，將所有 HDR 處理留給主機電腦以獲得最大靈活性。
HDR 的未來走向：計算攝影邁向邊緣
隨著 AI 和計算攝影技術從旗艦智慧型手機遷移到嵌入式相機模組，HDR 的格局正在快速變化。有三個趨勢特別突出。
首先，AI 輔助的合併與去鬼影。神經網路在偵測運動、識別物體邊緣，以及決定如何混合曝光而不產生鬼影方面，比傳統演算法優異得多。早期的實作在主機處理器上運行，但較新的邊緣 SoC 中的專用 NPU 區塊將把 AI HDR 合併帶入模組本身。這有望實現多幀級動態範圍，且幾乎沒有運動偽影。
第二，端到端學習式 HDR 管線。與其將個別區塊——對齊、權重、色調映射、降噪——當作獨立步驟來調校，神經網路模型可以被訓練成直接從原始多重曝光輸入產生最終輸出。結果通常看起來更自然，且在各種光照條件下更穩健。挑戰在於這些模型需要更多運算資源與更多訓練資料，這提高了模組供應商的門檻。
第三，感測器層面的創新。新的像素架構——三重增益像素、曲面感測器、逐像素曝光控制——持續將原生動態範圍推向更高。隨著感測器製造技術成熟，幾年前還是高階專屬的功能，如今已成為中階模組的標準配備。
這些都無法消除根本的取捨。更多的處理仍然需要更多電力。更好的感測器仍然需要更多金錢。但平衡不斷在改變，讓更小的模組能夠提供五年前需要更大相機才能達到的 HDR 效能。
為你的設計做出正確的 HDR 選擇
小型相機模組中的 HDR 從來不是免費的午餐。每種架構都必須放棄某些東西來換取動態範圍：解析度、光靈敏度、運動清晰度、功耗或成本。正確的選擇取決於你能夠承受放棄其中哪一項。
如果你正在設計一款靜態室內攝影機，且成本是首要考量，那麼標準感測器上的基本多幀 HDR 可能就完全足夠了。如果你正在打造一款必須應對陽光和車頭燈的戶外安全產品，行交錯 HDR 是經過驗證的主力方案。如果你需要零運動偽影以滿足生物辨識或機器視覺需求，像素級雙增益值得付出更高的成本。
最重要的是，請記住規格書上的數字只說明了部分事實。兩個標示相同動態範圍的感測器，可能因為 ISP 調校、雜訊處理和色調映射的不同，而產生截然不同的真實世界影像。評估 HDR 模組的最佳方式，是在您實際的操作條件下進行測試——陽光、人造光、移動物體、背光——並用您自己的眼睛判斷輸出結果。
隨著應用變得越來越智慧、期望不斷提高，動態範圍仍將是緊湊型成像最重要的戰場之一。了解 HDR 標籤背後的演算法和取捨，是打造一台在光線困難時真正能發揮效能的相機的第一步。
聯繫
留下您的信息，我們將與您聯繫。
WhatsApp
微信