繁体中文
影像訊號處理器（ISP）如何改善相機模組輸出
創建於 10.09
走進任何電子產品商展會場，你會看到數十個相機模組標榜著完全相同的影像感測器規格——相同的解析度、相同的像素尺寸、相同的感測器品牌。然而，將它們並排進行真實場景測試，結果可能天差地遠。一個在低光源下呈現乾淨、準確的色彩；另一個則產生充滿雜訊、色彩黯淡的畫面。一個能同時捕捉明亮窗戶和陰暗角落的細節；另一個則讓亮部過曝或暗部死黑到無法挽救。
如果感測器相同，差距從何而來？
對大多數嵌入式視覺系統而言，答案在於影像訊號處理器（ISP）——位於原始感測器輸出與裝置實際使用的最終影像之間、默默耕耘的無名功臣。一套調校良好的 ISP 絕非單純的「濾鏡」或事後補救，而是將原始感測器資料轉化為可用、可重現、高品質成像輸出的關鍵。這正是為何兩個搭載相同感測器的模組，效能表現卻能如同兩款截然不同的產品。
本文將深入剖析 ISP 在相機模組內實際扮演的角色、它如何形塑影像品質的每一個面向，以及為何選擇搭載妥善設計 ISP 管線的模組，遠比追逐帳面百萬畫素數字更為重要。
ISP 在相機模組系統中的真正角色
要理解 ISP 的價值，首先必須放下「影像感測器會產出完成品照片」這個想法。它不會。
CMOS 影像感測器擷取光線並將其轉換為電氣訊號，再轉換為原始數位數值。從感測器輸出的資料稱為 RAW 資料——一個單色亮度值的網格，經過彩色濾光陣列（通常是紅、綠、藍的 Bayer 圖案）濾波。這些資料不是影像。它沒有正確的白平衡、沒有適當的色彩呈現、有可見的雜訊、曝光不均，也沒有你期望從可用相機獲得的任何修飾。
ISP 的職責是接收那些原始、未經處理的感測器輸出，並將其轉換為可檢視、準確、高品質的影像或視訊串流。實際上，它就是相機模組的數位暗房——只不過它即時運作，一個畫格接一個畫格，通常以每秒 30 或 60 個畫格的速度進行。
在許多嵌入式相機模組中，ISP 直接整合在模組封裝內，或與感測器配對在同一塊板上。在其他情況下，它則位於主機 SoC 中。無論哪種方式，管線架構和調校才是定義模組實際效能的關鍵。
這就是為什麼單看規格表會產生誤導。感測器資料表告訴你理論上的最大效能。ISP 調校決定了你實際能發揮多少潛力。
核心 ISP 管線：逐步提升影像品質
現代 ISP 會依序執行數十個處理區塊。每個步驟都會修正原始感測器資料中的特定缺陷，或增強影像品質的某個特定面向。跳過或 poorly 實作任何一個步驟都會造成明顯的瓶頸。
以下是影響最大的階段，以及它們如何直接改善相機模組的輸出。
1. 缺陷像素校正
所有影像感測器都有少量壞點、卡點或熱點——這些像素總是讀取為過亮、過暗或固定顏色。隨著時間推移和溫度變化，可能會出現更多這類像素。若未經校正，它們會在每一幀中顯示為干擾性的彩色斑點或白點，尤其是在暗場景中。
ISP 透過將每個像素與其鄰近像素進行比較來偵測異常像素值。然後它會用周圍健康像素的內插值來替換壞點。良好的 ISP 實作會自適應地執行此操作，因此它們能修復真正的缺陷，而不會模糊實際的細節。
對於用於工業檢測、安防或醫療用途的相機模組，此步驟是不可或缺的。機器視覺系統中單一卡點就可能觸發誤偵測或量測錯誤。
2. 鏡頭暗角與邊角失光校正
相機鏡頭自然會使影像中心的光線較亮，而邊緣的光線較暗——這種現象稱為暗角或鏡頭陰影。除此之外，還可能出現色彩陰影，也就是角落因光線照射到彩色濾光片陣列的角度而偏向不同的色調。
ISP 會在整張影像上套用數位增益映射，提亮角落與邊緣以匹配中心亮度，並逐像素校正色彩偏移。進階的 ISP 會針對每個色彩通道執行此操作，並能適應不同的光圈設定與鏡頭位置。
結果是在整個視野範圍內獲得更均勻的影像。對於文件掃描、車牌辨識，以及任何重視邊到邊一致性的使用情境，此校正能大幅提升輸出可靠性。
3. 去馬賽克（去拜耳）
因為 Bayer 感光元件上的每個像素只記錄一種顏色（紅、綠或藍），ISP 必須為每個像素補上缺少的兩種顏色。這個過程稱為去馬賽克或去拜耳，是整個處理流程中最基礎的步驟之一。
簡單的去馬賽克演算法會產生明顯的偽影：細密圖案上的色彩摩爾紋、線條邊緣的拉鏈狀邊緣，以及假色邊紋。高品質的 ISP 會使用自適應、邊緣感知的演算法，偵測邊緣與紋理，並據此套用不同的插值規則。它們會在細節存在之處保留銳利度，並避免在會騙過較簡單方法的圖案上產生假色。
去馬賽克的品質對感知銳利度與色彩準確度有極大影響。搭載基本雙線性演算法的廉價 ISP，會讓高解析度感光元件看起來柔軟而混濁。搭載進階去馬賽克的優質 ISP，則能從同一顆感光元件中榨出遠更多真實細節。
4. 自動白平衡（AWB）
我們的眼睛會自動適應不同的光源，因此白色物體在陽光、辦公室 LED 或溫暖的室內燈泡下看起來都是白色的。影像感測器則不會。若未經校正，室內場景看起來會偏黃橙色，而陰影下的戶外場景則會偏藍。
自動白平衡是 ISP 估算場景色溫並調整紅、綠、藍通道增益的能力，使中性色看起來呈現中性。
基本的 AWB 依賴簡單的全域統計數據，在混合光源下很容易失效——例如一個同時有暖色天花板燈光和來自窗戶的冷色日光的房間。較好的 ISP 會使用多區域分析、色溫映射，甚至語義線索來更優雅地處理混合光源。
對於產品攝影、人臉辨識和色彩至關重要的工業應用而言，一致且準確的白平衡並非表面功能——它直接影響系統準確度。
5. 降噪
雜訊是你在低光影像中看到的顆粒狀、斑點狀紋理。它來自多個來源：感光元件發熱、高 ISO 增益，以及光子捕捉固有的隨機性。
ISP 會在管線的不同階段套用多層雜訊抑制。2D 空間雜訊抑制會在嘗試保留邊緣的同時平滑顆粒。3D 時間雜訊抑制會比較多個連續影格，並移除逐格變化的雜訊，這對影片特別有效。
挑戰始終相同：在減少雜訊的同時，不抹除細節或產生塑膠感、過度處理的外觀。廉價的 ISP 往往使用會扼殺細節的重度模糊。高階 ISP 則使用可自適應、保留邊緣的濾鏡，以及能區分雜訊與真實紋理的 AI 輔助雜訊抑制。
這正是相機模組之間低光源效能差異最明顯的地方。兩個搭載相同感光元件的模組，僅憑 ISP 降噪品質的差異，就能在可用低光源靈敏度上相差一到兩級。
6. 曝光與色調映射
感光元件能捕捉一定範圍的亮度，但顯示器與人類視覺的運作方式不同。ISP 必須將感光元件的原始動態範圍映射到可觀看的輸出曲線中。
在高對比場景中——比如一個人站在明亮的窗戶前——基礎的 ISP 不是針對人物曝光而讓窗戶過曝成純白，就是針對窗戶曝光而讓人變成暗色剪影。
現代 ISP 透過多重曝光 HDR（高動態範圍）處理來解決這個問題。它們結合以不同快門速度拍攝的兩張或多張曝光，合併成單一高動態範圍畫面，然後套用色調映射，將該範圍壓縮成標準顯示器能呈現的內容。
良好的 HDR 處理能在亮部與暗部中保留細節，同時不產生不自然的光暈、看起來平淡的影像，或因移動物體造成的殘影偽影。對於安全攝影機、行車記錄器和戶外監控而言，HDR 能力往往是最重要的單一輸出品質因素。
7. 色彩校正與色彩管理
感測器看顏色的方式與人類不同。每個感測器都有自己的光譜響應，而原始色彩值並不直接對應 sRGB 或 Rec. 709 等標準色彩空間。
ISP 會套用色彩校正矩陣（CCM），將感測器原生色彩轉換為標準色彩空間。它也會調整飽和度、色相和整體色彩呈現，以符合所需的風格——無論是工業量測所需的準確中性色彩，還是消費性產品所需的鮮豔悅目色彩。
這個階段是相機許多「特性」的來源。兩個搭載相同感光元件的模組，可能會有截然不同的色彩呈現：一個自然中性，一個飽和鮮豔——全都取決於 ISP 色彩處理管線的調校方式。
對於醫療影像、食品檢測或紡織品品質控制等應用場景而言，色彩準確度是功能性的必要條件，而非美學偏好。經過妥善校準的 ISP 管線能確保每一台裝置都能輸出一致且可重現的色彩。
8. 銳化與細節增強
由於鏡頭、去馬賽克和降噪都會讓影像略微柔化，ISP 會在管線末端套用銳化，以恢復感知上的細節。
好的銳化是自適應的：它會增強真實的邊緣和細微紋理，而不會放大雜訊，也不會在高對比邊緣周圍產生難看的光暈。糟糕的銳化則會產生一種生硬、過度處理的觀感，並伴隨可見的邊緣偽影。
進階的 ISP 也可以套用選擇性細節增強——在某些頻段提升紋理，同時保留較平滑的區域——以獲得更自然的效果。
超越基礎：重新定義模組效能的進階 ISP 能力
上述的管線步驟對任何像樣的 ISP 來說都是基本要求。當今最優秀的相機模組所使用的 ISP 遠不止於此，還加入了從根本上改變模組能力的功能。
AI 增強的處理
近年來最大的轉變，是 AI 加速器與傳統 ISP 硬體的整合。AI-ISP 不再套用固定的數學濾波器，而是使用以數百萬張影像訓練的神經網路來執行以下任務：
• 雜訊抑制，比任何傳統演算法都更能保留細緻紋理
• HDR 合併，避免移動物體產生鬼影
• 人臉偵測，以及針對人臉的自動曝光／自動白平衡最佳化
• 場景偵測，會自動調整管線參數以因應風景、人像、低光源或逆光
這不只是行銷話術。AI ISP 通常能比傳統設計多出 1 到 2 級的低光源效能，並提供更純淨的 HDR 輸出，而且使用的是完全相同的感測器。對相機模組買家而言，這代表你可以在不升級到更大、更昂貴感測器的情況下，獲得更佳的影像品質。
即時影像穩定
對手持相機、穿戴式相機，以及安裝在移動設備上的裝置而言，動態模糊和晃動的畫面會嚴重降低可用輸出。
內建電子影像穩定（EIS）的 ISP 會使用動作感測器資料（來自 IMU）以及畫面裁切／旋轉，即時平滑晃動。更進階的版本會結合光學穩定（OIS）與數位校正，以獲得更佳效果。
最終效果是更銳利的靜態照片與更平順的影片，尤其是在快門速度較慢的低光源環境下。
畸變與透視校正
廣角鏡頭在安防、車用及運動攝影機中十分常見，會產生桶形畸變——邊緣附近的直線會向外彎曲。魚眼鏡頭的畸變則更為極端。
ISP 可以即時套用幾何校正，對影像進行扭曲補償以消除鏡頭畸變，並產生直線性輸出。對於停車輔助攝影機或工廠監控等使用情境，這能讓量測與空間判斷變得更加可靠。
內建分析與中繼資料
許多現代 ISP 不僅產生影像——它們還會從中擷取資訊。它們可以隨每一幀輸出中繼資料：曝光值、白平衡設定、對焦距離、感興趣區域，甚至包括人臉座標或動作向量等偵測結果。
對於智慧相機系統而言，這能減輕主機的處理負載，並實現更快速、更高效的分析。相機模組不再只是影像感測器；它成為了一個智慧視覺節點。
ISP 調校如何形塑真實世界的相機模組效能
這裡有一個很少出現在規格表上的真相：同一顆 ISP 晶片，會因為調校方式的不同，而產生天差地遠的結果。
ISP 調校是校準整個處理流程中每一項參數的過程——包括降噪強度、色彩校正矩陣、白平衡點、HDR 曲線、銳化程度——以符合特定的感測器、鏡頭與目標應用。這是一項耗時數月的工程工作，必須在受控的光照條件下，橫跨數百種測試情境來完成。
願意投入適當調校的相機模組供應商，所生產的模組具備：
• 在整批生產中維持一致的色彩與曝光
• 在不同照明色溫與亮度水準下皆能提供可靠效能
• 更少偽影，輸出更自然
• 在逆光、低光源與高對比等邊緣情況下表現更佳
跳過適當調校的廠商會使用 ISP 晶片製造商的通用預設設定。結果就是一個在明亮辦公室燈光下的展示台上看起來還行，但在實際運作條件下就崩潰的模組。
這就是為什麼兩個搭載相同感測器與相同 ISP 晶片的模組，效能可能天差地遠。硬體只占一半，調校品質是另一半。
依使用情境最佳化 ISP：一體適用的方案並不適用於所有情況
好的 ISP 管線並非普遍「優良」。它是針對特定工作進行最佳化的。零售安全攝影機的最佳調校，不會是醫療皮膚科攝影機的最佳調校。
安全與監控
對安全攝影機而言，優先事項是：
• 強大的低光源效能與降噪
• 優異的 HDR，以處理逆光與明亮的車頭燈
• 整個畫面都清晰銳利的細節，以便辨識
• 在變化的光線條件下保持穩定、一致的曝光
針對監控調校的 ISP 通常會優先考慮降噪和動態範圍，而非最大銳利度，並且它們包含諸如 true WDR（寬動態範圍）和 3D 降噪等功能，以實現 24/7 運作。
工業與機器視覺
工業模組優先考慮：
• 準確、可重複的色彩與幾何
• 可能干擾測量的最小處理假影
• 線性響應與一致曝光
• 低延遲
機器視覺用的 ISP 通常會套用較輕的銳化和更中性的色彩呈現。它們可能支援原始輸出旁路，讓主機系統能套用自己的處理。
汽車與 ADAS
汽車攝影機需要：
• 極快的 HDR 處理，適用於快速變化的光照（進出隧道）
• 抵抗 LED 頭燈和路燈的閃爍
• 在極端溫度範圍下皆能提供可靠效能
• 功能安全合規
車規級 ISP 包含專用的閃爍抑制電路，且其操作溫度認證範圍遠比消費級零件更廣。
消費性與視訊會議
面向消費者的模組優先考量：
• 令人愉悅、自然的膚色
• 逆光下良好的臉部曝光
• 平滑、乾淨的視訊輸出
• 低功耗
這些應用的 ISP 通常包含大量人臉感知 AE/AWB 以及美顏模式風格的處理，調校目標是主觀視覺吸引力，而非量測準確度。
評估相機模組 ISP 效能時應注意的事項
由於 ISP 品質不會顯示在簡單的規格行中，您必須透過測試和有針對性的問題來評估它。
1. 在真實光照條件下測試，而不僅僅是明亮的展示燈光。最大的 ISP 差異會出現在低光照、高對比度和混合色溫場景中。如果您只在辦公室螢光燈下測試，您會錯過大多數效能差距。
2. 查看邊緣和精細紋理，而不僅僅是整體印象。放大文字、織物或樹葉。比較保留了多少細節與被降噪平滑掉的細節。檢查重複圖案上是否有假色和摩爾紋。
3. 以逆光場景評估動態範圍。將主體置於窗戶或明亮光源前。觀察主體與背景是否都保留細節。留意高對比邊緣周圍的光暈偽影。
4. 檢查各幀之間的一致性與溫度。將模組預熱 30 分鐘，觀察雜訊是否增加或色彩是否偏移。良好的 ISP 管線包含溫度補償。
5. 詢問調校歷史。此 ISP 是專門為此感測器與鏡頭組合進行調校，還是使用通用參考設計？經過客製化調校的模組幾乎總是優於參考設計模組。
6. 考慮未來的可升級性。具備可透過韌體升級 ISP 的模組，讓您無需更換硬體即可隨時間改善影像品質。隨著 AI 處理演算法持續進步，這一點越來越有價值。
結語
人們很容易看著相機模組的規格表，並執著於感測器解析度、像素尺寸和鏡頭光圈。這些當然很重要——但它們只決定了可能性的上限。影像訊號處理器才是決定有多少潛力能實際到達輸出的關鍵。
優秀的 ISP 能讓中階感測器發揮出色成果。劣質的 ISP 則會浪費高階感測器的效能。對於任何為產品整合而挑選相機模組的人來說，了解 ISP 能力與調校品質，是在不增加物料清單成本的前提下提升最終影像品質最具槓桿效益的方法之一。
下次當你並排比較兩個相機模組時，請記住：感測器搶盡所有目光，但 ISP 承擔了大部分的重活。
聯繫
留下您的信息，我們將與您聯繫。
WhatsApp
微信