繁体中文
神經相機如何取代傳統CMOS模組：成像的範式轉變
創建於 2025.12.29
介紹：CMOS的主導地位結束並非即將來臨——而是已經到來
當自駕車在低光環境中錯過行人，或顯微鏡未能實時追蹤神經脈衝時，罪魁禍首不僅僅是硬體限制——而是一個已有30年歷史的成像範式。傳統的 CMOS模組, 每部數位相機的核心，都是為了一個「足夠好」的世界而設計的，這意味著以固定的間隔捕捉畫面。但隨著各行各業對更快、更智能和更高效的視覺系統的需求增加，CMOS的結構瓶頸已變得無法克服。進入神經相機：這些受生物啟發的感測器不僅僅是記錄光線——它們還能解釋光線。這不是一次漸進的升級；而是對我們捕捉視覺數據方式的完全重新構想。到2030年，專家預測神經相機將佔據45%的高性能成像市場，從自動駕駛車輛到醫療診斷。這就是它們為什麼以及如何永久取代CMOS模組的原因。
CMOS的隱藏缺陷：它建立在一個破碎的妥協上
數十年來，CMOS製造商一直追求兩個相互矛盾的目標：更高的解析度和更快的幀率。堆疊CMOS（最新版本，用於像iPhone 15 Pro這樣的旗艦手機）試圖通過TSV（通過矽通孔）技術來解決這個問題，將像素層與邏輯電路分開，以提高帶寬。但這種權宜之計帶來了新的問題：TSV作為熱通道，提升了像素溫度並增加了噪聲。更糟的是，堆疊CMOS仍然遵循“基於幀”的模型——每個像素捕捉光線的時間相同，迫使速度和信噪比（SNR）之間進行權衡。
考慮一位研究大腦活動的神經科學家：為了追蹤毫秒級的電壓尖峰，他們需要每秒超過1,000幀的畫面。但是，CMOS感測器在這種速度下捕捉到的光線非常少，以至於信號被噪聲淹沒。相反，為了獲得更好的信噪比，較長的曝光時間會使快速移動的目標模糊。這不是CMOS的缺陷——而是其設計的一個特性。正如麻省理工學院的研究員馬修·威爾遜所說：“CMOS的通用曝光是一個基本限制，當你試圖成像動態、複雜的場景時。”
其他缺陷更深層：
• 數據冗餘：CMOS在每個幀中記錄每個像素，即使是靜態背景，浪費了80%的帶寬。
• 動態範圍限制：傳統CMOS的最高動態範圍為80–100 dB，在高對比度環境中失效（例如，森林中的日落）。
• 延遲：將類比光信號轉換為數位數據並將其發送到處理器會產生延遲——這對於自動駕駛等應用來說是致命的。
這些問題不是通過更好的製造可以解決的。CMOS是其自身架構的受害者。相比之下，神經相機的設計旨在消除這些妥協。
神經相機：三項顛覆性創新
神經相機受到人類視網膜的啟發，只有在光線變化時才會發送信號——沒有冗餘數據，沒有固定的曝光時間。以下是它們如何重寫規則：
1. 可編程像素：每個像素都為其目的而工作
最大的突破來自於像素級的智慧。麻省理工學院的可程式曝光CMOS（PE-CMOS）感測器於2024年揭幕，讓每個像素可以獨立設定其曝光時間。每個像素僅使用六個晶體管（簡化了早期設計），相鄰的像素可以互相補充：快速曝光的像素追蹤快速運動（例如神經脈衝），而慢速曝光的像素則捕捉暗區的細節——所有這一切都在同一場景中。
在測試中，PE-CMOS在神經成像中實現了單脈衝解析度，這是CMOS無法在不犧牲速度的情況下達成的成就。“我們不僅僅是在捕捉光線——我們在優化每個像素與光線的互動，”首席研究員張杰解釋道。這種靈活性消除了困擾CMOS的速度與信噪比的權衡。
2. 事件驅動成像：僅在重要時刻收集數據
事件相機（神經相機的一種）將這一點推向更高的層次：它們僅在像素檢測到光強度變化時生成數據。它們輸出的不是幀，而是「事件」——包含坐標、時間戳和極性（光強增加或減少）的微小信息包。
結果是變革性的：
• 120+ dB 動態範圍：事件相機能同時處理直射陽光和黑暗陰影。
• 微秒延遲：無幀緩衝意味著幾乎即時的數據輸出——對於避免碰撞的自駕車至關重要。
• 減少90%的數據：通過忽略靜態場景，事件相機降低了帶寬需求，與CMOS相比，功耗減少了70%。
印度科學研究院的研究人員使用iniVation的事件相機成像小於50納米的納米粒子——超出了傳統顯微鏡的衍射極限。相機的稀疏數據流讓AI算法專注於有意義的信號，將噪聲轉化為可用的信息。
3. 感測器上的AI：處理，而不僅僅是捕捉
與依賴外部處理器來分析影像的CMOS不同，神經相機將AI直接整合到感測器中。三星最新的堆疊感測器已經包含基本的AI模組來減少噪音，但神經相機將這提升到一個新層次：它們在捕捉數據的同時進行處理。
例如，Prophesee的Metavision感測器使用片上神經網絡實時檢測物體，僅將相關數據發送到主處理器。在工業檢查中，這意味著在生產線上識別缺陷，而無需儲存數TB的無用影像。"神經相機不僅僅是影像感測器——它們是感知引擎，"納米技術研究的共同作者Chetan Singh Thakur說。
現實世界的替代品：神經相機已經獲勝的地方
從CMOS到神經相機的轉變不是理論上的——這正在發生，從高價值的應用開始，這些應用中CMOS的缺陷成本最高：
神經科學與醫學影像
麻省理工學院的PE-CMOS已經用於追蹤自由移動動物的神經活動，這是CMOS無法做到的，因為會產生模糊或噪音。在內窺鏡檢查中，事件相機的低延遲和高動態範圍讓醫生能在不使用強光的情況下觀察身體內部，減少病人的不適感。
自動駕駛車輛
特斯拉和Waymo正在測試事件相機與CMOS一起使用，以消除盲點並減少反應時間。神經相機能以比CMOS快10倍的速度檢測到孩子跑進馬路，潛在地防止事故的發生。
納米技術與材料科學
印度科學研究所的神經形態顯微鏡現在已商業化，讓研究人員能以前所未有的精確度研究分子運動。這不僅僅是一次升級——這是一種擴展科學研究可能性的全新工具。
消費電子產品（下一站）
雖然神經相機目前比CMOS更昂貴，但成本正在下降。麻省理工學院的簡化像素設計減少了製造複雜性，並且大規模生產將在2027年前將價格壓降至CMOS水平。旗艦手機可能會首先採用混合系統——神經相機用於視頻和低光，CMOS用於靜態照片——在2030年前完全取代CMOS。
替代路徑：演變，而非革命
神經相機不會在一夜之間取代CMOS。過渡將遵循三個階段：
1. 互補使用（2024–2026）：神經相機在高性能應用中增強CMOS（例如，自駕車、科學成像）。
2. 選擇性替代（2026–2028）：隨著成本下降，神經相機將接管專門的消費市場（例如，運動相機、無人機攝影），在這些市場中速度和低光性能最為重要。
3. 主流主導 (2028–2030)：神經相機成為智能手機、筆記本電腦和物聯網設備的默認選擇，CMOS 僅限於預算產品。
這條路徑反映了2000年代從CCD到CMOS的轉變——這是由性能驅動的，而不僅僅是成本。行業分析師陳莎拉指出：“CMOS取代CCD是因為它更具靈活性，神經相機以同樣的理由取代CMOS：它們適應場景，而不是反過來。”
需要克服的挑戰
儘管有其潛力，神經相機仍面臨挑戰：
• 行業標準：缺乏通用的事件數據協議導致感測器與軟體之間的相容性問題。
• 低光敏感度：雖然事件相機在對比度方面表現優異，但在幾乎全黑的環境中仍然面臨困難——不過麻省理工學院的研究正在透過改進光電二極體來解決這個問題。
• 感知偏見：如果未經適當訓練，感測器上的人工智慧可能會引入偏見，這在安全關鍵的應用中是一種風險。
這些挑戰是可以解決的。像IEEE這樣的聯盟正在制定事件相機標準，而初創公司則在低光優化方面進行投資。最大的障礙不是技術，而是心態：製造商和開發者需要適應一個相機不僅僅是拍照，而是理解它們所看到的世界。
結論：成像的未來是神經的
傳統的CMOS模組徹底改變了攝影，使數位相機變得可及。但它們仍然停留在基於框架的思維模式，無法滿足人工智慧、自主性和科學發現的需求。神經相機不僅僅是對CMOS的改進——它們重新定義了影像感測器的可能性。
通過結合可程式化的像素、事件驅動的數據和感測器上的人工智慧，神經相機消除了數十年來影像技術的妥協。它們更快、更智能且更高效，並且已經在最重要的應用中取代了CMOS。隨著成本下降和技術成熟，神經相機將變得與今天的CMOS一樣普遍——不僅改變我們拍照的方式，也改變我們與世界互動的方式。
問題不在於神經相機是否會取代CMOS，而在於你將多快採用它們。對於企業來說，這個答案可能意味著在競爭中保持領先。對於消費者來說，這意味著更好的照片、更安全的汽車，以及我們尚未想像的技術。影像的未來是神經的——而且它來得比你想的還要快。
聯繫
留下您的信息，我們將與您聯繫。
WhatsApp
WeChat