繁体中文
如何將 MIPI 相機模組與 FPGA 板整合：低延遲設計的綜合指南
創建於 2025.11.27
在邊緣計算和高速成像的時代，整合 MIPI（移動產業處理器介面）相機模組使用FPGA（現場可編程閘陣列）板已成為工業機器視覺、自動駕駛車輛和智能監控等應用的基石。MIPI的高帶寬、低功耗和標準化協議（如CSI-2）補充了FPGA的並行處理能力，使實時圖像數據捕獲和處理成為可能。然而，工程師在集成過程中經常面臨信號同步、協議兼容性和延遲優化等挑戰。本指南提供了一種新穎的、與供應商無關的方法來簡化該過程——結合硬體最佳實踐、IP核心配置和先進的故障排除技術。
1. 基礎理解：關鍵組件與相容性檢查
在進行整合之前，對齊您的 MIPI 相機模組和 FPGA 板在三個核心維度上是至關重要的：協議支持、硬體規格和電力需求。
1.1 MIPI 協議變體與 FPGA 相容性
大多數現代相機模組使用 MIPI CSI-2（相機串行介面 2）與 D-PHY 或 C-PHY 物理層。來自領先廠商如 Xilinx、Lattice 和 Smart Crystal（智多晶）的 FPGA 通過專用的 IP 核心提供對這些協議的原生支持：
• D-PHY 與 C-PHY：D-PHY 使用 1–4 條差分數據通道（每條最高可達 1.5Gbps）和一條時鐘通道，適合主流 FPGA，如 Xilinx Zynq 或 Lattice CrossLink。C-PHY 則具有 1–3 組（三條通道，等同於每組 1.8Gbps），適合高解析度相機，但需要具備 C-PHY IP 的 FPGA（例如，Xilinx Versal）。
• IP 核可用性：Xilinx 的 MIPI CSI-2 接收器子系統 IP 無縫整合了 D-PHY、CSI-2 控制器和 AXI 介面，而 Smart Crystal 為其 SA5T-100/SA5Z-30 系列 FPGA 提供即插即用的 CSI-2 RX/TX IP 核。
1.2 關鍵硬體規格
• I/O 銀行要求：對於 MIPI 信號，使用高性能 (HP) I/O 銀行以確保信號完整性。例如，Smart Crystal FPGA 在 HS (高速) 模式下需要 HP 銀行和特定的電壓參考 (VREF = 0.6V)。
• 時鐘同步：MIPI 的 HS 時鐘（來自相機）和 FPGA 的系統時鐘必須通過 PLL/DLL 模組進行同步。對於雙相機設置，使用共用參考時鐘以避免幀錯位。
• 電源域隔離：為MIPI通道（例如，獨立的VCCIO）分離電源域，以防止串擾，特別是在用於雙MIPI配置的Lattice CrossLink FPGA中。
2. 步驟式整合框架
2.1 硬體設計與佈局優化
物理層對於 MIPI-FPGA 整合至關重要。請遵循這些供應商驗證的指導方針：
1. 差分對路由：將 MIPI 數據/時鐘通道路由為 100Ω 差分對，保持走線長度匹配（±5mm）以最小化偏斜。避免雙 MIPI 通道的相鄰路由—使用 GND 隔離條。
2. 終端電阻：在FPGA引腳附近5mm內放置100Ω的上拉/下拉電阻。Smart Crystal的參考設計為其SA5系列FPGA指定了精確的電阻網絡。
3. 連接器選擇：使用 MIPI 認可的連接器（例如，Samtec FCI）和屏蔽電纜進行長距離傳輸（超過 10cm）。對於 NVIDIA Jetson AGX 整合，考慮使用像 VC-MIPI-AGX 這樣的自訂適配器卡以實現 Type-C 3.0 連接。
2.2 IP 核心配置與軟體設置
利用FPGA供應商的IP核心以避免低階協議實作。這裡是一個與供應商無關的工作流程：
1. IP核心實例化：
◦ 對於 Xilinx FPGA：通過 Vivado 配置 MIPI CSI-2 接收子系統。設置參數，如通道數（1–4）、像素格式（RAW12、RGB888）和 AXI4-Stream 接口寬度。啟用 ECC（錯誤更正碼）和 CRC（循環冗餘檢查）以確保數據完整性。
◦ 對於智能晶體管 FPGA：使用圖形化 IP 配置器設置 HS/LP（低功耗）模式級別（例如，SA5T-100 中的 HS 為 LVDS18，LP 為 HSUL12）。
1. I/O 限制：在您的合成工具（Vivado, Lattice Diamond）中定義 I/O 標準：
FPGA 模型 | HS 模式 IO 標準 | LP 模式 IO 標準 |
Smart Crystal SA5T-100 | LVDS18 | HSUL12 |
格子交聯 | LVDS25 | LVCMOS25 |
Xilinx Zynq 7000 | LVDS18 | LVCMOS18 |
確保差異終止的約束條件 (DIFF_TERM = TRUE) 以及輸入/輸出延遲補償 (IO_DELAY)。 |
2. 數據路徑整合：通過 AXI4-Stream 或原生視頻接口將 MIPI IP 核連接到 FPGA 的處理邏輯。例如，在 Xilinx FPGA 中，s_axis_tdata 端口攜帶像素數據，而 s_axis_tlast 則表示一行的結束。
2.3 測試與驗證
1. 信號完整性檢查：使用 IBERT（集成位錯誤率測試儀）來驗證 MIPI 連接。如果 BER（位錯誤率）超過 1e-12，請調整信號線長度或終端電阻。
2. 功能測試：
◦ 捕獲測試幀以驗證數據傳輸（例如，RGB888 的 1080p60 或 Bayer 8 位格式的 4K60）。
◦ 驗證低功耗模式：確保 LP-01 狀態轉換 (HS-REQ) 正確運作，以減少閒置期間的功耗。
3. 進階優化：低延遲與雙鏡頭同步
3.1 延遲減少技術
MIPI-FPGA 延遲源自兩個方面：控制器延遲 (20–50ns) 和 PHY 延遲 (10–30ns)。使用以下策略進行優化：
• 繞過不必要的處理：使用 Bayer 格式而非 RGB888，以減少 66% 的帶寬，實現 4K60 傳輸並保持最低延遲。
• 時鐘優化：提高FPGA的系統時鐘（例如，200MHz），並使用MMCM（混合模式時鐘管理器）來鎖定MIPI時鐘相位。
• 管線設計：在FPGA中實現平行的ISP（影像信號處理），以避免CPU瓶頸。Efinix Ti60 FPGA的管線ISP將延遲降低至<1ms，適用於1080p120串流。
3.2 雙MIPI通道同步
對於立體視覺或多攝影機設置，使用 Lattice CrossLink 的時鐘管理功能：
1. PLL 同步：從相同的 PLL 輸出供應兩個 MIPI 通道，以對齊時鐘相位。這確保了通道之間的一致時序，這是同步數據捕獲的基本要求。
2. 幀同步邏輯：實現專用的同步邏輯，以便僅在兩個通道的幀有效信號同時處於活動狀態時觸發數據捕獲。該邏輯在FPGA的系統時鐘邊緣運作：在重置時，它初始化為非活動狀態，僅在兩個通道有效信號均註冊為高時轉換為活動狀態。這防止了由於異步觸發事件造成的幀偏移，類似於在數據傳輸中一致性插入（使用同步碼標記幀邊界的技術）的運作方式。
3. 電源隔離：將每個通道分配到單獨的電源域，並使用 GND 引腳作為隔離緩衝器以消除串擾。這通過防止通道之間的電氣干擾來補充信號級同步。
4. 故障排除常見問題
議題 | 根本原因 | 解決方案 |
框架錯位 | 不同步的時鐘來源 | 使用常見的PLL參考；實現frame_sync邏輯 |
高 BER (>1e-10) | 信號完整性差 | 調整追蹤長度；添加屏蔽；重新定位終端電阻 |
IP核心配置錯誤 | 不匹配的車道數量/像素格式 | 重新配置IP核心以符合相機的規格（請查看CSI-2 ID的數據表） |
驅動程式載入失敗 (Jetson AGX) | 未簽名的驅動程式 | 重新編譯 Jetson 核心以使用自訂驅動程式簽名 |
5. 實際應用範例：FPGA-ISP-MIPI 整合
Efinix Ti60 FPGA（16nm）展示了與索尼 IMX472 相機的生產級整合：
1. 硬體：Ti60 FPGA + VC-MIPI-AGX 轉接卡 + Type-C 3.0 纜線（6Gbps 帶寬）。
2. 軟體：用於 IP 配置的 Lattice Radiant + 通過硬體邏輯實現的自定義 ISP 流程（去噪、白平衡）。
3. 結果：4K60 Bayer 8位元傳輸，延遲為0.8毫秒，與NVIDIA Jetson AGX Orin相容。
結論
整合 MIPI 相機模組與 FPGA 板需要在硬體設計、IP 核心配置和優化方面採取平衡的方法。通過遵循特定供應商的最佳實踐（例如，Smart Crystal 的電阻網絡、Xilinx 的 AXI 整合）並專注於信號完整性和延遲，工程師可以為高性能成像應用構建穩健的系統。成功的關鍵在於驗證每一層——從物理路由到功能測試——並利用 FPGA 的靈活性來適應多樣的 MIPI 相機規格。隨著邊緣 AI 和機器視覺的發展，這種整合將對於解鎖實時、低功耗的影像處理能力保持關鍵。
聯繫
留下您的信息，我們將與您聯繫。
WhatsApp
WeChat