日本語
小型カメラモジュールにおけるHDRの仕組み — アルゴリズムとトレードオフ
作成日 10.08
スマートフォンのカメラが明るい窓と暗い室内を同じショットで捉えられる一方、安価なUSBカメラモジュールが白飛びしたハイライトと潰れたシャドウに苦戦する理由を不思議に思ったことがあるなら、その答えは通常、ハイダイナミックレンジ、つまりHDRに行き着きます。しかしHDRは単にカメラアプリのトグルスイッチではありません。コンパクトなイメージングシステム——小さなセキュリティカメラ、生体認証モジュール、産業用ビジョンセンサー、組み込みカメラなどを考えてみてください——において、HDRの実装はセンサーの物理特性、処理能力、そして現実世界の制約との絶え間ない戦いなのです。
小型カメラモジュールが独特に困難である理由は、すべてが縮小されることです。より小さなピクセルはより少ない光を集めます。より厳しいボードレイアウトは放熱を制限します。エッジプロセッサは厳しい電力予算で動作します。それでも市場の期待は高まり続けています。消費者も産業用バイヤーも、あらゆる照明条件下でクリーンで詳細な映像を求めています。これによりエンジニアは、それぞれに独自の強み、故障モード、隠れたコストを持つ根本的に異なるHDRアーキテクチャの中から選択を迫られます。
本記事では、HDRがミニチュアカメラモジュールの内部で実際にどのように機能するかを、センサーレベルの技術からISPパイプラインアルゴリズムまで分解して説明します。3つの主要なアプローチを比較し、最も重要なエンジニアリング上のトレードオフを説明し、AIと計算写真が組み込みシステムに深く浸透するにつれて技術がどこに向かうのかを見ていきます。
なぜ小型センサーはまずダイナミックレンジで苦戦するのか
アルゴリズムの話に入る前に、基本的な物理の話をしておくと理解しやすくなります。イメージングシステムにおけるダイナミックレンジとは、検出可能な最も明るい信号と、検出可能な最も暗いノイズフロアとの比率です。これはしばしばデシベル（dB）で測定され、6 dBごとにおよそ1段の光量に対応します。
典型的な人間の目は、単一のシーンでおよそ90～100 dBのダイナミックレンジを知覚でき、時間とともにさらに適応していきます。HDRを備えていない標準的な小型CMOSセンサーでは、60～70 dB程度しか得られないかもしれません。厳しい照明条件——直射日光の隣にある深い影、逆光の顔、街灯のある夜間のシーンなど——では、その差が明らかになります。
ピクセルが小さくなるにつれて、問題は悪化する。1080pのセキュリティセンサーにおける1.4 µmピクセルは、DSLRにおける5 µmピクセルの集光面積のほんの一部しか持たない。そのフルウェル容量——飽和する前に保持できる電子の数——ははるかに低い。ピクセルが一度飽和すると、ハイライトのディテールは永遠に失われる。一方で、読み出しノイズと暗電流がシャドウ側を侵食する。その結果、使用可能な範囲は狭くなり、選択を迫られる：ハイライトに合わせて露出すればシャドウを失い、シャドウに合わせて露出すればハイライトが飛んでしまう。
このギャップを埋めるためにHDR技術が存在します。核心となる考え方はシンプルです。複数の露出レベルを撮影し、それらを単一の出力フレームに合成します。しかし、その実行方法は大きく異なる道に分かれ、それぞれが異なる制約に最適化されています。
コンパクトモジュールにおける3つの主要なHDRアーキテクチャ
今日の小型カメラモジュールでは、3つのHDRアプローチが主流です：多重露光デジタルHDR、ラインインターリーブHDR、ピクセルレベルまたはデュアルゲインHDRです。それぞれがイメージングパイプラインの異なる段階で動作し、動きのアーティファクト、解像度、コスト、消費電力において異なるトレードオフを伴います。
マルチフレームデジタルHDR（撮影後合成）
これは、ほとんどの人がスマートフォンの写真撮影と聞いて思い浮かべる方法です。センサーは異なる露出設定（短時間、中時間、長時間）で2つ以上の完全なフレームをキャプチャし、画像信号プロセッサ（ISP）がそれらを統合して、拡張されたダイナミックレンジを持つ単一の出力フレームを生成します。
理論的には、マルチフレームHDRは柔軟性があります。ほとんどどのセンサーでも動作し、特別なピクセル設計を必要とせず、マージアルゴリズムはファームウェアで更新できます。フレーム間の露出比はシーンごとに調整できます：4倍、8倍、16倍、あるいはそれ以上に。
実際には、小型の組み込みモジュールはこのアプローチに関して2つの大きな問題に直面します。
第一に、動きです。露光間で何かが動くと—人が歩く、木が揺れる、安価なマウントでカメラが振動するなど—合成画像にゴースト、ハロー、エッジの滲みが現れます。高度な位置合わせアルゴリズムで軽減できますが、計算サイクルを消費します。低電力エッジチップでは、完全なオプティカルフロー位置合わせを30 fpsで実行することは現実的でない場合があります。
第二に、フレームレートとレイテンシです。出力フレームごとに2回の露光をキャプチャすると、センサーの読み出しレートが実質的に半減するか、解像度を落とさざるを得なくなります。ジェスチャー認識、バーコードスキャン、リアルタイム物体検出などのアプリケーションでは、余分なレイテンシと時間サンプリングの低下がユースケースを完全に破綻させる可能性があります。
これらの制限により、小型モジュールにおける純粋なマルチフレームHDRは、静止シーンまたはほぼ静止したシーンで最も一般的です。屋内防犯カメラ、ドアベル、低速移動の産業検査などが該当します。高フレームレートや低レイテンシのアプリケーションでは、ほとんど第一選択にはなりません。
ラインインターリーブ（DOL-HDR）
デジタルオーバーラップHDR、またはラインインターリーブHDRは、現代のセキュリティカメラや車載カメラの主力技術です。異なる露出でフルフレームをキャプチャする代わりに、センサーは1フレーム期間内に短露出と長露出で交互の行を読み出します。
奇数行が1msで露出され、偶数行が8msで露出されると想像してください。ISPはその後、2つの露出レイヤーを補間およびマージすることにより、フル解像度のHDRフレームを再構築します。両方の露出がほぼ同じ時間ウィンドウ内でキャプチャされるため、マルチフレームマージと比較してモーションアーティファクトが劇的に低減されます。
このアーキテクチャは、センサーのわずかな変更で優れたダイナミックレンジの向上（多くの場合90～100 dB）を実現できるため普及し、標準的なMIPI CSI-2インターフェースにもよく適合します。監視用の多くの人気2 MPおよび4 MPイメージセンサーは、DOL-HDRをネイティブにサポートしています。
しかし、これには独自のトレードオフがあります。各露光ラインが空間的にオフセットされているため、高速な垂直方向の動きは「ラインフリッカー」やスキューとして知られるエッジアーティファクトを引き起こす可能性があります。AC周波数のフリッカーを伴う人工照明も、ずらされた露光ラインと悪影響を及ぼし合い、後処理で除去するのが難しいバンディングパターンを生成することがあります。
解像度のコストも存在します。実効的な露光あたりの解像度が低下し、完全な詳細を再構成するために補間が必要になります。実際には、監視や車載のユースケースではシャープネスの損失は許容できることが多いですが、微細な詳細が重要な生体認証や検査モジュールでは問題になります。
ピクセルレベルのデュアルゲインHDR
第3のアプローチは、HDRをピクセル自体に取り込むものです。デュアルコンバージョンゲイン（DCG）またはデュアルゲインHDRでは、各ピクセルに異なるゲイン設定を持つ2つの読み出し経路があります。一方の経路はハイライト用に低ゲインで読み出し、もう一方はシャドウ用に高ゲインで読み出します。両方は同じフォトダイオード電荷から同時に読み出されます。
両方の信号が同じ瞬間に同じピクセルから得られるため、動きアーティファクトも空間オフセットもラインスキューもありません。ダイナミックレンジの利得はクリーンで予測可能です。これにより、ピクセルレベルのHDRは、高速で動くシーン、マシンビジョン、および時間的精度が重要となるあらゆるアプリケーションにとって極めて魅力的になります。
では、なぜすべての小型モジュールがこれを使っていないのでしょうか？
第一に、センサーの複雑さです。デュアルゲインピクセルは各ピクセル内に追加のトランジスタを必要とし、それによって開口率（実際に光を集めるピクセル面積の割合）が低下します。すでに非常に小さなピクセルでは、低照度感度が悪化し、固定パターンノイズが増加する可能性があります。
第二に、コストです。専用のHDRセンサーは標準部品よりも高価です。大量生産される消費者向け製品では、1ユニットあたりのわずかなコスト差であっても、BOM（部品表）をDOL-HDRやマルチフレームソリューション有利に傾ける可能性があります。
第三に、ダイナミックレンジの向上は、多重露光方式で達成できるものよりも小さいことが多いです。デュアルゲインピクセルは12～18 dBのレンジを追加できる可能性がありますが、3回露光のDOLシステムは30 dB以上を追加できます。極めて高コントラストなシーンでは、ピクセルレベルのHDRだけでは不十分な場合があります。
多くの最新センサーは現在、技術を組み合わせています。デュアルゲインピクセルと第2の露光読み出し、あるいはDCGとショート/ロングラインインターリーブの組み合わせなどです。これらのハイブリッドアプローチはダイナミックレンジを110 dB以上に押し上げますが、ISPパイプラインの複雑さも倍増させます。
ISP内部：HDR処理パイプライン
複数の露光をキャプチャすることは仕事の半分に過ぎません。それらを自然に見える最終画像に変換するには、慎重に調整された処理チェーンが必要です。小型カメラモジュールでは、このパイプラインはISP内部で実行されます—専用のハードウェアISPチップまたはメインSoC内のブロックのいずれかです。
典型的なHDRパイプラインはいくつかの段階に従います：
1. 露出調整と位置合わせ
マルチフレームおよびラインインターリーブHDRでは、最初のステップは異なる露出レイヤーの位置合わせです。マルチフレームシステムは、グローバルまたはブロックベースの動き推定を使用して、短露出フレームを長露出フレームにシフトおよびワープします。ラインインターリーブシステムは、行オフセットとローリングシャッターの歪みを補正します。
不適切な位置合わせは、目に見えるHDRアーティファクトの最大の原因です。安価なモジュールは、サイクルを節約するために高度な位置合わせを省略することが多く、その結果、移動する物体の周囲にゴーストが発生します。高品質の実装では、サブピクセル精度の動きモデルを使用しますが、より多くの処理能力とメモリ帯域幅が必要です。
2. 重みマップの生成
位置合わせが完了すると、ISPは各画素で各露出をどれだけ使用するかを決定する必要があります。これは重みマップによって行われます。明るい画素は主に短い露出から値を取得し、暗い画素は主に長い露出から値を取得します。中間調は両方をブレンドします。
単純な重みマップはピクセル強度のみに基づいています。より優れたアルゴリズムは、エッジ認識、ノイズ推定、モーション信頼度を追加します。ピクセルが動いている可能性が高い場合、アルゴリズムはゴースティングを避けるために一方の露出をより重視することがあります。たとえそれがその領域でのダイナミックレンジをわずかに減少させることを意味してもです。
ここでチューニングが大きな違いを生みます。同じセンサーと同じHDRモードを持つ2つのモジュールでも、重みマップの構築方法によって、まったく異なる結果を生み出すことがあります。過度に積極的なブレンディングは人工的に見え、保守的すぎるブレンディングはダイナミックレンジを無駄にします。
3. ノイズリダクションとトーンマッピング
HDR画像には膨大な範囲の値が含まれていますが、ディスプレイと人間の視覚は圧縮された範囲で最もよく機能します。トーンマッピングは、コントラストとディテールを保持しながら、高ビット深度のHDR信号を標準的な8ビットまたは10ビットの出力に圧縮します。
トーンマッピングには大きく分けて2つの系統があります：グローバルとローカルです。グローバルトーンマッピングは画像全体に同じ曲線を適用します。高速でシンプル、アーティファクトも避けられますが、シーンが平坦に見えることがあります。ローカルトーンマッピングは領域ごとに曲線を適応させ、局所的なコントラストを保持し、より「パンチの効いた」結果を生み出します。ただし、ハロー、エッジリンギング、不自然な「HDRルック」が発生する可能性がはるかに高くなります。
小型モジュールでは、処理能力を節約するためにローカルトーンマッピングが簡略化されたり制限されたりすることがよくあります。多くの組み込みISPは、グローバルベースカーブと穏やかなローカルコントラスト強調を組み合わせたハイブリッドアプローチをサポートしています。
ノイズ低減も同様に重要です。長時間露光のシャドウ領域にはショットノイズと読み出しノイズが多く含まれます。短時間露光データとの合成も有効ですが、ISPはエッジを尊重し、細部をぼかさないインテリジェントなノイズ低減も適用する必要があります。最小のモジュールでは、ノイズ性能が実用的なダイナミックレンジの真の制限要因となることが多く、センサーの理論的な井戸容量ではありません。
4. 色補正と一貫性
HDR合成は色を歪める可能性があります。異なる露光レベルでは、特にセンサーが高信号レベルで非線形応答をする場合、わずかに異なる色応答を示すことがあります。ISPは露光レベルを考慮した色補正を適用する必要があり、そうでなければ最終画像はハイライトやシャドウで色ずれを示す可能性があります。
これはしばしば見落とされがちなチューニングステップです。良好なダイナミックレンジを持っていても、色の一貫性が悪いモジュールは安っぽく見えてしまいます。プロのモジュールベンダーは、露出段階間で色応答を一致させるために、かなりのキャリブレーション時間を費やしています。
実際のトレードオフ：本番環境で本当に重要なこと
HDRアーキテクチャの選択は、データシート上で最も高いdB値のものを選ぶことではありません。エンドアプリケーションの要件に対して、5つの競合する要素のバランスを取ることです。
ダイナミックレンジ対低照度感度
一般的に、HDR露光回数が多いほどダイナミックレンジは広くなりますが、必ずしもより良い画像が得られるわけではありません。多重露光方式では、利用可能な積分時間を複数の露光に分割します。非常に暗い環境では、短い露光にはノイズ以外ほとんど何も含まれない可能性があります。それを合成に含めると、画像を改善するどころか、かえって劣化させてしまうことがあります。
これが、多くのHDRモジュールが暗いシーンでHDRを自動的に無効化または低減する理由です。アルゴリズムは全体の光量が低いことを検出し、最大感度を得るために単一の長露光にフォールバックします。遷移点は慎重に調整する必要があり、キャリブレーションが不十分な切り替えはノイズとコントラストに目に見えるジャンプを引き起こします。
動きのアーティファクト対フレームレート
マルチフレームHDRはモーションアーティファクトが最も顕著ですが、最も安価なセンサーでも動作します。ラインインターリーブHDRはモーションアーティファクトを大幅に低減しますが、垂直方向の歪みとフリッカー感度が生じます。ピクセルレベルHDRは基本的にモーションアーティファクトがありませんが、コストが高く、総ダイナミックレンジは小さくなります。
静かな廊下を監視する固定設置の屋内カメラには、マルチフレームHDRで十分です。急速に近づく人を監視するドアベルカメラには、ラインインターリーブ方式またはデュアルゲイン方式がより適しています。コンベア上の部品を追跡する高速産業検査システムでは、ピクセルレベルHDRが唯一許容される選択肢となる場合があります。
解像度対処理コスト
高解像度センサーは安くなってきていますが、HDR処理はピクセル数に比例して増大します。4K HDRパイプラインには、1080pパイプラインの4倍のメモリ帯域幅と処理能力が必要です。低電力エッジプロセッサでは、選択を迫られるかもしれません。HDRで4K 15 fpsか、HDRで1080p 30 fpsか。
多くの製品チームはHDRのISPコストを過小評価しています。それはセンサーだけの問題ではありません。より高速なインターフェース、より多くのRAM、より大きな熱予算、そしてより長いファームウェア開発時間がかかります。コストに敏感な大量生産製品では、やや低い解像度でよりシンプルなHDRモードの方が、トータルシステムコストで優位に立つことがよくあります。
消費電力対画質
追加の処理段階ごとに電力がかかります。マルチフレームモーション推定、ローカルトーンマッピング、高度なノイズリダクションはすべて電流を消費します。バッテリー駆動のカメラ—ドアベル、ボディカム、ワイヤレスセキュリティセンサー—では、電力予算がしばしば最も厳しい制約となります。
これがハードウェアアクセラレーションHDRが非常に重要な理由です。HDR機能が専用ISPハードウェアに実装されている場合、ファームウェアやCPUベースのアルゴリズムの消費電力のほんの一部しか使用しません。モジュール設計者は、電力目標を達成するために、ネイティブHDRハードウェアサポートを備えたセンサーとSoCを選択する必要があります。
信頼性 vs. チューニング作業
HDRパイプラインの調整は非常に困難で知られています。日当たりの良いオフィスで機能する設定が、蛍光灯の下や夕日の逆光、あるいは強い鏡面反射のあるシーンでは失敗することがあります。すべての動作条件で一貫した結果を得るには、広範なテストと反復的な調整が必要です。
安価な既製モジュールは、平均的な条件下では「まあまあ」機能する汎用ISPチューニングで出荷されることがよくありますが、限界条件下では破綻します。画質が競争上の差別化要因となる製品では、カスタムHDRチューニングは重要なエンジニアリング投資であり、多くの購入者が十分に予算を確保していないものです。
ユースケース例：さまざまなアプリケーションがHDRを最適化する方法
これらのトレードオフを具体的にするために、3つの一般的な小型モジュールアプリケーションがHDRにどのようにアプローチしているかを見てみましょう。
セキュリティとビデオドアベル
屋外セキュリティカメラは、真昼の直射日光、夜間のIR照明、逆光のポーチ、夜間のヘッドライトなど、最も過酷な照明条件に直面します。ダイナミックレンジが最優先事項です。
ほとんどのセキュリティモジュールは2～3露光ラインインターリーブHDRを使用し、2MPまたは4MP解像度で90～105dBのダイナミックレンジを実現しています。強力な2D/3Dノイズリダクションと、人工的なHDRルックを避けるための保守的なトーンマッピングを組み合わせています。一般的な歩行速度ではモーションアーティファクトは許容範囲内であり、大量生産における単位あたりのコストも低く抑えられます。
バッテリー駆動のドアベルには、電力という追加の制約があります。多くの場合、よりシンプルなデュアルゲインセンサーと軽量な処理を使用し、モーションが検出されたときのみフルHDRモードに移行します。
生体認証および顔認識モジュール
顔認識モジュールには、正確な肌色、一貫したエッジディテール、そしてモーションアーティファクトがゼロであることが求められます。ゴーストやブレが生じた顔は、認証失敗の原因となる可能性があります。
これらのモジュールは、ピクセルレベルのデュアルゲインHDRまたは非常に短い多重露光方式をますます好むようになっています。ダイナミックレンジの要件は中程度です—窓からの逆光がある屋内が主な課題です—が、時間的および空間的な精度が重要です。解像度はしばしば2MP以下であり、処理コストを管理可能に保ちます。
多くの生体認証モジュールは、HDRと近赤外線イメージングを組み合わせ、IRチャネルを追加の露光レイヤーとして使用して、可視光のモーションアーティファクトなしでダイナミックレンジを向上させます。
産業およびマシンビジョン
産業用検査カメラは、反射率の高い金属部品、明るいLEDで照らされた組立品、またはコンベアベルト上を高速で移動する物体をしばしば観察します。モーションブラーや歪みは、測定誤差を直接引き起こします。
ここでは、ピクセルレベルのHDRを備えたグローバルシャッターセンサーが一般的です。優先されるのは時間的な精度と再現可能な測定であり、最も美しい画像ではありません。一部の産業用センサーは、カメラ内トーンマッピングを行わない12ビットまたは14ビットのRAW出力を使用し、最大限の柔軟性を実現するためにすべてのHDR処理をホストコンピューターに任せています。
HDRの今後：コンピュテーショナルフォトグラフィーがエッジへ移行
AIとコンピュテーショナルフォトグラフィーの技術がフラッグシップスマートフォンから組み込みカメラモジュールへと移行するにつれ、HDRの状況は急速に変化しています。3つのトレンドが際立っています。
第一に、AI支援による合成とゴースト除去です。ニューラルネットワークは、動きの検出、オブジェクトのエッジの識別、ゴーストなしで露出をブレンドする方法の決定において、従来のアルゴリズムよりもはるかに優れています。初期の実装はホストプロセッサ上で実行されますが、新しいエッジSoCに搭載された専用NPUブロックにより、AI HDR合成がモジュール自体に組み込まれるようになります。これにより、ほぼゼロのモーションアーティファクトで多フレームレベルのダイナミックレンジが実現することが期待されています。
第二に、エンドツーエンドで学習されたHDRパイプラインです。個々のブロック（位置合わせ、重み、トーンマッピング、ノイズリダクション）を別々のステップとして調整する代わりに、ニューラルモデルをトレーニングして、生のマルチ露出入力から直接最終出力を生成することができます。その結果は、多くの場合、より自然に見え、さまざまな照明条件に対してより堅牢です。課題は、これらのモデルにより多くの計算能力とより多くのトレーニングデータが必要であり、モジュールベンダーのハードルが上がることです。
第三に、センサーレベルの革新です。新しいピクセルアーキテクチャ—トリプルゲインピクセル、曲面センサー、ピクセルごとの露出制御—は、ネイティブダイナミックレンジをさらに押し上げ続けています。センサー製造が成熟するにつれて、数年前にはプレミアム専用だった機能が、ミッドレンジモジュールでも標準となっています。
これは根本的なトレードオフを排除するものではありません。より多くの処理には依然としてより多くの電力が必要です。より優れたセンサーには依然としてより多くのコストがかかります。しかし、そのバランスは常に変化しており、5年前ならはるかに大きなカメラが必要だったHDR性能を、より小型のモジュールで実現できるようになっています。
設計に適したHDRの選択
小型カメラモジュールにおけるHDRは決して無料ではありません。どのアーキテクチャもダイナミックレンジを得るために何かを犠牲にします：解像度、光感度、動きの鮮明さ、電力、またはコストです。正しい選択は、そのうちどれを犠牲にできるかによって決まります。
静止屋内カメラを設計していてコストが最優先なら、標準センサー上の基本的なマルチフレームHDRで十分かもしれません。日光やヘッドライトに対応する必要がある屋外セキュリティ製品を構築しているなら、ラインインターリーブHDRが実績ある主力です。生体認証やマシンビジョンでモーションアーティファクトをゼロにする必要があるなら、ピクセルレベルのデュアルゲインはプレミアムを払う価値があります。
何よりも、データシートの数値は物語の一部に過ぎないことを覚えておいてください。同じ公称ダイナミックレンジを持つ2つのセンサーでも、ISPのチューニング、ノイズ処理、トーンマッピングによって、実世界の画像は劇的に異なることがあります。HDRモジュールを評価する最良の方法は、実際の使用条件——太陽光、人工光、動き、逆光——でテストし、その出力を自分の目で判断することです。
アプリケーションがよりスマートになり、期待が高まり続けるにつれて、ダイナミックレンジはコンパクトイメージングにとって最も重要な戦場の一つであり続けるでしょう。HDRというラベルの背後にあるアルゴリズムとトレードオフを理解することが、照明が困難な状況で実際に性能を発揮するカメラを構築するための第一歩です。
連絡先
あなたの情報を残しておき、後ほどご連絡いたします。
WhatsApp
WeChat