Русский
Как работает HDR в малых камерах — алгоритмы и компромиссы
Создано 10.08
Если вы когда-нибудь задумывались, почему камера смартфона может одновременно запечатлеть яркое окно и тёмный интерьер в одном кадре, тогда как дешёвый USB-модуль камеры страдает от пересвеченных бликов и проваленных теней, ответ обычно сводится к расширенному динамическому диапазону, или HDR. Но HDR — это не просто переключатель в приложении камеры. В компактных системах визуализации — представьте себе крошечные камеры видеонаблюдения, биометрические модули, промышленные сенсоры машинного зрения и встраиваемые камеры — реализация HDR представляет собой постоянную борьбу между физикой сенсора, вычислительной мощностью и ограничениями реального мира.
Что делает небольшие камерные модули уникально сложными, так это то, что всё уменьшено в масштабе. Меньшие пиксели собирают меньше света. Более плотная компоновка платы ограничивает отвод тепла. Периферийные процессоры работают в условиях жёстких ограничений по энергопотреблению. Тем не менее рыночные ожидания продолжают расти: и потребители, и промышленные покупатели хотят получать чистое, детализированное видео при любых условиях освещения. Это заставляет инженеров выбирать среди принципиально разных архитектур HDR, каждая из которых имеет свои сильные стороны, режимы отказа и скрытые издержки.
В этой статье разбирается, как HDR на самом деле работает внутри миниатюрных камерных модулей, от методов на уровне сенсора до алгоритмов конвейера ISP. Мы сравним три доминирующих подхода, объясним наиболее важные инженерные компромиссы и рассмотрим, куда движется технология по мере того, как ИИ и вычислительная фотография всё глубже проникают во встраиваемые системы.
Почему маленькие сенсоры в первую очередь испытывают трудности с динамическим диапазоном
Прежде чем углубляться в алгоритмы, полезно опереться на основы физики. Динамический диапазон в системе визуализации — это отношение между самым ярким обнаружимым сигналом и самым тёмным обнаружимым уровнем шума. Он часто измеряется в децибелах (дБ), где каждые 6 дБ примерно соответствуют одной ступени экспозиции.
Типичный человеческий глаз способен воспринимать примерно 90–100 дБ динамического диапазона в одной сцене, и со временем мы адаптируемся ещё больше. Стандартный небольшой КМОП-сенсор без HDR может обеспечивать 60–70 дБ. При жёстком освещении — прямой солнечный свет рядом с глубокой тенью, лица против света или ночные сцены с уличными фонарями — этот разрыв становится очевидным.
Проблема усугубляется по мере уменьшения пикселей. Пиксель размером 1,4 мкм в датчике безопасности 1080p имеет лишь малую долю площади сбора света по сравнению с пикселем 5 мкм в зеркальной камере. Его полная ёмкость — количество электронов, которое он может удерживать до насыщения, — гораздо ниже. Как только пиксель насыщается, все детали в светах теряются безвозвратно. Тем временем шум считывания и темновой ток разъедают теневую область. Результатом становится узкий полезный диапазон, который вынуждает делать выбор: экспонировать по светам и потерять тени или экспонировать по теням и пересветить света.
Техники HDR существуют, чтобы преодолеть этот разрыв. Основная идея проста: захватить более одного уровня экспозиции и объединить их в один выходной кадр. Однако реализация разветвляется на совершенно разные пути, каждый из которых оптимизирован для своих ограничений.
Три основные архитектуры HDR в компактных модулях
В современных компактных камерах-модулях доминируют три подхода к HDR: цифровой HDR с многократной экспозицией, HDR с чересстрочной развёрткой и HDR на уровне пикселей или с двойным усилением. Каждый из них работает на своём этапе конвейера обработки изображения и имеет свои компромиссы по артефактам движения, разрешению, стоимости и энергопотреблению.
Многокадровый цифровой HDR (объединение после захвата)
Это метод, который большинство людей связывают с фотографией на смартфон. Сенсор захватывает два или более полных кадра с разными настройками экспозиции — один короткий, один средний, один длинный — и процессор обработки сигнала изображения (ISP) объединяет их в один выходной кадр с расширенным динамическим диапазоном.
Теоретически многокадровый HDR гибок. Он работает почти на любом сенсоре, не требует специальной конструкции пикселей, а алгоритм объединения можно обновлять через прошивку. Соотношение экспозиций между кадрами можно настраивать для каждой сцены: 4x, 8x, 16x или больше.
На практике небольшие встраиваемые модули сталкиваются с двумя серьёзными проблемами при таком подходе.
Во-первых, движение. Если что-либо движется между экспозициями — идущий человек, качающееся дерево, даже вибрация камеры на дешёвом креплении — на объединённом изображении появляются призрачные артефакты, ореолы или размытие краёв. Продвинутые алгоритмы выравнивания могут уменьшить это, но они требуют вычислительных ресурсов. На маломощных краевых чипах полное выравнивание оптического потока может быть неосуществимо при 30 кадрах в секунду.
Во-вторых, частота кадров и задержка. Захват двух экспозиций на один выходной кадр фактически вдвое снижает скорость считывания сенсора или вынуждает его снижать разрешение. Для таких приложений, как распознавание жестов, сканирование штрих-кодов или обнаружение объектов в реальном времени, дополнительная задержка и снижение временной выборки могут полностью нарушить сценарий использования.
Из-за этих ограничений чистый многокадровый HDR в небольших модулях чаще всего применяется в статичных или почти статичных сценах: внутренние камеры видеонаблюдения, дверные звонки и медленно движущиеся объекты промышленной инспекции. Он редко становится первым выбором для приложений с высокой частотой кадров или низкой задержкой.
Построчное чередование (DOL-HDR)
Цифровой HDR с перекрытием, или HDR с чересстрочной развёрткой, является рабочей лошадкой современных камер безопасности и автомобильных камер. Вместо захвата полных кадров с разной экспозицией сенсор считывает чередующиеся строки с короткой и длинной экспозицией в течение одного кадрового периода.
Представьте нечётные строки с экспозицией 1 мс и чётные строки с экспозицией 8 мс. Затем ISP восстанавливает полноразрешающий HDR-кадр путём интерполяции и объединения двух слоёв экспозиции. Поскольку обе экспозиции захватываются примерно в одном временном окне, артефакты движения значительно уменьшаются по сравнению с объединением нескольких кадров.
Эта архитектура стала популярной, поскольку обеспечивает хороший прирост динамического диапазона — часто 90–100 дБ — при умеренной модификации сенсора, и хорошо вписывается в стандартные интерфейсы MIPI CSI-2. Многие популярные 2-мегапиксельные и 4-мегапиксельные сенсоры изображения для систем видеонаблюдения поддерживают DOL-HDR нативно.
Но у этого есть и свои компромиссы. Поскольку каждая строка экспозиции пространственно смещена, быстрое вертикальное движение может создавать артефакты на краях, известные как «мерцание строк» или перекос. Искусственное освещение с мерцанием на частоте переменного тока также может плохо взаимодействовать со ступенчатыми строками экспозиции, создавая полосовые узоры, которые трудно удалить при постобработке.
Есть также потеря разрешения. Эффективное разрешение на одну экспозицию снижается, и для восстановления полной детализации требуется интерполяция. На практике потеря резкости часто приемлема для систем видеонаблюдения и автомобильных сценариев, но она важна для биометрических модулей и модулей инспекции, где критичны мелкие детали.
HDR с двойным усилением на уровне пикселей
Третий подход переносит HDR непосредственно в сам пиксель. В HDR с двойным коэффициентом преобразования (DCG) или двойным усилением каждый пиксель имеет два пути считывания с разными настройками усиления. Один путь считывает сигнал с низким усилением для светлых участков, другой — с высоким усилением для теней. Оба считываются одновременно с одного и того же заряда фотодиода.
Поскольку оба сигнала поступают с одного пикселя в один и тот же момент, нет артефактов движения, нет пространственного смещения и нет перекоса строк. Прирост динамического диапазона получается чистым и предсказуемым. Это делает HDR на уровне пикселей чрезвычайно привлекательным для быстро движущихся сцен, машинного зрения и любых приложений, где важна временная точность.
Так почему же не каждый маленький модуль использует это?
Во-первых, сложность сенсора. Пиксели с двойным усилением требуют дополнительных транзисторов внутри каждого пикселя, что снижает коэффициент заполнения — процент площади пикселя, которая фактически собирает свет. На и без того крошечных пикселях это может ухудшить чувствительность при слабом освещении и увеличить фиксированный шум.
Во-вторых, стоимость. Специализированные HDR-сенсоры стоят дороже стандартных компонентов. Для массовых потребительских продуктов даже небольшая разница в стоимости за единицу может склонить выбор в пользу DOL-HDR или многофреймовых решений при формировании спецификации материалов.
В-третьих, прирост динамического диапазона часто оказывается меньше, чем могут обеспечить методы многократной экспозиции. Пиксель с двойным усилением может добавить 12–18 дБ диапазона, тогда как система DOL с 3 экспозициями может добавить более 30 дБ. Для сцен с чрезвычайно высоким контрастом одного лишь HDR на уровне пикселей может быть недостаточно.
Многие современные сенсоры теперь сочетают методы: пиксели с двойным усилением плюс считывание второй экспозиции или DCG в паре с чередованием коротких и длинных строк. Такие гибридные подходы повышают динамический диапазон выше 110 дБ, но также многократно усложняют конвейер обработки сигналов изображения (ISP).
Внутри ISP: конвейер обработки HDR
Съёмка нескольких экспозиций — это лишь половина задачи. Чтобы превратить их в естественно выглядящее итоговое изображение, требуется тщательно настроенная цепочка обработки. В небольших камерах-модулях этот конвейер работает внутри ISP — либо отдельного аппаратного чипа ISP, либо блока внутри основного SoC.
Типичный конвейер HDR включает несколько этапов:
1. Выравнивание экспозиции и регистрация
Для многофреймового и построчно-чередующегося HDR первым шагом является выравнивание различных слоёв экспозиции. Многофреймовые системы используют глобальную или блочную оценку движения для сдвига и деформации короткоэкспонированного кадра на длинноэкспонированный кадр. Построчно-чередующиеся системы корректируют смещение строк и любой перекос скользящего затвора.
Плохое выравнивание — причина номер один видимых HDR-артефактов. Дешёвые модули часто пропускают продвинутое выравнивание для экономии циклов, что приводит к появлению ореолов вокруг движущихся объектов. Высококачественные реализации используют модели движения с субпиксельной точностью, но они требуют большей вычислительной мощности и пропускной способности памяти.
2. Генерация карты весов
После выравнивания ISP должен решить, какую часть каждой экспозиции использовать для каждого пикселя. Это делается с помощью карты весов. Яркие пиксели берут большую часть своего значения из короткой экспозиции; тёмные пиксели — большую часть из длинной экспозиции. Средние тона смешивают обе.
Простые карты весов основаны исключительно на интенсивности пикселей. Более совершенные алгоритмы добавляют учёт границ, оценку шума и уверенность в движении. Если пиксель, вероятно, движется, алгоритм может придать больший вес одной экспозиции, чтобы избежать двоения, даже если это означает небольшое снижение динамического диапазона в этой области.
Именно здесь настройка играет огромную роль. Два модуля с одинаковым сенсором и одинаковым режимом HDR могут давать совершенно разные результаты в зависимости от того, как построены карты весов. Чрезмерно агрессивное смешивание выглядит искусственно; слишком консервативное смешивание неэффективно использует динамический диапазон.
3. Шумоподавление и тональная компрессия
HDR-изображения содержат огромный диапазон значений, но дисплеи и человеческое зрение лучше всего работают со сжатым диапазоном. Тональная компрессия сжимает HDR-сигнал с высокой битовой глубиной в стандартный 8- или 10-битный выход, сохраняя при этом контраст и детали.
Существуют два основных семейства тональной компрессии: глобальная и локальная. Глобальная тональная компрессия применяет одну и ту же кривую ко всему изображению. Она быстрая, простая и избегает артефактов, но может сделать сцены плоскими. Локальная тональная компрессия адаптирует кривую область за областью, сохраняя локальный контраст и создавая более «выразительные» результаты. Она также гораздо более склонна создавать ореолы, краевые артефакты и неестественный «HDR-вид».
В небольших модулях локальное тональное отображение часто упрощается или ограничивается для экономии вычислительных ресурсов. Многие встраиваемые ISP поддерживают гибридный подход: глобальная базовая кривая плюс умеренное локальное повышение контраста.
Шумоподавление не менее важно. В теневых областях при длительной выдержке содержится больше дробового шума и шума считывания. Объединение с данными короткой выдержки помогает, но ISP также должен применять интеллектуальное шумоподавление, которое учитывает границы и не размывает мелкие детали. В самых маленьких модулях шумовые характеристики часто являются реальным ограничивающим фактором для полезного динамического диапазона, а не теоретическая ёмкость потенциальной ямы сенсора.
4. Цветокоррекция и согласованность
Объединение HDR может искажать цвет. Разные уровни экспозиции могут иметь немного разные цветовые отклики, особенно если сенсор имеет нелинейный отклик при высоких уровнях сигнала. ISP должен применять цветокоррекцию, учитывающую уровень экспозиции, иначе итоговое изображение может демонстрировать цветовые сдвиги в светах или тенях.
Это часто упускаемый из виду этап настройки. Модуль с хорошим динамическим диапазоном, но плохой цветопередачей всё равно будет выглядеть дешёво. Профессиональные поставщики модулей тратят значительное время на калибровку, чтобы согласовать цветовой отклик на разных уровнях экспозиции.
Реальные компромиссы: что действительно важно в производстве
Выбор архитектуры HDR — это не выбор той, у которой на бумаге самый высокий показатель в дБ. Это баланс пяти конкурирующих факторов с требованиями конечного приложения.
Динамический диапазон против чувствительности при слабом освещении
Большее количество экспозиций HDR обычно означает более высокий динамический диапазон, но не всегда лучший снимок. Методы с несколькими экспозициями распределяют доступное время интегрирования между несколькими экспозициями. При очень слабом освещении короткая экспозиция может содержать почти только шум. Её объединение может фактически ухудшить изображение, а не улучшить его.
Именно поэтому многие HDR-модули автоматически отключают или снижают HDR в тёмных сценах. Алгоритм определяет низкий общий уровень освещённости и переключается на одну длинную экспозицию для максимальной чувствительности. Точку перехода необходимо тщательно настраивать; плохо откалиброванное переключение вызывает заметные скачки шума и контраста.
Артефакты движения против частоты кадров
Многокадровый HDR имеет наихудшие артефакты движения, но может работать на самых дешёвых сенсорах. HDR с построчным чередованием значительно уменьшает артефакты движения, но вносит вертикальное искажение и чувствительность к мерцанию. HDR на уровне пикселей практически не имеет артефактов движения, но стоит дороже и обеспечивает меньший общий динамический диапазон.
Для стационарной камеры внутреннего наблюдения, следящей за тихим коридором, многокадровый HDR вполне подходит. Для дверного звонка с камерой, наблюдающей за быстро приближающимся человеком, лучше выбрать построчное чередование или двойное усиление. Для высокоскоростной промышленной системы контроля, отслеживающей детали на конвейере, HDR на уровне пикселей может быть единственным приемлемым вариантом.
Разрешение против стоимости обработки
Датчики с более высоким разрешением дешевеют, но обработка HDR масштабируется с количеством пикселей. Конвейер 4K HDR требует в четыре раза больше пропускной способности памяти и вычислительной мощности, чем конвейер 1080p. На маломощном граничном процессоре это может вынудить к выбору: 4K при 15 кадрах в секунду с HDR или 1080p при 30 кадрах в секунду с HDR.
Многие продуктовые команды недооценивают стоимость HDR на уровне ISP. Дело не только в датчике; это ещё и более быстрый интерфейс, больше оперативной памяти, больший тепловой бюджет и более длительная разработка прошивки. Для чувствительных к стоимости массовых продуктов более простой режим HDR при чуть более низком разрешении часто выигрывает по общей стоимости системы.
Энергопотребление против качества изображения
Каждый дополнительный этап обработки требует энергии. Многофреймовая оценка движения, локальное тональное отображение и продвинутое шумоподавление — всё это потребляет ток. В камерах с батарейным питанием — дверных звонках, нательных камерах, беспроводных охранных датчиках — энергобюджет часто является самым жёстким ограничением.
Именно поэтому аппаратно-ускоренный HDR так важен. Когда функции HDR реализованы в специализированном аппаратном обеспечении ISP, они потребляют лишь малую долю энергии по сравнению с прошивкой или алгоритмами на основе ЦП. Разработчики модулей должны выбирать сенсоры и SoC с нативной аппаратной поддержкой HDR, чтобы достичь целевых показателей энергопотребления.
Надёжность против усилий по настройке
Конвейеры HDR, как известно, сложно настраивать. Конфигурация, которая работает в солнечном офисе, может дать сбой при флуоресцентном освещении, или при контровом свете заката, или в сценах с сильными зеркальными отражениями. Получение стабильных результатов во всех рабочих условиях требует обширного тестирования и итеративной настройки.
Более дешёвые готовые модули часто поставляются с универсальной ISP-настройкой, которая работает «нормально» в средних условиях, но даёт сбои на предельных режимах. Для продуктов, где качество изображения является конкурентным преимуществом, индивидуальная настройка HDR — это значительные инженерные вложения, которые многие покупатели не закладывают в бюджет в полном объёме.
Примеры использования: как различные приложения оптимизируют HDR
Чтобы сделать эти компромиссы более наглядными, рассмотрим, как три распространённых приложения на основе малых модулей подходят к HDR.
Безопасность и видеодомофоны
Уличные камеры безопасности сталкиваются с самыми экстремальными условиями освещения: прямое полуденное солнце, ночная ИК-подсветка, контровый свет на крыльце и фары автомобилей в ночное время. Динамический диапазон является главным приоритетом.
Большинство модулей безопасности используют 2–3-экспозиционный HDR с чересстрочным чередованием строк, обеспечивая динамический диапазон 90–105 дБ при разрешении 2 Мп или 4 Мп. Они сочетают это с мощным 2D/3D шумоподавлением и консервативным тональным отображением, чтобы избежать искусственного вида HDR. Артефакты движения приемлемы при типичных скоростях ходьбы, а стоимость за единицу остаётся низкой для крупносерийного производства.
Домофоны с батарейным питанием добавляют дополнительное ограничение: энергопотребление. Они часто используют более простые датчики с двойным усилением и более лёгкой обработкой, переходя в полноценный режим HDR только при обнаружении движения.
Модули биометрической идентификации и распознавания лиц
Модулям распознавания лиц требуются точная передача оттенков кожи, стабильная детализация краёв и отсутствие артефактов движения. Размытое или двоящееся изображение лица может привести к сбою аутентификации.
Эти модули всё чаще отдают предпочтение HDR с двойным усилением на уровне пикселей или схемам с очень короткой многократной экспозицией. Требования к динамическому диапазону умеренные — главная сложность — съёмка в помещении с контровым светом из окна, — но временная и пространственная точность критически важны. Разрешение обычно составляет 2 МП или меньше, что позволяет удерживать вычислительные затраты на приемлемом уровне.
Многие биометрические модули также сочетают HDR с ближним инфракрасным излучением, используя ИК-канал как дополнительный слой экспозиции для расширения динамического диапазона без артефактов движения, свойственных видимому свету.
Промышленное и машинное зрение
Промышленные камеры технического зрения часто смотрят на сильно отражающие металлические детали, яркие светодиодные сборки или объекты, быстро движущиеся по конвейерным лентам. Размытие в движении и перекос напрямую вызывают ошибки измерений.
Здесь распространены глобальные затворы с HDR на уровне пикселей. Приоритетом является временная точность и воспроизводимость измерений, а не самая красивая картинка. Некоторые промышленные сенсоры используют 12- или 14-битный необработанный вывод без внутрикамерного тонального отображения, оставляя всю обработку HDR хост-компьютеру для максимальной гибкости.
Куда движется HDR: вычислительная фотография выходит на периферию
Ландшафт HDR быстро меняется, поскольку методы ИИ и вычислительной фотографии мигрируют из флагманских смартфонов во встраиваемые камерные модули. Выделяются три тенденции.
Во-первых, объединение и устранение призраков с помощью ИИ. Нейронные сети гораздо лучше традиционных алгоритмов обнаруживают движение, определяют границы объектов и решают, как объединять экспозиции без появления призраков. Ранние реализации работают на хост-процессоре, но выделенные блоки NPU в новых периферийных SoC принесут объединение HDR с помощью ИИ непосредственно в модуль. Это обещает динамический диапазон на уровне многокадровой съёмки при почти нулевых артефактах движения.
Во-вторых, сквозные обученные HDR-конвейеры. Вместо настройки отдельных блоков — выравнивания, весов, тональной компрессии, шумоподавления — как отдельных этапов, нейронные модели можно обучить напрямую создавать финальный результат из исходных многократных экспозиций. Результат часто выглядит более естественно и более устойчив при различных условиях освещения. Проблема в том, что такие модели требуют больше вычислений и больше обучающих данных, что повышает требования для поставщиков модулей.
В-третьих, инновации на уровне сенсора. Новые архитектуры пикселей — пиксели с тройным усилением, изогнутые сенсоры, управление экспозицией для каждого пикселя — продолжают повышать собственный динамический диапазон. По мере развития производства сенсоров функции, которые ещё несколько лет назад были доступны только в премиум-сегменте, становятся стандартными в модулях среднего уровня.
Ничто из этого не устраняет фундаментальные компромиссы. Большая обработка по-прежнему требует больше энергии. Лучшие сенсоры по-прежнему стоят дороже. Но баланс продолжает смещаться, позволяя меньшим модулям обеспечивать производительность HDR, для которой всего пять лет назад потребовалась бы гораздо более крупная камера.
Как сделать правильный выбор HDR для вашего проекта
HDR в небольших камерах-модулях никогда не бывает бесплатным. Каждая архитектура чем-то жертвует ради увеличения динамического диапазона: разрешением, светочувствительностью, четкостью движения, энергопотреблением или стоимостью. Правильный выбор зависит от того, чем из этого вы можете пожертвовать.
Если вы проектируете статичную камеру для помещений и стоимость имеет решающее значение, базовый многокадровый HDR на стандартном сенсоре может оказаться вполне достаточным. Если вы создаёте уличное охранное устройство, которое должно справляться с солнечным светом и фарами, построчный HDR с чередованием строк — это проверенное надёжное решение. Если вам нужна нулевая артефактность движения для биометрии или машинного зрения, попиксельный двойной усиление стоит своей премиальной цены.
Прежде всего, помните, что цифры в техническом описании рассказывают лишь часть истории. Два сенсора с одинаковым заявленным динамическим диапазоном могут выдавать кардинально разные изображения в реальных условиях в зависимости от настройки ISP, обработки шумов и тональной компрессии. Лучший способ оценить HDR-модуль — протестировать его в ваших реальных рабочих условиях: при солнечном свете, искусственном освещении, в движении, при контровом свете — и оценить результат своими глазами.
Динамический диапазон останется одной из важнейших областей борьбы для компактных систем формирования изображений, поскольку приложения становятся умнее, а ожидания продолжают расти. Понимание алгоритмов и компромиссов, стоящих за ярлыком HDR, — это первый шаг к созданию камеры, которая действительно работает, когда освещение становится сложным.
Контакт
Оставьте свои контактные данные, и мы свяжемся с вами.
WhatsApp
WeChat