Persian
تنظیم ISP ماژول دوربین: تعادل وضوح، نویز و رنگ
ساخته شده در 09.10
هر ماژول دوربین با همان سخت‌افزار سنسور خام عرضه می‌شود، با این حال کیفیت تصویر نهایی می‌تواند به‌طور چشمگیری متفاوت باشد. تفاوت تقریباً به‌طور کامل در تنظیم ISP نهفته است—فرآیند آرام و تکراری کالیبره کردن پردازنده سیگنال تصویر برای استخراج بهترین خروجی ممکن از ترکیب سنسور و لنز مشخص. برای تیم‌های مهندسی که محصولات بینایی嵌入ی می‌سازند، درست انجام دادن این تعادل، یک دوربین متوسط را از دوربینی که واقعاً ممتاز به نظر می‌رسد جدا می‌کند.
چالش این است که شارپنس، کاهش نویز و دقت رنگ به‌صورت جداگانه وجود ندارند. یک پارامتر را بیش از حد بالا ببرید، و پارامتر دیگری افت می‌کند. شارپنینگ را تا حداکثر افزایش دهید و نویز را تقویت کرده و هاله‌های لبه‌ای خشن ایجاد می‌کنید. کاهش نویز تهاجمی اعمال کنید و جزئیات ظریف را از بین برده و ظاهری پلاستیکی و موم‌مانند تولید می‌کنید. اشباع رنگ را تقویت کنید تا تصاویر برجسته شوند و تن‌های پوستی طبیعی را از دست داده و برش رنگ ایجاد می‌کنید. تنظیم ISP به معنای بیشینه‌سازی هیچ معیار واحدی نیست؛ بلکه به معنای مهندسی مبادلات عامدانه‌ای است که با مورد استفاده مورد نظر مطابقت داشته باشد.
این مقاله مکانیک عملی تنظیم ISP را تجزیه می‌کند، توضیح می‌دهد چرا تعادل سه‌جانبه ذاتاً دشوار است، و چارچوب‌های عملی برای تیم‌های تنظیم که روی دوربین‌های USB، سیستم‌های بینایی جاسازی‌شده، و ماژول‌های صنعتی تخصصی.
خط لوله ISP: جایی که کیفیت تصویر واقعاً ساخته می‌شود
پیش از ورود به جزئیات تنظیم، درک ترتیب عملیات درون یک پردازنده سیگنال تصویر معمولی کمک‌کننده است. این توالی اهمیت دارد زیرا هر مرحله پردازش بر مرحله بعدی تأثیر می‌گذارد و انتخاب‌های تنظیم در ابتدای خط لوله بر تمام بلوک‌های پایین‌دستی اثر می‌گذارد.
داده خام سنسور ابتدا وارد بلوک تصحیح سطح سیاه می‌شود، جایی که آفست جریان تاریک سنسور حذف می‌گردد. سپس تصحیح سایه‌اندازی لنز می‌آید که افت طبیعی نور به سمت گوشه‌های تصویر ناشی از اپتیک لنز را جبران می‌کند. پس از آن تصحیح پیکسل معیوب قرار دارد که پیکسل‌های نقص‌دار را که در غیر این صورت به‌صورت نقاط روشن یا تاریک گیرکرده ظاهر می‌شوند، شناسایی و جایگزین می‌کند.
از آنجا، خط لوله وارد مرحله حذف الگوی موزائیکی می‌شود—فرآیندی که شبکه خام با الگوی بایر را به تصویر RGB تمام‌رنگ تبدیل می‌کند. این یکی از حیاتی‌ترین مراحل برای وضوح و رنگ است، زیرا الگوریتم ضعیف حذف الگوی موزائیکی باعث ایجاد مصنوعات زیپری در امتداد لبه‌ها و نشت رنگ به مرزهای روشنایی می‌شود.
پس از حذف الگوی موزائیکی، بلوک‌های تنظیم اصلی کار را بر عهده می‌گیرند: کاهش نویز، تیزکردن، اعمال ماتریس تصحیح رنگ، تعادل رنگ سفید، تصحیح گاما و بهبود لبه. بلوک‌های اضافی ممکن است شامل تصحیح انحراف رنگی، فشرده‌سازی دامنه دینامیکی و نقشه‌برداری تُن برای صحنه‌های با دامنه دینامیکی بالا باشد.
آنچه تنظیم را پیچیده می‌کند این است که این بلوک‌ها مستقل نیستند. کاهش نویز اعمال‌شده پیش از تیزسازی، تیزی درک‌شده را کاهش می‌دهد. تیزسازی اعمال‌شده پیش از کاهش نویز، نویز را تقویت می‌کند. ماتریس‌های تصحیح رنگ به روش‌های غیرآشکاری با تعادل سفیدی برهم‌کنش می‌کنند. تنظیم‌کنندگان ماهر هر پارامتر را به‌صورت مجزا تنظیم نمی‌کنند؛ آن‌ها زنجیره علّی را درک می‌کنند و به‌طور همزمان در چندین بلوک تکرار می‌کنند.
تنظیم تیزی: بیش از فقط افزایش بهره لبه
تیزی قابل توجه‌ترین معیار کیفیت است و همچنین بیشترین سوءاستفاده را دارد. بسیاری از تیم‌های محصول به طور پیش‌فرض از مقادیر تیزکردن بالا استفاده می‌کنند زیرا تصاویر در دموهای کنار هم چشمگیرتر به نظر می‌رسند. با این حال، در استفاده واقعی، تصاویر بیش از حد تیز شده غیرطبیعی و خسته‌کننده به نظر می‌رسند.
چه چیزی واقعاً تیزی درک شده را ایجاد می‌کند
تیزی ادراک‌شده از سه مکانیزم مجزا ناشی می‌شود که با هم کار می‌کنند: رزولوشن لنز، نمونه‌برداری سنسور، و تقویت لبه ISP. لنز و سنسور حد بالای فیزیکی ثبت جزئیات را تعیین می‌کنند؛ ISP نمی‌تواند اطلاعاتی را که هرگز ثبت نشده‌اند ایجاد کند. آنچه می‌تواند انجام دهد تقویت کنتراست محلی در امتداد لبه‌ها است تا انتقال‌ها برای سیستم بینایی انسان واضح‌تر به نظر برسند.
ماسک شارپ استاندارد با ایجاد یک نسخه تار از تصویر، تفریق آن از تصویر اصلی، و افزودن اختلاف با شدت کنترل‌شده کار می‌کند. این کار یک هاله روشن ظریف در یک طرف لبه و یک هاله تیره در طرف دیگر ایجاد می‌کند. مغز این هاله‌ها را به عنوان افزایش تیزی تفسیر می‌کند. وقتی اثر ظریف باشد، بینندگان نمی‌توانند آرتیفکت را تشخیص دهند؛ وقتی بیش از حد انجام شود، هاله‌ها به صورت خطوط سفید ضخیم دور اشیاء قابل مشاهده می‌شوند.
پارامترهای تنظیمی که اهمیت دارند
تنظیم مؤثر تیزی نیازمند تنظیم حداقل چهار پارامتر به صورت هماهنگ است:
• بهره/مقدار: کنترل می‌کند که چه مقدار از سیگنال لبه دوباره اضافه شود. مقادیر بالاتر تیزکردن قوی‌تری تولید می‌کنند اما مصنوعات قابل‌مشاهده‌تری نیز ایجاد می‌شوند.
• شعاع: اندازه هسته تاری مورد استفاده برای ایجاد ماسک را تعیین می‌کند. شعاع‌های کوچک‌تر جزئیات ریز را هدف قرار می‌دهند؛ شعاع‌های بزرگ‌تر بر لبه‌های گسترده‌تر تأثیر می‌گذارند.
• آستانه: حداقل اختلاف کنتراست مورد نیاز قبل از اعمال تیزکردن را تعیین می‌کند. افزایش آستانه از تیز شدن مناطق صاف محافظت کرده و تقویت نویز را کاهش می‌دهد.
• هسته‌گذاری: تیزکردن را در مناطق با کنتراست پایین به طور خاص سرکوب می‌کند تا از تقویت دانه‌های نویز جلوگیری شود.
بسیاری از تنظیم‌کنندگانی که تازه با این حرفه آشنا می‌شوند، تنها بر روی پیچ بهره تمرکز می‌کنند و شعاع، آستانه و هسته‌سازی را نادیده می‌گیرند. نتیجه، تصاویری است که حتی در سطوح تیزسازی متوسط، خشن و نویزی به نظر می‌رسند. رویکرد بهتر این است که با بهره محافظه‌کارانه شروع کنید، شعاع را برای وضوح بومی سنسور بهینه کنید و از آستانه و هسته‌سازی برای محافظت از نواحی صاف مانند آسمان و پوست استفاده کنید.
تیزسازی جداشده بر اساس فرکانس
معماری‌های مدرن ISP از تیزسازی چندمقیاسی یا جداشده بر اساس فرکانس پشتیبانی می‌کنند، که در آن سطوح قدرت مختلفی به فرکانس‌های جزئی، متوسط و درشت اعمال می‌شود. این یک تکنیک قدرتمند است زیرا به تنظیم‌کنندگان اجازه می‌دهد تا لبه‌های فرکانس متوسط—جایی که بیشتر مرزهای اشیاء قرار دارند—را بدون تقویت نویز فرکانس بالا که شرایط کم‌نور را تحت تأثیر قرار می‌دهد، بهبود بخشند.
برای ماژول‌های دوربین USB که برای کنفرانس ویدیویی رومیزی طراحی شده‌اند، به عنوان مثال، یک پروفایل تنظیم معمولی، شارپ کردن متوسط را روی فرکانس‌های میانی اعمال می‌کند، شارپ کردن بسیار سبک را روی فرکانس‌های بالا، و تقریباً هیچ‌کدام را روی ریزترین دانه‌ها. این باعث می‌شود چهره‌ها طبیعی به نظر برسند در حالی که متن و لبه‌های اشیاء حفظ می‌شوند.
کاهش نویز: حفظ جزئیات در حین سرکوب دانه‌دانگی
نویز دشمن همیشگی کیفیت تصویر است و با کاهش سطح نور به صورت نمایی بدتر می‌شود. اندازه سنسور، گام پیکسل و بهره آنالوگ همگی بر میزان نویز ظاهر شده در فریم خام تأثیر می‌گذارند، اما کاهش نویز ISP تعیین می‌کند که آن نویز تا چه حد در خروجی نهایی قابل مشاهده باقی می‌ماند.
درک انواع نویز
همه نویزها یکسان نیستند و تنظیم مؤثر نیازمند پرداختن به هر نوع با ابزار مناسب است.
نویز زمانی به‌صورت تصادفی از فریم به فریم تغییر می‌کند و شامل نویز شات فوتون و نویز خواندن است. نویز شات از آماره پواسون پیروی می‌کند و ذاتی خود نور است؛ نمی‌توان آن را حذف کرد، فقط می‌توان مدیریتش کرد. نویز خواندن از الکترونیک سنسور ناشی می‌شود و بیشتر در سایه‌های عمیق و در بهره‌های بالای ISO قابل مشاهده است.
نویز مکانی شامل نویز الگوی ثابت و نویز ستونی است که در موقعیت‌های یکسان در سراسر فریم‌ها ظاهر می‌شود. این نوع نویز معمولاً توسط کالیبراسیون کارخانه و تصحیح سطح سیاه مدیریت می‌شود، نه توسط بلوک اصلی کاهش نویز.
نویز رنگ به‌صورت لکه‌های رنگی ظاهر می‌شود، به‌ویژه در نواحی تاریک. سیستم بینایی انسان به جزئیات روشنایی بسیار حساس‌تر از جزئیات رنگ است، بنابراین نویز رنگ را می‌توان با هزینه ادراکی نسبتاً کم به‌شدت هموار کرد. به همین دلیل است که بیشتر پروفایل‌های تنظیم خوب، کاهش نویز قوی‌تری را روی کانال‌های Cb و Cr نسبت به کانال Y اعمال می‌کنند.
مبادله جزئیات و هموارسازی
مشکل اساسی کاهش نویز این است که الگوریتم‌ها نمی‌توانند به‌طور کامل بین جزئیات ظریف و دانه‌های نویز تمایز قائل شوند. هر دو به‌صورت تغییرات فرکانس بالا در تصویر ظاهر می‌شوند. کاهش نویز تهاجمی دانه‌ها را حذف می‌کند اما بافت، الگوهای پارچه، تارهای مو و متن‌های کوچک را نیز از بین می‌برد. نتیجه، اثر معروف «آبرنگ» یا «پوست پلاستیکی» است که در دوربین‌های گوشی‌های ارزان‌قیمت و ماژول‌های USB ارزان رایج است.
ISPهای پیشرفته از فیلترهای آگاه به لبه یا دوجانبه استفاده می‌کنند که شدت کاهش نویز متفاوتی را بر اساس اینکه یک پیکسل روی لبه یا در ناحیه صاف قرار دارد اعمال می‌کنند. روی لبه‌ها، کاهش نویز کم می‌شود تا وضوح حفظ شود؛ در نواحی صاف مانند دیوارها و آسمان، افزایش می‌یابد تا ظاهری تمیز ایجاد شود.
حتی با فیلتر آگاه به لبه نیز محدودیت‌هایی وجود دارد. در نور بسیار کم که دامنه نویز به سطح جزئیات واقعی نزدیک می‌شود، هیچ مقدار تنظیمی نمی‌تواند آن دو را به طور کامل از هم جدا کند. در این مرحله، تیم تنظیم باید یک انتخاب آگاهانه انجام دهد: نویز قابل مشاهده را بپذیرد اما جزئیات را حفظ کند، یا به شدت صاف کند و تصویر نرم‌تری را بپذیرد. هیچ پاسخ درست جهانی وجود ندارد؛ انتخاب درست کاملاً به بازار هدف و مورد استفاده محصول بستگی دارد.
کاهش نویز چند فریمی
برای کاربردهای صحنه ثابت مانند دوربین‌های امنیتی و اسکن اسناد، کاهش نویز زمانی چند فریمی راهی برای دور زدن مبادله تک فریمی ارائه می‌دهد. با هم‌ترازی و میانگین‌گیری چندین فریم متوالی، مؤلفه نویز تصادفی حذف می‌شود در حالی که جزئیات واقعی صحنه باقی می‌ماند. این می‌تواند چند استاپ بهبود مؤثر نویز را بدون قربانی کردن وضوح تولید کند.
با این حال، NR چندفریمی چالش‌های تنظیم خاص خود را دارد. حرکت بین فریم‌ها در صورت عدم قدرت کافی الگوریتم هم‌ترازی، باعث ایجاد مصنوعات شبح‌مانند می‌شود. تنظیم‌کنندگان باید آستانه‌های تشخیص حرکت، نسبت‌های ترکیب و رفتار بازگشتی را تنظیم کنند تا بین عملکرد نویز و مصنوعات حرکتی تعادل برقرار شود. برای صحنه‌هایی با حرکت متوسط، یک رویکرد ترکیبی NR زمانی کامل را روی مناطق ثابت اعمال می‌کند و برای اشیاء متحرک به NR مکانی بازمی‌گردد.
تنظیم رنگ: دقت، ترجیح و یکنواختی
رنگ ذهنی‌ترین بُعد کیفیت تصویر است و همچنین یکی از سخت‌ترین موارد برای درست انجام دادن. همه رنگ بد را وقتی می‌بینند تشخیص می‌دهند، اما تعریف رنگ «خوب» به‌طور شگفت‌آوری دشوار است. بازارها، کاربردها و جمعیت‌های کاربری مختلف ترجیحات رنگی متفاوتی دارند.
ماتریس تصحیح رنگ
در قلب تنظیم رنگ، ماتریس تصحیح رنگ ۳×۳ یا CCM قرار دارد. پاسخ طیفی ذاتی سنسور با فضای رنگ استاندارد sRGB یا Rec. 709 مطابقت ندارد؛ CCM مقادیر RGB سنسور را با اعمال تبدیل‌های خطی روی سه کانال، به فضای رنگ استاندارد تبدیل می‌کند.
تنظیم CCM معمولاً با عکاسی از یک چارت رنگ کالیبره‌شده تحت نورهای شناخته‌شده و حل مقادیر ماتریسی که خطای رنگ را کمینه می‌کند، انجام می‌شود که معمولاً با واحد ΔE (دلتا E) اندازه‌گیری می‌شود. ΔE پایین‌تر به معنای بازتولید رنگ دقیق‌تر است.
اما دقت عددی کامل همیشه خوشایندترین تصاویر را از نظر بصری تولید نمی‌کند. بسیاری از تیم‌های تنظیم عمداً از حداقل ΔE انحراف می‌یابند تا برخی رنگ‌های حافظه‌ای—رنگ پوست، شاخ و برگ، آبی آسمان—رضایت‌بخش‌تر به نظر برسند. رنگ پوست به‌طور خاص به‌شدت حساس است؛ بینندگان تغییر کوچک در رنگ پوست را بسیار سریع‌تر از تغییر بزرگ‌تر در رنگ یک شیء دلخواه متوجه می‌شوند.
تعادل رنگ سفید و پیچیدگی پنهان آن
تعادل رنگ سفید در ظاهر ساده به نظر می‌رسد: بهره‌های RGB را طوری تنظیم کنید که اشیاء خنثی تحت هر منبع نوری خنثی به نظر برسند. در عمل، تعادل رنگ سفید خودکار یکی از سخت‌ترین الگوریتم‌های ISP برای تنظیم دقیق است.
چالش اصلی این است که دوربین نمی‌تواند بداند چه چیزی در صحنه واقعاً سفید است. باید رنگ نورافکن را از ویژگی‌های آماری تصویر استنتاج کند. الگوریتم‌های ساده دنیای خاکستری فرض می‌کنند که رنگ میانگین جهان خاکستری است؛ الگوریتم‌های پیشرفته‌تر از تشخیص نقاط روشن، تخمین دمای رنگ و آمار بیزی برای حدس‌های بهتر استفاده می‌کنند.
تنظیم AWB شامل تنظیم حساسیت به دماهای رنگ مختلف، تعیین سرعت همگرایی به‌گونه‌ای که تعادل بین فریم‌ها نلرزد، و ایجاد نقاط بایاس برای منابع نور رایج است. بسیاری از محصولات نه به دلیل ضعیف بودن سنسورشان، بلکه به دلیل رانش AWB تحت نور مختلط شکست می‌خورند و رنگ‌های متمایل به سبز یا بنفش تولید می‌کنند که بینندگان بلافاصله آن را ناخوشایند می‌یابند.
اشباع در برابر طبیعی بودن
تنظیم اشباع مرز باریکی بین زنده بودن و مصنوعی بودن است. افزایش اشباع باعث برجسته شدن عکس‌های محصول و ظاهری سرسبز و جذاب در صحنه‌های فضای باز می‌شود. اما اگر بیش از حد پیش برود، رنگ‌ها کلیپ می‌شوند، جزئیات در نواحی قرمز و زرد از بین می‌رود و پوست ظاهری غیرطبیعی و آفتاب‌سوخته به خود می‌گیرد.
یک پروفایل تنظیم دقیق، سطوح اشباع مختلف را بر اساس ناحیه رنگ اعمال می‌کند نه با استفاده از یک لغزنده اشباع جهانی. می‌توان رنگ پوست را کمی کم‌اشباع نگه داشت و به سمت محور زرد-سرخابی که انسان‌ها آن را جذاب‌تر می‌یابند، منتقل کرد، در حالی که آبی‌ها و سبزها را می‌توان برای جذابیت منظره تقویت کرد. قرمز معمولاً با احتیاط مدیریت می‌شود زیرا بریدگی کانال قرمز به‌ویژه قابل مشاهده و ناخوشایند است.
تعادل سه‌گانه: چرا تنظیم کامل وجود ندارد
تا اینجا باید روشن شده باشد که چرا تنظیم ISP اساساً یک عمل متعادل‌سازی است. هر یک از سه ستون—وضوح، نویز و رنگ—با دیگری تعامل دارد و بهینه‌سازی یک بُعد همیشه پیامدهایی برای دو بُعد دیگر دارد.
سناریوی رایج‌ترین حالت را در نظر بگیرید: یک محیط داخلی کم‌نور. برای گرفتن تصویری روشن‌تر، گین آنالوگ را افزایش می‌دهید. گین بالاتر بلافاصله دامنه نویز را افزایش می‌دهد. برای جبران، کاهش نویز را بالا می‌برید. کاهش نویز قوی‌تر جزئیات ظریف را نرم می‌کند و شارپنس درک‌شده را کاهش می‌دهد. برای جبران آن، شارپنینگ را افزایش می‌دهید. اما شارپنینگ هر نویز باقی‌مانده‌ای را تقویت می‌کند و می‌تواند مصنوعات لبه‌ای ایجاد کند. و در طول همه اینها، گین بالاتر طیف نویز را جابه‌جا می‌کند، که نحوه عملکرد ماتریس تصحیح رنگ را تغییر می‌دهد و بالقوه باعث ایجاد رنگ‌زدگی در نواحی سایه می‌شود.
هر مرحله واکنشی به مرحله قبلی است. هیچ پیچی وجود ندارد که بتوانید بچرخانید و همه چیز را همزمان بهتر کند.
چارچوب مثلث تنظیم
تیم‌های تیونینگ باتجربه بر اساس مثلثی با گوشه‌های تیزی، تمیزی نویز و رنگ طبیعی فکر می‌کنند. هر تصمیم تیونینگ تصویر را در امتداد یک یا چند یال این مثلث حرکت می‌دهد. هدف رسیدن همزمان به هر سه گوشه نیست—که از نظر ریاضی غیرممکن است—بلکه رسیدن به ناحیه‌ای از مثلث است که بهترین خدمت را به کاربرد محصول می‌کند.
برای مثال، برای یک دوربین اسکن اسناد، تیزی و خوانایی متن در اولویت هستند. نویز اهمیت کمتری دارد زیرا اسناد معمولاً در نور مناسب اسکن می‌شوند. دقت رنگ در درجه سوم اهمیت قرار دارد؛ متن سیاه و سفید است و تغییرات جزئی رنگ قابل قبول هستند. تیونینگ قاطعانه در گوشه تیزی قرار می‌گیرد، با کاهش نویز و پردازش رنگ تنظیم‌شده در سطوح محافظه‌کارانه و نامحسوس.
برای یک وب‌کم عمودی، اولویت‌ها برعکس می‌شوند. رنگ طبیعی پوست و تُن صاف پوست مهم‌ترین ویژگی‌ها هستند. نرمی متوسط قابل قبول است—بینندگان در واقع پوست کمی نرم‌شده را به منافذ پوستی با وضوح بالینی ترجیح می‌دهند. کاهش نویز به‌صورت تهاجمی روی کانال‌های رنگ و به‌صورت متوسط روی روشنایی تنظیم می‌شود. شارپ کردن به‌صورت سبک و فقط روی فرکانس‌های میانی اعمال می‌شود تا لبه‌های صورت مشخص باشند اما بافت پوست اغراق نشود.
برای یک دوربین امنیتی فضای باز، اولویت‌ها دوباره تغییر می‌کنند. عملکرد نویز در شب حیاتی است، بنابراین کاهش نویز بالا تنظیم شده و کاهش نویز زمانی فعال می‌شود. دقت رنگ کمتر از شناسایی پایدار اهمیت دارد؛ رنگ‌های کمی کم‌اشباع و پایدار بر رنگ‌های دقیق اما متغیر تحت نورپردازی خیابانی مختلف ترجیح داده می‌شوند. شارپنس طوری تنظیم می‌شود که لبه‌های اشیاء و ویژگی‌های قابل تشخیص در فاصله حفظ شوند، حتی اگر بافت ریز از دست برود.
هیچ‌کدام از این پروفایل‌ها «بهتر» از بقیه نیستند. هر کدام برای هدف مورد نظر خود بهینه هستند. بزرگ‌ترین اشتباه تیم‌های محصول این است که همزمان حداکثر تیزی، نویز صفر و رنگ کامل را درخواست می‌کنند، بدون اینکهtradeoffهای ذاتی را تشخیص دهند.
روش‌شناسی تنظیم: از کالیبراسیون تا تنظیم دقیق
یک روش‌شناسی تنظیم ساختاریافته نتایجی سازگار و قابل تکرار تولید می‌کند و از دام رایج تنظیم تکراری بی‌پایان بر اساس برداشت‌های ذهنی جلوگیری می‌کند.
فاز ۱: کالیبراسیون پایه
فرآیند با کالیبراسیون عینی تحت نور کنترل‌شده آغاز می‌شود. نمودارهای تست استاندارد—X-Rite ColorChecker برای رنگ، نمودارهای ISO 12233 برای رزولوشن، نمودارهای برگ‌های خشک برای نویز و بافت—در سطوح نوری و دمای رنگ متعدد عکاسی می‌شوند.
داده‌های خام جمع‌آوری می‌شوند و مقادیر اولیه برای سطح سیاه، سایه‌زنی لنز، نقاط مرجع تعادل سفیدی و ماتریس پایه تصحیح رنگ محاسبه می‌گردند. این امر یک خط پایه خنثی و دقیق را ایجاد می‌کند که برای معیارهای عددی بهینه شده است نه برای جذابیت بصری.
فاز ۲: تنظیم عملکردی
با استقرار خط پایه، تنظیم‌کنندگان به ترتیب پردازش در خط لوله پیش می‌روند، هر بلوک را تنظیم کرده و تأثیر آن را بر معیارهای آزمون اندازه‌گیری می‌کنند. سطوح کاهش نویز برای هر گام بهره تعیین می‌شود. پارامترهای تیزسازی در هر باند فرکانسی تنظیم می‌گردند. تبدیل‌های رنگ برای رنگ‌های حافظه‌ای ترجیحی تنظیم می‌شوند.
در این مرحله، تنظیم‌کنندگان به شدت بر اندازه‌گیری‌های عینی تکیه می‌کنند: مقادیر MTF50 برای تیزسازی، اندازه‌گیری‌های SNR برای نویز، و میانگین‌های ΔE برای دقت رنگ. این اعداد یک نقطه مرجع مشترک فراهم می‌کنند و از انحراف تنظیم به قلمرو کاملاً ذهنی جلوگیری می‌نمایند.
فاز ۳: پالایش ذهنی
معیارهای عینی تنها بخشی از داستان را بیان می‌کنند. سیستم بینایی انسان تصاویر را با منحنی‌های MTF و اعداد ΔE قضاوت نمی‌کند. مرحله نهایی تنظیم همیشه شامل ارزیابی صحنه‌های دنیای واقعی—چهره‌ها، محیط‌های داخلی، مناظر بیرونی، موقعیت‌های چالش‌برانگیز با کنتراست بالا—و انجام تنظیمات ذهنی است.
اینجاست که تنظیم‌کنندگان باتجربه ارزش خود را نشان می‌دهند. آن‌ها می‌دانند کدام مبادلات عددی نتایج بهتری از نظر ادراکی تولید می‌کنند. آن‌ها می‌دانند، برای مثال، که افزایش جزئی در نویز قابل مشاهده ارزش آن را دارد اگر بافت چهره را حفظ کند که در غیر این صورت صاف می‌شد. آن‌ها می‌دانند کدام تغییرات رنگ برای بینندگان ناخوشایند است و کدام‌ها نادیده گرفته می‌شوند یا حتی ترجیح داده می‌شوند.
تنظیم ذهنی باید همیشه روی دستگاه نمایشگر هدف واقعی و در شرایط مشاهده معمولی انجام شود. تصویری که روی یک مانیتور استودیویی سطح بالا تنظیم شده است ممکن است روی صفحه لپ‌تاپ معمولی یا از طریق یک جریان ویدیویی فشرده کاملاً متفاوت به نظر برسد.
ملاحظات ویژه برای ماژول‌های دوربین جاسازی‌شده و USB
بیشتر منابع تنظیم ISP از دنیای گوشی‌های هوشمند می‌آید، اما ماژول‌های بینایی جاسازی‌شده و دوربین‌های USB با مجموعه محدودیت‌های خاص خود روبرو هستند که محاسبات تنظیم را تغییر می‌دهد.
محدودیت‌های قدرت پردازش
ISPهای جاسازی‌شده و تراشه‌های پل USB اغلب در مقایسه با سیلیکون گوشی‌های پرچمدار منابع پردازشی محدودی دارند. الگوریتم‌های پیشرفته مانند NR چندفریمی، حذف نویز مبتنی بر هوش مصنوعی و تیزکردن جداسازی فرکانسی ممکن است اصلاً در دسترس نباشند، یا فقط با رزولوشن یا نرخ فریم کاهش‌یافته اجرا شوند.
تنظیم برای سخت‌افزار با منابع محدود به معنای کار در محدوده قابلیت‌های ISP واقعی است، نه آرزو کردن الگوریتم‌های بهتر. فیلترهای ساده کاهش نویز باید با دقت بیشتری کالیبره شوند زیرا فاقد آگاهی لبه‌ای خطوط لوله پیشرفته هستند. تیزکردن تک‌مرحله‌ای باید محافظه‌کارانه تنظیم شود زیرا هیچ مکانیزم هسته‌بندی ثانویه‌ای برای پاک‌سازی آرتیفکت‌ها وجود ندارد.
اپتیک ثابت و فوکوس ثابت
بسیاری از ماژول‌های دوربین صنعتی و USB از لنزهای فوکوس ثابت با دیافراگم ثابت استفاده می‌کنند. برخلاف دوربین‌های گوشی هوشمند، هیچ دیافراگم متغیر یا فوکوس خودکاری برای تطبیق با شرایط مختلف وجود ندارد. پروفایل تنظیم باید در کل محدوده عملیاتی لنز، از حداقل فاصله شیء تا بی‌نهایت، کار کند.
این اغلب به معنای پذیرش وضوح اوج کمی پایین‌تر به نفع عملکرد یکنواخت‌تر در سراسر کادر و در فواصل مختلف است. لنزی که در یک متری فوق‌العاده به نظر می‌رسد اما در سه متری از هم می‌پاشد، به طور کلی برای یک محصول با فوکوس ثابت بدتر از لنزی است که عملکرد محکم و یکنواختی را در همه جا ارائه می‌دهد.
ویژگی خاص مورد استفاده
ماژول‌های دوربین تعبیه‌شده معمولاً برای یک کار خاص طراحی می‌شوند: اسکن بارکد، تشخیص چهره، اندازه‌گیری دمای بدن، بازرسی صنعتی. هر یک از اینها اولویت‌های کاملاً متفاوتی در کیفیت تصویر دارند.
برای مثال، برای یک اسکنر بارکد، کنتراست و تعریف لبه همه چیز است. دقت رنگ بی‌اهمیت است. نویز تنها در صورتی مهم است که مانع رمزگشایی شود. ISP باید برای حداکثر کنتراست لبه و وضوح دودویی تنظیم شود، حتی اگر تصاویر حاصل برای عکاسی عمومی وحشتناک به نظر برسند.
برای یک ماژول تشخیص چهره بیومتریک، بازتولید رنگ پوست خنثی و پاسخ نوری یکنواخت مهم‌تر از وضوح در سطح پیکسل است. الگوریتم به ویژگی‌های چهره یکنواخت در شرایط نوری مختلف نیاز دارد؛ درجه‌بندی رنگ هنری فقط به دقت تشخیص آسیب می‌زند.
نقش هوش مصنوعی در تنظیم ISP مدرن
پردازش هوش مصنوعی و شبکه عصبی در حال شروع به بازشکل‌دهی تنظیم ISP است، اما نه به روشی که بسیاری از مردم تصور می‌کنند. تأثیرگذارترین تغییر، تصاویر «بی‌نقص» تولیدشده توسط هوش مصنوعی نیست، بلکه تنظیم به کمک هوش مصنوعی است که نیروی کار دستی مورد نیاز برای راه‌اندازی یک سنسور جدید را کاهش می‌دهد.
تنظیم سنتی ISP برای هر ترکیب جدید سنسور و لنز، هفته‌ها کار تکراری توسط یک مهندس باتجربه را می‌طلبد. ابزارهای تنظیم به کمک هوش مصنوعی می‌توانند با تحلیل داده‌های نمودار تست، مقادیر پایه CCM، پروفایل‌های کاهش نویز و تنظیمات شارپنینگ را به‌طور خودکار تولید کنند. این امر زمان رسیدن به یک خط پایه خوب را به‌طور چشمگیری کاهش می‌دهد و تنظیم‌کنندگان انسانی را آزاد می‌گذارد تا بر پالایش ذهنی و مختص کاربرد خاص که هنوز نیازمند قضاوت انسانی است، تمرکز کنند.
در سمت پردازش، کاهش نویز عصبی و دی‌موزائیک‌کردن مبتنی بر هوش مصنوعی شروع به ظهور در ISPهای رده‌بالا کرده‌اند. این مدل‌ها می‌توانند جزئیات را بسیار مؤثرتر از رویکردهای سنتی مبتنی بر فیلتر از نویز جدا کنند و عملاً مرزهای مثلث تیزی-نویز-رنگ را به بیرون جابه‌جا کنند. آن‌ها تصاویر تمیزتری را در سطوح نور پایین‌تر با افت جزئیات کمتر امکان‌پذیر می‌سازند.
با این حال، پردازش هوش مصنوعی ناهار مجانی نیست. این روش به توان پردازشی قابل‌توجهی نیاز دارد، تأخیر ایجاد می‌کند و می‌تواند هنگامی که با داده‌های نامناسب آموزش ببیند، مجموعه‌ای از مصنوعات غیرطبیعی خود را تولید کند. برای بیشتر محصولات دوربین جاسازی‌شده و USB امروزی، تنظیم سنتی ISP همچنان انتخاب عملی باقی می‌ماند.
بهترین شیوه‌های تنظیم عملی
پس از کار روی ده‌ها راه‌اندازی ماژول دوربین در کاربردهای مصرفی، صنعتی و خودرویی، چندین بهترین شیوه ثابت پدیدار می‌شود.
اول، همیشه از داده خام تنظیم کنید، نه از خروجی پردازش‌شده. اگر فقط به تصویر نهایی YUV دسترسی دارید، در واقع حدس می‌زنید که هر بلوک ISP واقعاً چه کاری انجام می‌دهد. تنظیم دقیق نیازمند قابلیت ثبت داده خام و توانایی تغییر پارامترها در هر مرحله از خط لوله به صورت جداگانه است.
دوم، در سطوح نوری متعدد تنظیم کنید، نه فقط نور روشن دفتر. تنظیمی که در ۱۰۰۰ لوکس کار می‌کند، اغلب در ۵۰ لوکس از کار می‌افتد. یک پروفایل تنظیم کامل شامل تنظیمات جداگانه برای هر مرحله بهره یا حداقل برای محدوده‌های نور زیاد، متوسط و کم است. ISP باید به آرامی بین پروفایل‌ها با تغییر سطوح نور درون‌یابی کند.
سوم، با چهره‌های واقعی آزمایش کنید، نه فقط با نمودارها. نمودارهای آزمایش دقت عینی را اندازه‌گیری می‌کنند، اما بینندگان انسانی کیفیت تصویر را عمدتاً بر اساس ظاهر چهره‌ها قضاوت می‌کنند. اگر محصول شما برای تماس‌های ویدیویی، کنترل دسترسی یا هر برنامه‌ای که با افراد سروکار دارد استفاده می‌شود، حداقل نیمی از زمان تنظیم ذهنی خود را صرف ارزیابی سوژه‌های انسانی واقعی تحت نور واقعی کنید.
چهارم، هر تغییر و دلیل آن را مستند کنید. تنظیم ISP می‌تواند به‌راحتی به دستکاری‌های بی‌پایان تبدیل شود، جایی که هیچ‌کس به یاد نمی‌آورد چرا یک مقدار خاص به آن شکل تنظیم شده است. یک دفترچه ثبت تنظیمات با مقادیر پارامترها، شرایط آزمون و استدلال پشت هر تنظیم نگه دارید. این کار بازگشت به عقب را هنگامی که یک تغییر عوارض جانبی ناخواسته ایجاد می‌کند بسیار آسان‌تر می‌سازد.
در نهایت، در برابر وسوسه کپی کردن مقادیر تنظیم از یک سنسور یا ماژول دیگر مقاومت کنید. حتی دو سنسور با مشخصات مشابه، پاسخ‌های طیفی، ویژگی‌های نویز و چیدمان پیکسل متفاوتی خواهند داشت. پروفایلی که روی یک سنسور عالی کار می‌کند، ممکن است روی سنسور دیگر نتایج noticeably بدتری تولید کند. همیشه از کالیبراسیون مناسب شروع کنید و از آنجا به جلو کار کنید.
افکار پایانی
تنظیم ISP بخشی علم است و بخشی هنر. کار کالیبراسیون عینی از اصول جاافتاده علم اپتیک و رنگ پیروی می‌کند و ابزارها و روش‌شناسی‌ها به‌خوبی شناخته شده‌اند. اما تعادل نهایی—تصمیم‌گیری دقیق درباره اینکه برای یک محصول مشخص کجا روی مثلث تیزی-نویز-رنگ قرار بگیریم—نیازمند قضاوت، تجربه و درک عمیق از کاربر نهایی و مورد استفاده است.
بهترین ماژول‌های دوربین آن‌هایی نیستند که بالاترین اعداد مشخصات فنی را دارند. آن‌هایی هستند که تیم تنظیم، مبادلات آگاهانه و سنجیده‌ای انجام داده که با نیاز واقعی کاربر هم‌راستا است. یک ماژول ۲ مگاپیکسلی خوب تنظیم‌شده می‌تواند به‌راحتی از یک ماژول ۸ مگاپیکسلی بد تنظیم‌شده در استفاده واقعی بهتر عمل کند، زیرا کیفیت تصویر در نهایت به تصویر خروجی مربوط است، نه به سخت‌افزار ورودی.
برای تیم‌های مهندسی که در حال ارزیابی ماژول‌های دوربین یا راه‌اندازی طرح‌های جدید هستند، به یاد داشته باشید که درباره تنظیم ISP به همان دقت و اهمیت مشخصات سنسور و لنز سؤال کنید. سخت‌افزار تنها نیمی از ماجراست. تنظیمات است که تصویر را می‌سازد.
تماس
اطلاعات خود را وارد کنید و ما با شما تماس خواهیم گرفت.
WhatsApp
WeChat