數(shù)字成像系統(tǒng)

1、數(shù)字成像系統(tǒng)講師的CSDN博客地址Zhang Ericimaging algorithm specialiststaff camera engineerzxzombieHDR 什么是HDRHDR技術(shù)是一種改善動態(tài)對比度的技術(shù)，HDR就是高動態(tài)范圍技術(shù)，提升最亮和最暗畫面的對比度。這樣用戶就可以看到更多的細節(jié)。一張好的照片不僅要在要有大的像素解析力漂亮的顏色構(gòu)圖，而且要也要好的動態(tài)范圍。直觀圖像感官空間分辨率時間分辨率動態(tài)范圍色度范圍灰度分辨率人眼對對比度的敏感真正的HDR技術(shù)普通成像技術(shù)記錄的只是記錄了右圖中粉紅色的色彩空間的部分，而HDR成像技術(shù)則記錄的是整個視覺的色彩空間（灰色的部分）。H

2、DR成像與普通成像的區(qū)別是：HDR成像系統(tǒng)始終以高精度記錄數(shù)據(jù)，而且與顯示設(shè)備無關(guān)。只有在顯示階段，圖像的色彩空間才因為顯示的局限被壓縮了。而普通成像則在圖像采集，處理和存儲階段就已經(jīng)壓縮了色彩空間。而在現(xiàn)在的顯示 獲得HDR影像以HDR方式處理HDR方式存儲HDR方式顯示什么是動態(tài)范圍動態(tài)范圍（Dynamic Range），最早是信號系統(tǒng)的概念，一個信號系統(tǒng)的動態(tài)范圍被定義成最大不失真電平和噪聲電平的差。sensor的動態(tài)范圍就是sensor在一幅圖像里能夠同時體現(xiàn)高光和陰影部分內(nèi)容的能力。用公式表達這種能力就是：DR = 20log10（i_max / i_min); /dBi_max 是

3、sensor的最大不飽和電流-也可以說是sensor剛剛飽和時候的電流i_min是sensor的底電流（blacklevel） ；動態(tài)范圍的數(shù)學(xué)問題根據(jù)前邊動態(tài)范圍公式DR = 20log10（i_max / i_min); /dB所以從數(shù)學(xué)本質(zhì)上說要提高DR，就是提高i_max，減小 i_min；對于10bit輸出的sensor,從數(shù)學(xué)上來說，i_max =1023，i_min =1；動態(tài)范圍DR = 60； 對于12bit輸出的sensor， DR = 72；所以從數(shù)學(xué)上來看，提高sensor 輸出的bit width就可以提高動態(tài)范圍，從而解決HDR問題。可是現(xiàn)實上卻沒有這么簡單。提高s

4、ensor的bit width導(dǎo)致不僅sensor的成本提高，整個圖像處理器的帶寬都得相應(yīng)提高，消耗的內(nèi)存也都相應(yīng)提高，這樣導(dǎo)致整個系統(tǒng)的成本會大幅提高。所以大家想出許多辦法，既能解決HDR問題，又可以不增加太多成本?，F(xiàn)在常見的HDR處理方法目前圖像設(shè)備中最常見的HDR方法主要分為下面兩種Sensor HDR后處理 HDR從sensor的角度完整的DR 公式：Qsat ：Well Capacity idc: 底電流，tint：曝光時間，:噪聲。 提升Sensor的感光能力提高Qsat ：Well capacity 。就是提高感光井的能力，這就涉及到sensor的構(gòu)造，簡單說，sensor的每個

5、像素就像一口井，光子射到井里產(chǎn)生光電轉(zhuǎn)換效應(yīng)，井的容量如果比較大，容納的電荷就比較多，這樣i_max的值就更大。普通的sensor well只reset一次，但是為了提高動態(tài)范圍，就產(chǎn)生了多次reset的方法。多曝光合成本質(zhì)上這種方法就是用短曝光獲取高光處的圖像，用長曝光獲取陰暗處的圖像。有的廠家用前后兩幀長短曝光圖像，或者前后三針長、中、短曝光圖像進行融合If (Intensity a) intensity = short_exposure_frame;If (Intensity b) intensity = long_exposure_frame;If (bIntensity a) int

6、ensity = long_exposure_frame x p + short_exposure_frame x q;單幀空間域多曝光其它logarithmic sensor實際是一種數(shù)學(xué)方法，把圖像從線性域壓縮到log域，從而壓縮了動態(tài)范圍，在數(shù)字通信里也用類似的技術(shù)使用不同的函數(shù)進行壓縮，在isp端用反函數(shù)再恢復(fù)到線性，再做信號處理。缺點一方面是信號不是線性的，另一方面會增加FPN，同時由于壓縮精度要求對硬件設(shè)計要求高。局部適應(yīng) local adaption這是種仿人眼的設(shè)計，人眼會針對局部的圖像特點進行自適應(yīng)，既能夠增加局部的對比度，同時保留大動態(tài)范圍。這種算法比較復(fù)雜，有很多論文單獨

7、討論。目前在sensor 端還沒有使用這種技術(shù)，在ISP和后處理這種方法已經(jīng)得到了非常好的應(yīng)用多重曝光的HDR流程圖像配準提取灰度圖像 圖像色彩恢復(fù)灰度融合 圖像配準的作用最簡單的圖片融合過程Pixel_result= （Pxiel1*W1+Pixel2*W2+Pixel3*W3)/(W1+W2+W3)= 0.2 HDR合成過程中常見的問題鬼影曝光時間的選擇 顏色效果不自然多分辨率融合Google 的HDR plus技術(shù) 雙Camera 對HDR的提升HDR的展望 HDR是個很早的技術(shù)，在數(shù)碼攝影還沒普及時就已經(jīng)存在了，不過到現(xiàn)在還沒全面達到從圖像獲取處理到顯示都能到達HDR的標準的消費產(chǎn)業(yè)鏈

8、。HDR圖像的提出到現(xiàn)在也有十多年了，2000年就有很多消費級別的HDR視頻的學(xué)術(shù)論文了。現(xiàn)在原生HDR影響的顯示非常受限于硬件環(huán)境，包括圖像獲取，顯示技術(shù)和帶寬問題。所以現(xiàn)在階段HDR主要目標都是在解決HDR在LDR設(shè)備上的顯示問題。但是相信最終原生HDR會是整個的行業(yè)的發(fā)展方向。THANKSCSDN網(wǎng)站：企業(yè)服務(wù)：/人才服務(wù)：/CTO俱樂部：/高校俱樂部：/程序員雜志：/CODE平臺：/項目外包：/CSDN博客：/CSDN論壇：/CSDN下載：/本課程由 Zhang Eric提供數(shù)字成像系統(tǒng)暨Image signal processor原理培訓(xùn)大話成像公眾號,知乎專欄內(nèi)容目錄數(shù)字成像系統(tǒng)介紹CMOS image sensor基礎(chǔ)光學(xué)基礎(chǔ)顏色科學(xué)基礎(chǔ)ISP 信號處理基礎(chǔ)3A概述黑電平與線性化Green Imbalance壞點消除Vignetting與Color shadingSNR 與Raw DenoiseDynamic Range與Tone MappingMTF與Demosaic色彩空間與色彩重建Color Correction Matrix與3D LUTGamma與對比度增強 Sharpening18. Color Space Conversion19. 空域去噪20. 時域去噪21. Color A