基于分段色域顏色模型的高動態(tài)范圍圖像獲取與合成能

1、光學技術(shù)OPTICAL TECHNIQUE第37 卷第4 期2 0 1 1 年 7 月Vol 37 No 4July 2011文章編號:1002 1582( 2011) 04 0496 06基于分段色域顏色模型的高動態(tài)*范圍圖像獲取與能，放，( 北京理工大學 光電成像技術(shù)與系統(tǒng)教育部，北京 100081)摘 要:普通彩色相機采用多次獲取高動態(tài)范圍圖像的技術(shù)，提出了一種基于相機分段色域顏色模型的高動態(tài)范圍圖像獲取及顏色的理論模型和實現(xiàn)方法。介紹了相機分段色域顏色模型的基本結(jié)構(gòu)和建立方法。用NikonD70s 彩色相機和修正的 sRGB 標準顏色轉(zhuǎn)換模型對所提出的理論和方法進行了實驗驗證。結(jié)果表明

2、，所提出的方法可以在普通彩色相機上實現(xiàn)高動態(tài)范圍彩色圖像獲取與圖像，并可同時實現(xiàn)高動態(tài)范圍圖像的顏色標準化。: 高動態(tài)范圍成像; 顏色特性化; 顏色轉(zhuǎn)換; 相機顏色特性化號:TH744 1; TP393 09文獻標識碼:ANew color characterization mfor high dynamicrange color imaging based on multiple exposuresTAN Boneng，LIAO Ningfang，LIAN Yusheng，TIAN Lixun，WU Wenming( Key Laboratory of Photoelectonic Imag

3、ing Technology and System of Ministry of Education，Institute of Technology，100081，China)Abstract: A new piecewise color characterization mis proposed with a camera for the high dynamic range imaging basedon multiple exposures The principle and the construction of the piecewise color characterization

4、 m，and the images captu ring，the color tone mapping and the images combination are introduced By using an RGB color camera NikonD70s，the new method can obtain high dynamic range images with standard and desired color informationKey words: high dynamic range imaging; color characterization; color con

5、version; camera color不了 100000: 1 動態(tài)范圍光照環(huán)境下的測光要求。為了有效地提高焦平面成像系統(tǒng)的動態(tài)范圍，近年 來世界各國科技工作者嘗試了多種技術(shù)途徑，并取 得了一系列進展。途徑之一是對焦平面探測器硬件0引言在日光或人工照明環(huán)境下，物體細節(jié)從陰影到 白場的照度變化范圍通?？梢詮?10 105lx，其對應(yīng)的動態(tài)范圍大約為 100000 1。普通成像器件CCD 的有效動態(tài)范圍受到器件噪聲以及電荷勢阱進行改造，例如FUJIFILM 公司的 S3Pro 彩色相機在一個焦平面探測器上采用兩種不同靈敏度的 探測單元實現(xiàn)了高動態(tài)范圍成像，該方法保留了相機快速成像的優(yōu)點; 另一

6、種有效途徑是利用普通容量的限制，通常小于 60dB，大約相當于 1000 1，因此普通 CCD 相機的量化精度一般都小于 12bit，而普用相機的量化精度大多是 8bit，遠遠滿足CCD 相機的多次獲取高動態(tài)范圍圖像，該方法收稿日期: 2011 03 08; 收到修改稿日期: 2011 04 20: tck999 bit edu cn部重點研究基金資助項目( 2010ZDYJBJLG006)*基金項目:作者簡介:自然科學基金資助項目( 61078048) ;能( 1982 ) ，男，博士，主要從事高動態(tài)范圍彩色圖像獲取及顏色復(fù)現(xiàn)方面的研究。496能，等:基于分段色域顏色模型的高動態(tài)范圍圖像獲取

7、與第 4 期雖然存在拍攝速度慢的缺點，但是可以根據(jù)用戶要求獲取目標場景中特定光度區(qū)間的高動態(tài)范圍圖像，因此受到了人們的廣泛重視。雖然基于多次曝光獲取高動態(tài)范圍圖像的技術(shù)目前國際上已有很多現(xiàn)高動態(tài)范圍彩色圖像的獲取、色度標定等。多次高動態(tài)范圍成像原理1圖 1 為采用普通相機多次實現(xiàn)高動態(tài)范圍報導(dǎo)17，但是現(xiàn)有研究成果大都集中在解決多次成像的過程。以 8bit 相機為例，在不同速度下圖像的像素融合問題，而較少關(guān)注圖像的獲取相同目標場景的8bit 圖像序列。由于量的顏色特性化問題。事實上，在多次圖像的差異，這些圖像序列中代表目標相同位置的灰度值也存在差異; 當目標場景存在空間的位置變化時，需要對 8

8、bit 圖像序列進行像素級的配準; 經(jīng)過像素配準的8bit 圖像序列的灰度值需要進行一定倍率的縮放才能相互匹配; 最后將經(jīng)過灰度值縮放的圖像序過程中，不同圖像之間的顏色轉(zhuǎn)換問題還有待人們進一步解決。為此本文提出一種基于彩色相機分段色域顏色模型的高動態(tài)范圍成像方法。該方法 基于現(xiàn)行的CIE 國際顏色標準對普通彩色相機進行不同色域范圍的顏色特性化; 在此基礎(chǔ)上對獲取的多次 圖像的色度進行轉(zhuǎn)換和像素匹配，進而實列為一幅高動態(tài)范圍圖像。圖 1 多次高動態(tài)范圍成像過程示意圖上述高動態(tài)范圍圖像的量化位數(shù)由相機的時，分別選擇第三次圖像的全部非飽和像素、第量化位數(shù)次數(shù)、圖像方式等決定。以三次二次圖像的 1 /

9、3 2 /3 光度范圍的像素、第一次為例，如圖 2 所示: 第一次的時間最短，此圖像的 2 /3 以上光度范圍的像素進行匹配，得到一幅完整的高動態(tài)范圍圖像。該圖像的灰度量化時 8bit 相機的 256 個量化級與目標場景的整個光度范圍匹配，輸出的目標圖像無飽和現(xiàn)象; 第二次的時間稍長，此時 8bit 相機的 256 個量化級與目標場景的 2 /3 光度范圍匹配，輸出的目標圖像存在部級數(shù)N 大約為: N= 256 + ( 256 /2) + ( 256 /3) = 256= 469。注意到該 469 個量化級在整個目+ 128 + 85標光度區(qū)間是非均勻分布的，其中在光度較低的 1 / 3 區(qū)域

10、內(nèi)的量化精度最高，這將更有利于區(qū)分目標的較暗區(qū)域的圖像細節(jié)。分飽和現(xiàn)象; 第三次的時間最長，此時8bit 相機的 256 個量化級與目標場景的 1 /3 光度范圍匹配，輸出的目標圖像存在的飽和現(xiàn)象。在圖像圖 2 多次成像的相機動態(tài)范圍與目標光度范圍的匹配關(guān)系對于采用 RGB 三基色相機的場合，每一個數(shù)據(jù)擇與彩色相機的白場色度相近的目標，并參照單色通道仍為 8bit，因此在進行多次成像時，需要選相機的多次模式調(diào)整彩色相機的 RGB 動態(tài)范497光學技術(shù)第 37 卷圍與目標光度范圍之間的匹配關(guān)系。色特性化模型的概念。在數(shù)字顏色管理系統(tǒng)中，圖像設(shè)備的顏色特性 化( Color Characteriz

11、ation) 是一個關(guān)鍵環(huán)節(jié)。所謂圖像設(shè)備的顏色特性化就是建立圖像設(shè)備的顏色空間，例如彩色相機的 RGB 空間與標準化的顏色空分段色域顏色特性化模型2在多次的高動態(tài)范圍圖像過程中，不同圖像之間的量值縮放( Tone Mapping) 是一個關(guān)鍵環(huán)節(jié)，它將關(guān)系到最終間，CIEXYZ 空間的的高動態(tài)范圍圖像關(guān)系。該關(guān)系的表達的清晰度和顏色保真度，為此人們開展了大量研究方式根據(jù)圖像設(shè)備的不同而具有多樣性。例如對于彩色相機而言，可以根據(jù)需要采用線性轉(zhuǎn)換模型、非 線性轉(zhuǎn)換模型、三維查找表模型、人工神經(jīng)網(wǎng)絡(luò)模型 等?；陬伾D(zhuǎn)換模型，可以由 RGB 計算 XYZ，即正向模型; 也可以由 XYZ 計算 RG

12、B，即逆向模型。并取得了很多進展。在已經(jīng)公布的Tone Mapping方法中，對于不同圖像之間的 RGB 量值的調(diào)整一般采用簡單的線性或非線性的縮放模型，目的是保證一幅圖像的顏色均勻性和標準化。但是如果每圖像的顏色特性沒有按照標準化顏色空間現(xiàn)有的圖像設(shè)備顏色特性化模型大都是某進行描述，則通過 RGB 量值之間的縮放一個設(shè)備的全色域空間建立的。例如，8bit 的 RGB彩色相機的全色域空間可以用一個三維 RGB 直角坐標空間來表示，其中每一個坐標軸的刻度數(shù)量為256( 8bit) ，因此總共有 16 77 × 106 個顏色。的圖像也沒有顏色標準可循。為此本文將目前國際上流行的數(shù)字顏色

13、管理系統(tǒng)( CMS) 的圖像設(shè)備顏色特性化的概念和方法到多次的高動態(tài)范圍圖像過程中，并首次提出分段色域顏的與顏色圖 3 分段色域顏色空間示意圖A 為全色域空間變換; B 為分段色域空間變換。圖 4 基于分段色域顏色模型的多次高動態(tài)范圍成像流程在本文采用的多次成像模式中，由于各幅分光度動態(tài)范圍，因此在各幅圖像中，具有相同顏色 的目標像素所對應(yīng)的 RGB 值是不同的。因此有必圖像的 RGB 動態(tài)范圍分別匹配目標場景的某一部498能，等:基于分段色域顏色模型的高動態(tài)范圍圖像獲取與第 4 期要分別建立不同狀態(tài)下的顏色特性模型，即分關(guān)系。當相機輸出的 RGB 與 XYX 不滿足線性關(guān)系時，則式( 1)

14、的顏色轉(zhuǎn)換精度難以保證，因此在本文實驗中有必要對式( 1) 的顏色模型進行校正。為此選擇標準色卡 Macbeth ColorChecker 的灰度色塊對相機的色度響應(yīng)特性進行驗證。被測色樣 由 6 個等明度間隔的色塊組成，用分光光度儀 color- eye 7000A 測量其光譜反射率，并計算它們在 D65 照明下的CIE 標準色度值，其結(jié)果如圖 5 所示; 然后在 D65 照明燈箱下由相機拍照色卡，得到相機的段色域空間顏色模型。分段色域空間是全色域空間的一部分，以 8bit 的 RGB 彩色相機的兩次成像模式為例，并參照圖 3，需要分別建立全色域空間和分段色域空間的 RGB 與 CIEXYZ

15、 的 關(guān)系，其中分段色域空間的 RGB 取值范圍為 0 127，參考白保持為 D65。以三次成像模式為例，基于分段色域空間顏色模型的高動態(tài)范圍成像流程如圖 4 所示。其中成;1 的 RGB 像素直接參與高動態(tài)范圍圖像合2 和3 的 RGB 像素都分別需要經(jīng)過一RGB 響應(yīng)曲線分別如圖 6 和圖 7 所示別為( 1 /125) s 和( 1 /30) s。時間分到 CIEXYZ 空間，次全色域顏色模型的變換后然后根據(jù)融合需要，再將數(shù)據(jù)通過分段色域顏色模型變換才能參與圖像。最終的高動態(tài)范圍圖像的顏色特性可以用其中的全色域空間的顏色模 型來描述。試驗采用的是簡化模型，使用的是兩次的成像方式。實驗3圖

16、 5 標準色卡 6 個灰階色塊在 D65照明下的 CIEXYZ 三刺激值3 1實驗裝置彩色相機: NikonD70s 三基色相機，內(nèi)置 Bayer濾色片 CCD; 輸出圖像數(shù)據(jù)為標準 BMP 文件格式; 圖像數(shù)據(jù)符合 8bit 的 sRGB 顏色標準; 相機白場色度為 D65。標準色卡: Macbeth ColorChecker 的 24 色標準色卡，用于標定和驗證實驗相機的色度特性。照明燈箱: 型號為 colorcheckDC 的為標準色卡提供 D65 標準照明條件。測色 儀 器: 分 光 光 度 儀，型 號 為箱，可圖 6 相機 Nikon D70s 對 6 個灰階色塊的測量color-e

17、ye結(jié)果時間為( 1 /125) s，D65 照明7000A，用于測量標準色卡的光譜反射率，并換算為CIE 色度值。3 2顏色特性模型的建立采用兩次的成像方式，其中第 2 次的相機動態(tài)范圍大約與被測目標的 1 /2 亮度范圍匹配。為此需要分別建立相機的一個全色域空間顏色模型和另一個分段色域空間的顏色模型。數(shù)碼相機的特性化即建立數(shù)碼相機 RGB 色空間到 CIEXYZ 色空間的對應(yīng)關(guān)系。假設(shè)相機符合國際電工委員會 IEC 推薦的 sRGB 顏色標準圖 7 相機 Nikon D70s 對 6 個灰階色塊的測量結(jié)果 時間為( 1 /30) s，D65 照明根據(jù)對色卡的測量和拍攝結(jié)果，對式( 1) 所

18、示的相機的顏色特性化模型進行分析。由圖 5 可以看出，6 個標準灰度色塊的三刺激值變化規(guī)律相同，且基本符合 3 次方的函數(shù)分布，這與人眼視覺特性吻合。但是在另一方面，綜合圖 6 和圖 7 可以看出，相到由 RGB 到 XYZ 的變換表逆變換矩陣也很容易查到。，如式( 1 ) 所示，其0 1805 ù é RsRGB ùé Xùé 0 41240 35760 71520 1192êúG( 1)ê Yú =ê 0 21260 07220 9505úû ê

19、50;sRGBë ûëë BûZ0 0193sRGB由式( 1) 可知，RGB 與 XYX 之間是一種簡單的線性499光學技術(shù)第 37 卷5 的比值確定。當對顏色轉(zhuǎn)換精度要求不太高時， 可以參照 sRGB 顏色標準中對顯示器驅(qū)動值的校正方法，即選擇 Gamma 值大約為2 的函數(shù)形式對RGB 進行非線性校正。機對相同色卡的響應(yīng)曲線與圖 5 曲線有較大差異。其中，當相機的 RGB 值小于 80 時，響應(yīng)曲線與圖 5 曲線基本吻合，即 RGB 與 XYZ 基本保持線性關(guān)系; 當相機的 RGB 值大于 80 時，響應(yīng)值曲線的形狀逐漸偏離圖 5 曲線的

20、規(guī)律，即 RGB 與 XYZ 為非線性關(guān)系。因此對于分段色域空間顏色模型的建立，由于RGB 值取值范圍較小，可以采用式( 1 ) 的形式。但是對于全色域空間顏色特性模型，需要對式( 1 ) 的RGB 值進行校正，具體的校正系數(shù)可以由圖 7 與圖圖像攝取與圖像攝取: 采用本實驗設(shè)計的二次3 3成像方式，選取固定的外景圖像進行拍攝，分別獲取時間為( 1 /125) s 和( 1 /30) s 的兩幅圖像，如圖 8( a) 和圖 8( b) 所示。( a)( b)圖 8圖像時間分別為( 1 /125) s 和( 1 /30) s; ( c)( c)( a) ( b) 由實驗相機 Nikon D70s

21、 獲取的二次的高動態(tài)范圍圖像。圖像: 根據(jù)圖 4 的流程對獲得的兩幅圖像所以圖 8 顯示的效果是將高動態(tài)范圍圖像進行簡單的色調(diào)壓縮后的效果圖。必要時可以在普通媒介上 對高動態(tài)動范圍圖像的局部區(qū)域進行顯示。進行。其中對于正向的全色域顏色轉(zhuǎn)換模型采用了根據(jù) RGB 值變區(qū)間的 Gamma 校正的 sRGB 顏色模型。逆向的分段色域空間顏色模型則由于RGB 值取值范圍較小，直接采用式( 1 ) 的形式。圖像 結(jié)果如圖 8( c) 所示。結(jié)論4理論分析和實驗結(jié)果表明，本文提出的基于分在高動態(tài)范圍圖像的顏色轉(zhuǎn)換、顯示過程段色域顏色模型的多次高動態(tài)范圍成像方法可中，采用了自定義的圖像數(shù)據(jù)格式和自編的圖像存

22、以在普通彩色相機上實現(xiàn)高動態(tài)范圍彩色圖像獲取與圖像 ，并同時實現(xiàn)圖像顏色的標準化，從而為進一步研究高動態(tài)范圍成像技術(shù)奠定了基礎(chǔ)。進一 步的研究工作將在顏色轉(zhuǎn)換環(huán)節(jié)中采用精度更高的儲3 4顯示程序。結(jié)果分析( 1) 第一次時間為( 1 /125) s，此時相機的動態(tài)范圍與目標的全部亮度范圍相匹配，因此圖 8 ( a) 中沒有飽和像素，但是降低了圖像較暗區(qū)域的某些細節(jié)。模型，如非線性模型、三維查找表模型等，這將有利于進一步提高果。參考文獻:圖像的空間和色度融合效( 2)第二次時間為( 1 /30 ) s，此時相機的動態(tài)范圍與目標的較低亮度范圍相匹配，因此圖 8 ( b) 存在部分飽和像素，但是在非

23、飽和區(qū)域可以獲得 的圖像細節(jié)。( 3) 經(jīng)過色度變換，用圖 8 ( b) 的較暗區(qū)域替換圖 8( a) 的對應(yīng)區(qū)域，得到了一幅高動態(tài)范圍圖像( 圖 8( c) ) ，其中較暗區(qū)域的圖像細節(jié)得到了明顯，色度也保持了一致性，證明了本文方法的有效性。1 Greg Ward Larson The LogLuv Encoding for Full Gamut，High Dy namic Range ImagesJ Journal of Graphics Tools，1998，3 ( 1 ) : 15 312 Greg Ward Larson，Holly Rushmeier，Christine Piatk

24、o A Visibility Matching Tone Reproduction Operator for High Dynamic Range ScenesJ IEEE Transactions on Visualization and Computer Graphics，1997，3( 4) 3 Ahmet Oguz Akyüz Color appearance in high dynamic range imagingJ Journal of Electronic Imaging，2006，15( 3) 4 Annamária R Várkonyi Kóczy High D