攝像頭圖像處理原理分析色彩篇

1、Camera 圖像處理原理分析 色彩篇 1         前言做為拍照手機的核心模塊之一，camera sensor效果的調(diào)整，涉及到眾多的參數(shù)，如果對基本的光學原理及sensor軟/硬件對圖像處理的原理能有深入的理解和把握的話，對我們的工作將會起到事半功倍的效果。否則，缺乏了理論的指導，只能是憑感覺和經(jīng)驗去碰，往往無法準確的把握問題的關(guān)鍵，不能掌握sensor調(diào)試的核心技術(shù)，無法根本的解決問題。所以，這里筆者結(jié)合自己出于對攝影的愛好所學習的一些圖像處理相關(guān)的原理，試圖通過分析一些與Sensor圖像處理相關(guān)的因素

2、，和大家分享一下自己的一些理解，共同探討，共同學習進步。2         色彩感應(yīng)及校正2.1        原理人眼對色彩的識別，是基于人眼對光線存在三種不同的感應(yīng)單元，不同的感應(yīng)單元對不同波段的光有不同的響應(yīng)曲線的原理，通過大腦的合成得到色彩的感知。 一般來說，我們可以通俗的用RGB三基色的概念來理解顏色的分解和合成。 理論上，如果人眼和sensor對光譜的色光的響應(yīng)，在光譜上的體現(xiàn)如下的話，基本上對三色光的響應(yīng)，相互之間不會發(fā)生

3、影響，沒有所謂的交叉效應(yīng)。 但是，實際情況并沒有如此理想，下圖表示了人眼的三色感應(yīng)系統(tǒng)對光譜的響應(yīng)情況?？梢奟GB的響應(yīng)并不是完全獨立的。下圖則表示了某Kodak相機光譜的響應(yīng)?？梢娖渑c人眼的響應(yīng)曲線有較大的區(qū)別。2.2        對sensor的色彩感應(yīng)的校正既然我們已經(jīng)看到sensor對光譜的響應(yīng)，在RGB各分量上與人眼對光譜的響應(yīng)通常是有偏差的，當然就需要對其進行校正。不光是在交叉效應(yīng)上，同樣對色彩各分量的響應(yīng)強度也需要校正。通常的做法是通過一個色彩校正矩陣對顏色進行一次校正。1該色彩校正的運算通常是由s

4、ensor模塊集成或后端的ISP完成，軟件通過修改相關(guān)寄存器得到正確的校正結(jié)果。值得注意的一點是，由于RGB -> YUV的轉(zhuǎn)換也是通過一個3*3的變換矩陣來實現(xiàn)的，所以有時候這兩個矩陣在ISP處理的過程中會合并在一起，通過一次矩陣運算操作完成色彩的校正和顏色空間的轉(zhuǎn)換。3         顏色空間3.1        分類實際上顏色的描述是非常復雜的，比如RGB三基色加光系統(tǒng)就不能涵蓋所有可能的顏色，出于各種色彩表達，以及色彩變換和軟硬件

5、應(yīng)用的需求，存在各種各樣的顏色模型及色彩空間的表達方式。這些顏色模型，根據(jù)不同的劃分標準，可以按不同的原則劃分為不同的類別。匹配任意可見光所需的三原色光比例曲線 對于sensor來說，我們經(jīng)常接觸到的色彩空間的概念，主要是RGB , YUV這兩種（實際上，這兩種體系包含了許多種不同的顏色表達方式和模型，如sRGB, Adobe RGB, YUV422, YUV420 ）, RGB如前所述就是按三基色加光系統(tǒng)的原理來描述顏色，而YUV則是按照 亮度，色差的原理來描述顏色。         

6、0;      RGB <-> YUV的轉(zhuǎn)換不比其它顏色空間的轉(zhuǎn)換有一個標準的轉(zhuǎn)換公式，因為YUV在很大程度上是與硬件相關(guān)的，所以RGB與YUV的轉(zhuǎn)換公式通常會多個版本，略有不同。 常見的公式如下：Y=0.30R+0.59G+0.11B U=0.493(BY) = 0.15R0.29G+0.44B V=0.877(RY) = 0.62R0.52G0.10B 但是這樣獲得的YUV值存在著負值以及取值范圍上下限之差不為255等等問題，不利于計算機處理，所以根據(jù)不同的理解和需求，通常在軟件處理中會用到各種不同的變形的公

7、式，這里就不列舉了。體現(xiàn)在Sensor上，我們也會發(fā)現(xiàn)有些Sensor可以設(shè)置YUV的輸出取值范圍。原因就在于此。從公式中，我們關(guān)鍵要理解的一點是，UV 信號實際上就是藍色差信號和紅色差信號，進而言之，實際上一定程度上間接的代表了藍色和紅色的強度，理解這一點對于我們理解各種顏色變換處理的過程會有很大的幫助。 1.1        白平衡          色溫色溫的定義：將黑體從絕對零度開始加溫，溫度每升高一度稱為1開氏度(用

8、字母K來表示)，當溫度升高到一定程度時候，黑體便輻射出可見光，其光譜成份以及給人的感覺也會著溫度的不斷升高發(fā)生相應(yīng)的變化。于是，就把黑體輻射一定色光的溫度定為發(fā)射相同色光光源的色溫。常見光源色溫：光源                        色溫（K）    鎢絲燈（白熾燈）     

9、;       2500-3200k    碳棒燈                      4000-5500k    熒光燈（日光燈，節(jié)能燈）   4500-6500k氙燈       

10、                 5600 k炭精燈                      55006500k    日光平均      

11、0;             5400k    有云天氣下的日光            6500-7000k    陰天日光               

12、60;    12000-18000k 隨著色溫的升高，光源的顏色由暖色向冷色過渡，光源中的能量分布也由紅光端向藍光端偏移。值得注意的是，實際光源的光譜分布各不相同，而色溫只是代表了能量的偏重程度，并不反映具體的光譜分布，所以即使相同色溫的光源，也可能引起不同的色彩反應(yīng)。人眼及大腦對色溫有一定的生理和心理的自適應(yīng)性，所以看到的顏色受色溫偏移的影響較小，而camera的sersor沒有這種能力，所以拍出來的照片不經(jīng)過白平衡處理的話，和人眼看到的顏色會有較大的偏差（雖然人眼看到的和白光下真實的色彩也有偏差）。太陽光色溫隨天氣和時間變化的原因，與不同頻率光的折

13、射率有關(guān)：波長長的光線，折射率小，透射能力強，波長短的光線，折射率大，容易被散射，折射率低，這也就是為什么交通燈用紅色，防霧燈通常是黃色，天空為什么是藍色的等等現(xiàn)象的原因。知道了這一點，太陽光色溫變化的規(guī)律和原因也就可以理解和分析了，留給大家自己思考。             色溫變化時的色彩校正所以從理論上可以看出，隨著色溫的升高，要對色溫進行較正，否則，物體在這樣的光線條件下所表現(xiàn)出來的顏色就會偏離其正常的顏色，因此需要降低sensor對紅色的增益，增加sersor對藍光的增益。同

14、時在調(diào)整參數(shù)時一定程度上要考慮到整體亮度的要保持大致的不變，即以YUV來衡量時，Y值要基本保持不變，理論上認為可以參考RGB->YUV變換公式中，RGB三分量對Y值的貢獻，從而確定RGAIN和BGAIN的變化的比例關(guān)系。但實際情況比這還要復雜一些，要考慮到不同sensor對R,B的感光的交叉影響和非線性，所以最佳值可能和理論值會有一些偏差。          自動白平衡原理.1        原理自動白平衡是基于假設(shè)場景的色彩的平

15、均值落在一個特定的范圍內(nèi)，如果測量得到結(jié)果偏離該范圍，則調(diào)整對應(yīng)參數(shù)，校正直到其均值落入指定范圍。該處理過程可能基于YUV空間，也可能基于RGB空間來進行。對于Sensor來說，通常的處理方式是通過校正R/B增益，使得UV值落在一個指定的范圍內(nèi)。從而實現(xiàn)自動白平衡。 .2        特殊情況的處理在自動白平衡中，容易遇到的問題是，如果拍攝的場景，排除光線色溫的影響，其本身顏色就是偏離平均顏色值的，比如大面積的偏向某種顏色的圖案如：草地，紅旗，藍天等等，這時候，強制白平衡將其平均顏色調(diào)整到灰色附近，圖像顏色就會嚴

16、重失真。因此，通常的做法是：在處理自動白平衡時，除了做為目標結(jié)果的預(yù)期顏色范圍外，另外再設(shè)置一對源圖像的顏色范圍闕值，如果未經(jīng)處理的圖像其顏色均值超出了該闕值的話，根本就不對其做自動白平衡處理。由此保證了上述特殊情況的正確處理?？梢?，這兩對闕值的確定對于自動白平衡的效果起著關(guān)鍵性的作用。          某平臺的例子英文代碼              中文界面 &#

17、160;     色溫       色溫       RGAIN, GGAIN,   BGAINcloud           陰天        7500k   0x1D4C, 0x00CD, 0x0085, 0x0080day

18、light        日光        6500k   0x1964, 0x00A3, 0x0080, 0x0088INCANDESCENCE   白熱光    5000k   0x1388, 0x00A5, 0x0080, 0x0088FLUORESCENT     日光燈     

19、; 4400k   0x1130, 0x0098, 0x0080, 0x00A8TUNGSTEN        鎢絲燈      2800k   0x0AF0, 0x0080, 0x0081, 0x00A4 可以看到隨著色溫的升高，其變化規(guī)律基本符合上節(jié)中的理論分析。不過這里多數(shù)參數(shù)與理論值都有一些偏差，其中日光燈的色溫參數(shù)設(shè)置與理論值有較大的偏差，實際效果也證明該日光燈的參數(shù)設(shè)置使得在家用日光燈環(huán)境下拍攝得到的照片顏色偏藍。

20、修改其參數(shù)后實拍效果明顯改善。（再查一些資料可以看到通常會有兩種熒光燈色溫 4000 和 5000K，目前我所接觸到的應(yīng)該是5000K居多）          調(diào)試和驗證具體參數(shù)的調(diào)整，應(yīng)該在燈箱環(huán)境下，使用各種已知色溫的標準光源對標準色卡拍攝，在Pc機上由取色工具測量得到其與標準色板的RGB分量上的色彩偏差，相應(yīng)的調(diào)整各分量增益的比例關(guān)系。為了更精確的得到結(jié)果，曝光量增益的設(shè)置在此之前應(yīng)該相對準確的校正過。顏色相關(guān)特效處理1.1      &#

21、160; grayscale （灰階）灰階圖的效果就是將彩色圖片轉(zhuǎn)換為黑白圖片。1.2        理論理論上，在YUV空間，將UV分量丟棄，只保留Y分量，這樣就可以得到黑白圖像，這也是彩色電式機信號能兼容黑白電視機的原理。如下圖理論上Y值一樣的顏色（右邊是用acdsee轉(zhuǎn)成灰度圖的效果），在grayscale模式下看應(yīng)該是一樣的顏色。     算法上的操作，理論上應(yīng)該把UV值改成灰色對應(yīng)數(shù)值就可以了。不過根據(jù)軟件算法和硬件結(jié)構(gòu)的不同，具體代碼也會有不同。1.3  

22、;      以某平臺為例核心的兩行代碼如下：       SET_HUE_U_GAIN(0);        SET_HUE_V_GAIN(0); 這里設(shè)置UV GAIN為0，如果UV offset設(shè)置為128的話，最終得到的UV就是128，這就和理論是相符合的。1.4        sepia / sepiagreen / sepiablue所謂的復古（綠，藍）就是在灰階的基礎(chǔ)上，對UV值額外再做了一個offset，將灰度圖轉(zhuǎn)換成某種顏色的梯度圖。理論上