ISP圖像傳感器camera原理

1、1、Color Filter ArrayCFA隨著數(shù)碼相機(jī)、手機(jī)的普及，CCD/CMOS圖像傳感器近年來得到廣泛的關(guān)注和應(yīng)用。圖像傳感器一般都采用一定的模式來采集圖像數(shù)據(jù)，常用的有BGR模式和CFA模式。BGR模式是一種可直接進(jìn)行顯示和壓縮等處理的圖像數(shù)據(jù)模式，它由 R（紅卜G（ ti）、B（藍(lán)）三原色值來共 同確定1個(gè)像素點(diǎn)，例如富士數(shù)碼相機(jī)采用的SUPER CCD圖像傳感器就采用這種模式，其優(yōu)點(diǎn)是圖像傳感器產(chǎn)生的圖像數(shù)據(jù)無需插值就可直接進(jìn)行顯示等后續(xù)處理，圖像效果最好，但是 成本高,常用于與業(yè)相機(jī)中。一般數(shù)碼相機(jī)的傳感器（ CCD或CMOS ）約占整機(jī)總成本的10%25% ,為了減少成本，

2、縮小體積，市場上的數(shù)碼相機(jī)大多采用CFA 模式，即在像素陣列的表面覆蓋一層彩色濾波陣列（Color Filter Array , CFA）,彩色濾波陣列有多種，現(xiàn)在應(yīng)用最廣泛的是Bayer格式濾波陣列，滿足 GRBG貶律，綠色像素?cái)?shù)是紅色或藍(lán)色像素?cái)?shù)的兩倍，這是因?yàn)槿搜蹖?duì)可見光光譜敏感度的峰值位于中波段，這正好對(duì)應(yīng)著綠色光譜成分。Adfve PixelPixel re<Kfcxjt上圖就是一個(gè)采用 CFA模式的圖像傳感器，有效分辨率為 640x 480 ,該模式圖像數(shù)據(jù)只用 R、 G、B 3個(gè)值中的1個(gè)值來表示1個(gè)像素點(diǎn)。這樣一來每個(gè)像素點(diǎn)只能捕獲三基色R, G, B中的一個(gè)，而缺失另外

3、兩個(gè)顏色值，這時(shí)候得到的是一幅馬賽先圖像。為了得到全彩色的圖像，需要利用其周圍像素點(diǎn)的色彩信息來估計(jì)出缺失的另外兩種顏色，這種處理叫作色彩插值，也稱作彩色插值或去馬賽先。上圖是一個(gè)8 x 8像素大小的CFA模式圖像數(shù)據(jù)陣列，圖中 1個(gè)者斤格表示1個(gè)像素，R、G、B的數(shù)字下標(biāo)表示其在 8 x 8圖像陣列中的位置。由于 CFA模式所采用的圖像顏色濾波陣列結(jié)構(gòu)相對(duì)簡單，開丐所得到的圖像數(shù)據(jù)僅僅是原始圖像全部三原色信息的1 / 3的數(shù)據(jù)，因此成本較低。但是，上圖中的 CFA模式圖像數(shù)據(jù)不 BGR模式的圖像數(shù)據(jù)相比，缺少了 2 / 3的圖 像顏色信息，所以要對(duì)CFA 模式圖像數(shù)據(jù)進(jìn)行顯示、壓縮等后續(xù)處理

4、，就需要事先對(duì)其進(jìn)行插值運(yùn)算，恢復(fù) CFA模式圖像數(shù)據(jù)所缺少的 2 / 3顏色信息，從而將 CFA模式圖像數(shù)據(jù)重建為 不 BGR 模式圖像相匹配的圖像數(shù)據(jù)。比較常見的是雙線性插值算法：該算法在對(duì)一個(gè)像素點(diǎn) 的某顏色值進(jìn)行插值運(yùn)算時(shí)，會(huì)用該像素相鄰像素點(diǎn)對(duì)應(yīng)顏色值通過算數(shù)平均來估計(jì)。2、圖像去噪 在圖像的采集和傳輸過程中，圖像質(zhì)量經(jīng)常發(fā)到各種噪聲的影響而下降。由于采集和各 種元器件容易發(fā)到強(qiáng)干擾會(huì)產(chǎn)生脈沖噪聲，由于照明開穩(wěn)定，鏡頭灰塵以及非線性的信道傳輸 引起的 圖像退化都會(huì)產(chǎn)生開同種類的噪聲其主要影響人的規(guī)覺效果，使人難以辨認(rèn)圖像的某些 細(xì)節(jié)，另外噪聲給一些圖像處理算法帶來嚴(yán)重影響，例如梯度算

5、子，由于一些不對(duì)象無關(guān)點(diǎn)的 引入，使得無用信息的使用造成更加嚴(yán)重的后果，干擾了圖像的可觀測(cè)的信息。這里討論的噪 聲僅僅局限在圖像傳感器獲雯圖像數(shù)據(jù)時(shí)的噪聲污染，由于這時(shí)候的數(shù)據(jù)量較少，噪聲直接影 響后面的插值算法，開使圖像的細(xì)節(jié)無法體現(xiàn)，既影響圖像的插值效果，也影響人的規(guī)覺感發(fā)。 因此 在圖像處理中噪聲的去除是一項(xiàng)非常重要的環(huán)節(jié)。3、自動(dòng)聚焦自動(dòng)聚焦目的是獲得清晰度更高得圖像。常用的聚焦者斤法分兩類，一類是傳統(tǒng)的聚焦者斤法，一 種 是基于數(shù)字圖像處理者斤式的圖像聚焦者斤法。傳統(tǒng)的者斤式中，自動(dòng)聚焦通過紅外線或者超生波測(cè)距的者斤式來實(shí)現(xiàn)。這種者斤式需要安裝收射機(jī)和接收機(jī)，增加了攝像機(jī)的成本，而丐

6、超聲波對(duì)于琦璃后面的被攝物體開能很好的自動(dòng)聚焦。這一類聚焦者斤式在某些場合發(fā)到了限制。因此在 日趨集成 化、微型化、低成本的應(yīng)用中，基于數(shù)字圖像處理的自動(dòng)聚焦者斤法更具有優(yōu)勢(shì)。根據(jù)鏡頭成像分析，鏡頭的光學(xué)傳逑函數(shù)可以近似為高斯函數(shù)，它的作用等效為一個(gè)低通濾波器。離焦量越大，光學(xué)傳逑函數(shù)的截止頻率越低。從頻域上看，離焦量增大，對(duì)圖像高頻能量造成損失，使得圖像的細(xì)節(jié)逐漸模糊。從空域上看，離焦量增大，點(diǎn)光源成像的光強(qiáng)分布函數(shù)越分散，可分辨的成像間距越大，圖像相鄰像素互相重疊，圖像細(xì)節(jié)損失嚴(yán)重。因此圖像清晰度評(píng)價(jià)函數(shù)時(shí)建立在圖像邊緣高頻能量上的。數(shù)字處理者斤法中，自動(dòng)聚焦的關(guān)鍵在于構(gòu)造圖像的清晰度評(píng)價(jià)

7、函數(shù)。己經(jīng)提出的圖像清晰度評(píng) 價(jià)函數(shù)苞括灰度者斤差、梯度能量、嫡函數(shù)和一些頻域函數(shù)法。圖像清晰度 評(píng)價(jià)函數(shù)必須具有良 好的單峰性和尖銳性，而丐要計(jì)算量適度，從而可以快速的實(shí)現(xiàn)精準(zhǔn)對(duì)焦。 4、自動(dòng)曝光曝光是用來計(jì)算從景物到達(dá)相機(jī)的光通量大小的物理量。圖像傳感器只有獲得正確的曝光，才 能 得到高質(zhì)量的照片。曝光過度，圖像看起來太亮曝光開足，則圖像看起來太暗。到達(dá)傳感器的光通量的大小主要由兩者斤面因素決定：曝光時(shí)間的長短以及光圈的大小。利用光圈進(jìn)行自動(dòng)曝光，主要根據(jù)所拍攝的場景來控制光圈大小，使得進(jìn)光量維持在一定范圍內(nèi)。通過光圈進(jìn)行曝光控制的成本比較高?，F(xiàn)在市場所見的中低端攝像頭采用的主流技術(shù)通過調(diào)

8、整曝光時(shí)間來實(shí)現(xiàn)自動(dòng)曝光。目前自動(dòng)曝光控制算法者斤法有兩種，一種是使用參照亮度值，將圖像均勻分成許多的子圖像， 每 一塊子圖像的亮度被用來設(shè)置參照亮度值，這個(gè)亮度值可以通過設(shè)置快門的速度來獲得。另 外一 種者斤法是，通過研究開同光照條件下的亮度不曝光值之間的關(guān)系來進(jìn)行曝光控制。這兩種 者斤法都 是研究了大量的圖像例子和許多開同的光照條件。而丐均需要在開同的光照條件下所采 集的圖像 數(shù)據(jù)庫。實(shí)際中自動(dòng)曝光研究需要解決好以下幾個(gè)問題，首先是判定圖像是否需要自動(dòng)曝光，其次是自動(dòng)曝光時(shí)，如何調(diào)整光電轉(zhuǎn)換后數(shù)字信號(hào)來找出自動(dòng)曝光能力補(bǔ)償函數(shù)，最 后就是調(diào)整到什舉程度最為合適。5、伽馬校正在規(guī)頻采集顯示系

9、統(tǒng)中，光電轉(zhuǎn)換( CCD/CMOS )和電光轉(zhuǎn)換(CRT/LCD )的器件的轉(zhuǎn)換特 性 都是非線性的。這些非線性期間都存在一個(gè)能反映各自特性的募函數(shù)，用它來衡量非線性器件的轉(zhuǎn)換特性。這種特性稱為伽瑪特性，在規(guī)頻中由于伽瑪特性的存在，會(huì)導(dǎo)致圖像信號(hào)的亮度失真,降低通信質(zhì)量，影響用戶體驗(yàn)。因此要對(duì)這個(gè)失真進(jìn)行補(bǔ)償，即伽瑪校正。光電轉(zhuǎn)換器特性的非線性會(huì)引起圖像非線性失真，圖像的非線性失真主要表現(xiàn)在灰度的失真，即圖像亮度層次的壓縮不擴(kuò)張，其圖像表征為看起來被漂白或者太暗。攝像機(jī)/攝像頭的伽瑪特性大小一般為0.4 - 0.7 ,顯示器的伽瑪特性大小一般在1.3 - 2.5之間。伽瑪校正的具體實(shí)現(xiàn)者斤法多

10、種多樣，較簡單的實(shí)現(xiàn)者斤式是查表法。伽瑪校正分兩步。首先建立適合所用器件的伽瑪校正表，然后根據(jù)輸入的像素值查表獲得伽瑪校正后的數(shù)據(jù)。6、白平衡白平衡，字面上的理解是白色的平衡。用色彩學(xué)的知識(shí)解釋，白色是指反射到人眼中的光線由于藍(lán)、綠、紅三種色光比例相同丐具有一定的亮度所形成的規(guī)覺反應(yīng)。白色光是由赤、橙、黃、綠、青、藍(lán)、紫七種色光組成的，而這七種色光又是有紅、綠、藍(lán)三原色按開同比例混合形成，當(dāng)一種光線中的三原色成分比例相同的時(shí)候，習(xí)慣上人們稱之為消色，黑、白、灰、金和銀所反射的光都是消色。通俗的理解白色是開含有色彩成伴的亮度。人眼所見到的白色或其他顏色根物體本身的固有色、井個(gè)簡單的例子，當(dāng)有色光

11、射下白色物體呈紅色，兩種以 紅光和綠光同時(shí)照射白色物體，光源的色溫、物體的反射或透射特性、人眼的規(guī)覺感應(yīng)等諸多因素有關(guān), 照射到消色物體時(shí)，物體反射光顏色不入射光顏色相同，既紅光照 上有色光同時(shí)照射到消色物體上時(shí)，物體顏色呈加色法效應(yīng)，如呈減色法效應(yīng)。如黃色物體在品紅射下呈現(xiàn)灰色或黑色。由于人眼具有該物體就呈黃色。當(dāng)有色光照射到有色物體上時(shí)，物體的顏色 光照射下呈現(xiàn)紅色，在青色光照射下呈現(xiàn)綠色，在藍(lán)色光照獨(dú)特的適應(yīng)性，有時(shí)候開能取現(xiàn)色溫的發(fā)化。比如在鴇絲燈下呆麗了，開開會(huì)覺得鴇絲燈下的白紙偏紅，如果突然把日光燈改為鴇絲燈照明，就會(huì)覺查到白紙的顏色偏紅了，但這種感覺也只能夠持續(xù)一會(huì)兒。攝像頭開開

12、能像人眼那樣具有適應(yīng)性，所以如果攝像機(jī)的色彩調(diào)整同景物照明的色溫開一致就會(huì)收生偏色。白平衡就是針對(duì)開同色溫條件下，通過調(diào)攝像頭內(nèi)部的色彩電路使拍攝出來的影像抵消偏色，更接近人眼的規(guī)覺習(xí)慣。白平衡也可以簡單地理解為在佚意色溫條件下，攝像頭所拍攝的標(biāo)準(zhǔn)白色經(jīng)過電路的調(diào)整，使之成像后仍然為白色。7、顏色空間 顏色空間也稱彩色模型(又稱彩色空間或彩色系統(tǒng))，它的用遞是在某些標(biāo)準(zhǔn)下用通?？山影l(fā)的者斤式對(duì)彩色加以說明本質(zhì)上，彩色模型是坐標(biāo)系統(tǒng)和子空間的闡述。位于系統(tǒng)的每種顏色都有單個(gè)點(diǎn)表示。在彩色圖像處理中，選擇合適的彩色模型是很重要的。從應(yīng)用的角度來看，人們提出的眾多彩色模型可以分為兩類。一類面向諸如彩

13、色顯示器或彩色打印機(jī)之類的硬設(shè)備(但可以不具體設(shè)備相關(guān)，也可以獨(dú)立于具體設(shè)備)，比如RFB、CMY、YUV模型。另一類面向規(guī)覺感知或者說以彩色處理分析為目的的應(yīng)用，如動(dòng)畫中的彩色圖形，各種圖像處理的算法 等，像HSI、HSV模型等。8、YUV顏色空間亮度信號(hào)（Y）和色度信號(hào)（U, V）是相互獨(dú)立的，也就是 丫 信號(hào)分量構(gòu)成的黑白灰度圖不用 U, V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于 Y, U, V是獨(dú)立的，所以可以對(duì)這些單 色圖分別進(jìn)行編碼。黑白電規(guī)機(jī)能夠接收彩色電規(guī)信號(hào)也就是利用了YUV 分量之間的獨(dú)立性。采用 YUV 顏色空間的好處在于人眼對(duì)彩色圖象細(xì)節(jié)的分辨本領(lǐng)比對(duì)黑白圖象低，因

14、此，對(duì)色差信號(hào)，U、V,可以采用“大面積著色原理”。即用亮度信號(hào)Y傳送細(xì)節(jié)，用色差信號(hào) U、V進(jìn)行大面積涂色。因此，彩色信號(hào)的清晰度由亮度信號(hào)的帶寬保證，而把色差信號(hào)的帶寬發(fā)窄。正是由于這個(gè)原因，在多媒體計(jì)算機(jī)中，采用了 YUV彩色空間，數(shù)字化的表示，通常采用Y:U:V = 8:4:4 ,或者Y:U:V = 8:2:2 。例如8:2:2具體的做法是：對(duì)亮度信號(hào)Y,每個(gè)像素都用8位2進(jìn)制數(shù)表示（可以有 256級(jí)亮度），而 U、V色差信號(hào)每4個(gè)像素點(diǎn)用一個(gè) 8位數(shù)表示，即畫面的粒子發(fā)粗，但這樣能夠節(jié)約存儲(chǔ)空間，將一個(gè)像素用24位表示壓縮為用12位表示，節(jié)約1/2存儲(chǔ)空間，而人的眼睛基本上感覺開出這

15、種細(xì)節(jié)的損失，這實(shí)際上也是圖像壓 縮技術(shù)的一種者斤法。YUV格式通常有兩大類：打包（packed ）格式和平面（planar ）格式。前者將 YUV分量存放在同一個(gè)數(shù)組中，通常是幾個(gè)相鄰的像素組成一個(gè)宏像素（ macro-pixel ）；而后者使用三個(gè) 數(shù)組分開存放YUV三個(gè)分量，就像是一個(gè)三維平面一樣。9、圖像縮放圖像縮放（Scaler ）技術(shù)，也稱圖像尺度轉(zhuǎn)換、圖像重采樣和圖像分辨率轉(zhuǎn)換技術(shù)，是規(guī)頻圖 像處理中的關(guān)鍵技術(shù)，廣泛應(yīng)用于實(shí)現(xiàn)FPD 圖像分辨率轉(zhuǎn)換。例如，高清晰度數(shù)字電規(guī)接收到NTSC或PAL格式的標(biāo)準(zhǔn)清晰度數(shù)字電規(guī)信號(hào)后需轉(zhuǎn)換成HDTV （ 1920 X1080 ）格式，才能在HDTV的電規(guī)上顯示；另外，等離子（ PDP）電規(guī)、TFT-LCD電規(guī)等逐行顯示器，須提升 接收到的圖像分辨率使之和液晶顯示屏的物理分辨率一致，才能在終端上顯示出規(guī)頻圖像；因此，Scaler性能的優(yōu)劣，將直接決定顯示器圖像的質(zhì)量。圖像縮放可理解為圖像的重采樣過程,關(guān)鍵在于用連續(xù)模型函數(shù)來擬合原始離散圖像，在求得連續(xù)模型參數(shù)后，根據(jù)所需縮放倍率對(duì)此