CMOS圖像傳感器培訓

1、12015/03/20SuperPix Confidential光電轉(zhuǎn)換原理光電轉(zhuǎn)換原理Pixel結(jié)構(gòu)結(jié)構(gòu)曝光方式曝光方式Sensor架構(gòu)及工作原理架構(gòu)及工作原理Sensor的寄存器控制的寄存器控制ADCGain頻率計算頻率計算幀率計算幀率計算2BlacklevelFlickerImage lag太陽黑子太陽黑子尺寸和窗口尺寸和窗口BinningPLDOPAD 驅(qū)動驅(qū)動實驗實驗Outline 光電轉(zhuǎn)換原理光電轉(zhuǎn)換原理3光電轉(zhuǎn)換的輸出信號與光電轉(zhuǎn)換的輸出信號與光照強光照強度度成正比，與成正比，與曝光時間曝光時間成正比成正比圖像傳感器的作用就是把光信圖像傳感器的作用就是把光信號轉(zhuǎn)換為電信號并且量化

2、輸出號轉(zhuǎn)換為電信號并且量化輸出PDNote：光電轉(zhuǎn)換并不是沒有限制的，光電轉(zhuǎn)換并不是沒有限制的，當電荷累積到一定程度，效率慢慢下當電荷累積到一定程度，效率慢慢下降，最后不再增加，這也是降，最后不再增加，這也是sensor中中pixel有一個最大輸出范圍的原因。有一個最大輸出范圍的原因。左圖為實際某左圖為實際某sensor 的的pixel輸輸出電壓的測試結(jié)果出電壓的測試結(jié)果單個pixel結(jié)構(gòu)0.00200.00400.00600.00800.0000.511.522.53Mean Output (mV)Exposure (lux*sec)photo responseGrRBGbPixel結(jié)構(gòu)結(jié)構(gòu)

3、4分辨率分辨率 VGA,640*480; 2M,1600*1200 5M,2592*1944 Position（定義顏色位置）（定義顏色位置）行行 row & 列列 columnFSI (Front Side Illumination) BSI (Back Side Illumination)Color filterMicro-lens通常長方向為行，短方向為列，在調(diào)試中一定要正確區(qū)分，因為行列噪聲或行列線通常長方向為行，短方向為列，在調(diào)試中一定要正確區(qū)分，因為行列噪聲或行列線出現(xiàn)問題的原因是完全不一致的！出現(xiàn)問題的原因是完全不一致的！!曝光方式曝光方式5目前sensor多采用滾動曝光

4、方式滾動曝光方式，即逐行曝光逐行讀出，每行復位到讀出的時間間隔即曝光時間。曝光控制寄存器中數(shù)值代表曝光多少行：曝光時間曝光時間=曝光行數(shù)曝光行數(shù)*行長行長。注意：當曝光時間大于1幀時，會插入vblank來獲得較長的曝光時間。為了便于調(diào)試和計算，行長行長通常用多少個clk表示，如sp2508行長為1158，指的是1158個DAC_CLK周期，用時間表示：行長=1158*T_dac_clk。請注意不同sensor可能用不同的clk來表示，參數(shù)給出時會注明。VSYNC定義一幀的有效數(shù)據(jù)輸出時間HSYNC定義一行的有效數(shù)據(jù)輸出時間幀長幀長=有效數(shù)據(jù)行+vblank行（單位：行）并口輸出時，平臺端需要并

5、口輸出時，平臺端需要pclk，VSYNC, HSYNC三個信號共同作用來采集三個信號共同作用來采集有效的圖像數(shù)據(jù)，并且能準確判斷行和幀。有效的圖像數(shù)據(jù)，并且能準確判斷行和幀。!Sensor架構(gòu)及工作流程架構(gòu)及工作流程6Pixel array 完成光電轉(zhuǎn)換完成光電轉(zhuǎn)換模擬電路模擬電路 把電信號轉(zhuǎn)換成數(shù)字信號把電信號轉(zhuǎn)換成數(shù)字信號數(shù)字電路數(shù)字電路 控制控制sensor工作，數(shù)字信號處理，工作，數(shù)字信號處理， 根據(jù)需要輸出不同格式根據(jù)需要輸出不同格式MIPI 把把數(shù)字信號以數(shù)字信號以mipi協(xié)議格式輸出協(xié)議格式輸出其它輔助電路其它輔助電路 如有的如有的sensor帶有帶有OTPSensor的寄存器控

6、制的寄存器控制 Timing 包括包括sensor內(nèi)部各個模塊的工作時序關系，內(nèi)部各個模塊的工作時序關系，時鐘頻率，工作模式，相關配合關系等時鐘頻率，工作模式，相關配合關系等 模塊電路功能控制模塊電路功能控制 包括子模塊電路的開關，電氣性能調(diào)節(jié)等包括子模塊電路的開關，電氣性能調(diào)節(jié)等7寄存器分為兩類，一類為寄存器分為兩類，一類為timing控制寄存器，如控制寄存器，如pll頻率控制，頻率控制，hb，vb，全尺，全尺寸或寸或binning等模式選擇等等；另外一類寄存器為內(nèi)部電路性能控制，如等模式選擇等等；另外一類寄存器為內(nèi)部電路性能控制，如pixel LDO使能，輸出電壓控制，使能，輸出電壓控制，

7、pad驅(qū)動能力等等。驅(qū)動能力等等。ADCADC（Analog to Digital Converter），模數(shù)轉(zhuǎn)換器，把模擬信號轉(zhuǎn)換為二進制的數(shù)字信號。如8bit的ADC輸出數(shù)字碼為01111 1111（255）。ADC Range即ADC的有效輸入范圍 如8bit ADC Range=500mv，輸入信號大于等于500mv時，轉(zhuǎn)換輸出碼值為255.8在sensor中ADC Range不能大于pixel的最大輸出電壓，如pixel最大輸出電壓為400mv，而ADC Range為500mv，顯然輸出圖像最亮的部分都不能到255，會導致圖像高亮發(fā)粉。當出現(xiàn)adc range大于pixel最大輸出電

8、壓時，要么減小adc range，要么放大pixel信號再做量化。這就是在某些項目中最小增益不是1倍的原因。Gain 增益（增益（gain）分為模擬增益和數(shù)字增益 模擬增益指在模擬電路中把pixel輸出的電信號進行放大，而數(shù)字增益指的電信號完成模數(shù)轉(zhuǎn)換后，把數(shù)字信號進行放大（自動增益主要是調(diào)節(jié)模擬增益）。把信號放大的作用主要是增加輸出圖像亮度，而增益越大噪聲也會相對更為明顯，在實際項目中都需要根據(jù)sensor的具體情況確定最大增益和最小增益。9024681012141618增益的寄存器控制：h10-1倍h20-2倍hf0-15倍增益調(diào)節(jié)分為4檔1倍到2倍步長1/162倍到4倍步長1/84倍到8

9、倍步長1/48倍到15.5倍步長1/2頻率計算頻率計算 PLL頻率計算 芯片輸入E_clk，通過PLL倍頻獲得一個很高頻率的pll_clk，芯片內(nèi)部時鐘均由pll_clk分頻獲得，pll_clk的頻率由通常由兩個寄存器共同配置。10)2(1_3_*_outdivpllmcpllncpllclkEclkpllP0:0 x2fpll_ctrl_buf706:2 pll_nc1:0 pll_mc0 x10P0:0 x34buf_pll_outdiv10Pll frequency divider control00- 101- 210- 411- 80 x01調(diào)試中做降頻實驗時只需要修改調(diào)試中做降頻實

10、驗時只需要修改pll_clk即可，內(nèi)部其它時鐘頻率即可，內(nèi)部其它時鐘頻率會同步隨著會同步隨著pll_clk變化而變化，不能單獨修改內(nèi)部其它時鐘頻率。變化而變化，不能單獨修改內(nèi)部其它時鐘頻率。1_3_*_mcpllncpllclkE其中， 建議在120M300M之間!幀率計算幀率計算Pclk，指sensor輸出數(shù)據(jù)的頻率，不是pll_clk。通常在給出的usb3.0參數(shù)文件名中會包括pclk的信息，通常說的sp2508 60M參數(shù)，就是指pclk 60M。在代碼deviceinfo中請注意填寫的頻率是否正確。行長是用來計算曝光時間的，關系flicker和幀率問題，請注意行長對應的頻率。如sp25

11、08 行長1158對應的是內(nèi)部的dac_clk，如果以pclk計算，則行長為2316，因為所給sp2508參數(shù)中pclk頻率為dac_clk的兩倍。幀率計算方法11幀長幀長=有效數(shù)據(jù)行+vblank行=1225+16=1241行行長行長=2316，對應pclk 60M最大幀率=1/最小幀時間 =1/（2316/60M）*1241）=20.8 fps當曝光時間大于1幀時，幀率由曝光時間決定，如果曝光時間為200ms，那么幀率就為5 fps。!不要單獨更改內(nèi)部不要單獨更改內(nèi)部clk頻率控制寄存器頻率控制寄存器flicker交流電照明燈發(fā)出的光會以一定頻率抖動，導致sensor圖像出現(xiàn)行方向的水波紋

12、，稱之為flicker。目前主要的交流電頻率有50Hz（中國）和60Hz兩種。為了避免出現(xiàn)flicker，要求曝光時間大于base值時必須是base的整數(shù)倍。12行）行長()(1000050_ushzbase行）行長()(833360_ushzbase如所給參數(shù)行長為1158（clk周期個數(shù)），對應clk頻率為30M，則)(259)(30/115810000)()us(1000050_行行行行長hzbase!當出現(xiàn)當出現(xiàn)flicker時，首先要判斷曝光時間是否正確，打印曝光寄存器值，看時，首先要判斷曝光時間是否正確，打印曝光寄存器值，看是否是是否是base的整數(shù)倍；如果是的整數(shù)倍；如果是bas

13、e的整數(shù)倍，那么就得確認所用的行長和的整數(shù)倍，那么就得確認所用的行長和頻率是否正確；如果都正確就需要向研發(fā)反映，可能頻率是否正確；如果都正確就需要向研發(fā)反映，可能sensor功能異?；蛘吖δ墚惓；蛘呤切懈蓴_。是行干擾。blacklevel Blacklevel簡單的說就是黑電平，指在dark下pixel的輸出值，這個值可能為正亦可能為負，在正常光照輸出時需要減掉blacklevel值。Blacklevel的統(tǒng)計和正常輸出時減blacklevel都在芯片內(nèi)部實現(xiàn)，可通過寄存器調(diào)整。Blacklevel值的統(tǒng)計方法有三種，1幀統(tǒng)計，4幀統(tǒng)計，8幀統(tǒng)計。13 Blacklevel引起的圖像抖動引起的

14、圖像抖動 通過開關通過開關blacklevel來確認。主要可能是來確認。主要可能是blacklevel不穩(wěn)，如果是單幀統(tǒng)計改為不穩(wěn)，如果是單幀統(tǒng)計改為4幀，幀，8幀統(tǒng)計是否有變化；是否幀統(tǒng)計是否有變化；是否sensor散熱不好引起；需要測試散熱不好引起；需要測試ob值的變化。值的變化。 Blacklevel引起的偏色引起的偏色 通過開關通過開關blacklevel來確認。來確認。Blacklevel統(tǒng)計值偏大會引起暗態(tài)偏綠，而統(tǒng)計值偏小會統(tǒng)計值偏大會引起暗態(tài)偏綠，而統(tǒng)計值偏小會引起暗態(tài)偏紅引起暗態(tài)偏紅。 拍照切換拍照切換 當預覽和拍照采用不同參數(shù)時，需要注意當預覽和拍照采用不同參數(shù)時，需要注意

15、blacklevel控制寄存器的修改，因為拍照時控制寄存器的修改，因為拍照時間很短，不可能有很多幀來統(tǒng)計間很短，不可能有很多幀來統(tǒng)計blacklevel，因此要求把拍照參數(shù)中的，因此要求把拍照參數(shù)中的blacklevel改為改為1幀統(tǒng)計。幀統(tǒng)計。Image LagImage lag即圖像殘留，在每個即圖像殘留，在每個pixel曝光前都需要把上一次曝光產(chǎn)生曝光前都需要把上一次曝光產(chǎn)生的信號抹除（復位），然后再進行新一幀圖像的曝光。當復位時間太的信號抹除（復位），然后再進行新一幀圖像的曝光。當復位時間太短或者其他原因造成復位不完全，那么下一次的曝光讀出就包含了上短或者其他原因造成復位不完全，那么下

16、一次的曝光讀出就包含了上一幀殘留的信號，并且不同亮度區(qū)域殘留的信號量不同，導致圖像反一幀殘留的信號，并且不同亮度區(qū)域殘留的信號量不同，導致圖像反映的信號量與曝光時間不匹配映的信號量與曝光時間不匹配Lag在手機圖像上表現(xiàn)：在手機圖像上表現(xiàn)： 1.晃動時拖影嚴重，燈管高亮區(qū)域拖出綠色晃動時拖影嚴重，燈管高亮區(qū)域拖出綠色 2.高亮四周較暗區(qū)域圖像分層明顯，暗區(qū)域偏綠高亮四周較暗區(qū)域圖像分層明顯，暗區(qū)域偏綠14太陽黑子太陽黑子 太陽黑子太陽黑子指的是拍照高亮物體時，在高亮區(qū)域反而出現(xiàn)黑色的斑點，這是由于光照太強pixel不能有效工作引起的，在sensor中都做相應的校正功能，可以消除該現(xiàn)象。 Sp25

17、08 太陽黑子校正寄存器太陽黑子校正寄存器151使能，0關閉不同的設置電壓如果出現(xiàn)太陽黑子現(xiàn)象，使能寄存器不生效或者如果出現(xiàn)太陽黑子現(xiàn)象，使能寄存器不生效或者使能后出現(xiàn)列噪時，需要反饋到研發(fā)做分析。使能后出現(xiàn)列噪時，需要反饋到研發(fā)做分析。!Updown/mirror16Sensor默認所見即所得，圖像顯示與人眼看到場景一致。當進行updown或者mirror時，sensor內(nèi)部pixel array的輸出順序相應發(fā)生變化，第一個輸出pixel顏色發(fā)生變化，所以position定義需要調(diào)整。Updown和mirror在調(diào)試中的另一個作用是用來判斷行線和列線產(chǎn)生的原因，如果是pixel array

18、出現(xiàn)問題，那么行線列線會隨著updown和mirror位置改變，如果是電路工作timing的問題，行線列線位置一般不會變化。ColorbarColorbar為芯片內(nèi)部自測試數(shù)據(jù)，可以用來判斷芯片到平臺的數(shù)據(jù)傳輸正確性，當出圖不正常，顏色異常，偏色，抖動，壞線壞點都應該先看看colorbar是否正常，判斷問題出在哪里MIPI也有自己的colorbar17Digital YUV colorbarDigital RAW colorbarMIPI colorbarSP2508 Digital colorbar 使能寄存器使能寄存器SP2508 MIPI colorbar 使能寄存器使能寄存器尺寸和窗口

19、尺寸和窗口Sensor通常都支持比自身全尺寸小的各種格式尺寸輸出通常都支持比自身全尺寸小的各種格式尺寸輸出 如sp2508全尺寸輸出為1616*1216，就支持720p(1288*728), 900p(1288*908), 1600HD+(1608*908), 2*2 binning(808*608)等等輸出尺寸，通過寄存器控制選擇。默認給出的各尺寸都比標準尺寸大，是為了便于圖像的邊界處理，有默認給出的各尺寸都比標準尺寸大，是為了便于圖像的邊界處理，有的平臺只需要標準尺寸，就需要同時修改數(shù)字輸出尺寸寄存器和的平臺只需要標準尺寸，就需要同時修改數(shù)字輸出尺寸寄存器和MIPI的輸出尺寸寄存器的輸出尺

20、寸寄存器18例如之前高通平臺認證時要求輸出標準尺寸，sp2508全尺寸輸出1600*1200；sp5409全尺寸輸出2592*1944.19尺寸和窗口尺寸和窗口19P2:0 x37dem_v_start_3msb2:020Image vertical start 3msb0 x00P2:0 x38dem_v_start_8lsb 70Image vertical start 8lsb0 x00P2:0 x39dem_v_size_3msb2:0 20Image vertical size 3msb0 x04P2:0 x3adem_v_size_8lsb 70Image vertical siz

21、e 8lsb0 xc0P2:0 x3bdem_h_start_3msb2:020Image horizontal start 3msb0 x00P2:0 x3cdem_h_start_8lsb 70Image horizontal start 8lsb0 x00P2:0 x3ddem_h_size_3msb2:0 20Image half horizontal size 3msb0 x03P2:0 x3edem_h_size_8lsb 70Image half horizontal size 8lsb0 x28sp2508數(shù)字尺寸控制寄存器數(shù)字尺寸控制寄存器Start寄存器從寄存器從0開始，如

22、減少開始，如減少2行，那么行，那么dem_v_start =0 x02!P1:0 x8eh_size_mipi_4msb30MIPI column number0 x06P1:0 x8fh_size_mipi_8lsb70MIPI column number0 x50P1:0 x90v_size_mipi_3msb20MIPI line number0 x04P1:0 x91v_size_mipi_8lsb70MIPI line number0 xc0sp2508mipi尺寸控制寄存器尺寸控制寄存器注意sp2508和sp5409一樣，列尺寸定義寄存器是實際尺寸的一半，例如輸出1024列，則de

23、m_h_size寄存器應該寫為512，即11h200；而行尺寸寄存器應該與實際輸出行數(shù)一樣。如果需要修改start位置，dem_v_start必須為偶數(shù)，保證position不變，否則顏色出現(xiàn)錯誤；dem_h_start沒有這個問題。通常尺寸變化不大時可以不修改start寄存器！注意注意2倍倍關系關系!另外修改輸出尺寸寄存器不會改變行長和幀長！因此不能提高幀率！另外修改輸出尺寸寄存器不會改變行長和幀長！因此不能提高幀率！Binning目前采用的目前采用的binning方法就是把同通道相鄰四個方法就是把同通道相鄰四個pixel通過一定的算法通過一定的算法相加，合并成一個像素點輸出，因此輸出行列數(shù)

24、均減少一半。采用列相加，合并成一個像素點輸出，因此輸出行列數(shù)均減少一半。采用列ADC結(jié)構(gòu)的結(jié)構(gòu)的sp2508和和sp5409 binning模式速度較全尺寸快，但不是模式速度較全尺寸快，但不是2倍的關系，這是與原來倍的關系，這是與原來global ADC sensor有區(qū)別的地方。有區(qū)別的地方。20PLDOPLDO(Pixel LDO)是芯片內(nèi)部穩(wěn)壓電路，為是芯片內(nèi)部穩(wěn)壓電路，為pixel array供電，可以有供電，可以有效抑制電源干擾和噪聲，效抑制電源干擾和噪聲，PLDO輸出電壓可通過寄存器調(diào)節(jié)。輸出電壓可通過寄存器調(diào)節(jié)。21PLDO的輸出電壓與電源電壓(AVDD)必須保證有一定的壓差保證有一定的壓差，如PLDO輸出設置為2.7v，那么需要AVDD要不小于2.8v，否則PLDO工作不正常，不能起到抑制電源噪聲或干擾的作用?；蛘?/p>