手機攝像頭工作原理-軟件培訓課件

Camera工作原理作者：黃平禮日期：2019.01.04Camera工作原理作者：黃平禮1一、cameramodule主要組成部分二、camera工作原理原理介紹三、camera在MT6229平臺上的工作原理介紹一、cameramodule主要組成部分2一、cameramodule主要組成部分Cameramodule主要的組成部分由：lens和SensorIC，其中有些SensorIC是集成了DSP，有些是沒有集成DSP，沒有集成DSP的module需要外部外掛DSP。一、cameramodule主要組成部分Cameramo31、鏡頭（LENS）鏡頭是僅次于CMOS芯片影響畫質(zhì)的第二要素，其組成是透鏡結(jié)構(gòu)，由幾片透鏡組成，一般可分為塑膠透鏡（plastic）或玻璃透鏡（glass）。當然，所謂塑膠透鏡也非純粹塑料，而是樹脂鏡片，當然其透光率感光性之類的光學指標是比不上鍍膜鏡片的。通常攝像頭用的鏡頭構(gòu)造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多，成本越高，相對成像效果會更出色；而玻璃透鏡又比樹脂貴。因此一個品質(zhì)好的攝像頭應(yīng)該是采用多層玻璃鏡頭！現(xiàn)在市場上的多數(shù)攝像頭產(chǎn)品為了降低成本，一般會采用廉價的塑膠鏡頭或一玻一塑鏡頭（即：1P、2P、1G1P、1G2P等），對成像質(zhì)量有很大影響！1、鏡頭（LENS）42、SensorIC在攝像頭的主要組件中，最重要的個人認為就是圖像傳感器了，因為感光器件對成像質(zhì)量的重要性不言而喻。Sensor將從lens上傳導過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。由于Sensor的每個pixel只能感光R光或者B光或者G光，因此每個像素此時存貯的是單色的，我們稱之為RAWDATA數(shù)據(jù)。要想將每個像素的RAWDATA數(shù)據(jù)還原成三基色，就需要ISP來處理。2、SensorIC53、數(shù)字信號處理芯片DSPDSP結(jié)構(gòu)框架:(1).ISP（imagesignalprocessor）（鏡像信號處理器）(2).JPEGencoder（JPEG圖像解碼器）ISP的性能強大是決定影像流暢的關(guān)鍵，JPEGencoder的性能也是關(guān)鍵指標之一。而JPEGencoder又分為硬件JPEG壓縮方式，和軟件RGB壓縮方式。

DSP控制芯片的作用是：將感光芯片獲取的數(shù)據(jù)及時快速地傳到baseband中并刷新感光芯片，因此控制芯片的好壞，直接決定畫面品質(zhì)（比如色彩飽和度、清晰度）與流暢度。3、數(shù)字信號處理芯片DSP6二、camera工作原理原理介紹1、Sensor內(nèi)部工作原理2、DVP傳輸方式介紹3、Camera在MT6229平臺上的工作原理二、camera工作原理原理介紹1、Sensor內(nèi)部工作原理71、Sensor內(nèi)部工作原理外部光線穿過lens后，經(jīng)過colorfilter濾波后照射到Sensor面上，Sensor將從lens上傳導過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband，此時的數(shù)據(jù)格式是RAWRGB。1、Sensor內(nèi)部工作原理8如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、colormatrix、lensshading、gamma、sharpness、AE和de-noise處理，后輸出YUV或者RGB格式的數(shù)據(jù)。如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、col92、DVP傳輸方式介紹DVP分為三個部分：1）輸出總線；2）輸入總線；3）電源總線。如下圖：2、DVP傳輸方式介紹DVP分為三個部分：101)輸入總線介紹a、PWD為camera的使能管腳。當camera處于PWD模式時，一切對camera的操作都是無效的。因此，在RESET之前，一定要將PWD管腳置為normal模式。b、RESET為camera的復位管腳。此方式為硬復位模式，一般管腳置為低，camera處于硬復位狀態(tài)，camera的各個IO口恢復到出廠默認狀態(tài)。只有在XCLK開啟后，將RESET置為低，硬復位才有效，否則復位無效。c、XCLK為camera工作時鐘管腳。此管腳為BB提供camera的工作時鐘。d、I2C為camera與BB通信管腳。BB與camera的通信總線。1)輸入總線介紹112)輸出總線介紹a、data為camera的數(shù)據(jù)管腳。此數(shù)據(jù)腳可以輸出的格式有YUV、RGB、JPEG。b、VSYNC為camera的幀同步信號管腳。一個VYSNC信號結(jié)束表示一幀（即一個畫面）的數(shù)據(jù)已經(jīng)輸出完畢。c、HSYNC為camera行同步信號管腳。一個HSYNC信號結(jié)束表示一行的數(shù)據(jù)已經(jīng)輸出完畢。d、PCLK為像素同步信號管腳。一個PCLK信號結(jié)束表示一個數(shù)據(jù)已經(jīng)輸出完畢。2)輸出總線介紹12Data、PCLK、V_sync、H_sync的關(guān)系如下：Data、PCLK、V_sync、H_sync的關(guān)系如下：133)Power線介紹a、AVDD為camera的模擬電壓。b、DOVDD為camera的GPIO口數(shù)字電壓。c、DVDD為camera的核工作電壓。

一般來說，要求先提供sensor的GPIO口電壓，接著提供模擬電壓，最后提供工作電壓。時序如下圖：3)Power線介紹14三、camera在MT6229平臺上的工作原理介紹MT6229是支持RAWRGBCamera的一個平臺。因此Cameramodule可以選擇不帶ISP的Sensor。其主要結(jié)構(gòu)是Cameramodule+MTKDSP三、camera在MT6229平臺上的工作原理介紹MT62215MTKDSP包括ISP、IMAGEDMA、IPP及RESIZE，其中ISP分為TG、lens/sensorcompensation、colorprocess三個單元。TG為時鐘接收器，負責從camera接受數(shù)據(jù)，lens/sensorcompensation只將RAWRGB數(shù)據(jù)轉(zhuǎn)為RGB565，其他格式不做處理，colorprocess將RGB565/YUV422轉(zhuǎn)為YCbCr888。ISP部分這里不做詳述，后面的效果調(diào)試將做詳細描述，重點對IMAGEDMA及RESIZE做詳細的描述。

MTKDSP包括ISP、IMAGEDMA、IPP161）RESIZE分為：DRZ、PRZ。DRZ即dropresize，負責列與行的壓縮，中間格式不變。PRZ即postresize，分為兩個部分：粗略壓縮與精細壓縮。粗略壓縮即簡單的按照比例壓縮，例如1，1/4，1/16，1/64；精細壓縮即對列于行進行壓縮，中間先是將YUV444轉(zhuǎn)為YUV420，這樣提高了壓縮速度。

1）RESIZE分為：DRZ、PRZ。17

2）IPP分為IPP1,IPP2,IPP3。IPP的作用是將YUV轉(zhuǎn)換為RGB，如下圖：2）IPP分為IPP1,IPP2,IPP3。IPP的18

3）IMAGEDMA包括JPEGDMA、VIDEODMA、IBW1/2/3/4DMA、IBR1/2DMA

3）IMAGEDMA包括JPEGDMA、VIDEO19JPEGencodeDMA主要負責將YUV444數(shù)據(jù)按照8X8模塊，壓縮為YUV422/420,如果數(shù)據(jù)最后一個模塊不是8X8，則用0補齊。然后將YUV422/420傳送到JPEGENCODE.imagebufferwrite1主要負責將數(shù)據(jù)從IPP2傳輸?shù)絋humbnailbuffer；imagebufferwrite2主要負責將數(shù)據(jù)從IPP1傳輸?shù)絤emory或LCDbuffer。imagebufferwrite3主要負責將RGB888/YUV444傳送到DRZ.imagebufferwrite4主要負責將RGB888/YUV444傳送到PRZ.imagebufferread1主要負責將數(shù)據(jù)RGB565/RGB888/BGR888從memory傳輸?shù)絀PP3.imagebufferread2主要負責從memory讀取phoneframe，經(jīng)過壓縮、轉(zhuǎn)化后疊加到CRZbuffer上。

JPEGencodeDMA主要負責將YUV44420CamerapreviewIMAGEDMApath：CamerapreviewIMAGEDMApath：21CameracaptureIMAGEDMApath：CameracaptureIMAGEDMApath：22Camera工作原理作者：黃平禮日期：2019.01.04Camera工作原理作者：黃平禮23一、cameramodule主要組成部分二、camera工作原理原理介紹三、camera在MT6229平臺上的工作原理介紹一、cameramodule主要組成部分24一、cameramodule主要組成部分Cameramodule主要的組成部分由：lens和SensorIC，其中有些SensorIC是集成了DSP，有些是沒有集成DSP，沒有集成DSP的module需要外部外掛DSP。一、cameramodule主要組成部分Cameramo251、鏡頭（LENS）鏡頭是僅次于CMOS芯片影響畫質(zhì)的第二要素，其組成是透鏡結(jié)構(gòu)，由幾片透鏡組成，一般可分為塑膠透鏡（plastic）或玻璃透鏡（glass）。當然，所謂塑膠透鏡也非純粹塑料，而是樹脂鏡片，當然其透光率感光性之類的光學指標是比不上鍍膜鏡片的。通常攝像頭用的鏡頭構(gòu)造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多，成本越高，相對成像效果會更出色；而玻璃透鏡又比樹脂貴。因此一個品質(zhì)好的攝像頭應(yīng)該是采用多層玻璃鏡頭！現(xiàn)在市場上的多數(shù)攝像頭產(chǎn)品為了降低成本，一般會采用廉價的塑膠鏡頭或一玻一塑鏡頭（即：1P、2P、1G1P、1G2P等），對成像質(zhì)量有很大影響！1、鏡頭（LENS）262、SensorIC在攝像頭的主要組件中，最重要的個人認為就是圖像傳感器了，因為感光器件對成像質(zhì)量的重要性不言而喻。Sensor將從lens上傳導過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。由于Sensor的每個pixel只能感光R光或者B光或者G光，因此每個像素此時存貯的是單色的，我們稱之為RAWDATA數(shù)據(jù)。要想將每個像素的RAWDATA數(shù)據(jù)還原成三基色，就需要ISP來處理。2、SensorIC273、數(shù)字信號處理芯片DSPDSP結(jié)構(gòu)框架:(1).ISP（imagesignalprocessor）（鏡像信號處理器）(2).JPEGencoder（JPEG圖像解碼器）ISP的性能強大是決定影像流暢的關(guān)鍵，JPEGencoder的性能也是關(guān)鍵指標之一。而JPEGencoder又分為硬件JPEG壓縮方式，和軟件RGB壓縮方式。

DSP控制芯片的作用是：將感光芯片獲取的數(shù)據(jù)及時快速地傳到baseband中并刷新感光芯片，因此控制芯片的好壞，直接決定畫面品質(zhì)（比如色彩飽和度、清晰度）與流暢度。3、數(shù)字信號處理芯片DSP28二、camera工作原理原理介紹1、Sensor內(nèi)部工作原理2、DVP傳輸方式介紹3、Camera在MT6229平臺上的工作原理二、camera工作原理原理介紹1、Sensor內(nèi)部工作原理291、Sensor內(nèi)部工作原理外部光線穿過lens后，經(jīng)過colorfilter濾波后照射到Sensor面上，Sensor將從lens上傳導過來的光線轉(zhuǎn)換為電信號，再通過內(nèi)部的DA轉(zhuǎn)換為數(shù)字信號。如果Sensor沒有集成DSP，則通過DVP的方式傳輸?shù)絙aseband，此時的數(shù)據(jù)格式是RAWRGB。1、Sensor內(nèi)部工作原理30如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、colormatrix、lensshading、gamma、sharpness、AE和de-noise處理，后輸出YUV或者RGB格式的數(shù)據(jù)。如果集成了DSP，則RAWDATA數(shù)據(jù)經(jīng)過AWB、col312、DVP傳輸方式介紹DVP分為三個部分：1）輸出總線；2）輸入總線；3）電源總線。如下圖：2、DVP傳輸方式介紹DVP分為三個部分：321)輸入總線介紹a、PWD為camera的使能管腳。當camera處于PWD模式時，一切對camera的操作都是無效的。因此，在RESET之前，一定要將PWD管腳置為normal模式。b、RESET為camera的復位管腳。此方式為硬復位模式，一般管腳置為低，camera處于硬復位狀態(tài)，camera的各個IO口恢復到出廠默認狀態(tài)。只有在XCLK開啟后，將RESET置為低，硬復位才有效，否則復位無效。c、XCLK為camera工作時鐘管腳。此管腳為BB提供camera的工作時鐘。d、I2C為camera與BB通信管腳。BB與camera的通信總線。1)輸入總線介紹332)輸出總線介紹a、data為camera的數(shù)據(jù)管腳。此數(shù)據(jù)腳可以輸出的格式有YUV、RGB、JPEG。b、VSYNC為camera的幀同步信號管腳。一個VYSNC信號結(jié)束表示一幀（即一個畫面）的數(shù)據(jù)已經(jīng)輸出完畢。c、HSYNC為camera行同步信號管腳。一個HSYNC信號結(jié)束表示一行的數(shù)據(jù)已經(jīng)輸出完畢。d、PCLK為像素同步信號管腳。一個PCLK信號結(jié)束表示一個數(shù)據(jù)已經(jīng)輸出完畢。2)輸出總線介紹34Data、PCLK、V_sync、H_sync的關(guān)系如下：Data、PCLK、V_sync、H_sync的關(guān)系如下：353)Power線介紹a、AVDD為camera的模擬電壓。b、DOVDD為camera的GPIO口數(shù)字電壓。c、DVDD為camera的核工作電壓。

一般來說，要求先提供sensor的GPIO口電壓，接著提供模擬電壓，最后提供工作電壓。時序如下圖：3)Power線介紹36三、camera在MT6229平臺上的工作原理介紹MT6229是支持RAWRGBCamera的一個平臺。因此Cameramodule可以選擇不帶ISP的Sensor。其主要結(jié)構(gòu)是Cameramodule+MTKDSP三、camera在MT6229平臺上的工作原理介紹MT62237MTKDSP包括ISP、IMAGEDMA、IPP及RESIZE，其中ISP分為TG、lens/sensorcompensation、colorprocess三個單元。TG為時鐘接收器，負責從camera接受數(shù)據(jù)，lens/sensorcompensation只將RAWRGB數(shù)據(jù)轉(zhuǎn)為RGB565，其他格式不做處理，colorprocess將RGB565/YUV422轉(zhuǎn)為YCbCr888。ISP部分這里不做詳述，后面的效果調(diào)試將做詳細描述，重點對IMAGEDMA及RESIZE做詳細的描述。

MTKDSP包括ISP、IMAGEDMA、IPP381）RESIZE分為：DRZ、PRZ。DRZ即dropresize，負責列與行的壓縮，中間格式不變。PRZ即postresize，分為兩個部分：粗略壓縮與精細壓縮。粗略壓縮即簡單的按照比例壓縮，例如1，1/4，1/16，1/64；精細壓縮即對列于行進行壓縮，中間先是將YUV444轉(zhuǎn)為YUV420，這樣提高了壓縮速度。

1）RESIZE分為：DRZ、PRZ。39

2）IPP分為IPP1,IPP2,IPP3。IPP的作用是將YUV轉(zhuǎn)換為RGB，如下