基于圖像處理應用

1、基于圖像處理的應用1. 自動調(diào)焦理論與方法自動調(diào)焦理論與方法 2. 單幀圖像清晰質(zhì)量判定單幀圖像清晰質(zhì)量判定3. 目標跟蹤技術目標跟蹤技術自動調(diào)焦理論與方法自動調(diào)焦理論與方法1) 1) 常用自動調(diào)焦方法常用自動調(diào)焦方法2) 2) 基于圖像處理的自動調(diào)焦基于圖像處理的自動調(diào)焦3) 3) 調(diào)焦評價函數(shù)調(diào)焦評價函數(shù)4) 4) 調(diào)焦搜索策略調(diào)焦搜索策略機器視覺系統(tǒng)機器視覺系統(tǒng)n工業(yè)相機n光源照明 n控制系統(tǒng)n圖像處理n軟件編程自動調(diào)焦方法自動調(diào)焦方法成像公式ddf2光學成像模型自動調(diào)焦方法自動調(diào)焦方法PSD測距：DP0)()(LIIIILfdBABAPSD測距公式：自動調(diào)焦方法自動調(diào)焦方法像偏移三角測

2、距ctgbd超聲波測距法對比度法相位法測距公式：其它方法：基于圖像處理的自動調(diào)焦基于圖像處理的自動調(diào)焦222/221)(rerh鏡頭系統(tǒng)點擴散函數(shù)PSF自動調(diào)焦三個核心問題自動調(diào)焦三個核心問題要解決三個核心問題1、清晰度評價函數(shù)的選擇3、鏡頭移動搜索策略2、調(diào)焦窗口的選擇 清晰度評價函數(shù)清晰度評價函數(shù)（1）無偏性：只有物平面與焦平面重合時，評價函數(shù)取極值。（2）單峰性：調(diào)焦函數(shù)曲線形狀應呈現(xiàn)單峰（3）抗噪性：在一定噪聲的干擾下，評價值反映到離焦信號。（4）快速性：在實時測量系統(tǒng)中，要求快速，計算量要小。（5）穩(wěn)定性：在反復的判斷情況下，反映的離焦信息是一致的。（6）平滑性：評價曲線平滑。清晰度

3、評價函數(shù)常用方法清晰度評價函數(shù)常用方法梯度評價函數(shù)頻率評價函數(shù)統(tǒng)計學函數(shù)熵評價函數(shù)測試序列圖像測試序列圖像 序列序列1 序列序列2 序列序列3 梯度評價函數(shù)（1 1）圖像梯度和函數(shù)圖像梯度和函數(shù) 2122)1,(),(), 1(),()(yxfyxfyxfyxfnFxy0102030405000.20.40.60.81梯度和函數(shù)0102030405000.20.40.60.811.2梯度和函數(shù)0102030405000.20.40.60.81梯度和函數(shù)梯度評價函數(shù)（2 2）圖像灰度梯度向量模平方和函數(shù)圖像灰度梯度向量模平方和函數(shù))1,(),(), 1(),()(22yxfyxfyxfyxfnF

4、xy 0102030405000.20.40.60.811.2梯度平方函數(shù)0102030405000.20.40.60.81梯度平方函數(shù)0102030405000.20.40.60.81梯度平方和函數(shù) 梯度評價函數(shù)|) 1,(), 1(| ) 1, 1(),(|)(yxfyxfyxfyxfnFxy(3)Roberts 梯度和函數(shù)： 0102030405000.20.40.60.811.2Roberts 梯度和函數(shù)0102030405000.20.40.60.81Roberts 梯度和函數(shù)0102030405000.20.40.60.81Roberts 梯度和函數(shù)梯度評價函數(shù)22222),(),

5、(),(yyxfxyxfyxf2), 1(), 1() 1,() 1,(),(4)(yxfyxfyxfyxfyxfnFxy根據(jù)情況可以取不同的模板根據(jù)情況可以取不同的模板：0-10-14-10-10評價函數(shù)：評價函數(shù)： 0102030405000.20.40.60.811.2拉普拉斯 函數(shù)0102030405000.20.40.60.81拉普拉斯函數(shù)0102030405000.20.40.60.81拉普拉斯函數(shù) (4)拉普拉斯函數(shù)：拉普拉斯函數(shù)： 對圖像進行二階微分運算變化量影響變化量影響kkhgf)()(kkkhgPfPFkkhggf)()()()()(kkkkkhgPhgPhggPfPF)

6、()(1kkkhgPhgPF)()(1kkkkhgPhgPFFkkkFhgPhgP| )(| )(|1目標靜止目標有變化限制條件制約的因素制約的因素n在不能改變目標本身移動量條件下，通過提高幀頻，縮短前后幀的間隔時間，使前后幀取樣圖像的盡可能相似。再有通過擴大兩幀間的離焦量，使得評價值克服的變化量的影響。n既要采樣速度快，又要兩幀間有一定的離焦量，這是一個相互制約的因素 圖像穩(wěn)定性判斷圖像穩(wěn)定性判斷21112121111),(),(),(),(),(yxfyxfyxfyxfffCMxMykkMxMykkkkTyxfyxfTyxfyxfyxCkkkk| ),(),(|0| ),(),(|1),(

7、11NMyxCS),(TCTS 幀間變化率：幀間變化率：設一個閾值T，前后幀灰度差在閾值內(nèi)的像素為相似點統(tǒng)計：統(tǒng)計： 事先設定閾值事先設定閾值當序列圖像的相似度在閾值內(nèi)，認為圖像穩(wěn)定，可以進行自動調(diào)焦。相關性：基于排序梯度和評價函數(shù)基于排序梯度和評價函數(shù) 把評價的焦點定位在梯度大的邊緣上，忽略小梯度的值把評價的焦點定位在梯度大的邊緣上，忽略小梯度的值對大于某一閾值的梯度按大小順序，對大于某一閾值的梯度按大小順序，取排在前取排在前n位的梯度和做為調(diào)焦評價函數(shù)，位的梯度和做為調(diào)焦評價函數(shù)，1、梯度的值、梯度的值2、大梯度的數(shù)量、大梯度的數(shù)量nyxgnF),()(排序梯度和函數(shù)實驗結果排序梯度和函數(shù)

8、實驗結果0102030405000.20.40.60.81大 梯 度 統(tǒng) 計0102030405000.20.40.60.81大 梯 度 統(tǒng) 計0102030405000.20.40.60.81大 梯 度 統(tǒng) 計 評價曲線的平滑性優(yōu)于前面介紹的評價函數(shù)?；谂判蛱荻群驮u價函數(shù)在沒有進行非線性平方運算的前提下，既保持了良好的陡峭尖銳性，也避免放大脈沖噪聲帶來對評價曲線的影響基于閾值梯度數(shù)比較函數(shù)基于閾值梯度數(shù)比較函數(shù) 為進一步減少噪聲的影響，提出一種基于閾值梯度數(shù)方向幀評價函數(shù)的方為進一步減少噪聲的影響，提出一種基于閾值梯度數(shù)方向幀評價函數(shù)的方法。以前后幀大于某一閾值的梯度數(shù)量來比較清晰度法。以

9、前后幀大于某一閾值的梯度數(shù)量來比較清晰度從梯度數(shù)量而不是值的大小的角度來評價。從梯度數(shù)量而不是值的大小的角度來評價?；陂撝堤荻葦?shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)01020304050-50005001000150020002500閾 值 梯 度 數(shù) 比 較01020304050050010001500200025003000閾 值 梯 度 數(shù) 比 較01020304050050010001500200025003000閾 值 梯 度 數(shù) 比 較評價函數(shù)有著良好的抗干擾性能抗干擾性能實驗抗干擾性能

10、實驗 （一）（一）目標尺寸的大小變化，處于準焦位置目標清晰程度接近，期望評價值僅反映相對清晰度。 試驗結果與分析(a)梯度平方和函數(shù)梯度平方和函數(shù) (b)排序梯度和函數(shù)排序梯度和函數(shù) (c)基于閾值梯度數(shù)函數(shù)基于閾值梯度數(shù)函數(shù)梯度平方和函數(shù)，目標的面積減小，參加計算的梯度數(shù)相應減小，使得盡管清晰程梯度平方和函數(shù)，目標的面積減小，參加計算的梯度數(shù)相應減小，使得盡管清晰程度接近，但評價值卻出現(xiàn)了大幅下降，失去了調(diào)焦評價的作用。度接近，但評價值卻出現(xiàn)了大幅下降，失去了調(diào)焦評價的作用。對于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)來說，表現(xiàn)明顯優(yōu)于梯度平方函數(shù)，盡管目對于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)來說，表現(xiàn)明

11、顯優(yōu)于梯度平方函數(shù)，盡管目標變化較大，但評價值基本保持穩(wěn)定，波動的范圍很小。評價值與圖像的清晰程度標變化較大，但評價值基本保持穩(wěn)定，波動的范圍很小。評價值與圖像的清晰程度保持了很好的對應關系，受目標大小變化的影響有限。保持了很好的對應關系，受目標大小變化的影響有限?？垢蓴_性能實驗抗干擾性能實驗 （二）（二）一組目標大小變化，同時清晰程度也變化的圖像，一組目標大小變化，同時清晰程度也變化的圖像，序列開始和結尾屬于目標大，但是離焦量也大，模糊程度高，序列開始和結尾屬于目標大，但是離焦量也大，模糊程度高，在序列中間，目標變小，離焦量也變小，清晰度相對高。在序列中間，目標變小，離焦量也變小，清晰度相對

12、高。清晰度與目標大小均變化序列清晰度與目標大小均變化序列試驗結果與分析梯度平方和函數(shù)受到了明顯的干擾，在序列的中間段找不到最清晰的位置，梯度平方和函數(shù)受到了明顯的干擾，在序列的中間段找不到最清晰的位置，這是由于目標大小變化，導致前后幀的梯度數(shù)量波動引起的。這是由于目標大小變化，導致前后幀的梯度數(shù)量波動引起的。對于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)表現(xiàn)相當穩(wěn)定，對于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)表現(xiàn)相當穩(wěn)定，有良好的可靠性，準確性、平滑性，在目標有變化情況下，有良好的可靠性，準確性、平滑性，在目標有變化情況下，也仍然符合調(diào)焦評價函數(shù)的要求。也仍然符合調(diào)焦評價函數(shù)的要求。調(diào)焦搜索策略調(diào)焦搜索策略 調(diào)焦

13、系統(tǒng)的搜索策略就是準確快速的找到評價函數(shù)的峰值位置，搜索的方向就是相前或向后，屬于求解一維函數(shù)極大值的問題 爬山法（MCS）斐波那契(Fibonacci)法曲線擬合爬山法爬山法判斷前一步圖像和當前圖像清晰度評價函數(shù)值的大小，決定下一步的方向調(diào)焦搜索策略調(diào)焦搜索策略搜索的步數(shù)要少，速度優(yōu)先于精度 搜索不能大范圍往復移動步距的選擇要體現(xiàn)兩幅圖像評價值的區(qū)分度，也要克服目標變化量帶給評價曲線的影響改進搜索策略改進搜索策略(1) 方向搜索第一類： )()()(2)()()(2203102xfxfxfxfxfxf)()()(2)()()(2203102xfxfxfxfxfxf)()()(2)()()(2

14、203102xfxfxfxfxfxf)()()(2)()()(2203102xfxfxfxfxfxf第二類： 第三類： 第四類： 改進搜索策略改進搜索策略（2）位置搜索用當前的評價值與前面兩步評價值的均值比較，防止評價曲線上某個點出現(xiàn)異常波動引起判斷失誤由于動目標的特點和齒輪間隙的影響。測量電視的調(diào)焦難以達到很精確的準焦位置。在準焦位置附近反復搜索的方式不能保證找到準焦點，反而會對成像質(zhì)量帶來影響，比如抖動問題單幀圖像清晰質(zhì)量判定單幀圖像清晰質(zhì)量判定 1 1、圖像質(zhì)量判斷必要性圖像質(zhì)量判斷必要性2 2、圖像質(zhì)量評價方法圖像質(zhì)量評價方法3 3、圖像邊緣類型圖像邊緣類型4 4、單幀圖像清晰度判定單

15、幀圖像清晰度判定5 5、實驗結果實驗結果圖像質(zhì)量判斷必要性圖像質(zhì)量判斷必要性連續(xù)自動調(diào)焦流程：動態(tài)調(diào)焦就是在測量電視或動目標觀測的整個過程中，間隔一段時間或一定幀數(shù)后，觸發(fā)自動調(diào)焦如果調(diào)焦初始時，當前幀圖像本身是清晰的。那么在調(diào)焦初始，盲動掃描中，鏡頭會離開準焦面，這樣反而造成圖像變模糊。對目標跟蹤的穩(wěn)定性和測量精度造成不良影響圖像的客觀質(zhì)量評價方法圖像的客觀質(zhì)量評價方法 圖像的客觀質(zhì)量評價方法圖像的客觀質(zhì)量評價方法均方誤差( MSE)和峰值信噪比(PSNR)NMyxfyxfMSEMxNy11),(),(MSEyxfPSNR2),(max(lg10圖像的主觀質(zhì)量評價方法圖像的主觀質(zhì)量評價方法主

16、觀質(zhì)量評價尺度級別級別絕對測量尺度絕對測量尺度相對測量尺度相對測量尺度1很好很好一群中最好的一群中最好的2較好較好好于該群中平均水平好于該群中平均水平3一般一般該群平均水平該群平均水平4較差較差差于該群中平均水平差于該群中平均水平5很差很差該群中最差的該群中最差的無法應用數(shù)學模型對其進行描述，從工程應用的角度看，難以應用到實際系統(tǒng)。因此，圖像的主觀質(zhì)量評價方法受到了嚴重限制。調(diào)焦系統(tǒng)圖像判斷特殊性調(diào)焦系統(tǒng)圖像判斷特殊性調(diào)焦系統(tǒng)圖像判斷特殊性調(diào)焦系統(tǒng)圖像判斷特殊性上述圖像清晰質(zhì)量的評價判斷適用于多幀圖像的比較，或處理后的圖像與原始圖像的比較，不能根據(jù)單幀圖像的信息判斷圖像的清晰質(zhì)量。連續(xù)自動調(diào)焦

17、系統(tǒng)的工作過程，要求在調(diào)焦前，先判斷當前圖像的清晰度，如果在可接受范圍，就不再調(diào)焦。需要采用一種數(shù)學手段來建立人的主觀判斷和圖像清晰度的對應關系 數(shù)字圖像邊緣模型數(shù)字圖像邊緣模型 對數(shù)字圖像來說，邊緣過渡區(qū)剖面是一個斜坡，過渡區(qū)的寬度取決于從初始灰度變化到最終灰度的斜坡的長度。這個長度又取決于斜度，而斜度是由圖像的模糊程度約定的。(a) 理想數(shù)字邊緣模型理想數(shù)字邊緣模型 (b) 斜坡數(shù)字邊緣模型斜坡數(shù)字邊緣模型邊緣的法向梯度值變化趨勢邊緣的法向梯度值變化趨勢 不同模糊度圖像不同模糊度圖像法向梯度值變化圖法向梯度值變化圖單幀圖像清晰度判定單幀圖像清晰度判定邊緣方向和位置區(qū)域內(nèi)有無邊緣判斷區(qū)域內(nèi)有

18、無邊緣判斷單幀圖像清晰度判定單幀圖像清晰度判定單幀圖像清晰度判定單幀圖像清晰度判定試驗結果試驗結果優(yōu)點：根據(jù)邊緣法向梯度的分布特征來判斷目標成像的清晰程度，原有的算法是比較兩幅以上的圖像，只能得到圖像的相對清晰質(zhì)量，只需要對當前一幀圖像判斷就能得到與主觀清晰程度對應的參量。缺點：該算法對背景簡單的擴展目標，具有良好邊緣的目標有較高的判斷成功率。對于小目標，復雜背景圖像，以及邊緣比較雜亂的圖像判斷效果不好。調(diào)焦窗口規(guī)劃技術調(diào)焦窗口規(guī)劃技術 1 1、選擇調(diào)焦窗口的原因選擇調(diào)焦窗口的原因2 2、靜態(tài)目標調(diào)焦窗口規(guī)劃技術、靜態(tài)目標調(diào)焦窗口規(guī)劃技術3 3、動態(tài)目標調(diào)焦窗口規(guī)劃技術、動態(tài)目標調(diào)焦窗口規(guī)劃技

19、術4 4、試驗結果、試驗結果選擇調(diào)焦窗口的原因選擇調(diào)焦窗口的原因1、處理速度的要求2、調(diào)焦準確性的要求處理圖像的幅度評價函數(shù)的復雜程度執(zhí)行機構響應處理速度靜態(tài)目標調(diào)焦窗口規(guī)劃技術靜態(tài)目標調(diào)焦窗口規(guī)劃技術中央選窗口法多區(qū)域選窗口法基于黃金分割點的窗口調(diào)焦窗口規(guī)劃調(diào)焦窗口規(guī)劃 皮膚探測算法BGRCCYrb081. 05 . 0114. 0419. 0331. 0587. 05 . 0169. 0299. 0皮膚探測算法可以主動尋找人物所在的位置，優(yōu)于固定區(qū)域的窗口選擇方案，但是皮膚探測算法只能應用在有明顯皮膚特征的圖像，而且，與皮膚顏色接近的物體也很多，可靠性不是很高非均勻采樣窗口調(diào)焦窗口規(guī)劃調(diào)焦

20、窗口規(guī)劃幀差閾值算法幀差閾值算法|),(),(|1yxfyxffkkffyxg01),(幀差閾值算法適用與目標有位置移動，兩幀間或一定間隔時間內(nèi)有體現(xiàn)幀差的位置移動量。幀差閾值算法適用與目標有位置移動，兩幀間或一定間隔時間內(nèi)有體現(xiàn)幀差的位置移動量。同時背景要處于靜止狀態(tài)，否則背景的差別也被檢測出來，影響對焦的準確性同時背景要處于靜止狀態(tài)，否則背景的差別也被檢測出來，影響對焦的準確性。質(zhì)心跟蹤窗口規(guī)劃動態(tài)閾值質(zhì)心跟蹤目標在畫面上的位置不確定，采用固定區(qū)域或非均勻采樣窗口的方式是不合適的，同時由于攝像機隨目標移動，背景有變化，使得幀差方式也不能滿足要求。需要讓調(diào)焦窗口在畫面上跟著目標移動目 標窗口

21、 背景小窗計算目標區(qū)域與背景區(qū)域的平均灰度，由此判斷目標的亮暗信息。xywyxfWL),(100 xybibbbiyxfWL),(1質(zhì)心跟蹤窗口規(guī)劃質(zhì)心跟蹤窗口規(guī)劃可以把目標的主體部分分割出來。由于對快速目標的跟蹤，只要能夠找到目標主體或特征部位，就可以確定目標的位置，以在目標位置為中心取一個大小固定的窗口，作為調(diào)焦窗口。質(zhì)心跟蹤窗口規(guī)劃基于目標質(zhì)心跟蹤的對焦窗口具有計算簡單，運算速度快的優(yōu)點，可以應用在實時處理的自動聚焦場合。在背景簡單（天空），目標大小合適的畫面，具有良好的跟蹤性能，目標的質(zhì)心可以作為調(diào)焦窗口的中心位置。當背景中出現(xiàn)云層、成像質(zhì)量差、受光照影響引起目標變光、圖像對比度低等情況，質(zhì)心跟蹤方式難以準確提取出目標特征，引起跟蹤失敗?；谙嚓P跟蹤的調(diào)焦窗口規(guī)劃基于相關跟蹤的調(diào)焦窗口規(guī)劃 二維最小絕對差累加和算法MAD：基于