第五章-光電信息處理技術-目標識別技術

關鍵技術：圖像拼接技術圖像融合技術電子穩(wěn)像技術目標跟蹤技術目標識別技術目標識別技術光電聯合變換相關識別技術模式識別技術背景研究對象實現原理方案復雜背景下的識別實驗一、光電聯合變換相關識別1背景光電聯合變換相關用于光學圖像目標的識別，無論是在軍事還是在民事都有廣泛的應用。在軍事上，如對空監(jiān)視中實時多目標跟蹤、機載或彈載前視圖像制導技術、導彈動態(tài)測量等。在民用上，交通監(jiān)管、工業(yè)自動化機器人、過程控制等都是圖像目標識別的主要應用?；驹?研究對象基于液晶空間光調制器的聯合變換相關識別系統是利用電尋址液晶空間光調制器并采用相關方法對圖像進行識別。此系統結合了相關方法和光電結合的優(yōu)點，實現了高速實時識別的光電聯合系統，能夠達到對目標圖像的快速識別。光電聯合變換相關1:激光器，2：衰減器，3：光束提升器，4：擴束鏡，5：針孔空間濾波想6:偏振器，7：準直透鏡，8：電尋址空間光調制器，9：成像系統，10：CCD,11:攝像機，12：空間光調制器控制器，13：PC單臂光電聯合變換相關1:激光器，2：衰減器，3：光束提升器，4：擴束鏡，5：針孔空間濾波想6:偏振器，7：準直透鏡，8：電尋址空間光調制器，9：空間光調制器控制器，10：PC,11:傅立葉透鏡，12：CCD，13：PC應用

目標跟蹤3實現方案采用聯合變換相關器實現相關識別

光電聯合變換相關識別的原理框圖參考目標傅里葉透鏡計算機攝像機待測目標聯合光功率譜空間光調制器空間光調制器傅里葉透鏡CCD采集相關輸出4目標在復雜背景下的識別

———功率譜優(yōu)化技術針對CCD探測到的功率譜進行優(yōu)化，可以顯著的提高系統識別能力。經典聯合變換相關器的缺點（1）對模式畸變較敏感，當目標發(fā)生尺寸或旋轉畸變時，相關峰將降低；（2）零級衍射項強度很高而且寬度大，這將影響互相關峰的觀察；（3）背景較復雜時，互相關峰湮沒在彌散斑中；（4）背景中出現相似目標時，易發(fā)生誤判現象。以上因素將導致系統的識別能力下降，要解決這些問題就必須對功率譜進行改造和優(yōu)化。優(yōu)化算法綜合鑒別函數（SDF）對數濾波器去零級項功能實現等相關峰輸出，可以抑制識別系統對目標畸變的敏感性；銳化相關峰，提高識別系統的去噪和排他能力；去除自相關峰，可以排除零級衍射項對互相觀點的影響；缺點互相關峰值低，其寬度較大?；ハ嚓P峰相對于自相關峰的比值較低。去零級后，中心會出現負值。優(yōu)化前后比較為定量的明問題，先引入peak-to-output-energy(POE)值。POE定義為輸出相關峰值與輸出平面平均能量之比。設輸出平面每點相關值為，互相關峰值為，共有M個采樣點，則POE值可以用來衡量系統對目標的識別能力POE值越大，相關峰值越尖銳，識別效果越好。4.1功率譜優(yōu)化技術采用綜合鑒別函數綜合鑒別函數（SDF）法：該方法在設計一幅訓練圖像的同時，把所有要識別的圖像都考慮進去，有效地提高了圖像識別能力和系統的容錯能力。4.2去零級像與對數濾波（a）SDF優(yōu)化前（b）SDF優(yōu)化后POE=6.56POE=3.29e+4目標為1.17倍，旋轉25°的識別效果4.3結果尺寸畸變識別優(yōu)化（a）SDF優(yōu)化前（b）SDF優(yōu)化后歸一化后的POE曲線（b）SDF優(yōu)化后（a）SDF優(yōu)化前旋轉畸變識別優(yōu)化歸一化后的POE曲線復雜背景優(yōu)化（a）SDF優(yōu)化前POE=5.07（b）SDF優(yōu)化后POE=9.47e+3相似目標優(yōu)化（a）SDF優(yōu)化前（b）SDF優(yōu)化后POE=2.37e+4POE=27.295單臂光電聯合變換系統1:激光器，2：衰減器，3：光束提升器，4：擴束鏡，5：針孔空間濾波想6:偏振器，7：準直透鏡，8：電尋址空間光調制器，9：空間光調制器控制器，10：PC,11:傅立葉透鏡，12：CCD，13：PC5.1實驗結果與分析

(a)聯合圖像（b）聯合圖像功率譜（c）相關輸出黑柵效應電尋址空間光調制器的象素結構相關、匹配識別舉例

測試場景模板基本概念原理模式識別系統構成模式識別方法模式識別的應用二、模式識別PatternRecognition1、模式識別概念

人類認識事物老師教幼兒（學習）幼兒自己認（決策）具有某些屬性的實體的集合蘋果水果具體形式：實體抽象形式：概念模式和模式識別模式識別(PatternRecognition)：確定一個樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。樣本（Sample)：一個具體的研究（客觀）對象。如患者，某人寫的一個漢字，一幅圖片等。模式(Pattern)：對客體（研究對象）特征的描述（定量的或結構的描述），是取自客觀世界的某一樣本的測量值的集合（或綜合）。模式和模式識別美國郵政數字識別數據庫(USPS)：7300個訓練樣本，2000個測試樣本，16X16圖像01…9模式識別可以看成是從模式向類別所作的映射例：不同寫法的數字“1”數字1的類別模式類別連續(xù)或者離散離散對象空間模式空間特征空間類型空間各類空間（Space)的概念模式采集：從客觀世界（對象空間）到模式空間的過程稱為模式采集。特征提取和特征選擇：由模式空間到特征空間的變換和選擇。類型判別：特征空間到類型空間所作的操作。模式識別三大任務為什么研究它？計算機模式識別問題生產實踐的需要：需要智能機器人，另外人的工資高，而計算機的價格越來便宜。信息爆炸現象：用人來不及處理信息。如：衛(wèi)星遙感，超級市場，郵政，銀行，指紋庫。危險地帶：油漆、放射、高溫、核電站。提高工效：自動化帶來的好處已經顯而易見。1929年G.Tauschek發(fā)明閱讀機，能夠閱讀0-9的數字。30年代Fisher提出統計分類理論，奠定了統計模式識別的基礎。50年代NoamChemsky提出形式語言理論——傅京蓀提出句法結構模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別方法得以發(fā)展和應用。80年代以Hopfield網、BP網為代表的神經網絡模型導致人工神經元網絡復活，并在模式識別得到較廣泛的應用。90年代小樣本學習理論，支持向量機也受到了很大的重視。模式識別簡史2模式識別系統數據獲取預處理特征提取

與選擇分類決策分類器

設計信號空間特征空間訓練樣本集待判樣本集模式識別關注的內容特征選擇與提取分類器的設計分類決策規(guī)則基本問題-分類模式(樣本)表示方法用n維列向量來表示一個（模式）樣本，說明該樣本具有n個數字特征x=(x1,x2,…,xn)T常稱之為模式向量或者樣本向量相似與分類：相似與分類問題遠不像集合表達那樣簡單明確。

用各種距離表示相似性：已知兩個樣本xi=(xi1,xi2,xi3,…,xin)Txj=(xj1,xj2,xj3,…,xjn)T

基本問題-分類②歐幾里德距離①絕對值距離③明考夫斯基距離其中當q=1時為絕對值距離，當q=2時為歐氏距離模式類的緊致性臨界點(樣本)：在多類樣本集中，當一些樣本的特征值發(fā)生微小變化后，就變成另一類樣本，這樣的樣本稱為臨界樣本（點）無臨界點許多臨界點非常多臨界點3模式識別的方法模版匹配法統計方法神經網絡方法(neuralnetwork)結構方法(句法方法)

模版匹配首先對每個類別建立一個或多個模版輸入樣本和數據庫中每個類別的模版進行比較，例如求相關或距離優(yōu)點：直接、簡單缺點：適應性差方法f(m,n)模板與原圖匹配結果匹配結果統計方法根據訓練樣本，建立決策邊界統計決策理論——根據每一類總體的概率分布決定決策邊界判別式分析方法——給出帶參數的決策邊界，根據某種準則，由訓練樣本決定“最優(yōu)”的參數方法句法方法許多復雜的模式可以分解為簡單的子模式，這些子模式組成所謂“基元”每個模式都可以由基元根據一定的關系來組成基元可以認為是語言中的詞語，每個模式都可以認為是一個句子，關系可以認為是語法模式的相似性由句子的相似性來決定優(yōu)點：適合結構性強的模式缺點：抗噪聲能力差，計算復雜度高方法神經網絡進行大規(guī)模并行計算的數學模型具有學習、推廣、自適應、容錯、分布表達和計算的能力優(yōu)點：可以有效的解決一些復雜的非線性問題缺點：缺少有效的學習理論方法統計模式識別基本原理線性判別的一般形式為：樣本特征權重系數其中，統計模式識別基本方法Fisher方法固定增量法（梯度下降法）分段線性鑒別器樹鑒別器Fisher方法Fisher方法：是一種降低特征空間維數的方法，其實質是尋找一新的坐標軸，使兩類樣本特征空間中的各點在它上面的投影能較好的分開。Fisher線性分類器的設計原則是：使盡量大，而盡量小。

Fisher方法誤差糾正規(guī)則：梯度下降法誤差：誤差糾正：輸出：其中：可得：統計分類器特征:1.顏色2.形狀Ⅲ

Ⅱ

ⅠR1R2V12

L1

V11

L11

L21

V21

L2

V22

L22

L12

L121V1L0

V2R2

R1

R2R1

R2

R1R2

分段線性鑒別器樹鑒別器識別過程舉例特征提取和選擇：對單個魚的信息進行特征選擇，從而通過測量某些特征來減少信息量長度亮度寬度魚翅的數量和形狀嘴的位置，等等…分類決策：把特征送入決策分類器識別過程舉例識別過程

幾種分類器的性能對比

分類正確率判別正確率判別函數數量Fisher方法91.15%86.52%1固定增量法90.46%83.64%1平衡二叉樹100%96.52%7優(yōu)化鑒別器100%97.73%4類型比較存在問題線性不可分多個目標的快速識別人工神經網絡用于模式識別人工神經網絡簡介：

20世紀末迅速發(fā)展起來的一門高技術，它的基本思想是從仿生學的角度，模擬人腦神經系統的運作方式，使機器具有人腦那樣的感知、學習和推理能力。

人工神經網絡是目標識別的重要方法圖

神經網絡學習系統框圖BP神經網絡是最基本的也是應用最廣泛的神經網絡RumelhartHinton和Williams于1986年發(fā)表文章，提出了誤差逆向傳播神經網絡，也稱BP神經網絡。BP網絡思路：利用實際輸出與理想輸出的差值（稱為誤差）反饋到前面的網絡，從而改變各層權值，權值改變后，使誤差減小。通過不斷輸入同樣的輸入值（學習），使輸出值逼近理想值。BP學習算法誤差修正：總誤差：一個三層、三輸入、一輸出bp網絡的例子：顏色紋理形狀2131顏色2代表：肉色紋理1代表：皮膚紋理形狀3代表：橢圓形輸出1代表：人臉物體類別理想狀態(tài)如果第一次輸入3214如何使系統自動從4調節(jié)到1？4代表猴子的臉權值例子中誤差是4-1=3利用3去改變各層權值使誤差減小。假設輸入一次“2、1、3”，誤差減小1那么第二次輸入輸出為3第三次輸入輸出為2第四次輸入輸出為1達到目標，不再輸入。共四次輸入通過例子可知，BP神經網絡的關鍵是尋找這么一個函數權值=f（誤差）如果改變上述函數使得，每次輸入，輸出減少1.5則如圖顏色紋理形狀2134第一次輸入顏色紋理形狀2132.5第二次輸入顏色紋理形狀2131第三次輸入共三次輸入改變f（誤差）之后，網絡學習能力增強！如何選取函數f？定義E為誤差函數與如何建立聯系？梯度下降法思路：沿誤差E下降最快的方向將權向量移動一個很小的距離。重復這一過程，將產生一系列權重向量為學習速率參數BP算法的基本流程初始化

加輸入和期望輸出計算隱層和輸出層的輸出迭代次數加1調節(jié)輸出層和隱層的連接權值改變訓練樣本訓練樣本終止？迭代終止？NoNoyy神經網絡在目標識別中做分類器顏色紋理形狀假如神經網絡學習100次后第101次輸入：是人臉45650不是目的：在智能交通管理方面的應用——車型的識別。步驟：（1）汽車圖像的獲得以及預處理方面，主要涉及汽車圖像的自動攝取，圖像去噪及增強，邊緣檢測等。（2）汽車的特征提取，采用填充圖像、不同形狀區(qū)域標注、直線檢測等方法，以提取更有效、明顯的特征。（3）神經網絡分類器的設計?；谏窠浘W絡并行分類的特點有效的處理汽車的不同特征以完成識別。采用BP網絡。舉例：汽車圖像的識別（一）目標圖像的獲取及預處理圖像的獲取部分由CCD攝像機、圖像采集卡、計算機等硬件組成。

道路及汽車場景CCD攝像機圖像采集卡服務器或標準特征庫計算機實時處理系統圖像的分割圖像分割成不同的區(qū)域，或把不同的東西分開(分割);識別圖像中要找的東西，也就是對圖像中不同的特征進行分類(識別與分類)；對于不同區(qū)域進行描述，或尋找不同區(qū)域之間的相互聯系，進而找出相似結構。 圖像分割 方法圖像閾值的圖像減影技術

提取圖像的結果

圖像的平滑（去噪） 1多圖像平均法

2.鄰域頻域法

3.中值濾波法 圖像直方圖顯示直方圖均衡化后的圖像（二）特征提取常見的圖像特征提取與描述方法:顏色特征;幾何形狀特征;紋理特征。實際目標輪廓并不容易計算，通常是計算物體二值化后在水平和垂直兩個方向的跨度。xaxbycydxyL=xaxbW=ycyd

圖像幾何特征的提取101長寬：2形心、質心（重心、矩心）把目標圖像看成一塊密度均勻的薄板，求出的重心叫做目標圖像的形心。形心是二值化目標圖像上的一個確定的點。當目標姿態(tài)變化時，形心位置有微小的變化。xaxbycydxyxy形心(x,y)

圖像幾何特征的提取113形狀分析3.1矩形度形狀和尺度一樣也是區(qū)別物體的重要特征。常用的形狀參數有：矩形度、圓形度、不變矩…..描寫矩形度的兩個參數：矩形擬合因子、長寬比

圖像幾何特征的提取15形狀分析

圖像幾何特征的提取16—矩形擬合因子[1]R=A0/ARA0AR0<R≤1—長寬比R=W

/LWL形狀分析2/2/2023100R0用來描述景物形狀接近圓形的程度，它是測量區(qū)域形狀常用的量。其計算公式為：

式中S為區(qū)域面積；L為區(qū)域周長.

R0值的范圍為0≤R0≤1，

R0值越大，則區(qū)域越接近圓形。3.2圓形度R02/2/2023101利用特征參數提取物體特征參數計算結果表示如下:（a）原圖像（b）圓度小于0.5的區(qū)域（c）提取的圖像4.不變矩有幾個從函數的矩（moments)導出的期望值適用于形狀分析。函數f(x,y)的矩定義為：集合{Mjk}對于函數f(x,y)是唯一的。每個特定的形狀具有一個特定的輪廓和一個特定的矩集合。j+k稱為矩的階數

圖像特征的提取20∫∫xjykf(x,y)dxdy，-∞Mjk

=

-∞∞∞J、k=0,1,2,…不變矩∫∫f(x,y)dxdy是該物體的面積。-∞M00

=

-∞∞∞所有的1階矩和高階矩除以M00可以使它們和物體的大小無關。

中心矩xc=M10/M00yc=M01/M00∫∫(x-xc)j

(y-yc)kf(x,y)dxdy-∞Mjk

=

-∞∞∞中心矩具有位置不變性。

圖像特征的提取21

零階矩不變矩不變矩不變矩是被測圖像和模板中灰度分布特性的度量不變矩方法分別對模板和被模板覆蓋的圖像部分計算相應的一組矩，比較兩組矩的差別，差別越小，則越相似不變矩具有位移、旋轉、尺度不變性高階矩將二維圖象數據被看作是二維概率密度分布函數，有：

p+q階原點矩：

p+q階中心矩：規(guī)一化中心矩：中心矩的計算由上圖計算得到的中心矩七個尺度、位移和旋轉不變的矩度量：由歸一化的二階和三階中心矩得到不變矩計算實例應用時將所選不變矩作為一組特征計算出各個已知模型的一組不變矩；對于圖像中的各個區(qū)域，一一計算上述不變矩；將圖像中各個區(qū)域計算的結果與已知模型的一組不變矩的值進行比較，判定是否有要檢測的物體。車牌識別提取字母數字不同輪廓Hu矩的數值特點４神經網絡與目標圖像識別訓練樣本(2)對圖像進行分割(1)對圖像進行去噪聲和直方圖均衡化：

(3)對圖像進行邊緣特征的提?。?/p>

對圖像進行二值化及腐蝕進一步去背景干擾：

對圖像進行直線部分的加強以及亮度的反轉，增強特征：

BP神經網絡識別以汽車車型的形狀不變矩，亮度均值以及車輛頂長和底長的比值做為區(qū)別特征。神經網絡的訓練過程顯示圖奧迪A4的7個不變矩：0.63421.00521.32101.03751.54781.25671.60830.61400.95270.78990.88561.20641.18861.47200.60070.76541.00960.95941.19671.31241.4145甲殼蟲的7個形狀不變矩：0.78180.80841.21000.98221.45781.34611.48310.86940.91601.36611.50701.48841.63211.58630.81940.85761.19220.93571.46211.51931.5178JEEP的7個形狀不變矩：0.49160.99660.84180.01631.09041.05401.39630.64031.03670.62720.01751.15021.15861.14580.55080.98660.73930.01561.22231.19621.2285識別結果對測試的汽車圖片以上節(jié)所述方法提取特征參數，做為測試輸入，進行BP網絡仿真?？梢缘玫綔y試結果，小于0.3的作為0處理，大于0.7的作為1處理。若輸出結果00，10，11滿足車的類型則為正確識別。第一次訓練網絡后識別結果:樣本數：30識別樣本數：28拒識樣本數：0錯識樣本數：2