基于K-L變換的多類模式特征提取教學課件

5.1基于K工變換的多類模式特征提取特征提取的目的:對一類模式:維數(shù)壓縮。對多類模式:維數(shù)壓縮,突出類別的可分性?？迥?洛伊(Karhunen-Loeve)變換(KL變換)一種常用的特征提取方法*最小均方誤差意義下的最優(yōu)正交變換;*適用于任意的概率密度函數(shù);在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。分為:連續(xù)KL變換離散KL變換基于K-L變換的多類模式特征提取5.1基于K工變換的多類模式特征提取特征提取的目的:對一類模式:維數(shù)壓縮。對多類模式:維數(shù)壓縮,突出類別的可分性?？迥?洛伊(Karhunen-Loeve)變換(KL變換)一種常用的特征提取方法*最小均方誤差意義下的最優(yōu)正交變換;*適用于任意的概率密度函數(shù);在消除模式特征之間的相關(guān)性、突出差異性方面有最優(yōu)的效果。分為:連續(xù)KL變換離散KL變換1.KL展開式設(shè){Ⅺ}是n維隨機模式向量X的集合,對每一個X可以用確定的完備歸一化正交向量系{)}中的正交向量展開X隨機系數(shù)用有限項估計X時:X=∑an1引起的均方誤差:5=E(X-X)(X-X)代入X、x,利用u0,j≠E[∑a2E∑a2=d+1由X=∑qm兩邊左乘得a1=nX。E∑u}XX=d+1u;為確定性向量R:自相關(guān)矩陣不同的{}對應(yīng)不同的均方誤差,n,的選擇應(yīng)使ξ最小。利用拉格朗日乘數(shù)法求使ξ最小的正交系{u1},令8(a1)=∑4Rn1-∑441-1)4:拉格朗日乘數(shù)=d+1.KL展開式設(shè){Ⅺ}是n維隨機模式向量X的集合,對每一個X可以用確定的完備歸一化正交向量系{)}中的正交向量展開X隨機系數(shù)用有限項估計X時:X=∑an1引起的均方誤差:5=E(X-X)(X-X)代入X、x,利用u0,j≠E[∑a2E∑a2=d+1由X=∑qm兩邊左乘得a1=nX。E∑u}XX=d+1u;為確定性向量R:自相關(guān)矩陣不同的{}對應(yīng)不同的均方誤差,n,的選擇應(yīng)使ξ最小。利用拉格朗日乘數(shù)法求使ξ最小的正交系{u1},令8(a1)=∑4Rn1-∑441-1)4:拉格朗日乘數(shù)=d+g(x)=∑7Rn1-∑4(an1-1)j=d+1用函數(shù)g(a1)對u求導,并令導數(shù)為零,得(R-4,D=0j=d+1,…,∞正是矩陣R與其特征值和對應(yīng)特征向量的關(guān)系式。說明:當用X的自相關(guān)矩陣R的特征值對應(yīng)的特征向量展開X時,截斷誤差最小。選前d項估計X時引起的均方誤差為5=∑Ru1=∑tra,Rn=∑j=d==d+lλ,決定截斷的均方誤差,λ,的值小,那么ξ也小因此,當用X的正交展開式中前d項估計X時,展開式中的u應(yīng)當是前d個較大的特征值對應(yīng)的特征向量。KL變換方法:對R的特征值由大到小進行排隊:1≥2…≥≥2均方誤差最小的X的近似式:X=∑a1—KL展開式矩陣形式X=Ua(5-49)式中,a=[41,a12…,a1,Unx={u其中:41=[n,l2,…,lm對式(5-49)兩邊左乘U:a=UXK-L變換系數(shù)向量a就是變換后的模式向量。2.利用自相關(guān)矩陣的K變換進行特征提取設(shè)X是n維模式向量,{X}是來自M個模式類的樣本集總樣本數(shù)目為N。將X變換為d維(d<n)向量的方法:第一步:求樣本集{X}的總體自相關(guān)矩陣R。R=E[XX≈∑XX第二步:求R的特征值λ,j=1,2,…,n。對特征值由大到小進行排隊,選擇前d個較大的特征值。第三步:計算d個特征值對應(yīng)的特征向量n,j=1,2,…,d,歸一化后構(gòu)成變換矩陣UU=[1,l2,…,la第四步:對{X}中的每個X進行K-L變換,得變換后向量xX=UXd維向量X就是代替n維向量X進行分類的模式向量利用KL變換進行特征提取的優(yōu)點:1)變換在均方誤差最小的意義下使新樣本集{X}逼近原樣本集}}的分布,既壓縮了維數(shù)又保留了類別鑒別信息。2)變換后的新模式向量各分量相對總體均值的方差等于原樣本集總體自相關(guān)矩陣的大特征值,表明變換突出了模式類之間的差異性。0C=E{(X-M(X-M)}=3)C為對角矩陣說明了變換后樣本各分量互不相關(guān),亦即消除了原來特征之間的相關(guān)性,便于進一步進行特征的選擇。KL變換的不足之處:1)對兩類問題容易得到較滿意的結(jié)果。類別愈多,效果愈差2)需要通過足夠多的樣本估計樣本集的協(xié)方差矩陣或其它類型的散布矩陣。當樣本數(shù)不足時,矩陣的估計會變得十分粗略,變換的優(yōu)越性也就不能充分的地顯示出來。例53兩個模式類的樣本分別為O1:X1=[2,2],X2=[2,3,X3=[3,32:X4={-2,-2],Xs=[-2,-3],X6=[-3,-3利用自相關(guān)矩陣R作KL變換,把原樣本集壓縮成一維樣本集。解:第一步:計算總體自相關(guān)矩陣R5.76.3R=EXX}=∑XX6.37.3第二步:計算R的本征值,并選擇較大者。由|R-a=0得λ1=1285,λ2=0.15,選擇λ。第三步:根據(jù)Ru1=λ1u1計算λ1對應(yīng)的特征向量u1,歸一化后為u1=-[1,1,14]=[0.66,0.750.66變換