最小平方誤差準則函數(shù)_第1頁
最小平方誤差準則函數(shù)_第2頁
最小平方誤差準則函數(shù)_第3頁
最小平方誤差準則函數(shù)_第4頁
最小平方誤差準則函數(shù)_第5頁
已閱讀5頁,還剩10頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、最小平方誤差準則函數(shù)(MSE, Minimum Squared-Error) 準備知識v模式識別:是指利用計算機自動地或有少量人為干預(yù)的方法把待識別模式加以分類,即劃分到模式類中去。v統(tǒng)計模式識別方法:又稱決策論方法,采用特征向量表示模式。以樣本在特征空間中的具體數(shù)值為基礎(chǔ)。v線性判別函數(shù)是在特征提取完成之后,在特征空間對模式進行分類的方法之一。它既是統(tǒng)計模式識別中的一個重要的基本方法,也是研究統(tǒng)計模式識別方法的基礎(chǔ)。如何得到線性判別函數(shù)? 對一個判別函數(shù)來說,應(yīng)該被確定的有兩個內(nèi)容:其一為方程的形式,其二為方程所帶的系數(shù)。對于線性判別函數(shù)來說,方程的形式為線性的,方程的維數(shù)為特征向量的維數(shù),

2、方程組的數(shù)量決定于待判別對象的類數(shù)。 i = 1,2,.,C 這里 Y稱為增廣特征向量(n +1維),A稱為廣義權(quán)向量,如此則有: 0n2211i.giniiiwxwxwxwxTiniiiiTnwwwwAxxxY).,(,., 121021 YAxgTii最小平方誤差準則函數(shù)背景v 既然方程組的數(shù)量、維數(shù)和形式已定,則判別函數(shù)的設(shè)計就是確定函數(shù)的各系數(shù),也就是線性方程的各權(quán)值。v 感知準則函數(shù)、梯度下降法、固定增量算法、最小平方誤差準則函數(shù)等都是求取線性方程的各權(quán)值的方法。v 但是無論感知準則函數(shù)和梯度下降法,還是固定增量算法,都只適用于線性可分情況。但實際中往往無法確定樣本集是否線性可分。因

3、此希望找到一種方法能夠?qū)煞N情況都適用。既對線性可分問題可以找到將全部樣本正確分類的解權(quán)向量,又對線性不可分問題能夠找到一個使誤差平方和極小的解權(quán)向量。滿足這樣要求的準則函數(shù)就是最小平方誤差準則函數(shù)。平方誤差準則函數(shù)及其偽逆解v對于一個具有n個學(xué)習(xí)樣本的兩類問題,希望找到一個權(quán)向量A,使得 , i = 1,2,.,n得到滿足,將上述不等式改成等式的形式 v v其中bi是任意給定的正常數(shù),將上式寫為聯(lián)立方程組的形式即為:0iTYA0iiTbYABYA 其系數(shù)矩陣Y及常向量B為其中 是d維規(guī)范化增廣樣本向量,Y為 矩陣,n為樣本個數(shù),d為特征數(shù)。ndnnddTnTTyyyyyyyyyYYY.212

4、22211121121nbbbB.21TidiiiyyyY,.,21dn 假如Y是非奇異矩陣,則我們可以得到解 但在大多數(shù)情況下樣本數(shù)n總是大于維數(shù)d,方程個數(shù)多于未知數(shù),這是一個矛盾方程組,通常沒有精確解存在。但我們可以定義一個誤差向量 并定義平方誤差準則函數(shù)然后找一個使 極小化的A作為問題的解,這就是矛盾方程組的最小二乘近似解,也稱為偽逆解偽逆解或MSE解解, 稱為MSE準則函數(shù)。準則函數(shù)。BYA1BYAe2122niiiTbYABYAeAJ AJ AJ用解析法求偽逆解 準則函數(shù)對A求導(dǎo)得:令 取極小,得這里。我們將解 的問題轉(zhuǎn)化為 的問題。這里 是一個 方陣,一般是非奇異的,故可以有唯一

5、解此處 稱為Y的偽逆,A為MSE解。BYAYYbYAAJTiniiiT221 0AJBYYAYTTBYA YYTdd BYBYYYATT1BYYAYTTTTYYYY1MSE解具有的優(yōu)越特性 由MSE的解可知,解A依賴于向量B的值,可以證明,若 ,選取 ,反之 在線性可分情況下,MSE解與Fisher線性判別函數(shù)等價。若選取全部 當 ,MSE解與貝葉斯決策解之間的均方誤差達到極小,即MSE解得到的判別函數(shù)以最小均方誤差逼近貝葉斯判別函數(shù)。因此MSE解通常具有比較優(yōu)越的性能(這里的n為總的樣本數(shù),n1是屬于w1類的樣本數(shù),n2是屬于w2類的樣本數(shù))。1wYi1nnbi2nnbinibi,.,2,1

6、1nv例:設(shè)有兩類的二維點:試求偽逆解及判決邊界。 解:增廣規(guī)范化樣本為,0 ,2,2, 1:1TTw TTw3 , 2,1 , 3:2TTTTyyyy3, 2, 1,1, 3, 1,0 , 2 , 1,2 , 1 , 14321,321131021211Y1411611188684YYT取 得到解決策邊界方程為 即 如果選擇其他的B,自然會得到不同的判決邊界。2151522352234131911YYT31031061216121127431213451TTYYYYTB1 , 1 , 1 , 1TBYA32,34,311?2121241131,1xxxxAyATTT0yAT112421xxM

7、SE準則函數(shù)的梯度下降算法 前面得到的MSE解 需要求偽逆 ,而 帶來的問題有兩個:其一是要求 非奇異;其二是求 時計算量大,同時還可能引入較大的計算誤差。因此實際上往往不用這樣的解析法求MSE解。而是采用如梯度下降法梯度下降法等最優(yōu)化技術(shù)來求解。 如果我們采用梯度下降法,由前面的計算可知 的梯度是BYAYTTYYYY1YYTY AJ BYAYAJT2代價函數(shù) 是一個以未知權(quán)值(參數(shù))向量 為自變量的連續(xù)可微函數(shù),作為一種度量,我們希望找到一個最優(yōu)解 滿足條件即選擇適當?shù)臋?quán)值向量 最小化代價函數(shù) ,這是一個無約束的最優(yōu)化問題。梯度下降法是以迭代下降思想為基礎(chǔ)的無約束最優(yōu)化方法。他以一個初始值

8、開始,產(chǎn)生一系列權(quán)值向量 , 使得代價函數(shù) 在算法的每次迭代中要有下降,即 式中 是權(quán)值向量的舊值, 是他的更新值。在梯度下降法中,對權(quán)值向量 的連續(xù)調(diào)整是在梯度下降的方向進行的,也就是與 的方向相反,為了表示方便,定義 因此,梯度下降法一般表示為式中, 是一個正常數(shù),稱為步長或?qū)W習(xí)率參數(shù), 是代價函數(shù)在 的梯度向量值。 0 1 2 nn1 n1n wg ngnn1 ng n則梯度下降算法可寫成 任意 可以證明,如果選擇 為任意正常數(shù)則用此迭代公式得到的權(quán)向量序列收斂于使的權(quán)向量A,也就是MSE解。無論 奇異與否,該算法總能產(chǎn)生一個有用的權(quán)向量,而且計算量比解析法要少很多。 BAYYkAkAATTk1,1 ?kk1 02BYAYAJT1YYTWidrow-Hoff算法 為了進一步減小計算量和存儲量,我們可以把樣本看成一個無限重復(fù)出現(xiàn)的序列而逐個加以考慮,這樣梯度下降算法可修改為 任意 其中 為使 的樣本。由于 是任意給定的正常數(shù),要使 一般不可能,因而修正過程永遠不會終止

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論