人工智能7第七章機(jī)器學(xué)習(xí)課件

機(jī)器學(xué)習(xí)要介紹的內(nèi)容機(jī)器學(xué)習(xí)概述統(tǒng)計(jì)學(xué)習(xí)理論的方法基于符號(hào)的方法連接主義的方法遺傳與進(jìn)化的方法第七章機(jī)器學(xué)習(xí)12/9/20221機(jī)器學(xué)習(xí)要介紹的內(nèi)容機(jī)器學(xué)習(xí)概述第七章機(jī)器學(xué)習(xí)12/7/機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)還沒有統(tǒng)一的定義機(jī)器學(xué)習(xí)的一種定義:機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能,并識(shí)別現(xiàn)有知識(shí)的學(xué)問。

另一種機(jī)器學(xué)習(xí)定義：如果一個(gè)計(jì)算機(jī)程序針對(duì)某類任務(wù)T的用P衡量的性能根據(jù)經(jīng)驗(yàn)E來自我完善。那么我們稱這個(gè)計(jì)算機(jī)程序在從經(jīng)驗(yàn)E中學(xué)習(xí)，針對(duì)某類任務(wù)T，它的性能用P來衡量任何智能系統(tǒng)必須具備學(xué)習(xí)的能力學(xué)習(xí)是使得智能主體在與環(huán)境交互的過程中改變自己.

第七章機(jī)器學(xué)習(xí)7.1概述12/9/20222機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)還沒有統(tǒng)一的定義第七章機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)研究的幾種觀點(diǎn)統(tǒng)計(jì)學(xué)習(xí)理論--基于統(tǒng)計(jì)理論進(jìn)行的推斷、預(yù)測(cè)等學(xué)習(xí)方法。符號(hào)主義采用符號(hào)來表示問題域中的實(shí)體極其關(guān)系,通過對(duì)符號(hào)語言表示的規(guī)則進(jìn)行搜索，試圖用這些符號(hào)來推出新的、有效的并且也用這些符號(hào)表達(dá)的一般規(guī)則。連接主義受生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)的啟發(fā)，把知識(shí)表示為由小的個(gè)體處理單元組成的網(wǎng)絡(luò)的激活或者抑制狀態(tài)模式。學(xué)習(xí)是通過訓(xùn)練數(shù)據(jù)來修改網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值來實(shí)現(xiàn)。遺傳和進(jìn)化觀點(diǎn)，在開始時(shí)有一組問題的后選解，根據(jù)他們解決問題的能力來進(jìn)化，適者生存，并相互交叉產(chǎn)生下一代解，這樣，解不斷的增強(qiáng)就像達(dá)爾文描述的生物世界一樣第七章機(jī)器學(xué)習(xí)7.1概述12/9/20223機(jī)器學(xué)習(xí)研究的幾種觀點(diǎn)統(tǒng)計(jì)學(xué)習(xí)理論--基于統(tǒng)計(jì)理論進(jìn)行的推斷機(jī)器學(xué)習(xí)問題的表示系統(tǒng)s是要研究的對(duì)象，給定輸入x，得到輸出yLM是所求的學(xué)習(xí)機(jī)，預(yù)測(cè)輸出y’機(jī)器學(xué)習(xí)目的根據(jù)給定的已知訓(xùn)練樣本，求取對(duì)系統(tǒng)輸入／輸出之間依賴關(guān)系的估計(jì)，使它能夠?qū)ξ粗敵鲎鞒霰M可能準(zhǔn)確的預(yù)測(cè)。第七章機(jī)器學(xué)習(xí)7.1概述輸入x系統(tǒng)（s）背景知識(shí)輸出y學(xué)習(xí)機(jī)（LM）預(yù)測(cè)輸出y’圖機(jī)器學(xué)習(xí)問題的基本模型12/9/20224機(jī)器學(xué)習(xí)問題的表示系統(tǒng)s是要研究的對(duì)象，給定輸入x，得到輸出機(jī)器學(xué)習(xí)問題的形式化表示已知變量y與輸入x之間存在一定的未知依賴關(guān)系，即存在一個(gè)未知的聯(lián)合概率F(x,y)，機(jī)器學(xué)習(xí)根據(jù)n個(gè)獨(dú)立同分布觀測(cè)樣本(x1,y1),…(xn,yn)，在一組函數(shù){f(x,w)}中求一個(gè)最優(yōu)的函數(shù)f(x,w0)對(duì)依賴關(guān)系進(jìn)行估計(jì)，使預(yù)測(cè)的期望風(fēng)險(xiǎn)最小第七章機(jī)器學(xué)習(xí)7.1概述其中，{f(x,w)}為預(yù)測(cè)函數(shù)集，L()為損失函數(shù)預(yù)測(cè)函數(shù)又稱為學(xué)習(xí)函數(shù)或?qū)W習(xí)模型12/9/20225機(jī)器學(xué)習(xí)問題的形式化表示已知變量y與輸入x之間存在一定的未機(jī)器學(xué)習(xí)中的三類基本問題模式識(shí)別函數(shù)逼近概率密度第七章機(jī)器學(xué)習(xí)7.1概述輸入x系統(tǒng)（s）背景知識(shí)輸出y學(xué)習(xí)機(jī)（LM）預(yù)測(cè)輸出y’12/9/20226機(jī)器學(xué)習(xí)中的三類基本問題模式識(shí)別第七章機(jī)器學(xué)習(xí)模式識(shí)別問題的損失函數(shù)模式識(shí)別問題，其實(shí)是個(gè)分類問題多模式識(shí)別問題可以分解成若干個(gè)兩模式識(shí)別問題預(yù)測(cè)函數(shù)可只考慮二值函數(shù)y是只取0，1損失函數(shù)可定義為：第七章機(jī)器學(xué)習(xí)7.1概述12/9/20227模式識(shí)別問題的損失函數(shù)模式識(shí)別問題，其實(shí)是個(gè)分類問題第七章機(jī)函數(shù)逼近問題的損失函數(shù)y是連續(xù)變量，是x的函數(shù)f(x,w)是實(shí)函數(shù)損失函數(shù)可定義為第七章機(jī)器學(xué)習(xí)7.1概述12/9/20228函數(shù)逼近問題的損失函數(shù)y是連續(xù)變量，是x的函數(shù)第七章機(jī)器學(xué)習(xí)概率密度估計(jì)問題的損失函數(shù)學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的概率分布。將密度函數(shù)記為p(x,w)，損失函數(shù)可以定義為：第七章機(jī)器學(xué)習(xí)7.1概述12/9/20229概率密度估計(jì)問題的損失函數(shù)學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的經(jīng)驗(yàn)風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)是預(yù)測(cè)函數(shù)在整個(gè)樣本空間上出錯(cuò)率的數(shù)學(xué)期望期望風(fēng)險(xiǎn)必須依賴于聯(lián)合概率的信息聯(lián)合概率未知，因此期望風(fēng)險(xiǎn)實(shí)際上不可求傳統(tǒng)的學(xué)習(xí)方法采用了經(jīng)驗(yàn)風(fēng)險(xiǎn)來近似期望風(fēng)險(xiǎn)定義經(jīng)驗(yàn)風(fēng)險(xiǎn)第七章機(jī)器學(xué)習(xí)7.1概述12/9/202210經(jīng)驗(yàn)風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)是預(yù)測(cè)函數(shù)在整個(gè)樣本空間上出錯(cuò)率的數(shù)學(xué)期望經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)為訓(xùn)練樣本集上的平均錯(cuò)誤率設(shè)計(jì)學(xué)習(xí)函數(shù)使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與期望風(fēng)險(xiǎn)最小化的等價(jià)前提是樣本數(shù)據(jù)足夠多只有在樣本數(shù)趨于無窮大時(shí)，其性能才有理論上的保證。但在小樣本的情況下，期望風(fēng)險(xiǎn)最小化到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化并沒有可靠的理論依據(jù)，只是直觀上合理的想當(dāng)然做法。在實(shí)際應(yīng)用中，一般難以取得理想的效果。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202211經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)為訓(xùn)練樣本集上的平均錯(cuò)誤率第七章機(jī)器學(xué)推廣能力（泛化能力）學(xué)習(xí)機(jī)器對(duì)未來輸出進(jìn)行正確預(yù)測(cè)的能力稱為推廣能力（或泛化能力）。在某些情況下，當(dāng)訓(xùn)練誤差過小反而會(huì)導(dǎo)致推廣能力的下降這就是過學(xué)習(xí)問題。出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因：一是因?yàn)閷W(xué)習(xí)樣本不充分；二是學(xué)習(xí)機(jī)器設(shè)計(jì)不合理。這兩個(gè)問題是互相關(guān)聯(lián)的。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202212推廣能力（泛化能力）學(xué)習(xí)機(jī)器對(duì)未來輸出進(jìn)行正確預(yù)測(cè)的能力稱為預(yù)測(cè)問題舉例

綠色曲線：y=sin(2πx)藍(lán)點(diǎn)：有隨機(jī)噪聲的樣本目標(biāo)：曲線擬合，以便對(duì)新的輸入值x’，預(yù)測(cè)輸出y’第七章機(jī)器學(xué)習(xí)7.1概述12/9/202213預(yù)測(cè)問題舉例綠色曲線：y=sin(2πx)第七章機(jī)器學(xué)習(xí)多項(xiàng)式曲線擬合（回歸）第七章機(jī)器學(xué)習(xí)7.1概述學(xué)習(xí)，首先要選擇一種模型形式這里，我們選擇多項(xiàng)式曲線由于多項(xiàng)式對(duì)于未知參數(shù)是線性的這種模型稱為線性模型12/9/202214多項(xiàng)式曲線擬合（回歸）第七章機(jī)器學(xué)習(xí)確定參數(shù)w第七章機(jī)器學(xué)習(xí)7.1概述如何訓(xùn)練模型（確定w）因?yàn)槭蔷€性模型風(fēng)險(xiǎn)函數(shù)選擇誤差平方和我們要確定w，使風(fēng)險(xiǎn)最小12/9/202215確定參數(shù)w第七章機(jī)器學(xué)習(xí)

多項(xiàng)式次數(shù)M的選擇thebestfittothefunction第七章機(jī)器學(xué)習(xí)7.1概述欠擬合：對(duì)數(shù)據(jù)擬合差表示性差過擬合：對(duì)訓(xùn)練數(shù)據(jù)精確擬合，對(duì)函數(shù)表示差12/9/202216多項(xiàng)式次數(shù)M的選擇thebestfittot測(cè)試數(shù)據(jù)進(jìn)行評(píng)價(jià)均方根(RMS)誤差(風(fēng)險(xiǎn)):N:標(biāo)準(zhǔn)化平方根:在同一尺度下度量ERMS

第七章機(jī)器學(xué)習(xí)7.1概述從圖中看出：泛化性依賴M選擇：M=3-9過擬合：對(duì)訓(xùn)練數(shù)據(jù)精確擬合，對(duì)函數(shù)表示差在M=9，為什么會(huì)震蕩？12/9/202217測(cè)試數(shù)據(jù)進(jìn)行評(píng)價(jià)均方根(RMS)誤差(風(fēng)險(xiǎn)):N:標(biāo)準(zhǔn)多項(xiàng)式系數(shù)

第七章機(jī)器學(xué)習(xí)7.1概述用不同次數(shù)下的w，考察欠擬合與過擬合問題隨著M的增加，為了擬合隨機(jī)噪音，w在變大12/9/202218多項(xiàng)式系數(shù)第七章機(jī)器學(xué)習(xí)數(shù)據(jù)集規(guī)模產(chǎn)生的影響數(shù)據(jù)集越大，擬合數(shù)據(jù)的模型就越靈活第七章機(jī)器學(xué)習(xí)7.1概述12/9/202219數(shù)據(jù)集規(guī)模產(chǎn)生的影響數(shù)據(jù)集越大，擬合數(shù)據(jù)的模型就越靈預(yù)測(cè)函數(shù)復(fù)雜性與泛化能力

從前例可以看出：“最優(yōu)擬合函數(shù)”不一定能正確代表原來的函數(shù)模型。原因是：用一個(gè)復(fù)雜的模型去擬合有限的樣本，結(jié)果就會(huì)喪失推廣能力。有限樣本下學(xué)習(xí)機(jī)器的復(fù)雜性與推廣性之間的矛盾。有時(shí)，已知問題是某個(gè)比較復(fù)雜的模型：

由于訓(xùn)練樣本有限，如用復(fù)雜預(yù)測(cè)函數(shù)去學(xué)習(xí)效果通常不如用相對(duì)簡(jiǎn)單的預(yù)測(cè)函數(shù)。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202220預(yù)測(cè)函數(shù)復(fù)雜性與泛化能力從前例可以看出：第七章機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。它從理論上較系統(tǒng)地研究了：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化規(guī)則成立的條件、有限樣本下經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)的關(guān)系如何利用這些理論找到新的學(xué)習(xí)原則和方法其主要內(nèi)容包括如下四個(gè)方面：①經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件；②在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論；③在這些界的基礎(chǔ)上建立的小樣本歸納推理原則；④實(shí)現(xiàn)這些新的原則的實(shí)際方法。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202221統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)學(xué)習(xí)過程一致性學(xué)習(xí)一致性的結(jié)論是統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)一致性條件，保證在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下得到的最優(yōu)方法當(dāng)樣本無窮大時(shí)趨近于使期望風(fēng)險(xiǎn)最小的最優(yōu)結(jié)果。學(xué)習(xí)過程的一致性：(x1,y1)…，(xn.yn)是n個(gè)獨(dú)立同分布樣本f(x,w*)最優(yōu)預(yù)測(cè)函數(shù)Min(Remp(w))=Remp(w*|n)是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小值R(w*|n)為相應(yīng)的真實(shí)風(fēng)險(xiǎn)值（期望風(fēng)險(xiǎn)值）R

(w0)=inf(R(w))為實(shí)際的最小真實(shí)風(fēng)險(xiǎn)值（期望風(fēng)險(xiǎn)值）如果：Remp(w*|n)→R

(w0)，R(w*|n)→R

(w0)第七章機(jī)器學(xué)習(xí)7.1概述12/9/202222學(xué)習(xí)過程一致性學(xué)習(xí)一致性的結(jié)論是統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)第七章機(jī)器學(xué)習(xí)過程一致性的條件非平凡一致性:如果預(yù)測(cè)函數(shù)集中每個(gè)函數(shù)都滿足一致性學(xué)習(xí)理論關(guān)鍵定理：對(duì)于有界的損失函數(shù)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)一致的充分必要條件是經(jīng)驗(yàn)風(fēng)險(xiǎn)在如下意義上一致地收斂于真實(shí)風(fēng)險(xiǎn)其中，P表示概率，Remp(w)、R

(w)分別表示在n個(gè)樣本下的經(jīng)驗(yàn)風(fēng)險(xiǎn)和真實(shí)風(fēng)險(xiǎn)。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202223學(xué)習(xí)過程一致性的條件非平凡一致性:第七章機(jī)器學(xué)習(xí)定義指標(biāo)，衡量函數(shù)集性能學(xué)習(xí)理論關(guān)鍵定理沒有給出什么樣的學(xué)習(xí)方法能夠滿足這些條件為了研究函數(shù)集在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下的學(xué)習(xí)一致性問題和一致性收斂的速度定義一些指標(biāo)：指示函數(shù)集的熵（VC熵）和生長(zhǎng)函數(shù)退火的VC熵VC維第七章機(jī)器學(xué)習(xí)7.1概述12/9/202224定義指標(biāo)，衡量函數(shù)集性能學(xué)習(xí)理論關(guān)鍵定理沒有給出什么樣的學(xué)習(xí)指示函數(shù)集的熵和生長(zhǎng)函數(shù)指示函數(shù)集：{f(x,w)}樣本集：Zn={zi=(xi,yi)i=1,…n}函數(shù)集中的函數(shù)能對(duì)這組樣本實(shí)現(xiàn)的不同種分類數(shù)目：N(Zn)隨機(jī)熵：H(Zn)=In(N(Zn))(函數(shù)集在這組樣本上的)指示函數(shù)集的熵（VC熵）：H(n)=E(In(N(Zn)))(與樣本無關(guān))由于VC熵與樣本的分布有關(guān)生長(zhǎng)函數(shù)：G(n)=In(max(N(Zn)))第七章機(jī)器學(xué)習(xí)7.1概述12/9/202225指示函數(shù)集的熵和生長(zhǎng)函數(shù)指示函數(shù)集：{f(x,w)}第七章機(jī)退火的VC熵定義為：Hann(n)=In(E(N(Zn)))∵Jensen不等式∑aiInxi≤In(∑aixi)∴H(n)≤Hann(n)≤G(n)≤nIn2第七章機(jī)器學(xué)習(xí)7.1概述12/9/202226退火的VC熵定義為：Hann(n)=In(E(N(Zn)))學(xué)習(xí)過程一致收斂的充分必要條件函數(shù)集學(xué)習(xí)過程一致收斂的充分必要條件是對(duì)任意的樣本分布，都有l(wèi)imG(n)/n=0這時(shí)學(xué)習(xí)過程收斂速度一定是快的函數(shù)集學(xué)習(xí)收斂速度快的充分必要條件是limHann(n)/n=0第七章機(jī)器學(xué)習(xí)7.1概述12/9/202227學(xué)習(xí)過程一致收斂的充分必要條件函數(shù)集學(xué)習(xí)過程一致收斂的充分必生長(zhǎng)函數(shù)的性質(zhì)所有函數(shù)集的生長(zhǎng)函數(shù)或者：G(n)=nIn2或者G(n)≤hIn(n/h+1)n>h其中，h是一個(gè)整數(shù)可以看出，生長(zhǎng)函數(shù)要么是線性的，要么以參數(shù)為h的對(duì)數(shù)函數(shù)為上界。第七章機(jī)器學(xué)習(xí)7.1概述G(n)nIn2nhhIn(n/h+1)12/9/202228生長(zhǎng)函數(shù)的性質(zhì)所有函數(shù)集的生長(zhǎng)函數(shù)或者：第七章機(jī)器學(xué)習(xí)VC維函數(shù)集能夠把樣本集打散：函數(shù)集中的函數(shù)有2h種形式把h個(gè)樣本的樣本集分為兩類，指示函數(shù)集的VC維：函數(shù)集能夠打散的最大樣本集的h如果指示函數(shù)集的生長(zhǎng)函數(shù)是線性的，其VC維為無窮大如果生長(zhǎng)函數(shù)以參數(shù)為h的對(duì)數(shù)函數(shù)為上界，則函數(shù)集的VC維是hVC維是對(duì)由學(xué)習(xí)機(jī)器實(shí)現(xiàn)的分類函數(shù)族的容量或表示能力的測(cè)度。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202229VC維函數(shù)集能夠把樣本集打散：第七章機(jī)器學(xué)習(xí)VC維與學(xué)習(xí)過程一致性經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)過程一致的充分必要條件是函數(shù)集的VC維有限，且這時(shí)收斂速度是快的。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202230VC維與學(xué)習(xí)過程一致性經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)過程一致的充分必要推廣性的界對(duì)于兩類分類問題，對(duì)指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間至少以概率1-η滿足：第七章機(jī)器學(xué)習(xí)7.1概述Φ稱為置信范圍，或VC信任置信范圍既受置信概率概率1-η的影響，也受VC維和樣本數(shù)目的影響當(dāng)n/h較小時(shí)，置信范圍較大，用經(jīng)驗(yàn)風(fēng)險(xiǎn)近似真實(shí)風(fēng)險(xiǎn)就有較大的誤差當(dāng)n/h較大，則置信范圍就會(huì)很小，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的最優(yōu)解就接近實(shí)際的最優(yōu)解。12/9/202231推廣性的界對(duì)于兩類分類問題，對(duì)指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)對(duì)推廣性界的說明推廣性的界是對(duì)于最壞情況的結(jié)論給出的界在很多情況下是松弛的，尤其當(dāng)VC維比較高時(shí)更是如此。VC維無窮大時(shí)這個(gè)界就不再成立這種界往往只在對(duì)同一類學(xué)習(xí)函數(shù)進(jìn)行比較時(shí)是有效的，用于指導(dǎo)從函數(shù)集中選擇最優(yōu)的函數(shù)在不同函數(shù)集之間比較卻不一定成立。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202232對(duì)推廣性界的說明推廣性的界是對(duì)于最壞情況的結(jié)論第七章機(jī)器學(xué)習(xí)函數(shù)子集序列（子集結(jié)構(gòu)）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則在樣本數(shù)目有限時(shí)不合理：需要同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍?？紤]分解函數(shù)集S={f(x,w)}為一個(gè)函數(shù)子集序列（或叫子集結(jié)構(gòu)）:

S1S2…Sn…S:使各個(gè)子集能夠按照置信范圍φ的大小排列，也就是按VC維的大小排列，即：

h1≤h2≤…≤hn≤…≤hS同一個(gè)子集中置信范圍就相同第七章機(jī)器學(xué)習(xí)7.1概述12/9/202233函數(shù)子集序列（子集結(jié)構(gòu)）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則在樣本數(shù)目有限時(shí)不結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則SRM在每一個(gè)子集中尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn)通常它隨著子集復(fù)雜度的增加而減小選擇最小經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信范圍之和最小的子集，就可以達(dá)到期望風(fēng)險(xiǎn)的最小，這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是要求的最優(yōu)函數(shù)。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202234結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則SRM在每一個(gè)子集中尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn)第七章SnS*經(jīng)驗(yàn)風(fēng)險(xiǎn)置信范圍真實(shí)風(fēng)險(xiǎn)的界h1h*hnhS1S*Sn結(jié)構(gòu)風(fēng)險(xiǎn)最小化圖示風(fēng)險(xiǎn)第七章機(jī)器學(xué)習(xí)7.1概述欠學(xué)習(xí)過學(xué)習(xí)12/9/202235SnS*經(jīng)驗(yàn)風(fēng)險(xiǎn)置信范圍真實(shí)風(fēng)險(xiǎn)的界h1h合理的函數(shù)子集結(jié)構(gòu)應(yīng)滿足兩個(gè)基本條件：一是每個(gè)子集的VC維是有限的且滿足h1≤h2≤…≤hn≤…≤hS二是每個(gè)子集中的函數(shù)對(duì)應(yīng)的損失函數(shù)或者是有界的非負(fù)函數(shù)，或者對(duì)一定的參數(shù)對(duì)（p,τk）滿足如下關(guān)系第七章機(jī)器學(xué)習(xí)7.1概述Q(z,α)為損失函數(shù)12/9/202236合理的函數(shù)子集結(jié)構(gòu)應(yīng)滿足兩個(gè)基本條件：第七章機(jī)器學(xué)習(xí)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則下，分類器的設(shè)計(jì)過程設(shè)計(jì)過程包括以下兩方面任務(wù)：選擇一個(gè)適當(dāng)?shù)暮瘮?shù)子集，使之對(duì)問題來說有最優(yōu)的分類能力；從這個(gè)子集中選擇一個(gè)判別函數(shù)，使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小。第一步相當(dāng)于模型選擇，而第二步則相當(dāng)于在確定了函數(shù)形式后的參數(shù)估計(jì)。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202237結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則下，分類器的設(shè)計(jì)過程設(shè)計(jì)過程包括以下兩方面尋找具體使用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的方法結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則比經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則更科學(xué)最終目的是在經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之間進(jìn)行折中實(shí)際上實(shí)施這一原則并不容易如果能夠找到一種子集劃分方法，使得不必逐一計(jì)算就可以知道每個(gè)子集中所可能取得的最小經(jīng)驗(yàn)風(fēng)險(xiǎn)，則兩步任務(wù)就可以分開進(jìn)行：先選擇使置信范圍最小的子集，然后在其中選擇最優(yōu)函數(shù)。結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一般原則可以用不同的方法實(shí)現(xiàn)支持向量機(jī)是其中最成功的一個(gè)通過固定經(jīng)驗(yàn)風(fēng)險(xiǎn)而最小化置信范圍實(shí)現(xiàn)的。第七章機(jī)器學(xué)習(xí)7.1概述12/9/202238尋找具體使用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的方法結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則比經(jīng)驗(yàn)7.2線性分類器第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/2022397.2線性分類器第七章機(jī)器學(xué)習(xí) 線性分類器定義

在二類分類問題中,如果我們的學(xué)習(xí)函數(shù)選擇為：第七章機(jī)器學(xué)習(xí)

7.2線性分類器這種學(xué)習(xí)函數(shù)稱為線性分類器12/9/202240線性分類器定義在二類分類問題中,如果我們的學(xué)習(xí)函數(shù)選擇為：a考慮對(duì)下面情況的分類第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202241a考慮對(duì)下面情況的分類第七章機(jī)器學(xué)習(xí)采樣線性分類，可以這樣第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202242采樣線性分類，可以這樣第七章機(jī)器學(xué)習(xí)采樣線性分類，也可以這樣Copyright?2001,2003,AndrewW.Moore第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202243采樣線性分類，也可以這樣Copyright?2001,采樣線性分類，還可以這樣Copyright?2001,2003,AndrewW.Moore第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202244采樣線性分類，還可以這樣Copyright?2001,分類超平面有訓(xùn)練集：(xi,yi),i=1,2,…N;yi{+1,-1}如果分類函數(shù)y=wx+b，能夠正確訓(xùn)練集超平面（Hyperplane）:

wx+b=0稱為分類超平面第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202245分類超平面有訓(xùn)練集：第七章機(jī)器學(xué)習(xí)分類間隔樣本點(diǎn)(xi,yi),到超平面H的函數(shù)間隔：yi(w?xi+b)

幾何間隔:只需換成歸一化函數(shù)(w/||w||，b/||w||)分類間隔（樣本集到分類超平面的間隔）:樣本集中所有點(diǎn)到分類超平面間隔（幾何間隔）中的最小值第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202246分類間隔樣本點(diǎn)(xi,yi),到超平面H的函數(shù)間隔：第七章感知機(jī)算法第七章機(jī)器學(xué)習(xí)

7.2線性分類器給定線性可分樣集S，學(xué)習(xí)率η∈R+W0=0,b0=0,k;R=max||xi||;do{k=0;for(i=1;i≤n;i++){if(yi(wk?xi+bk)≤0){wk+1=wk+η?yi?xi;bk+1=bk+η?yi?R2;k++;}}while(k>0)12/9/202247感知機(jī)算法第七章機(jī)器學(xué)習(xí)分類間隔與誤分次數(shù)的關(guān)系

在采樣感知機(jī)算法時(shí)，若分類間隔=δ，R=max||xi||

i=1,...,n，則：第七章機(jī)器學(xué)習(xí)

7.2線性分類器誤分次數(shù)一定程度上代表分類器的誤差分類間隔越大的解，它的誤差上界越小。最大化分類間隔成了訓(xùn)練階段的目標(biāo)12/9/202248分類間隔與誤分次數(shù)的關(guān)系在采樣感知機(jī)算法時(shí)，第七章機(jī)器學(xué)習(xí)最優(yōu)分類面要求分類面能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),且使分類間隔最大第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202249最優(yōu)分類面要求分類面能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),第七固定斜率時(shí)，最大間隔分類面的導(dǎo)出設(shè)過兩類中最靠近分類面的點(diǎn)的線分別為：w’?x+b’=k1l1w’?x+b’=k2l2平行移動(dòng)分類面，使：K1=

k2=

k令w=w’/k,b=b’/k,則l1,l2變?yōu)椋簑?x+b=1

w’?x+b=1分類面則為：w?x+b=0第七章機(jī)器學(xué)習(xí)

7.2線性分類器wx+b>1wx+b<1wx+b=1wx+b=-1wx+b=012/9/202250固定斜率時(shí)，最大間隔分類面的導(dǎo)出設(shè)過兩類中最靠近分類面的點(diǎn)的固定斜率時(shí)，最大間隔的計(jì)算？考慮2維空間中的間隔情況求出兩條極端直線的距離，即“間隔”

：第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202251固定斜率時(shí)，最大間隔的計(jì)算？考慮2維空間中的間隔情況求出兩條極大化“間隔”的思想導(dǎo)致求解下列對(duì)變量和的最優(yōu)化問題說明：只要我們求得該問題的最優(yōu)解，從而構(gòu)造分劃超平面，求出決策函數(shù)。上述方法對(duì)一般上的分類問題也適用.原始問題最優(yōu)分類面的導(dǎo)出第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202252極大化“間隔”的思想導(dǎo)致求解下列對(duì)變量和的最優(yōu)化支持向量最靠近分類面的樣本點(diǎn)，稱為支持向量

第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202253支持向量最靠近分類面的樣本點(diǎn)，稱為支持向量第七章機(jī)器學(xué)習(xí)求解原始問題為求解原始問題，根據(jù)最優(yōu)化理論，我們轉(zhuǎn)化為對(duì)偶問題來求解對(duì)偶問題為原始問題中與每個(gè)約束條件對(duì)應(yīng)的Lagrange乘子。這是一個(gè)不等式約束條件下的二次函數(shù)尋優(yōu)問題，存在唯一解12/9/202254求解原始問題為求解原始問題，根據(jù)最優(yōu)化理論，我們轉(zhuǎn)化為對(duì)偶問線性可分問題計(jì)算，選擇的一個(gè)正分量,并據(jù)此計(jì)算事實(shí)上，的每一個(gè)分量都與一個(gè)訓(xùn)練點(diǎn)相對(duì)應(yīng)。而分劃超平面僅僅依賴于不為零的訓(xùn)練點(diǎn)，而與對(duì)應(yīng)于為零的那些訓(xùn)練點(diǎn)無關(guān)。稱不為零的這些訓(xùn)練點(diǎn)的輸入為支持向量(SV)構(gòu)造分劃超平面,決策函數(shù)根據(jù)最優(yōu)解12/9/202255線性可分問題計(jì)算近似線性可分問題不要求所有訓(xùn)練點(diǎn)都滿足約束條件，為此對(duì)第個(gè)訓(xùn)練點(diǎn)引入松弛變量(SlackVariable),把約束條件放松到。體現(xiàn)了訓(xùn)練集被錯(cuò)分的情況，可采用作為一種度量來描述錯(cuò)劃程度。兩個(gè)目標(biāo)：1.間隔盡可能大2.錯(cuò)劃程度盡可能小顯然，當(dāng)充分大時(shí)，樣本點(diǎn)總可以滿足以上約束條件。然而事實(shí)上應(yīng)避免太大，所以需在目標(biāo)函數(shù)對(duì)進(jìn)行懲罰（即“軟化”約束條件）12/9/202256近似線性可分問題不要求所有訓(xùn)練點(diǎn)都滿足約束條件因此，引入一個(gè)懲罰參數(shù)，新的目標(biāo)函數(shù)變?yōu)?體現(xiàn)了經(jīng)驗(yàn)風(fēng)險(xiǎn)，而則體現(xiàn)了表達(dá)能力。所以懲罰參數(shù)實(shí)質(zhì)上是對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)和表達(dá)能力匹配一個(gè)裁決。當(dāng)時(shí)，近似線性可分SVC的原始問題退化為線性可分SVC的原始問題。近似線性可分問題12/9/202257因此，引入一個(gè)懲罰參數(shù)，新的目標(biāo)函數(shù)變?yōu)?(廣義)線性支持向量分類機(jī)算法設(shè)已知訓(xùn)練集，其中2.選擇適當(dāng)?shù)膽土P參數(shù)，構(gòu)造并求解最優(yōu)化問題3.計(jì)算，選擇的一個(gè)分量，并據(jù)此計(jì)算出4.構(gòu)造分劃超平面,決策函數(shù)求得12/9/202258(廣義)線性支持向量分類機(jī)算法設(shè)已知訓(xùn)練集非線性分類例子:12/9/202259非線性分類例子:12/7/202259Non-linearClassificationWhatcanwedoiftheboundaryisnonlinear?Idea:transformthedatavectorstoaspacewheretheseparatorislinear12/9/202260Non-linearClassificationWhatNon-linearClassificationThetransformationmanytimesismadetoaninfinitedimensionalspace,usuallyafunctionspace.Example:xcos(uTx)12/9/202261Non-linearClassificationThetNon-linearSVMsTransformx

(x)Thelinearalgorithmdependsonlyonxxi,hencetransformedalgorithmdependsonlyon(x)(xi)UsekernelfunctionK(xi,xj)suchthatK(xi,xj)=(x)(xi)

12/9/202262Non-linearSVMsTransformx設(shè)訓(xùn)練集，其中假定可以用平面上的二次曲線來分劃：現(xiàn)考慮把2維空間映射到6維空間的變換上式可將2維空間上二次曲線映射為6維空間上的一個(gè)超平面：非線性分類12/9/202263設(shè)訓(xùn)練集可見，只要利用變換，把所在的2維空間的兩類輸入點(diǎn)映射到所在的6維空間，然后在這個(gè)6維空間中，使用線性學(xué)習(xí)機(jī)求出分劃超平面：最后得出原空間中的二次曲線：怎樣求6維空間中的分劃超平面？(線性支持向量分類機(jī))非線性分類12/9/202264可見，只要利用變換，把所在的2維空間的兩類輸入點(diǎn)映需要求解的最優(yōu)化問題其中非線性分類12/9/202265需要求解的最優(yōu)化問題其中非線性分類12/7/202265在求得最優(yōu)化問題的解后，得到分劃超平面其中最后得到?jīng)Q策函數(shù)或線性分劃－>非線性分劃

代價(jià)：2維空間內(nèi)積－>6維空間內(nèi)積非線性分類12/9/202266在求得最優(yōu)化問題的解為此，引進(jìn)函數(shù)有比較(2)和(3)，可以發(fā)現(xiàn)這是一個(gè)重要的等式，提示6維空間中的內(nèi)積可以通過計(jì)算中2維空間中的內(nèi)積得到。非線性分類12/9/202267為此，引進(jìn)函數(shù)有比較(2)和(3)，可以發(fā)現(xiàn)這是一個(gè)重要的等實(shí)現(xiàn)非線性分類的思想給定訓(xùn)練集后，決策函數(shù)僅依賴于而不需要再考慮非線性變換如果想用其它的非線性分劃辦法，則可以考慮選擇其它形式的函數(shù)，一旦選定了函數(shù)，就可以求解最優(yōu)化問題得，而決策函數(shù)12/9/202268實(shí)現(xiàn)非線性分類的思想給定訓(xùn)練集后，決策函數(shù)僅依賴于得決策函數(shù)其中實(shí)現(xiàn)非線性分類的思想12/9/202269決策函數(shù)其中實(shí)現(xiàn)非線性分類的思想12/7/202269設(shè)是中的一個(gè)子集。稱定義在上的函數(shù)是核函數(shù)(正定核或核)，如果存在著從到某一個(gè)空間的映射使得其中表示中的內(nèi)積核函數(shù)(核或正定核)定義12/9/202270設(shè)是中的一個(gè)子集。稱定義在多項(xiàng)式內(nèi)核徑向基函數(shù)內(nèi)核RBFSigmoind內(nèi)核目前研究最多的核函數(shù)主要有三類：得到q階多項(xiàng)式分類器每個(gè)基函數(shù)中心對(duì)應(yīng)一個(gè)支持向量，它們及輸出權(quán)值由算法自動(dòng)確定包含一個(gè)隱層的多層感知器，隱層節(jié)點(diǎn)數(shù)是由算法自動(dòng)確定核函數(shù)的選擇12/9/202271多項(xiàng)式內(nèi)核目前研究最多的核函數(shù)主要有三類：得到q階多項(xiàng)式分多項(xiàng)式內(nèi)核Thekindofkernelrepresentstheinnerproductoftwovector(point)inafeaturespaceofdimension.Forexample12/9/202272多項(xiàng)式內(nèi)核Thekindofkernelrepres－EdgarOsuna(Cambridge,MA)等人在IEEENNSP’97發(fā)表了AnImprovedTrainingAlgorithmforSupportVectorMachines,提出了SVM的分解算法，即將原問題分解為若干個(gè)子問題，按照某種迭代策略，通過反復(fù)求解子問題，最終使得結(jié)果收斂于原問題的最優(yōu)解。傳統(tǒng)的利用二次型優(yōu)化技術(shù)解決對(duì)偶問題時(shí)：需要計(jì)算存儲(chǔ)核函數(shù)矩陣。當(dāng)樣本點(diǎn)數(shù)較大時(shí)，需要很大的存儲(chǔ)空間。例如：當(dāng)樣本點(diǎn)超過4000時(shí)，存儲(chǔ)核函數(shù)矩陣就需要多達(dá)128兆內(nèi)存；SVM在二次型尋優(yōu)過程中要進(jìn)行大量的矩陣運(yùn)算，通常尋優(yōu)算法占用了算法時(shí)間的主要部分。SVM尋優(yōu)算法12/9/202273－傳統(tǒng)的利用二次型優(yōu)化技術(shù)解決對(duì)偶問題時(shí)：SVM尋優(yōu)算法12考慮去掉Lagrange乘子等于零的訓(xùn)練樣本不會(huì)影響原問題的解，采用一部分樣本構(gòu)成工作樣本集進(jìn)行訓(xùn)練，移除其中的非支持向量，并把訓(xùn)練結(jié)果對(duì)剩余樣本進(jìn)行檢驗(yàn)，將不符合KKT條件的樣本與本次結(jié)果的支持向量合并成為一個(gè)新的工作集。然后重新訓(xùn)練，如此重復(fù)獲得最優(yōu)結(jié)果。例如：基于這種思路的算法。根據(jù)子問題的劃分和迭代策略的不同，大致分為：塊算法(ChunkingAlgorithm)：SVM尋優(yōu)算法12/9/202274考慮去掉Lagrange乘子等于零的訓(xùn)練樣本不會(huì)影響原問題的SMO使用了塊與分解技術(shù)，而SMO算法則將分解算法思想推向極致，每次迭代僅優(yōu)化兩個(gè)點(diǎn)的最小子集，其威力在于兩個(gè)數(shù)據(jù)點(diǎn)的優(yōu)化問題可以獲得解析解，從而不需要將二次規(guī)劃優(yōu)化算法作為算法一部分。盡管需要更多的迭代才收斂，但每個(gè)迭代需要很少的操作，因此算法在整體上的速度有數(shù)量級(jí)的提高。另外，算法其他的特征是沒有矩陣操作，不需要在內(nèi)存中存儲(chǔ)核矩陣。塊算法(ChunkingAlgorithm)：SVM尋優(yōu)算法12/9/202275SMO使用了塊與分解技術(shù)，而SMO算法則將分解算法思想推向極SMO算法每次迭代時(shí)，在可行的區(qū)域內(nèi)選擇兩點(diǎn)，最大化目標(biāo)函數(shù)，從而優(yōu)化兩個(gè)點(diǎn)的最小子集。無論何時(shí)，當(dāng)一個(gè)乘子被更新時(shí)，調(diào)整另一個(gè)乘子來保證線性約束條件成立，保證解不離開可行區(qū)域。每步SMO選擇兩個(gè)參數(shù)優(yōu)化，其他參數(shù)固定，可以獲得解析解。盡管需要更多的迭代才收斂，但每個(gè)迭代需要很少的操作，因此算法在整體上的速度有數(shù)量級(jí)的提高。另外，算法其他的特征是沒有矩陣操作，不需要在內(nèi)存中存儲(chǔ)核矩陣。SVM尋優(yōu)算法12/9/202276SMO算法每次迭代時(shí)，在可行的區(qū)域內(nèi)選擇兩點(diǎn)，最大化目標(biāo)函數(shù)SVM尋優(yōu)算法類別名稱測(cè)試樣本數(shù)錯(cuò)誤分類數(shù)準(zhǔn)確度（%）政治146497.26軍事830100經(jīng)濟(jì)137397.81法律32293.75農(nóng)業(yè)106298.11體育90198.89衛(wèi)生34197.06工業(yè)87297.70科技111298.20交通40197.50生活91198.90宗教30100天氣24291.67合計(jì)9842197.8712/9/202277SVM尋優(yōu)算法類別名稱測(cè)試樣本數(shù)錯(cuò)誤分類數(shù)準(zhǔn)確度（%）政治1SMO算法核緩存算法SMO算法在每次迭代只選擇兩個(gè)樣本向量?jī)?yōu)化目標(biāo)函數(shù)，不需要核矩陣。雖然沒有核矩陣操作，但仍需要計(jì)算被選向量和訓(xùn)練集中所有樣本向量的核函數(shù)，計(jì)算次數(shù)為2n（n為訓(xùn)練集中的樣本數(shù)）。如果訓(xùn)練集中的樣本選取有誤，在噪聲比較多的情況下，收斂會(huì)很慢，迭代次數(shù)很多，則核函數(shù)的計(jì)算量也是非?？捎^的，SMO算法的優(yōu)點(diǎn)就完成失去了。同時(shí)，考慮到文本分類的文本向量一般維數(shù)比較大，核函數(shù)的計(jì)算將會(huì)非常耗時(shí)，尤其在高價(jià)多項(xiàng)式核和高斯核等核函數(shù)的計(jì)算中表現(xiàn)更加明顯。SVM尋優(yōu)算法12/9/202278SMO算法核緩存算法SVM尋優(yōu)算法12/7/202278SMO算法核緩存算法在內(nèi)存中為SMO算法核函數(shù)開辟n行m列的核矩陣空間。其中：n為訓(xùn)練集中的樣本數(shù)；m是為可調(diào)節(jié)參數(shù)，根據(jù)實(shí)際的內(nèi)存大小進(jìn)行調(diào)整，每列存放訓(xùn)練集中某個(gè)樣本向量與訓(xùn)練集中所有樣本向量的核函數(shù)計(jì)算結(jié)果列表。在核矩陣列頭生成m個(gè)節(jié)點(diǎn)的雙向循環(huán)鏈表隊(duì)列，每個(gè)節(jié)點(diǎn)指向核矩陣的列，通過雙向循環(huán)鏈表隊(duì)列實(shí)現(xiàn)核矩陣中的核函數(shù)列喚入喚出操作。同時(shí)，為了實(shí)現(xiàn)樣本向量的核函數(shù)列的快速查找，為每個(gè)訓(xùn)練樣本向量設(shè)計(jì)了快速索引列表，通過索引列表判斷該訓(xùn)練樣本向量的核函數(shù)列是否在核矩陣中，并確定在哪一列。SVM尋優(yōu)算法12/9/202279SMO算法核緩存算法SVM尋優(yōu)算法12/7/202279SVM尋優(yōu)算法選擇一個(gè)訓(xùn)練集，通過調(diào)整核緩沖參數(shù)的大小，記錄不同核緩存大小情況下訓(xùn)練時(shí)間，結(jié)果如下表：核緩存大小(Mb)訓(xùn)練樣本數(shù)核矩陣迭代次數(shù)訓(xùn)練時(shí)間(M:S)156245624*23407267:061056245624*233407263:502056245624*466407262:413056245624*699407261:564056245624*932407261:295056245624*1165407261:236056245624*1398407261:087056245624*1631407261:058056245624*1864407261:049056245624*2097407261:0710056245624*2330407261:3725056245624*5624407261:1212/9/202280SVM尋優(yōu)算法選擇一個(gè)訓(xùn)練集，通過調(diào)整核緩沖參數(shù)的大小，記錄通過引入核緩存機(jī)制，有效的改進(jìn)了SMO算法，提高了文本分類的訓(xùn)練速度。在核緩存機(jī)制中采用簡(jiǎn)單的hash查找算法和隊(duì)列FILO算法，有效提高了核矩陣查找和喚入喚出操作的效率。設(shè)置核矩陣列參數(shù)，通過調(diào)節(jié)列參數(shù)，可以靈活的根據(jù)系統(tǒng)運(yùn)行情況調(diào)整訓(xùn)練的時(shí)間和空間開銷，避免因系統(tǒng)空間開銷過大使系統(tǒng)運(yùn)行效率下降，反而影響訓(xùn)練速度。SVM尋優(yōu)算法12/9/202281通過引入核緩存機(jī)制，有效的改進(jìn)了SMO算法，提高了文本分類的活動(dòng)向量集選擇算法

當(dāng)訓(xùn)練樣本數(shù)非常大的時(shí)候，如果系統(tǒng)能夠提供的核緩沖大小很有限，那么能夠同時(shí)保存在核緩沖中訓(xùn)練樣本的核函數(shù)數(shù)目在訓(xùn)練樣本數(shù)中所占比例將非常的小。在訓(xùn)練過程中，訓(xùn)練樣本在核緩沖中的核函數(shù)命中率將顯著下降，導(dǎo)致核緩沖中的核函數(shù)被頻繁的喚入喚出，而每執(zhí)行一次喚入喚出操作將引起系統(tǒng)重新計(jì)算訓(xùn)練樣本的核函數(shù)，核緩存的作用被很大程度的削弱了。如果出現(xiàn)這樣的情況，要么增加系統(tǒng)的存儲(chǔ)空間；要么減少訓(xùn)練樣本數(shù)，才能提高系統(tǒng)的訓(xùn)練速度。為解決訓(xùn)練樣本數(shù)多，系統(tǒng)內(nèi)存空間小的矛盾，本文通過活動(dòng)向量集選擇算法，比較好地解決了這個(gè)問題。SVM尋優(yōu)算法12/9/202282活動(dòng)向量集選擇算法SVM尋優(yōu)算法12/7/202282活動(dòng)向量集選擇算法

算法的主要思想是：定期檢查訓(xùn)練樣本集，在收斂前預(yù)先確定訓(xùn)練樣本集中一些邊界上的點(diǎn)（alpha=0，或者alpha=C）是否以后不再被啟發(fā)式選擇，或者不再被判定為最有可能違例，如果存在這樣的點(diǎn)，將它們從訓(xùn)練樣本集中剔除出去，減少參加訓(xùn)練的樣本數(shù)。該算法基于如下的認(rèn)識(shí)：經(jīng)過多次迭代后，如果樣本的拉格朗日乘子一直為0，該點(diǎn)被當(dāng)前估計(jì)的支持向量集所確定的超平面區(qū)分得很開，即使以后支持向量集發(fā)生變化，該點(diǎn)也不會(huì)是最靠近超平面的點(diǎn)，則可以確定該樣本不是支持向量；經(jīng)過多次迭代后，如果樣本的拉格朗日乘子一直為非常大的C常數(shù)，即使以后支持向量集發(fā)生變化，該點(diǎn)也不會(huì)遠(yuǎn)離超平面，則可以確定該樣本是上邊界處的支持向量SVM尋優(yōu)算法12/9/202283活動(dòng)向量集選擇算法SVM尋優(yōu)算法12/7/202283活動(dòng)向量集選擇算法

這樣就可以在SMO算法收斂前，提前將邊界上的點(diǎn)從訓(xùn)練樣本集中剔除，逐漸縮小參加訓(xùn)練的活動(dòng)樣本集，從而減少SMO算法對(duì)核緩存空間的要求，提高訓(xùn)練速度。訓(xùn)練開始前，訓(xùn)練活動(dòng)集樣本初始化為全部訓(xùn)練樣本。每經(jīng)過一定次數(shù)的迭代（比如迭代1000次），如果算法還沒有收斂，應(yīng)檢查活動(dòng)集中的向量，檢查是否有訓(xùn)練樣本可以不參加迭代運(yùn)算。檢查完當(dāng)前活動(dòng)向量集中所有樣本后，產(chǎn)生了新的活動(dòng)向量集。如果新的活動(dòng)向量集的樣本數(shù)減少一成以上（含一成），則可以收縮當(dāng)前活動(dòng)向量集，用新的活動(dòng)向量集替換當(dāng)前活動(dòng)向量集。當(dāng)活動(dòng)向量集的樣本數(shù)減少到一定的程度，對(duì)核緩存空間的要求不是很大的時(shí)候，繼續(xù)減少訓(xùn)練樣本對(duì)訓(xùn)練速度的提高就非常有限了，這時(shí)就沒有必要再減少訓(xùn)練樣本了。SVM尋優(yōu)算法12/9/202284活動(dòng)向量集選擇算法SVM尋優(yōu)算法12/7/202284將工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，迭代過程選擇一種合適的換入換出策略，將剩余樣本中的一部分與工作樣本集中的樣本進(jìn)行等量交換，即使支持向量的個(gè)數(shù)超過工作樣本集的大小，也不改變工作樣本集的規(guī)模，而只對(duì)支持向量中的一部分進(jìn)行優(yōu)化。例如:算法2.固定工作樣本集(Osunaetal.)：SVM尋優(yōu)算法12/9/202285將工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，迭代過程選SVMapplicationsPatternrecognitionFeatures:wordscountsDNAarrayexpressiondataanalysisFeatures:expr.levelsindiff.conditionsProteinclassificationFeatures:AAcomposition12/9/202286SVMapplicationsPatternrecognHandwrittenDigitsRecognition12/9/202287HandwrittenDigitsRecognitionApplyingSVMstoFaceDetectionTheSVMface-detectionsystem1.Rescaletheinputimageseveraltimes2.Cut19x19windowpatternsoutofthescaledimage3.Preprocessthewindowusingmasking,lightcorrectionandhistogramequalization4.ClassifythepatternusingtheSVM5.Iftheclasscorrespondstoaface,drawarectanglearoundthefaceintheoutputimage.12/9/202288ApplyingSVMstoFaceDetectioApplyingSVMstoFaceDetectionExperimentalresultsonstaticimagesSetA:313high-quality,samenumberoffacesSetB:23mixedquality,totalof155faces12/9/202289ApplyingSVMstoFaceDetectioApplyingSVMstoFaceDetectionExtensiontoareal-timesystemAnexampleoftheskindetectionmoduleimplementedusingSVMsFaceDetectiononthePC-basedColorRealTimeSystem12/9/202290ApplyingSVMstoFaceDetectioReferences12/9/202291References12/7/202291Questions?!12/9/202292Questions?!12/7/202292EBL的初始狀態(tài)一、一個(gè)目標(biāo)概念 依賴與具體的應(yīng)用，可以是一個(gè)分類，要證明的定理，達(dá)到目標(biāo)的一個(gè)計(jì)劃，問題求解程序的啟發(fā)式信息等二、一個(gè)訓(xùn)練實(shí)例目標(biāo)概念的實(shí)例三、領(lǐng)域知識(shí)用于解釋訓(xùn)練實(shí)例如何成為目標(biāo)概念的規(guī)則和事實(shí)集合四、操作標(biāo)準(zhǔn)概念定義可以采取的形式的某種方式的描述第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202293EBL的初始狀態(tài)一、一個(gè)目標(biāo)概念第七章機(jī)器學(xué)習(xí)什么時(shí)候物體是一個(gè)杯子我們討論EBL采用這個(gè)例子。目標(biāo)概念：一條規(guī)則，可以用來推斷一個(gè)物體是否是一個(gè)杯子promise(X)->cup(X)(promise是一個(gè)合取表達(dá)式)領(lǐng)域知識(shí)：liftable(X)∧holds_liquid(X)->cup(X)part(Z,W)∧concave(W)∧points_up(W)->holds_liquid(X)light(Y)∧part(Y,handle)->liftable(Y)samll(A)->light(A)made_of(A,feathers)->light(A)第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202294什么時(shí)候物體是一個(gè)杯子我們討論EBL采用這個(gè)例子。第七章機(jī)器什么時(shí)候物體是一個(gè)杯子(續(xù)一)訓(xùn)練實(shí)例cup(obj1)small(obj1)part(obj1,handle)owns(bob,obj1)part(obj1,bottom)part(obj1,bowl)points_up(bowl)concave(bowl)color(obj1,red)操作標(biāo)準(zhǔn)需要目標(biāo)概念用物體的可以觀察的結(jié)構(gòu)化的屬性來定義第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202295什么時(shí)候物體是一個(gè)杯子(續(xù)一)訓(xùn)練實(shí)例part(obj1,b解釋實(shí)例cup(obj1)Holds_liquid(obj1)Points_up(bowl)concave(bowl)part(obj1,bowl)small(obj1)part(obj1,handle)light(obj1)liftable(obj1)第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202296解釋實(shí)例cup(obj1)Holds_liquid(obj1泛化解釋我們的目標(biāo)是用變量替換那些是訓(xùn)練實(shí)例的一部分常量。而保留領(lǐng)域知識(shí)中有的常量和限制。本例中常量handle是領(lǐng)域知識(shí)中的一部分，因此保留，從而得到泛化樹可以有多種方法來建造泛化樹第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202297泛化解釋我們的目標(biāo)是用變量替換那些是訓(xùn)練實(shí)例的一部分常量。而泛化數(shù)cup(X)Holds_liquid(X)Points_up(W)concave(W)part(X,W)small(X)part(X,handle)light(X)liftable(X)基于泛化樹，得到一條規(guī)則：small(X)∧part(X,handle)∧part(X,W)∧concave(W)∧Points_up(W)—>cup(X)第七章機(jī)器學(xué)習(xí)

7.2線性分類器12/9/202298泛化數(shù)cup(X)Holds_liquid(X)Points連接主義觀點(diǎn)神經(jīng)元激勵(lì)模型不再?gòu)?qiáng)調(diào)用符號(hào)來解決問題認(rèn)為智能存在于這種簡(jiǎn)單的、相互作用的部件（生物的或人工的神經(jīng)元）組成的系統(tǒng)中調(diào)節(jié)神經(jīng)元之間的連接參數(shù)可以提高智能神經(jīng)網(wǎng)絡(luò)的問題求接是并行的第七章機(jī)器學(xué)習(xí)

7.3連接主義的機(jī)器學(xué)習(xí)12/9/202299連接主義觀點(diǎn)神經(jīng)元激勵(lì)模型不再?gòu)?qiáng)調(diào)用符號(hào)來解決問題第七章機(jī)器人工神經(jīng)元輸入信號(hào)xi：可能來自環(huán)境也可來自其神經(jīng)元的刺激。不同模型允許輸入?yún)?shù)有不同范圍權(quán)值wi：描述連接強(qiáng)度激勵(lì)層閾值函數(shù)f第七章機(jī)器學(xué)習(xí)

7.3連接主義的機(jī)器學(xué)習(xí)∑wixif()w1w2wnx1x2xn12/9/2022100人工神經(jīng)元輸入信號(hào)xi：可能來自環(huán)境也可來自其神經(jīng)元的刺激。用神經(jīng)元模型構(gòu)造邏輯函數(shù)McCulloch和Pitts在1943年構(gòu)造的邏輯函數(shù)輸入信號(hào)：只有+1和-1閾值函數(shù)f：大于0返回+1，否則返回-1第七章機(jī)器學(xué)習(xí)

7.3連接主義的機(jī)器學(xué)習(xí)x+y-2≥0+1+1-2xy1x∧yx+y-1≥0+1+1-1xy1x∨y12/9/2022101用神經(jīng)元模型構(gòu)造邏輯函數(shù)McCulloch和Pitts在19七章機(jī)器學(xué)習(xí)

TheEnd.12/9/2022102七章機(jī)器學(xué)習(xí)12/7/2022102機(jī)器學(xué)習(xí)要介紹的內(nèi)容機(jī)器學(xué)習(xí)概述統(tǒng)計(jì)學(xué)習(xí)理論的方法基于符號(hào)的方法連接主義的方法遺傳與進(jìn)化的方法第七章機(jī)器學(xué)習(xí)12/9/2022103機(jī)器學(xué)習(xí)要介紹的內(nèi)容機(jī)器學(xué)習(xí)概述第七章機(jī)器學(xué)習(xí)12/7/機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)還沒有統(tǒng)一的定義機(jī)器學(xué)習(xí)的一種定義:機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能,并識(shí)別現(xiàn)有知識(shí)的學(xué)問。

另一種機(jī)器學(xué)習(xí)定義：如果一個(gè)計(jì)算機(jī)程序針對(duì)某類任務(wù)T的用P衡量的性能根據(jù)經(jīng)驗(yàn)E來自我完善。那么我們稱這個(gè)計(jì)算機(jī)程序在從經(jīng)驗(yàn)E中學(xué)習(xí)，針對(duì)某類任務(wù)T，它的性能用P來衡量任何智能系統(tǒng)必須具備學(xué)習(xí)的能力學(xué)習(xí)是使得智能主體在與環(huán)境交互的過程中改變自己.

第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022104機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)還沒有統(tǒng)一的定義第七章機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)研究的幾種觀點(diǎn)統(tǒng)計(jì)學(xué)習(xí)理論--基于統(tǒng)計(jì)理論進(jìn)行的推斷、預(yù)測(cè)等學(xué)習(xí)方法。符號(hào)主義采用符號(hào)來表示問題域中的實(shí)體極其關(guān)系,通過對(duì)符號(hào)語言表示的規(guī)則進(jìn)行搜索，試圖用這些符號(hào)來推出新的、有效的并且也用這些符號(hào)表達(dá)的一般規(guī)則。連接主義受生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)的啟發(fā)，把知識(shí)表示為由小的個(gè)體處理單元組成的網(wǎng)絡(luò)的激活或者抑制狀態(tài)模式。學(xué)習(xí)是通過訓(xùn)練數(shù)據(jù)來修改網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值來實(shí)現(xiàn)。遺傳和進(jìn)化觀點(diǎn)，在開始時(shí)有一組問題的后選解，根據(jù)他們解決問題的能力來進(jìn)化，適者生存，并相互交叉產(chǎn)生下一代解，這樣，解不斷的增強(qiáng)就像達(dá)爾文描述的生物世界一樣第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022105機(jī)器學(xué)習(xí)研究的幾種觀點(diǎn)統(tǒng)計(jì)學(xué)習(xí)理論--基于統(tǒng)計(jì)理論進(jìn)行的推斷機(jī)器學(xué)習(xí)問題的表示系統(tǒng)s是要研究的對(duì)象，給定輸入x，得到輸出yLM是所求的學(xué)習(xí)機(jī)，預(yù)測(cè)輸出y’機(jī)器學(xué)習(xí)目的根據(jù)給定的已知訓(xùn)練樣本，求取對(duì)系統(tǒng)輸入／輸出之間依賴關(guān)系的估計(jì)，使它能夠?qū)ξ粗敵鲎鞒霰M可能準(zhǔn)確的預(yù)測(cè)。第七章機(jī)器學(xué)習(xí)7.1概述輸入x系統(tǒng)（s）背景知識(shí)輸出y學(xué)習(xí)機(jī)（LM）預(yù)測(cè)輸出y’圖機(jī)器學(xué)習(xí)問題的基本模型12/9/2022106機(jī)器學(xué)習(xí)問題的表示系統(tǒng)s是要研究的對(duì)象，給定輸入x，得到輸出機(jī)器學(xué)習(xí)問題的形式化表示已知變量y與輸入x之間存在一定的未知依賴關(guān)系，即存在一個(gè)未知的聯(lián)合概率F(x,y)，機(jī)器學(xué)習(xí)根據(jù)n個(gè)獨(dú)立同分布觀測(cè)樣本(x1,y1),…(xn,yn)，在一組函數(shù){f(x,w)}中求一個(gè)最優(yōu)的函數(shù)f(x,w0)對(duì)依賴關(guān)系進(jìn)行估計(jì)，使預(yù)測(cè)的期望風(fēng)險(xiǎn)最小第七章機(jī)器學(xué)習(xí)7.1概述其中，{f(x,w)}為預(yù)測(cè)函數(shù)集，L()為損失函數(shù)預(yù)測(cè)函數(shù)又稱為學(xué)習(xí)函數(shù)或?qū)W習(xí)模型12/9/2022107機(jī)器學(xué)習(xí)問題的形式化表示已知變量y與輸入x之間存在一定的未機(jī)器學(xué)習(xí)中的三類基本問題模式識(shí)別函數(shù)逼近概率密度第七章機(jī)器學(xué)習(xí)7.1概述輸入x系統(tǒng)（s）背景知識(shí)輸出y學(xué)習(xí)機(jī)（LM）預(yù)測(cè)輸出y’12/9/2022108機(jī)器學(xué)習(xí)中的三類基本問題模式識(shí)別第七章機(jī)器學(xué)習(xí)模式識(shí)別問題的損失函數(shù)模式識(shí)別問題，其實(shí)是個(gè)分類問題多模式識(shí)別問題可以分解成若干個(gè)兩模式識(shí)別問題預(yù)測(cè)函數(shù)可只考慮二值函數(shù)y是只取0，1損失函數(shù)可定義為：第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022109模式識(shí)別問題的損失函數(shù)模式識(shí)別問題，其實(shí)是個(gè)分類問題第七章機(jī)函數(shù)逼近問題的損失函數(shù)y是連續(xù)變量，是x的函數(shù)f(x,w)是實(shí)函數(shù)損失函數(shù)可定義為第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022110函數(shù)逼近問題的損失函數(shù)y是連續(xù)變量，是x的函數(shù)第七章機(jī)器學(xué)習(xí)概率密度估計(jì)問題的損失函數(shù)學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的概率分布。將密度函數(shù)記為p(x,w)，損失函數(shù)可以定義為：第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022111概率密度估計(jì)問題的損失函數(shù)學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的經(jīng)驗(yàn)風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)是預(yù)測(cè)函數(shù)在整個(gè)樣本空間上出錯(cuò)率的數(shù)學(xué)期望期望風(fēng)險(xiǎn)必須依賴于聯(lián)合概率的信息聯(lián)合概率未知，因此期望風(fēng)險(xiǎn)實(shí)際上不可求傳統(tǒng)的學(xué)習(xí)方法采用了經(jīng)驗(yàn)風(fēng)險(xiǎn)來近似期望風(fēng)險(xiǎn)定義經(jīng)驗(yàn)風(fēng)險(xiǎn)第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022112經(jīng)驗(yàn)風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)是預(yù)測(cè)函數(shù)在整個(gè)樣本空間上出錯(cuò)率的數(shù)學(xué)期望經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)為訓(xùn)練樣本集上的平均錯(cuò)誤率設(shè)計(jì)學(xué)習(xí)函數(shù)使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與期望風(fēng)險(xiǎn)最小化的等價(jià)前提是樣本數(shù)據(jù)足夠多只有在樣本數(shù)趨于無窮大時(shí)，其性能才有理論上的保證。但在小樣本的情況下，期望風(fēng)險(xiǎn)最小化到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化并沒有可靠的理論依據(jù)，只是直觀上合理的想當(dāng)然做法。在實(shí)際應(yīng)用中，一般難以取得理想的效果。第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022113經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)為訓(xùn)練樣本集上的平均錯(cuò)誤率第七章機(jī)器學(xué)推廣能力（泛化能力）學(xué)習(xí)機(jī)器對(duì)未來輸出進(jìn)行正確預(yù)測(cè)的能力稱為推廣能力（或泛化能力）。在某些情況下，當(dāng)訓(xùn)練誤差過小反而會(huì)導(dǎo)致推廣能力的下降這就是過學(xué)習(xí)問題。出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因：一是因?yàn)閷W(xué)習(xí)樣本不充分；二是學(xué)習(xí)機(jī)器設(shè)計(jì)不合理。這兩個(gè)問題是互相關(guān)聯(lián)的。第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022114推廣能力（泛化能力）學(xué)習(xí)機(jī)器對(duì)未來輸出進(jìn)行正確預(yù)測(cè)的能力稱為預(yù)測(cè)問題舉例

綠色曲線：y=sin(2πx)藍(lán)點(diǎn)：有隨機(jī)噪聲的樣本目標(biāo)：曲線擬合，以便對(duì)新的輸入值x’，預(yù)測(cè)輸出y’第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022115預(yù)測(cè)問題舉例綠色曲線：y=sin(2πx)第七章機(jī)器學(xué)習(xí)多項(xiàng)式曲線擬合（回歸）第七章機(jī)器學(xué)習(xí)7.1概述學(xué)習(xí)，首先要選擇一種模型形式這里，我們選擇多項(xiàng)式曲線由于多項(xiàng)式對(duì)于未知參數(shù)是線性的這種模型稱為線性模型12/9/2022116多項(xiàng)式曲線擬合（回歸）第七章機(jī)器學(xué)習(xí)確定參數(shù)w第七章機(jī)器學(xué)習(xí)7.1概述如何訓(xùn)練模型（確定w）因?yàn)槭蔷€性模型風(fēng)險(xiǎn)函數(shù)選擇誤差平方和我們要確定w，使風(fēng)險(xiǎn)最小12/9/2022117確定參數(shù)w第七章機(jī)器學(xué)習(xí)

多項(xiàng)式次數(shù)M的選擇thebestfittothefunction第七章機(jī)器學(xué)習(xí)7.1概述欠擬合：對(duì)數(shù)據(jù)擬合差表示性差過擬合：對(duì)訓(xùn)練數(shù)據(jù)精確擬合，對(duì)函數(shù)表示差12/9/2022118多項(xiàng)式次數(shù)M的選擇thebestfittot測(cè)試數(shù)據(jù)進(jìn)行評(píng)價(jià)均方根(RMS)誤差(風(fēng)險(xiǎn)):N:標(biāo)準(zhǔn)化平方根:在同一尺度下度量ERMS

第七章機(jī)器學(xué)習(xí)7.1概述從圖中看出：泛化性依賴M選擇：M=3-9過擬合：對(duì)訓(xùn)練數(shù)據(jù)精確擬合，對(duì)函數(shù)表示差在M=9，為什么會(huì)震蕩？12/9/2022119測(cè)試數(shù)據(jù)進(jìn)行評(píng)價(jià)均方根(RMS)誤差(風(fēng)險(xiǎn)):N:標(biāo)準(zhǔn)多項(xiàng)式系數(shù)

第七章機(jī)器學(xué)習(xí)7.1概述用不同次數(shù)下的w，考察欠擬合與過擬合問題隨著M的增加，為了擬合隨機(jī)噪音，w在變大12/9/2022120多項(xiàng)式系數(shù)第七章機(jī)器學(xué)習(xí)數(shù)據(jù)集規(guī)模產(chǎn)生的影響數(shù)據(jù)集越大，擬合數(shù)據(jù)的模型就越靈活第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022121數(shù)據(jù)集規(guī)模產(chǎn)生的影響數(shù)據(jù)集越大，擬合數(shù)據(jù)的模型就越靈預(yù)測(cè)函數(shù)復(fù)雜性與泛化能力

從前例可以看出：“最優(yōu)擬合函數(shù)”不一定能正確代表原來的函數(shù)模型。原因是：用一個(gè)復(fù)雜的模型去擬合有限的樣本，結(jié)果就會(huì)喪失推廣能力。有限樣本下學(xué)習(xí)機(jī)器的復(fù)雜性與推廣性之間的矛盾。有時(shí)，已知問題是某個(gè)比較復(fù)雜的模型：

由于訓(xùn)練樣本有限，如用復(fù)雜預(yù)測(cè)函數(shù)去學(xué)習(xí)效果通常不如用相對(duì)簡(jiǎn)單的預(yù)測(cè)函數(shù)。第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022122預(yù)測(cè)函數(shù)復(fù)雜性與泛化能力從前例可以看出：第七章機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。它從理論上較系統(tǒng)地研究了：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化規(guī)則成立的條件、有限樣本下經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)的關(guān)系如何利用這些理論找到新的學(xué)習(xí)原則和方法其主要內(nèi)容包括如下四個(gè)方面：①經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件；②在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論；③在這些界的基礎(chǔ)上建立的小樣本歸納推理原則；④實(shí)現(xiàn)這些新的原則的實(shí)際方法。第七章機(jī)器學(xué)習(xí)7.1概述12/9/2022123統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)學(xué)習(xí)過程一致性學(xué)習(xí)一致性的結(jié)論是統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)一致性條件，保證在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下得到的最優(yōu)方法當(dāng)樣本無窮大時(shí)趨近于使期望風(fēng)險(xiǎn)最小的最優(yōu)結(jié)果。學(xué)習(xí)過程的一致性：(x1,y1)…，(xn.yn)是n個(gè)獨(dú)