機(jī)器學(xué)習(xí)基礎(chǔ)教程緒論

機(jī)器學(xué)習(xí)基礎(chǔ)教程緒論

機(jī)器學(xué)習(xí)（MachineLearning）是近年來(lái)非常引人注目學(xué)科，相關(guān)的新聞報(bào)道和消息快餐經(jīng)常會(huì)出現(xiàn)在各種媒體上。

在十八世紀(jì)工業(yè)革命時(shí)期的機(jī)器主要是在體力上代替人力進(jìn)行工作，將人們從手工業(yè)的勞作中解放出來(lái)。那種機(jī)器確實(shí)很難讓人們覺(jué)得機(jī)器能夠“學(xué)習(xí)”！但是時(shí)代在不斷的發(fā)展，從那時(shí)起發(fā)展到21世紀(jì)的今天，各種技術(shù)的進(jìn)步幾乎讓每個(gè)時(shí)代的人們都感到應(yīng)接不暇，“機(jī)器”這個(gè)詞的內(nèi)涵和外延也發(fā)生了很多變化。1.1機(jī)器學(xué)習(xí)發(fā)展簡(jiǎn)史與概況

談到機(jī)器學(xué)習(xí)就不可能繞開人工智能，但是對(duì)于人工智能的發(fā)展歷史卻不那么容易界定。這主要是對(duì)于“智能”的理解不同。很多人將人工智能與工程控制理論結(jié)合起來(lái)，這樣的話智能機(jī)器的歷史甚至可以追溯到兩千多年前。例如在古代中國(guó)出現(xiàn)的指南車和記里鼓車都可以算作智能機(jī)器。

圖1.1指南車模型圖1.2記里鼓車模型

在1956年夏，美國(guó)學(xué)者麥卡錫（JohnMcCarthy：1927~2011）、明斯基（MarvinLeeMinsky

：1927~2016）、紐厄爾（AllenNewell

：1927~1992）、司馬賀（HerbertAlexanderSimon：1916

~2001）聚集在達(dá)特茅茨一起討論關(guān)于信息處理的學(xué)術(shù)問(wèn)題。在這次會(huì)議上首次提出了“人工智能”這一術(shù)語(yǔ)，一般認(rèn)為這就是人工智能和機(jī)器學(xué)習(xí)的起源。圖1.3達(dá)特茅茨會(huì)議主要與會(huì)者

在此后的將近10年時(shí)間，也就是到上世紀(jì)60年代中葉，機(jī)器學(xué)習(xí)的主要領(lǐng)域集中在知識(shí)的學(xué)習(xí)方面，研究的主題是系統(tǒng)的執(zhí)行能力。

雖然在20世紀(jì)40年代末已經(jīng)出現(xiàn)了“Hebbian學(xué)習(xí)規(guī)則”。但是這種學(xué)習(xí)機(jī)制在處理有標(biāo)簽的學(xué)習(xí)問(wèn)題時(shí)存在較大缺陷，因此限制了其使用范圍。在1958年，Rosenblatt提出了線性感知機(jī)模型，通過(guò)不斷地進(jìn)行迭代解決了線性可分問(wèn)題。

從20世紀(jì)60年代中葉到70年代中葉，人們逐漸發(fā)現(xiàn)了線性感知機(jī)所存在的問(wèn)題。由于在機(jī)器學(xué)習(xí)過(guò)程中需要處理較大數(shù)量的數(shù)據(jù)，而當(dāng)時(shí)計(jì)算機(jī)的計(jì)算速度和存儲(chǔ)容量都不能滿足需要，使得神經(jīng)網(wǎng)絡(luò)的研究受到了冷落。1.2機(jī)器學(xué)習(xí)的研究與應(yīng)用現(xiàn)狀

在機(jī)器學(xué)習(xí)領(lǐng)域始終存在這兩種方向、兩大派別。一種是以傳統(tǒng)統(tǒng)計(jì)學(xué)作為其堅(jiān)實(shí)的基礎(chǔ)，并在此基礎(chǔ)上不斷進(jìn)行改進(jìn)和發(fā)展，例如統(tǒng)計(jì)學(xué)習(xí)理論和由此而發(fā)展出的支持向量機(jī)方法；而另一種則是仿生智能，他們聲稱受到了生物智能或神經(jīng)科學(xué)的啟發(fā)而得出了一系列智能方法，例如遺傳算法、神經(jīng)網(wǎng)絡(luò)等。

傳統(tǒng)統(tǒng)計(jì)學(xué)對(duì)于機(jī)器學(xué)習(xí)方面的基礎(chǔ)貢獻(xiàn)主要來(lái)源于傳統(tǒng)統(tǒng)計(jì)學(xué)中多元統(tǒng)計(jì)分析。多元統(tǒng)計(jì)分析是對(duì)于標(biāo)量數(shù)據(jù)統(tǒng)計(jì)的擴(kuò)展。多元統(tǒng)計(jì)分析方法建立在嚴(yán)密的數(shù)學(xué)推理基礎(chǔ)上，對(duì)于數(shù)據(jù)樣本的分析給出了詳盡的分析過(guò)程和不容辯駁的結(jié)果。“貝葉斯派”代表人物

統(tǒng)計(jì)學(xué)習(xí)學(xué)派認(rèn)為機(jī)器學(xué)習(xí)就是從給定的函數(shù)集（其中是參數(shù)）中，選擇出能夠最好地逼近訓(xùn)練器響應(yīng)的函數(shù)。也就是要根據(jù)n個(gè)獨(dú)立同分布的觀測(cè)樣本在一組函數(shù)中中求出一個(gè)最優(yōu)函數(shù)，對(duì)訓(xùn)練器的響應(yīng)進(jìn)行估計(jì)并使其期望風(fēng)險(xiǎn)達(dá)到最小，即：根據(jù)概率論中大數(shù)的定理，可用算術(shù)平均代替數(shù)據(jù)期望，于是可以用經(jīng)驗(yàn)風(fēng)險(xiǎn)：

在1943年心理學(xué)家W.Mculloch與數(shù)理邏輯學(xué)家W.Pitts在對(duì)人的神經(jīng)元反射進(jìn)行研究后，提出了神經(jīng)元的基本數(shù)學(xué)模型，這種模型被稱為MP模型，如圖1.7所示。MP模型可以通過(guò)一個(gè)帶參函數(shù)f(x,w)來(lái)實(shí)現(xiàn)對(duì)一些線性分類問(wèn)題的處理。雖然其參數(shù)w（權(quán)重）一般由人為設(shè)定，看上去沒(méi)有那么“智能”，但這種模型確實(shí)開啟了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模式的新時(shí)代。

在20世紀(jì)50年代末，F(xiàn).Rosenblatt將單個(gè)的神經(jīng)元網(wǎng)絡(luò)模型發(fā)展成為多層感知機(jī)。這時(shí)候這個(gè)模型就有了其非常冠冕和正式的名字“神經(jīng)網(wǎng)絡(luò)”！WarrenSturgisMcCulloch

WalterHarryPitts,Jr.

FrankRosenblatt（1898~1969）

（1923

~1969）

（1928~1971）圖1.6神經(jīng)網(wǎng)絡(luò)方法主要代表人物圖1.7生物神經(jīng)元與神經(jīng)元模型的對(duì)照

到了1984年，一種帶有反饋機(jī)制的新型神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)出現(xiàn)了。將控制論中的反饋機(jī)制引入神經(jīng)網(wǎng)絡(luò)既賦予了神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶的新功能，但也帶來(lái)了穩(wěn)定性的問(wèn)題。反饋型神經(jīng)網(wǎng)絡(luò)中的穩(wěn)定問(wèn)題實(shí)質(zhì)上與控制論中的穩(wěn)定性問(wèn)題沒(méi)有本質(zhì)的區(qū)別，只不過(guò)此時(shí)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)可能與控制理論所研究的系統(tǒng)有些許不同而已，但是控制理論的基本方法仍然適用，因?yàn)榭刂评碚摦吘故且环N方法論。由此觀之，在反饋型神經(jīng)網(wǎng)絡(luò)中引入的“計(jì)算能量”概念實(shí)際上就是控制理論中李雅普諾夫（Lyapunov）穩(wěn)定性判別方法的一個(gè)翻版。

在隨后的十幾年中，由于統(tǒng)計(jì)學(xué)習(xí)學(xué)派發(fā)展出的貝葉斯方法、支持向量機(jī)方法在很多方面的成功應(yīng)用，神經(jīng)網(wǎng)絡(luò)算法走上了與其他仿生智能算法相互結(jié)合的道路。這些仿生算法中以遺傳算法和仿生群體算法（如蟻群算法、粒子群算法等等）最為引人注目。

經(jīng)過(guò)了多年的實(shí)踐與反思，進(jìn)入新世紀(jì)后以神經(jīng)網(wǎng)絡(luò)為代表的仿生智能學(xué)派調(diào)整了自己的研究風(fēng)范：不再將神經(jīng)科學(xué)作為研究工作的主要指導(dǎo)思想。

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，各種參數(shù)也會(huì)變得越來(lái)越多，在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)就需要大量的標(biāo)簽數(shù)據(jù)。這樣的網(wǎng)絡(luò)結(jié)構(gòu)形式和算法是基本不具備解決小樣本問(wèn)題的能力的，而且其泛化性也比較差。這種很多層的神經(jīng)網(wǎng)絡(luò)被形象地稱為深度神經(jīng)網(wǎng)絡(luò)，很多學(xué)者也由此認(rèn)為深度神經(jīng)網(wǎng)絡(luò)不能進(jìn)行實(shí)際地應(yīng)用，因?yàn)橐?xùn)練這樣的網(wǎng)絡(luò)簡(jiǎn)直是無(wú)從下手。GeoffreyHinton提出的深度信念網(wǎng)絡(luò)很好地將統(tǒng)計(jì)分析與神經(jīng)網(wǎng)絡(luò)相結(jié)合解決了這個(gè)問(wèn)題，為深度學(xué)習(xí)開辟了新的道路。1.3機(jī)器學(xué)習(xí)的相關(guān)問(wèn)題

近年來(lái)機(jī)器學(xué)習(xí)的快速發(fā)展在很大程度上改變了人們的生活方式，也使得各個(gè)領(lǐng)域的研究人員對(duì)其十分關(guān)注。這些研究領(lǐng)域不僅包括計(jì)算科學(xué)、信息科學(xué)等傳統(tǒng)科技領(lǐng)域，還包括了哲學(xué)、倫理學(xué)以及心理學(xué)等社會(huì)科學(xué)領(lǐng)域。各個(gè)領(lǐng)域從不同的側(cè)面對(duì)機(jī)器學(xué)習(xí)的發(fā)展進(jìn)行研討，對(duì)機(jī)器學(xué)習(xí)的發(fā)展也起到了不同程度的促進(jìn)作用。

推理的模式一般分為演繹和歸納兩種。歸納要求有足夠豐富的觀測(cè)例證，盡量能夠覆蓋樣本空間；而演繹則要求前提的正確性推證過(guò)程的嚴(yán)密性。人工智能、機(jī)器學(xué)習(xí)使機(jī)器（計(jì)算機(jī)）在“智力”上有了戰(zhàn)勝人類的可能，而傳統(tǒng)的機(jī)器又在體力上傲視人類。1.4機(jī)器學(xué)習(xí)的發(fā)展前景

對(duì)于機(jī)器學(xué)習(xí)所面臨的任務(wù)還有很多，而不僅僅是傳統(tǒng)意義上的擬合、分類。機(jī)器學(xué)習(xí)要想不斷提升自身水平的話，首先需要支撐機(jī)器學(xué)習(xí)算法的性能優(yōu)良的硬件設(shè)備。在AlphaGo圍棋大戰(zhàn)后的兩個(gè)月后，谷歌的硬件工程師就公布了張量處理單元（TPU：TensorProcessingUnit）已經(jīng)應(yīng)用于深度學(xué)習(xí)的情況。有的技術(shù)人員聲稱“TPU處理速度比當(dāng)前GPU和CPU要快15到30倍”，也有人對(duì)這樣的比較提出了質(zhì)疑，但是不可否認(rèn)的是機(jī)器學(xué)習(xí)的發(fā)展促進(jìn)了硬件的不斷發(fā)展和改進(jìn)以適應(yīng)各種復(fù)雜算法。同時(shí)也在一定程度上預(yù)示著專用集成電路（ASIC：ApplicationSpecificIntegratedC