人工智能導(dǎo)論 - 汕頭大學(xué)

人工智能導(dǎo)論方若宇ryfang@2011年秋季汕頭大學(xué)計(jì)算機(jī)系本科課程人工神經(jīng)元網(wǎng)絡(luò)什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實(shí)現(xiàn)的系統(tǒng)來(lái)模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計(jì)算機(jī)代替人的腦力勞動(dòng)。計(jì)算機(jī)速度為納秒級(jí)，人腦細(xì)胞反應(yīng)時(shí)間是毫秒級(jí)。而計(jì)算機(jī)不如人。長(zhǎng)期以來(lái)人類的夢(mèng)想，機(jī)器既能超越人的計(jì)算能力，又有類似于人的識(shí)別、分析、聯(lián)想等能力。人工神經(jīng)元網(wǎng)絡(luò)發(fā)展史

1890年，美國(guó)生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書(shū)。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當(dāng)兩個(gè)基本處理單元同時(shí)活動(dòng)，或兩個(gè)單元靠得比較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元。而且一個(gè)單元的活動(dòng)程度與他周圍的活動(dòng)數(shù)目和活動(dòng)密度成正比。

1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的。總結(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法。

——標(biāo)志神經(jīng)計(jì)算時(shí)代的開(kāi)始

MP模型的意義：

M-P模型能完成一定的邏輯運(yùn)算第一個(gè)采用集體并行計(jì)算結(jié)構(gòu)來(lái)描述人工神經(jīng)元和網(wǎng)絡(luò)工作。為進(jìn)一步的研究提供了依據(jù)（可以完成布爾邏輯計(jì)算）

1949年Donala

U.Hebb（心理學(xué)家）論著《TheOrganizationofBehavior（行為自組織）》，提出突觸聯(lián)系強(qiáng)度可變的假設(shè)，認(rèn)為學(xué)習(xí)的過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。

——赫布規(guī)則

多用于自組織網(wǎng)絡(luò)的學(xué)習(xí)。即：若兩個(gè)神經(jīng)元輸出興奮，則它們之間的連接權(quán)加強(qiáng)，反之減少。赫布規(guī)則意義（提出了變化的概念）提出了一個(gè)神經(jīng)網(wǎng)絡(luò)里信息是儲(chǔ)藏在突觸連接的權(quán)中的概念連接權(quán)的學(xué)習(xí)律是正比于兩個(gè)被連接神經(jīng)細(xì)胞的活動(dòng)狀態(tài)值的乘積假設(shè)權(quán)是對(duì)稱的細(xì)胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來(lái)的

1957年FrankRosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。

-----規(guī)則學(xué)習(xí)

意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)，在IBM704計(jì)算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過(guò)調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。

1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對(duì)于非線性或其他分類會(huì)遇到很大困難。

——神經(jīng)網(wǎng)絡(luò)研究達(dá)到低潮。原因有：計(jì)算機(jī)不夠發(fā)達(dá)、VLSI還沒(méi)出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。七十年代,據(jù)說(shuō)全球只有幾十個(gè)人在研究，但還是成功的。如：日本Fukusima的Neocognitron；芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；StephenCrossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等。

1982年JohnJ.Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型。——全新的具有完整理論基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型?；舅枷胧菍?duì)于一個(gè)給定的神經(jīng)網(wǎng)絡(luò)，對(duì)于一個(gè)能量函數(shù)，這個(gè)能量函數(shù)是正比于每一個(gè)神經(jīng)元的活動(dòng)值和神經(jīng)元之間的聯(lián)接權(quán)。而活動(dòng)值的改變算法是向能量函數(shù)減少的方向進(jìn)行，一直達(dá)到一個(gè)極小值為止。證明了網(wǎng)絡(luò)可達(dá)到穩(wěn)定的離散和連續(xù)兩種情況。３年后AT&T等做出了半導(dǎo)體芯片。

——神經(jīng)網(wǎng)絡(luò)復(fù)興時(shí)期開(kāi)始。

1986年美國(guó)的一個(gè)平行計(jì)算研究小組提出了前項(xiàng)反饋神經(jīng)網(wǎng)絡(luò)的BackPropagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問(wèn)題，給神經(jīng)網(wǎng)絡(luò)研究帶來(lái)了新的希望。

1987年在美國(guó)召開(kāi)了第一屆世界神經(jīng)網(wǎng)絡(luò)大會(huì)1000人參加。

IJCNN等大會(huì)

NeuralComputing,IEEENeuralNetwork等期刊

符號(hào)主義與連接主義

符號(hào)主義重視邏輯而輕視感知,符號(hào)主義易于形式化并能很方便地由計(jì)算機(jī)實(shí)現(xiàn);連接主義則相反,重視感知而輕視邏輯,而不利于形式化和計(jì)算機(jī)實(shí)現(xiàn),并且其數(shù)學(xué)理論十分深?yuàn)W。共同之處：研究怎樣使用計(jì)算機(jī)來(lái)模仿人腦工作過(guò)程。學(xué)習(xí)——實(shí)踐——再學(xué)習(xí)——再實(shí)踐。不同之處：符號(hào)主義研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問(wèn)題。連接主義企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）神經(jīng)元模型生物神經(jīng)元傳遞信息的過(guò)程為多輸入、單輸出當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放化學(xué)物質(zhì)

具有不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞神經(jīng)纖維傳導(dǎo)的速度在1—150m／s之間信息傳遞時(shí)延和不應(yīng)期，一般為0.3～lms

突觸傳遞信息的強(qiáng)度是可變的，即具有學(xué)習(xí)功能存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng),對(duì)應(yīng)突觸傳遞作用增強(qiáng)、減弱和飽和人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)X2X1-1W1jW2jXnW2j··Σ()Yj

神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為

式中，j為神經(jīng)元單元的偏置，wij為連接權(quán)系數(shù)。n為輸入信號(hào)數(shù)目，Yj為神經(jīng)元輸出，t為時(shí)間，f()為輸出變換函數(shù)。(a)xf(x)1x00神經(jīng)元中的某些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)(c)xf(x)1-1(b)f(x)x10響應(yīng)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接

輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號(hào)反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的人腦神經(jīng)網(wǎng)絡(luò)： 人腦中約有１４０億個(gè)神經(jīng)細(xì)胞，根據(jù)Stubbz的估計(jì)這些細(xì)胞被安排在約１０００個(gè)主要模塊內(nèi)，每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)約有１０萬(wàn)個(gè)神經(jīng)細(xì)胞。

前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著。反饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。前饋型神經(jīng)網(wǎng)

從最初的感知器發(fā)展而來(lái),是應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型，最主要原因是對(duì)該網(wǎng)絡(luò)存在有效的學(xué)習(xí)方法(BP學(xué)習(xí)方法)。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。

單層感知器

1957年感知器及其算法的提出,是人工神經(jīng)網(wǎng)絡(luò)研究的重大發(fā)現(xiàn).F.Roseblatt成功的用其模擬和分析了動(dòng)物和人的感知學(xué)習(xí)能力,可以稱為是人類歷史上第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò),從該模型在計(jì)算機(jī)上模擬的學(xué)習(xí)結(jié)果上看,感知器有能力通過(guò)學(xué)習(xí)達(dá)到正確分類的目標(biāo),該模型是一個(gè)有效的學(xué)習(xí)機(jī).問(wèn)題:用單層感知器來(lái)模擬簡(jiǎn)單的布爾邏輯函數(shù)and,or,not其中利用單層感知器進(jìn)行分類分類：如果輸入x有k個(gè)樣本，xp,p=1,2,…,k,xRn

當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和條件下，輸出有兩種可能+1或-1。把樣本xp看作為在n維狀態(tài)空間中的一個(gè)矢量，那么k個(gè)樣本為輸入空間的k個(gè)矢量。而感知器的轉(zhuǎn)移函數(shù)方程就是把這個(gè)n為空間分為SA、SB兩個(gè)子空間，其分界線為n-1維的超平面。即用一個(gè)單輸出的感知器通過(guò)調(diào)整參數(shù)及來(lái)達(dá)到k個(gè)樣本的正確劃分。

即存在一組權(quán)值wij使得公式(1)滿足:

則稱樣本集為線性可分的，否則為線性不可分的。

希望找到一根直線，把A,B兩類樣本分開(kāi)，其分界線為:

解有無(wú)數(shù)個(gè)。

++++++++X1X2單層感知器進(jìn)行二維分類的例子

感知機(jī)學(xué)習(xí)方法步驟一：網(wǎng)路初始化以隨機(jī)的方式來(lái)產(chǎn)生亂數(shù)，令w(0)為很小的實(shí)數(shù)，並且將學(xué)習(xí)循環(huán)n設(shè)定為1。步驟二：計(jì)算網(wǎng)路輸出值在第n次學(xué)習(xí)循環(huán)時(shí)，呈現(xiàn)輸入向量x(n)，此時(shí)類神經(jīng)元的輸出為：

步驟三：調(diào)整鍵結(jié)值向量

步驟四：將學(xué)習(xí)循環(huán)n加1；回到步驟二。(2.11)感知機(jī)學(xué)習(xí)方法調(diào)整後的類神經(jīng)元，若再用相同的輸入範(fàn)例來(lái)加以測(cè)試，則其輸出值會(huì)更加地接近期待值，其原因如下：圖2.4：以幾何觀點(diǎn)來(lái)分析感知機(jī)之訓(xùn)練過(guò)程；(a)若d=-1且y=1；(b)若d=1且y=-1。

例2.1：訓(xùn)練資料x(chóng)(n)

期望輸出值d(n)

(0,0)T1(0,1)T1(1,0)T-1(1,1)T1

學(xué)習(xí)率為0.8，並且將鍵結(jié)值的初始值設(shè)定為(0,1)，令活化函數(shù)為sgn函數(shù)，神經(jīng)元之閥值為-1(1)n=0(1)n=1，

(2)n=2，

(3)n=3，

(5)n=5，

(6)n=6，

(4)n=4，

感知機(jī)在學(xué)習(xí)過(guò)程中的分類直線變化圖

例2.1：

假設(shè)當(dāng)初學(xué)習(xí)率設(shè)定為0.1，那麼的修正量會(huì)不同：

此時(shí)若將相同的輸入測(cè)試此新的鍵結(jié)值向量，會(huì)發(fā)現(xiàn)期望輸出值為-1，但感知機(jī)輸出值為1，分類錯(cuò)誤，因此仍需修正感知機(jī)的鍵結(jié)值向量。

也就是說(shuō)，感知機(jī)的學(xué)習(xí)過(guò)程並不保證一次就學(xué)會(huì)；有時(shí)更會(huì)發(fā)生為了學(xué)新的輸入?yún)s將原先已正確分類的資料給誤判了。

單層感只能解決線性可分類的樣本的分類問(wèn)題。如樣本不能用一個(gè)超平面分開(kāi)，就會(huì)產(chǎn)生Minsky等提出的不可分問(wèn)題。

問(wèn)題:用單層感知器來(lái)模擬的布爾邏輯函數(shù)XOR嗎?前饋型神經(jīng)網(wǎng)及反向傳播學(xué)習(xí)算法

由于前饋型神經(jīng)網(wǎng)絡(luò)多采用反向傳播學(xué)習(xí)算法進(jìn)行訓(xùn)練,有時(shí)也稱為反向傳播網(wǎng)絡(luò)(BP網(wǎng)絡(luò))。其網(wǎng)絡(luò)模型的輸入輸出關(guān)系與單層感知器完全相同,前一層的輸入是下一層的輸出。

BP是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò).權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法,它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。

.........x0y0ym2-1

絕大多數(shù)前饋神經(jīng)網(wǎng)絡(luò)有隱層結(jié)點(diǎn)(可以是一層或者是多層)。對(duì)于輸入信號(hào),先要向前傳播到隱結(jié)點(diǎn),經(jīng)過(guò)轉(zhuǎn)移函數(shù)后,再把隱結(jié)點(diǎn)的輸出信息傳播到輸出結(jié)點(diǎn),最后給出輸出結(jié)果。BP學(xué)習(xí)算法BP學(xué)習(xí)算法的學(xué)習(xí)過(guò)程由正向傳播兩部分組成在正向傳播過(guò)程中,輸入信息從輸入層經(jīng)隱結(jié)點(diǎn)單元逐層處理,并傳向輸出層,每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出,則轉(zhuǎn)入反向傳播過(guò)程,將誤差信號(hào)沿原來(lái)的連接通路返回,通過(guò)修改各層神經(jīng)元的連接權(quán)值,使得誤差信號(hào)遞減至最小。因此,學(xué)習(xí)的過(guò)程就是求解連接權(quán)的過(guò)程。設(shè)輸入樣本集大小為P,有樣本x1,x2,…,xp

和相應(yīng)的教師信號(hào)t1,t2,…,tp

,學(xué)習(xí)算法用實(shí)際的輸出y1,y2,…,yp

與t1,t2,…,tp

之間的誤差來(lái)修改其連接權(quán)和闕值。為了方便,將闕值并入權(quán)重矩陣中W。(以一個(gè)隱層的BP網(wǎng)絡(luò)為例),有

當(dāng)?shù)趐個(gè)樣本輸入到網(wǎng)絡(luò)時(shí),得到輸yk入,k=0,…,m-1,其使用平方型誤差函數(shù):

而對(duì)于整個(gè)樣本集的P個(gè)樣本的誤差為

從誤差方程中可以看到誤差E是連接權(quán)值W的非線形函數(shù)。采用梯度下降法,對(duì)每個(gè)連接Wst權(quán)的修正值為由公式可知,采用梯度下降法,可以使得總的誤差向減小的方向發(fā)展,直到0具體的學(xué)習(xí)過(guò)程如下：在迭代次數(shù)為t時(shí)，每一層的連接權(quán)為由網(wǎng)絡(luò)結(jié)點(diǎn)轉(zhuǎn)移函數(shù)公式已知，連接權(quán)僅僅與上層的結(jié)點(diǎn)有關(guān)，因此

理論上已經(jīng)證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù)僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題沒(méi)有必要或效果不好BP網(wǎng)絡(luò)學(xué)習(xí)精度BP網(wǎng)絡(luò)學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間，可能收斂很慢，不過(guò)能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01-0.8之間BP算法存在的問(wèn)題神經(jīng)網(wǎng)絡(luò)存在的局部最小問(wèn)題當(dāng)網(wǎng)絡(luò)達(dá)到一定的規(guī)模后，學(xué)習(xí)算法收斂速度較慢采用單向傳播的方式，沒(méi)有反饋機(jī)制可提供在線學(xué)習(xí)訓(xùn)練樣本的順序有可能影響學(xué)習(xí)的速度和精度，新加入的樣本會(huì)影響到已經(jīng)學(xué)完的樣本應(yīng)用例子1:

用于大字符集識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

IntegrationMLPnetworkGeneralizedMLPnetworkclassifierOutput1Output2OutputNIn