神經(jīng)網(wǎng)絡(luò)第講義共13講合集

PAGEPAGE7第一章：神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)講什么內(nèi)容，講計(jì)算模型，計(jì)算原理，工作原理，用途，實(shí)現(xiàn)方法。1什么是神經(jīng)網(wǎng)絡(luò)1神經(jīng)網(wǎng)絡(luò)與計(jì)算機(jī)計(jì)算機(jī)：四代計(jì)算機(jī)電子管，晶體管，集成電路，大規(guī)模集成電路。智能計(jì)算機(jī)是第5代，智能計(jì)算機(jī)不容易。速度提高快，智能不見(jiàn)怎么樣。計(jì)算機(jī)特點(diǎn)二進(jìn)制，5部分組成模塊，存儲(chǔ)程序。結(jié)構(gòu)看：核心部件是中央處理器。專門存儲(chǔ)部件，輸入輸出部件。神經(jīng)網(wǎng)絡(luò)發(fā)展史充滿傳奇色彩，講故事。每次講課都講歷史，過(guò)去那些出色成績(jī)的故事，做出出色成績(jī)的人的故事。神經(jīng)網(wǎng)絡(luò)來(lái)自人類對(duì)自己的研究，背景性研究起始于19世紀(jì)末，20世紀(jì)初。生物學(xué)家要搞清楚人或生命智能的道理。想辦法解釋自然現(xiàn)象，物理學(xué)?，F(xiàn)代方式的神經(jīng)網(wǎng)絡(luò)研究神經(jīng)網(wǎng)絡(luò)研究，1940年，兩個(gè)科學(xué)家：WarrenMcCulloch,WalterPitts,給出人工神經(jīng)網(wǎng)絡(luò)模型。現(xiàn)在人們使用的就是他們抽象出的神經(jīng)元模型。hebb規(guī)則，1949，生物神經(jīng)元學(xué)習(xí)機(jī)制。神經(jīng)元傳遞信息的原則，互相作用的原則。兩個(gè)神經(jīng)原同時(shí)興奮，則兩者的連接強(qiáng)度增強(qiáng)。1958年，rosenblatt真正造了一個(gè)神經(jīng)網(wǎng)絡(luò)，號(hào)稱perceptron，感知器。1960年，BernardWidrow,TedHoff給出自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，利用了widrow-hoff學(xué)習(xí)規(guī)則，應(yīng)用于消除回聲。真正應(yīng)用，用于電話消除回聲，很簡(jiǎn)單的元件。1969年，minsky與papert的書(shū)批評(píng)了感知器與自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，打擊了神經(jīng)網(wǎng)絡(luò)發(fā)展。從此神經(jīng)網(wǎng)絡(luò)發(fā)展陷入低谷。這個(gè)時(shí)代是計(jì)算機(jī)發(fā)展飛速，同時(shí)帶有很多神秘感的時(shí)代。很多東西未能搞清楚，很有用，很吸引人的時(shí)代。大家都來(lái)研究計(jì)算機(jī)的人工智能是很正常的。Minsky的書(shū)中舉了一個(gè)例子，說(shuō)神經(jīng)網(wǎng)絡(luò)不是萬(wàn)能的?？茖W(xué)發(fā)展需要冷靜，1972年，TeuvoKohonen與JamesAnderson發(fā)明自組織神經(jīng)網(wǎng)絡(luò)，StephenGrossberg觀察到自組織神經(jīng)網(wǎng)絡(luò)的許多新性質(zhì)。有很多科學(xué)家在逆境中堅(jiān)持神經(jīng)網(wǎng)絡(luò)研究，取得好成績(jī)。我有時(shí)感覺(jué)在不是很熱的環(huán)境下更能做出進(jìn)展來(lái)。所以沒(méi)有必要追求時(shí)髦。1960-1980計(jì)算機(jī)飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)研究發(fā)展平靜。計(jì)算機(jī)的研究發(fā)展遇到很多困難。1980年以后，神經(jīng)網(wǎng)絡(luò)又一次飛速發(fā)展，有點(diǎn)戲劇性。1982年Hopfield用統(tǒng)計(jì)機(jī)制解釋神經(jīng)網(wǎng)絡(luò)，使人們對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)前進(jìn)了一大步。1986年BP學(xué)習(xí)算法，解決了minsky與papert的問(wèn)題。DavidRumelhart與JamesMcClelland給出。Hopfield神經(jīng)網(wǎng)絡(luò)能解TSP問(wèn)題，實(shí)現(xiàn)了一個(gè)神經(jīng)網(wǎng)絡(luò)解6個(gè)點(diǎn)的TSP問(wèn)題。很神，后來(lái)實(shí)踐證明也不能求精確解。1986年以后，大量的神經(jīng)網(wǎng)絡(luò)研究文章和研究項(xiàng)目，發(fā)現(xiàn)了很多神經(jīng)網(wǎng)絡(luò)的新性質(zhì)和新應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)一定很有前途，現(xiàn)在缺乏真正的應(yīng)用，用起來(lái)不方便。每個(gè)國(guó)家都投入很多資金研究神經(jīng)網(wǎng)絡(luò)。成果很多，神經(jīng)網(wǎng)絡(luò)也就真正成長(zhǎng)為一門成熟的科學(xué)了。神經(jīng)網(wǎng)絡(luò)特點(diǎn)未必二進(jìn)制，沒(méi)有明確的存儲(chǔ)器，計(jì)算，控制分工模糊，沒(méi)有控制程序，性能好，用起來(lái)不方便。不好控制，不好用。2神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域：空間技術(shù)：飛行器控制系統(tǒng)，飛行器元件仿真，飛行器元件錯(cuò)誤探測(cè)器。舉個(gè)例子，飛行器在飛行中判斷什么是云彩，有沒(méi)有風(fēng)，風(fēng)力多大。將飛行器飛行的環(huán)境數(shù)據(jù)采集以后訓(xùn)練神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)控制飛行器前進(jìn)速度，方向。Automotive：交通控制自動(dòng)指示系統(tǒng)，紅綠燈控制，攝像頭照相看路上的車有多少，橫穿馬路人有多少，由此決定紅燈還是綠燈，說(shuō)著容易作著難。銀行：信貸申請(qǐng)?jiān)u估器。語(yǔ)音：語(yǔ)音識(shí)別，語(yǔ)音壓縮，聲調(diào)識(shí)別。現(xiàn)在主要的應(yīng)用。機(jī)器人，Defense，Electronics,ebtertainment，F(xiàn)iancial,Insurance,Manufacturing,Medical,Securities,Transportation。很多領(lǐng)域都用，想用就能用。3生物基礎(chǔ)神經(jīng)纖維，傳遞信號(hào)，數(shù)字信號(hào)，二進(jìn)制數(shù)。神經(jīng)突觸，數(shù)模轉(zhuǎn)換。數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào)。神經(jīng)信號(hào)，二進(jìn)制信號(hào)。時(shí)空整合，將一個(gè)時(shí)段內(nèi)的各個(gè)模擬信息相加就成了。我開(kāi)始看焦李成的書(shū)，看不懂，看公式，認(rèn)為相加就是時(shí)空整合。第二章：神經(jīng)元模型與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)本章介紹人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，從神經(jīng)元開(kāi)始。1多輸入神經(jīng)元模型，(1(1)以后主要用到的神經(jīng)元模型(2)1943年就有MP模型，一種最常用的(3)在MP模型基礎(chǔ)上的變種。y=f()==WTX-W=(w1,w2,…,wn)TX=(x1,x2,…,xn)T。解釋：(1)神經(jīng)元有兩種狀態(tài)，興奮/抑制。(2)wi的含義：神經(jīng)突觸的作用，的含義，閾值。興奮抑制。(3)時(shí)空整合，求和。數(shù)模轉(zhuǎn)換后相加。什么是時(shí)空整合？籠統(tǒng)，不知道什么意思，暫且理解為求和。作用函數(shù)：hardlimitf()=，=symmetrichardlimitf()=，=linearf()=，=，線性saturatinglinear，f()=，=symmetricsaturatinglinearf()=，=log-sigmoidf()=，=hyperbolictangentsigmoidf()=，=positivelinearf()=，=2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前饋網(wǎng)絡(luò)(1)分層(2)(1)分層(2)層間連接，(3)信號(hào)一層一層傳遞反饋網(wǎng)絡(luò)(1)輸出層信號(hào)返回作為輸入層輸入信號(hào)。(2)連續(xù)自身作用(1)輸出層信號(hào)返回作為輸入層輸入信號(hào)。(2)連續(xù)自身作用Recurrent神經(jīng)網(wǎng)絡(luò)單層前饋神經(jīng)網(wǎng)絡(luò)問(wèn)題：(1)每層有多少個(gè)神經(jīng)元，每個(gè)神經(jīng)元采用什么傳遞函數(shù)，每個(gè)連接的權(quán)值是多少？(2)針對(duì)問(wèn)題，確定神經(jīng)網(wǎng)絡(luò)，即為學(xué)習(xí)。(3)用作記憶，具有聯(lián)想能力的記憶函數(shù)，象人一樣，識(shí)別字母，a,b,c,d,e,f,g,…,x,y,z.還有其他種類的神經(jīng)網(wǎng)絡(luò)，等講到時(shí)再說(shuō)。3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則自己看，以后慢慢理解。4應(yīng)用實(shí)例解采用hard-limit函數(shù)神經(jīng)元上次內(nèi)容：(1)神經(jīng)網(wǎng)絡(luò)發(fā)展史，(2)神經(jīng)元模型，8種，根據(jù)實(shí)際需要可以變化。(1)以后主要用到的神經(jīng)元模型(1)以后主要用到的神經(jīng)元模型(2)1943年就有MP模型，一種最常用的(3)在MP模型基礎(chǔ)上的變種。y=f()==WTX-W=(w1,w2,…,wn)TX=(x1,x2,…,xn)T。f的形狀，有變化。神經(jīng)網(wǎng)絡(luò)從結(jié)構(gòu)上看：還要考慮信號(hào)，由數(shù)字式的，有連續(xù)式的。第二章神經(jīng)網(wǎng)絡(luò)的基本特征與典型模型§2.2前饋網(wǎng)絡(luò)模型輸入層，中間層，輸出層。神經(jīng)元全部選用同類型，結(jié)構(gòu)如下：前饋神經(jīng)網(wǎng)絡(luò)能干什么？實(shí)現(xiàn)映射，映射能力有多大？將一個(gè)向量變成另外一個(gè)向量。定理2.1(1)為有界非線性單調(diào)遞增函數(shù)，K為Rn中的緊致子集(2)F(x)=F(x1,x2,…,xn)為K上的實(shí)值連續(xù)函數(shù)，>0則：存在整數(shù)N和實(shí)常數(shù)Ci,i，i=1,2,…,N,使說(shuō)明：一個(gè)神經(jīng)元對(duì)應(yīng)于()函數(shù)，定理說(shuō)明，只要神經(jīng)元足夠多，實(shí)現(xiàn)任意函數(shù)可以使誤差足夠小。(2)式表達(dá)了神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的函數(shù)。()函數(shù)要求單調(diào)遞增非線性。2.2.1感知器來(lái)歷：Rosenblatt于1958年提出感知器神經(jīng)網(wǎng)絡(luò)，實(shí)際是多層前饋網(wǎng)絡(luò)，每個(gè)神經(jīng)元均為硬限函數(shù)神經(jīng)元。第一稱得上神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)。1單層感知器結(jié)構(gòu)實(shí)際就是MP神經(jīng)元模型分層處理信息的連接，因?yàn)樵O(shè)計(jì)了學(xué)習(xí)算法，所以叫感知器。作用函數(shù)：。1950年實(shí)際的硬件就做出來(lái)了，1958年學(xué)習(xí)算法才提出來(lái)，方法的創(chuàng)新比較慢。實(shí)際學(xué)習(xí)算法很簡(jiǎn)單，只針對(duì)一個(gè)神經(jīng)元，但這是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的第一次。感知器干什么用？連接權(quán)值標(biāo)記：用權(quán)值矩陣，W1=，這是m層的連接權(quán)值矩陣。yk=f()=f(WkX-k)，wk=(wk1,…,wkn)T，X=(x1,…,xn)T。k=1,2,…,m。單層感知器實(shí)現(xiàn)與運(yùn)算：y=x1x2y=問(wèn)題：一般的怎么做，當(dāng)作作業(yè)y=x1x2…xk。單層感知器實(shí)現(xiàn)或運(yùn)算：y=x1+x2再來(lái)一個(gè)，y=問(wèn)題：一般的怎樣處理？定理2.3：?jiǎn)螌痈兄鞑荒軐?shí)現(xiàn)異或運(yùn)算。y=x1x2證明：若有w1,w2,使得：f(w1x1+w2x2-)=x1x2，說(shuō)明這是不存在的。則：推出矛盾：由(3)、(4)得，>0，由(1)、(2)、(3)得2w1+w2<。所以得證。分析為什么一個(gè)神經(jīng)元的作用，線性分割空間，例如：將(x1,x2)看作平面上的點(diǎn)，若該點(diǎn)在A區(qū)域，則神經(jīng)元輸出1，在B區(qū)域則輸出0。異或的幾何解釋為：?jiǎn)栴}：?jiǎn)螌痈兄鞯降啄軐?shí)現(xiàn)什么樣的映射，線性可分的。給定樣本，怎樣確定神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)樣本中的映射，學(xué)習(xí)問(wèn)題。不僅要實(shí)現(xiàn)，樣本給定的映射，沒(méi)有給定的映射怎樣？考察其泛化能力。多層感知器(1)用于實(shí)現(xiàn)布爾函數(shù)定理：任意布爾函數(shù)均可用兩層感知器實(shí)現(xiàn)。異或怎樣實(shí)現(xiàn)，證：任意布爾函數(shù)均可寫(xiě)成析取泛式：例如：y=，實(shí)現(xiàn)如下：相與的形式用一個(gè)神經(jīng)元可實(shí)現(xiàn)，相或的形式也可用一個(gè)神經(jīng)元實(shí)現(xiàn)，當(dāng)然任意布爾函數(shù)均可用兩層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。但是根據(jù)真值表構(gòu)造神經(jīng)網(wǎng)絡(luò)不容易。(2)用于實(shí)現(xiàn)區(qū)域識(shí)別鼠標(biāo)進(jìn)入那個(gè)圖標(biāo)的區(qū)域，計(jì)算機(jī)要知道？要判斷鼠標(biāo)是否在一個(gè)某種形狀的區(qū)域中：定理：任意凸區(qū)域可以用兩層感知器實(shí)現(xiàn)。舉例證明。-3x1+x2=3-3x1+x2=3x1-3x2=3x1+x2=-1x1+x2=3神經(jīng)網(wǎng)絡(luò)：四個(gè)邊界線性方程，(1)-x1-x2-3(-x1-x2+30)(2)3x1-x2-3(3x1-x2+30)(3)x1+x2-1(4)-x1+3x2-3(-x1+3x2+30)任意輸入(x1,x2)，若輸出0，則不在陰影區(qū)域，若輸出1，則在陰影區(qū)域。定理：任意凸區(qū)域均可用兩層感知器識(shí)別。為什么：每個(gè)邊界可用一個(gè)線性方程表示，符號(hào)：L1,L2,…,Ln表示所有邊界L1：W1X-10L2：W2X-20………………Lm：WmX-20Wi=(wi1,…,win)T一個(gè)神經(jīng)元一條邊界就是了。定理：任意區(qū)域可由三層感知器實(shí)現(xiàn)辨識(shí)解釋：任意區(qū)域總可劃分為凸區(qū)域的并。例子：L1:x1=0，x10L2:x2=-1，x2+10L3:x1=4，-x1+40L4:x1-x2=3，x1-x2-30L5:x1+x2=1，-x1-x2+10(L1L2L5)(L2L3神經(jīng)網(wǎng)絡(luò)如下：實(shí)際上，兩層也能實(shí)現(xiàn)凹區(qū)域辨識(shí)。但是比較麻煩。解釋：凸區(qū)域：A1,A2,…,Ar，Ai可用兩層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，所以進(jìn)一步A1+A2+…+Ar可用再加一層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。2.2.2反向傳播神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)*說(shuō)明一般的學(xué)習(xí)問(wèn)題(1)前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)映射(2)相當(dāng)于數(shù)據(jù)壓縮(3)相當(dāng)于數(shù)據(jù)存儲(chǔ)器，輸入地址，輸出數(shù)據(jù)給定向量對(duì)集合{(Xi,Yi)|i=1,…,n}，要構(gòu)造神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)向量對(duì)，輸入Xi，就輸出Yi。構(gòu)造神經(jīng)網(wǎng)絡(luò)就是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。舉個(gè)例子：銀行貸款：什么情況下可以，什么情況下不可以分為條件x1,x2,x3,…,xk，過(guò)去有很多貸款實(shí)例。形成一個(gè)表：0X1,x2,x3,…,xk貸款101010101011211001010100。。。。。。。。。。1神經(jīng)網(wǎng)絡(luò)構(gòu)造出來(lái)是學(xué)習(xí)，構(gòu)造完成神經(jīng)網(wǎng)絡(luò)以后再輸入一個(gè)新的貸款數(shù)據(jù)，就用神經(jīng)網(wǎng)絡(luò)幫助判斷。問(wèn)題是(1)怎樣根據(jù)原始數(shù)據(jù)構(gòu)造神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)問(wèn)題，第三章再講，(2)神經(jīng)網(wǎng)絡(luò)判斷是否正確。泛化能力，現(xiàn)在這是值得研究的問(wèn)題。***說(shuō)明BP神經(jīng)網(wǎng)絡(luò)先說(shuō)明結(jié)構(gòu)和符號(hào)：第一層n1個(gè)神經(jīng)元，第2層n2個(gè)神經(jīng)元，第q層nq個(gè)神經(jīng)元。表示地s層第i個(gè)神經(jīng)元的連接權(quán)值，由j到i的。表示第s層第i個(gè)神經(jīng)元的門限值。,i=1,2,…,n1,i=1,2,…,n1,i=1,2,…,n1,s=2,…,q,i=1,2,…,ns,s=2,…,qyi=,i=1,2,…,m=nq***事件：(1)Minsky曾經(jīng)在1969年說(shuō)過(guò)多層前饋神經(jīng)網(wǎng)絡(luò)沒(méi)有學(xué)習(xí)算法，(2)1986年Rumelhart等人就設(shè)計(jì)了第一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。是針對(duì)BP網(wǎng)絡(luò)。先不講BP算法，以后講，現(xiàn)在先將應(yīng)用。兩個(gè)例子，1函數(shù)逼近，2聲音識(shí)別函數(shù)f(x):(1)采集樣本點(diǎn)數(shù)據(jù)，可以將x數(shù)值化為二進(jìn)制數(shù)。(2)形成樣本，{(Xi,Yi)|i=1,…,N}(3)根據(jù)樣本構(gòu)造神經(jīng)網(wǎng)絡(luò)，輸入Xi則輸出Yi**聲音識(shí)別：識(shí)別1，2，3，4，5，6，7樣本形成：x1,x2,…,xnY1,y2,y310101001010012101110000103……….不一定只有7個(gè)樣本，采用不同人，10個(gè)人，每人7個(gè)樣本，就是70個(gè)樣本。神經(jīng)元怎樣輸出代表1，怎樣輸出代表0，具體情況具體分析。2.3.1離散Hopfield神經(jīng)網(wǎng)絡(luò)1結(jié)構(gòu)：說(shuō)明：神經(jīng)元：對(duì)稱硬限函數(shù)：f()=神經(jīng)網(wǎng)絡(luò)的工作是分節(jié)拍的。一般認(rèn)為，神經(jīng)元的門限值為0，每個(gè)神經(jīng)元都沒(méi)有自反饋。是干什么用的，可以用來(lái)預(yù)置初始狀態(tài)。2工作方式，兩種，異步和同步。異步工作方式，每次只有一個(gè)神經(jīng)元狀態(tài)調(diào)整，其他神經(jīng)元狀態(tài)保持不變。用公式表示：到底那個(gè)神經(jīng)元改變狀態(tài)，可以依次改變，也可以隨機(jī)選擇。開(kāi)始用預(yù)置初始狀態(tài)，開(kāi)始工作時(shí)全變?yōu)?。然后按照異步工作方式改變狀態(tài)。(2)同步工作方式，每次所有神經(jīng)元同時(shí)改變狀態(tài)。用公式描述為：，i=1,2,…,n。寫(xiě)成矩陣形式：X(t+1)=f(WX(t)-)X(t)=(x1(t),…,xn(t))T=(1,…,n)TW=[wij]n*nf()=(f(1),…,f(n))T開(kāi)始用預(yù)置初始狀態(tài)，開(kāi)始工作時(shí)全變?yōu)?。然后按照同步工作方式改變狀態(tài)。問(wèn)題：不就是狀態(tài)變化嗎？狀態(tài)變到何時(shí)為止，有沒(méi)有靜止態(tài)，平衡態(tài)。是否從任意的初始狀態(tài)，都能變到平衡態(tài)，運(yùn)動(dòng)到哪一個(gè)平衡態(tài)。這種狀態(tài)變化有什么用？(3)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析定義：狀態(tài)X滿足X=f(WX-)，X稱為平衡態(tài)或吸引，舉例：權(quán)值矩陣：，(1)驗(yàn)證初始狀態(tài)為(1,-1,-1,-1)T時(shí)的狀態(tài)運(yùn)動(dòng)。(2)驗(yàn)證初始狀態(tài)為(-1,-1,-1,-1)T時(shí)的狀態(tài)運(yùn)動(dòng)。(3)自己舉幾個(gè)例子。2DHNN神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性將神經(jīng)網(wǎng)絡(luò)看作一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，系統(tǒng)穩(wěn)定，則從一個(gè)初始狀態(tài)可以運(yùn)動(dòng)到平衡態(tài)。什么是平衡態(tài)，穩(wěn)定點(diǎn)。X=f(WX-)=f(WX)，通常：=0。開(kāi)始是混沌態(tài)，最終是穩(wěn)定態(tài)。這應(yīng)該是萬(wàn)物的運(yùn)動(dòng)規(guī)律。這種規(guī)律干什么用？定理2.4：(1)DHNN異步工作模式，(2)W對(duì)稱，(3)wii0則對(duì)任意初態(tài)，網(wǎng)絡(luò)最終收斂到穩(wěn)定態(tài)。證明：下面的方法在Hopfield之前沒(méi)有人用過(guò)：構(gòu)造能量函數(shù)：E(t)=-XT(t)WX(t)+XT(t)說(shuō)明：該函數(shù)有界，上界和下界都有?？疾炷芰孔兓篍=E(t+1)-E(t)=-XT(t+1)WX(t+1)+XT(t+1)-[-XT(t)WX(t)+XT(t)]=-[X(t)+X(t)]TW[X(t)+X(t)]+[X(t)+X(t)]-[-XT(t)WX(t)+XT(t)](因?yàn)椋篨(t+1)=X(t)+X(t))=-XT(t)[WX(t)-]-XT(t)WX(t)(X(t)=[0,0,…,xi(t),…,0]T)=-xi(t)[]-[xi(t)]2wii0。(1)只有當(dāng)狀態(tài)不變時(shí)，E才為0。(2)通常wii=0，此時(shí)也是如此。(3)當(dāng)X{0,1}時(shí)也有同樣結(jié)論。定理2.5：(1)DHNN同步工作方式，(2)W對(duì)稱，則神經(jīng)網(wǎng)絡(luò)最終收斂到2態(tài)極限環(huán)或平衡態(tài)。證明：構(gòu)造能量函數(shù)：E(t)=-XT(t)WX(t-1)+(X(t)+X(t-1))TE=E(t+1)-E(t)=-XT(t+1)WX(t)+(X(t+1)+X(t))T-[-XT(t)WX(t-1)+(X(t)+X(t-1))T]=-(i(t)=)0.因能量函數(shù)有界，所以收斂。E=0時(shí)只有兩種情況，即定理中的情況。定理2.5：(1)DHNN，(2)同步方式工作，(3)W對(duì)稱且非負(fù)定。則對(duì)任意初態(tài)，神經(jīng)網(wǎng)絡(luò)總能收斂到平衡態(tài)。證明：E(t)=-XT(t)WX(t)+XT(t)E(t)=E(t+1)-E(t)=--XT(t)WX(t)0(1)前面一項(xiàng)前面已經(jīng)證明是不會(huì)大于0，后面一項(xiàng)由W非負(fù)定保證。故得證。3聯(lián)想記憶(AssociateMemory)HAM問(wèn)題：(1)給定向量：X1=(x11,x12,…,x1n)TX2=(x21,x22,…,x2n)T………XN=(xN1,xN2,…,xNn)T要求：構(gòu)造神經(jīng)網(wǎng)絡(luò)，使X1,X2,…,XN是神經(jīng)網(wǎng)絡(luò)的吸引子或穩(wěn)定點(diǎn)。W=X1X1T+X2X2T+X3X3T+…+XNXNT-NI(1)利用Hebb規(guī)則解釋(2)例子X(jué)1=(1,1,-1,-1,-1,-1)TX2=(-1,-1,1,1,1,-1)TW==神經(jīng)網(wǎng)絡(luò)如下：上次內(nèi)容：(1)多層感知器，離散作用函數(shù)(2)BP神經(jīng)網(wǎng)絡(luò)，連續(xù)作用函數(shù)(3)Hopfield神經(jīng)網(wǎng)絡(luò)，上次講到工作方式，現(xiàn)在先回憶，再繼續(xù)。*神經(jīng)元：對(duì)稱硬限函數(shù)：f()=*兩種工作方式，異步：一次只有一個(gè)神經(jīng)元改變狀態(tài)，同步：一次所有神經(jīng)元改變狀態(tài)。2DHNN神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，看神經(jīng)網(wǎng)絡(luò)改變狀態(tài)到什么狀態(tài)。將神經(jīng)網(wǎng)絡(luò)看作一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，系統(tǒng)穩(wěn)定，則從一個(gè)初始狀態(tài)可以運(yùn)動(dòng)到平衡態(tài)。什么是平衡態(tài)，穩(wěn)定點(diǎn)。X=f(WX-)=f(WX)，通常：=0。解釋：W=，X=，=f(WX)=開(kāi)始是混沌態(tài)，最終是穩(wěn)定態(tài)。這應(yīng)該是萬(wàn)物的運(yùn)動(dòng)規(guī)律。這種規(guī)律干什么用？定理2.4：(1)DHNN異步工作模式，(2)W對(duì)稱，(3)wii0則對(duì)任意初態(tài)，網(wǎng)絡(luò)最終收斂到穩(wěn)定態(tài)。證明：下面的方法在Hopfield之前沒(méi)有人用過(guò)：構(gòu)造能量函數(shù)：E(t)=-XT(t)WX(t)+XT(t)說(shuō)明：該函數(shù)有界，上界和下界都有?？疾炷芰孔兓篍=E(t+1)-E(t)=-XT(t+1)WX(t+1)+XT(t+1)-[-XT(t)WX(t)+XT(t)]=-[X(t)+X(t)]TW[X(t)+X(t)]+[X(t)+X(t)]-[-XT(t)WX(t)+XT(t)](因?yàn)椋篨(t+1)=X(t)+X(t))=-XT(t)[WX(t)-]-XT(t)WX(t)(X(t)=[0,0,…,xi(t),…,0]T)=-xi(t)[]-[xi(t)]2wii0。要討論xi(t)[]=(xi(t+1)-xi(t))[]0(1)只有當(dāng)狀態(tài)不變時(shí)，E才為0。(2)通常wii=0，此時(shí)也是如此。(3)當(dāng)X{0,1}時(shí)也有同樣結(jié)論。定理2.5：(1)DHNN同步工作方式，(2)W對(duì)稱，則神經(jīng)網(wǎng)絡(luò)最終收斂到2態(tài)極限環(huán)或平衡態(tài)。證明：構(gòu)造能量函數(shù)：E(t)=-XT(t)WX(t-1)+(X(t)+X(t-1))TE=E(t+1)-E(t)=-XT(t+1)WX(t)+(X(t+1)+X(t))T-[-XT(t)WX(t-1)+(X(t)+X(t-1))T]=-0.(i(t)=)因能量函數(shù)有界，所以收斂。E=0時(shí)只有兩種情況，即定理中的情況。定理2.5：(1)DHNN，(2)同步方式工作，(3)W對(duì)稱且非負(fù)定。則對(duì)任意初態(tài)，神經(jīng)網(wǎng)絡(luò)總能收斂到平衡態(tài)。二次型，線性代數(shù)中講過(guò)。證明：E(t)=-XT(t)WX(t)+XT(t)E(t)=E(t+1)-E(t)=--XT(t)WX(t)0(1)前面一項(xiàng)前面已經(jīng)證明是不會(huì)大于0，后面一項(xiàng)由W非負(fù)定保證。故得證。3聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)(AssociateMemory)HAM問(wèn)題：(1)給定向量：X1=(x11,x12,…,x1n)TX2=(x21,x22,…,x2n)T………XN=(xN1,xN2,…,xNn)T要求：構(gòu)造神經(jīng)網(wǎng)絡(luò)，使X1,X2,…,XN是神經(jīng)網(wǎng)絡(luò)的吸引子或穩(wěn)定點(diǎn)。W=X1X1T+X2X2T+X3X3T+…+XNXNT-NI(1)利用Hebb規(guī)則解釋(2)例子X(jué)1=(1,1,-1,-1,-1,-1)TX2=(-1,-1,1,1,1,-1)TW==神經(jīng)網(wǎng)絡(luò)如下：連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：三n個(gè)微分方程表述。Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，從任意初態(tài)均可收斂到平衡態(tài)定理2.6：任意連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，若：(1)wij=wji(2)f()單調(diào)增則神經(jīng)網(wǎng)絡(luò)從任意初態(tài)開(kāi)始均能收斂到網(wǎng)絡(luò)平衡態(tài)。是穩(wěn)定的。證明：能量函數(shù)：E(t)==需要證明，下面證明：因?yàn)閒()單調(diào)增，所以f-1(xi)單調(diào)增。所以：，因而有上式的不大于0。2.3Boltzmann機(jī)單層反饋神經(jīng)網(wǎng)絡(luò)，工作方式是一個(gè)隨機(jī)收斂過(guò)程，隨機(jī)動(dòng)力學(xué)模型：結(jié)構(gòu)如下：神經(jīng)元的工作模式：離散的，狀態(tài)離散變化，不連續(xù)。下一個(gè)狀態(tài)時(shí)什么？拋硬幣決定。根據(jù)前面的概率。最后結(jié)果怎么樣，也會(huì)穩(wěn)定，穩(wěn)定概率為1。這種神經(jīng)網(wǎng)絡(luò)也能用來(lái)求解優(yōu)化問(wèn)題，怎么做：構(gòu)造一個(gè)由問(wèn)題的參數(shù)組成的函數(shù)，恰好是一個(gè)二次型，根據(jù)二次型可以構(gòu)造神經(jīng)網(wǎng)絡(luò)，認(rèn)為函數(shù)是神經(jīng)網(wǎng)絡(luò)的能量函數(shù)。可以證明，利用這種機(jī)器可以求得最優(yōu)解的概率為1。實(shí)際效果不見(jiàn)得好。§2.4Hamming神經(jīng)網(wǎng)絡(luò)：例子：X1=(0,0,1,1,1,1)T，X2=(1,1,0,0,1,1)T，X3=(1,1,1,1,0,0)T需要建立神經(jīng)網(wǎng)絡(luò)存儲(chǔ)上述向量，存儲(chǔ)器的容錯(cuò)能力應(yīng)該較強(qiáng)。不帶附加的存儲(chǔ)模式向量。只有三個(gè)平衡態(tài)。能否做到。Hamming網(wǎng)絡(luò)就能做到。神經(jīng)元使什么樣的：飽和線性函數(shù)。y=f()=,飽和線性函數(shù)hamming距離計(jì)算：X1=(x11,x12,…,x1n)T，X2=(x21,x22,…,x2n)T(2x11-1)(2x21-1)=(2x11-1)(2x21-1)+…+(2x1n-1)(2x2n-1)=-d(X1,X2)+n-d(X1,X2)=n-2d(X1,X2)n-d(X1,X2)=n+構(gòu)造神經(jīng)網(wǎng)絡(luò)：給定X=(x1,…,xn)，求X與X1之間的hamming距離：n-d(X1,X)=n+-§2.5自組織神經(jīng)網(wǎng)絡(luò)(1)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(2)背景：視網(wǎng)膜是怎樣辨別東西的？怎樣成象？Kohonen總結(jié)出一套自組織工作的機(jī)制。(3)工作過(guò)程輸入信息x輸出層競(jìng)爭(zhēng)，只有一個(gè)神經(jīng)元取勝，取勝神經(jīng)元輸出1，變成興奮態(tài)，其他神經(jīng)元輸出0。取勝神經(jīng)元修改權(quán)值，怎樣修改？希望什么？一個(gè)神經(jīng)元代表一類。舉例說(shuō)明：聲音鍵盤：a,b,…,x,y,z的聲音編碼，結(jié)果是當(dāng)輸入不同聲音時(shí)有不同區(qū)域的神經(jīng)元興奮，實(shí)驗(yàn)結(jié)果確實(shí)如此。但是需要說(shuō)明確實(shí)要達(dá)到這個(gè)效果。說(shuō)明上述內(nèi)容中的一些情況：X=(x1,x2,…,xn)T，W=(w1,w2,…,wn)T，看X和W距離有多么近，那個(gè)最近那個(gè)神經(jīng)元取勝，取勝以后，W再去學(xué)習(xí)X，W朝著X移動(dòng)一點(diǎn)。第三章模式分類與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)說(shuō)明什么是模式分類問(wèn)題：給定向量對(duì)：(X1,Y1),…,(XN,YN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使輸入Xi，則輸出Yi，i=1,2,…,N，最一般的認(rèn)為：Xi是n維實(shí)數(shù)向量，Yi是m維實(shí)數(shù)向量。下面一點(diǎn)一點(diǎn)看：先看單個(gè)神經(jīng)元是怎樣學(xué)習(xí)的：y=f()=，=這樣情況下，輸入向量為n維，輸出向量為1維。怎樣學(xué)習(xí)：X1=(x11,…x1n)T，d1…………XN=(xN1,…,xNn)T，dN神經(jīng)網(wǎng)絡(luò)連接權(quán)值是任意的話，誤差是多少？E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2]上面函數(shù)是誤差函數(shù)。若E=0，則W是所求的，否則不行。其他情況下，E越小越好。怎樣使誤差減??？怎樣改變w。有一個(gè)基本規(guī)則梯度下降：朝著梯度的反方向去改變w會(huì)使得誤差減小最快。wi=wi-，i=1,2,…,n=[2(d1-y1)(-)+…+2(dn-yn)(-)]=[-(d1-y1)f’(1)x1i-…-(dN-yN)f’(N)xNi]可以給出一個(gè)算法：(1)隨機(jī)選定wi,(2)若E<，則輸出wi,，停止。(3)計(jì)算，wi=wi-，i=1,2,…,n(4)轉(zhuǎn)(2)感知器是怎樣學(xué)習(xí)的？(1)樣本，(X1,Y1)，(X2,Y2)，…，(XN,YN)(2)求神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)樣本映射。單個(gè)神經(jīng)元的學(xué)習(xí)：作用函數(shù)為：f()=(1)先隨機(jī)確定w1,…,wn,(2)然后修改連接權(quán)值和門限值(3)怎樣修改wi=-(4)=[-(d1-y1)f’(1)x1i-…-(dN-yN)f’(N)xNi]單個(gè)感知器怎樣學(xué)習(xí)，算法是相同的，不同之處在與去掉系數(shù)：wi=-[-(d1-y1)x1i-…-(dN-yN)xNi]單個(gè)感知器學(xué)習(xí)算法：誤差函數(shù)：E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2](1)隨機(jī)確定w1,…,wn,(2)計(jì)算E，若E<，則停止。(3)計(jì)算wi，，i=1,2,…,n。wi=-[-(d1-y1)x1i-…-(dN-yN)xNi]=-[(d1-y1)+…+(dN-yN)](4)wi=wi+wi，=+。(5)轉(zhuǎn)(2)。例子：與運(yùn)算，樣本如下：x1,x2D0,000,101,001,11先隨機(jī)取值：w1=0.5,w2=0.5,=0.4。f(0,0)=0;f(0,1)=1;f(1,0)=1；f(1,1)=1w1=-0.05；w2=-0.05；=0.1w1=0.45；w2=0.45；=0.5f(0,0)=0；f(0,1)=0；f(1,0)=0；f(1,1)=1。還有一個(gè)問(wèn)題，一般的感知器學(xué)習(xí)怎么辦？有點(diǎn)辦法，難度大了。下面最好證明一個(gè)定理：定理：若訓(xùn)練樣本是線性可分的，則算法經(jīng)過(guò)有限步一定會(huì)收斂。*這個(gè)留著，下面是BP算法：先要有網(wǎng)絡(luò)結(jié)構(gòu)：講清楚網(wǎng)絡(luò)的連接權(quán)值是怎么標(biāo)記的門限值怎么標(biāo)記，給定樣本：(Xp,dp)，Xp=(xp1,xp2,…,xpn)T，dp=(dp1,dp2,…,dpm)T第t層第i個(gè)神經(jīng)元當(dāng)輸入為Xp時(shí)的輸出用表示，對(duì)應(yīng)的受到作用力總和：算法是怎樣來(lái)的：(1)構(gòu)造誤差函數(shù)：E=分析：若E=0，則顯然w和即為所求，若E>0，則要修改w和使E減小。怎樣修改？wij=-=-====最后一層的神經(jīng)元示意圖。==-=-=-=-和的計(jì)算方法見(jiàn)課本p36。上次內(nèi)容：(1)離散Hopfield神經(jīng)網(wǎng)絡(luò)，穩(wěn)定性分析。異步工作模式，同步工作模式，分別具有不同的穩(wěn)定性結(jié)論。(2)聯(lián)想存儲(chǔ)器3聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)(AssociateMemory)HAM問(wèn)題：(1)給定向量：X1=(x11,x12,…,x1n)TX2=(x21,x22,…,x2n)T………XN=(xN1,xN2,…,xNn)T要求：構(gòu)造神經(jīng)網(wǎng)絡(luò)，使X1,X2,…,XN是神經(jīng)網(wǎng)絡(luò)的吸引子或穩(wěn)定點(diǎn)。W=X1X1T+X2X2T+X3X3T+…+XNXNT-NI(1)利用Hebb規(guī)則解釋(2)例子X(jué)1=(1,1,-1,-1,-1,-1)TX2=(-1,-1,1,1,1,-1)TW==神經(jīng)網(wǎng)絡(luò)如下：***聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的性質(zhì)，要考慮什么問(wèn)題：(1)要把想存儲(chǔ)的數(shù)據(jù)都存上，能存那么多嗎？(2)存儲(chǔ)了數(shù)據(jù)以后，聯(lián)想能力怎么樣。(3)實(shí)際就是怎樣才叫好，很多指標(biāo)，先不考慮指標(biāo)，觀察性質(zhì)。說(shuō)明什么叫吸引子，就是平衡態(tài)。性質(zhì)1：x是吸引子，i,i=0，，則-x也是該網(wǎng)絡(luò)的吸引子。不存在作用力等于0的情況。證明：X=f(WX)，f(W(-X))=f(-WX)=-f(WX)=-X所以得證。總是有一個(gè)多余的吸引子。多存一個(gè)。性質(zhì)2：X(a)是網(wǎng)絡(luò)吸引子，dH(X(a),X(b))=1，則X(b)一定不是該網(wǎng)絡(luò)的吸引子。*說(shuō)明什么是海明距離證明：不失一般性，設(shè)X(a)=(x1(a),…,xn(a))，X(b)=(x1(b),…,xn(b))，x1(a)x1(b)，xi(a)=xi(b)，i=2,…,n。另外w11=0。所以：x1(a)=f()=f()x1(b)。說(shuō)明：X(a)已知是吸引子，所以有第一個(gè)等式，第二個(gè)不等式說(shuō)明X(b)不是吸引子。推論：X(a)是網(wǎng)絡(luò)吸引子，dH(X(a),X(b))=n-1，則X(b)一定不是該網(wǎng)絡(luò)的吸引子。因?yàn)閐H(X(a),-X(b))=1，由性質(zhì)2說(shuō)明-X(b)不是吸引子，由性質(zhì)1說(shuō)明X(b)不是吸引子。前面說(shuō)明會(huì)有假的吸引子，也就是一個(gè)吸引子周圍的點(diǎn)都不是吸引子。***下面要說(shuō)明聯(lián)想存儲(chǔ)器的存儲(chǔ)容量Hopfield的實(shí)驗(yàn)結(jié)果：m≤0.15n，*n為神經(jīng)元個(gè)數(shù)，有這樣的存儲(chǔ)容量也不錯(cuò)。*另一個(gè)存儲(chǔ)容量，，為吸引半徑，即誤差。實(shí)際是平均存儲(chǔ)容量，數(shù)學(xué)建模，假設(shè)每一位都是任意的0/1。以后再討論這個(gè)話題。過(guò)去從來(lái)沒(méi)有人說(shuō)明過(guò)，其中有一個(gè)結(jié)論看了很久似乎不對(duì)。4雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)，雙向聯(lián)想存儲(chǔ)器。目的是什么：根據(jù)部分?jǐn)?shù)據(jù)得到全部數(shù)據(jù)。成對(duì)的數(shù)據(jù)，互相聯(lián)想。XY連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：3n個(gè)微分方程表述。Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，從任意初態(tài)均可收斂到平衡態(tài)定理2.6：任意連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，若：(1)wij=wji，作用力等于反作用力(2)f()單調(diào)增則神經(jīng)網(wǎng)絡(luò)從任意初態(tài)開(kāi)始均能收斂到網(wǎng)絡(luò)平衡態(tài)。是穩(wěn)定的。證明：能量函數(shù)：E(t)==需要證明，下面證明：因?yàn)閒(yi)單調(diào)增，所以f-1(xi)單調(diào)增。所以：，因而有上式的不大于0。連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)干什么用，用于聯(lián)想存儲(chǔ)器，存儲(chǔ)連續(xù)的數(shù)據(jù)。上次講的內(nèi)容：(1)Boltzman機(jī)，隨機(jī)神經(jīng)網(wǎng)絡(luò)(2)Haiming神經(jīng)網(wǎng)絡(luò)，誤差修正(3)自組織神經(jīng)網(wǎng)絡(luò)。自組織分類。第三章模式分類與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)說(shuō)明什么是模式分類問(wèn)題：簡(jiǎn)單說(shuō)明人的學(xué)習(xí)。修改連接權(quán)值。神經(jīng)網(wǎng)絡(luò)，連接權(quán)值的改變，固定即學(xué)習(xí)成功。給定向量對(duì)：(X1,d1),…,(XN,dN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使輸入Xi，則輸出di，i=1,2,…,N，最一般的認(rèn)為：Xi是n維實(shí)數(shù)向量，Yi是m維實(shí)數(shù)向量。Xi=(xi1,xi2,…,xin)，di=(di1,di2,…,dim)下面一點(diǎn)一點(diǎn)看：先看單個(gè)神經(jīng)元是怎樣學(xué)習(xí)的：y=f()=，=這樣情況下，輸入向量為n維，輸出向量為1維。怎樣學(xué)習(xí)：X1=(x11,…,x1n)T，d1…………XN=(xN1,…,xNn)T，dN神經(jīng)網(wǎng)絡(luò)連接權(quán)值是任意的話，誤差是多少？，任給連接權(quán)值wi，E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2]上面函數(shù)是誤差函數(shù)。若E=0，則W是所求的，否則不行。其他情況下，E越小越好。怎樣學(xué)習(xí)使E越來(lái)越小。W=(w1,w2,…,wn)T，梯度。怎樣使誤差減??？怎樣改變w。有一個(gè)基本規(guī)則梯度下降：朝著梯度的反方向去改變w會(huì)使得誤差減小最快。w=(w1,w2,…,wn)T，wi=-，要有一個(gè)系數(shù)。wi=wi-，i=1,2,…,n=[2(d1-y1)(-)+…+2(dN-yN)(-)]=[-(d1-y1)f’(1)x1i-…-(dN-yN)f’(N)xNi]=[-(d1-y1)f(1)(1-f(1))x1i-(d2-y2)f(2)(1-f(2))x2i…-(dN-yN)f(N)(1-f(N))xNi]yk=f(k)k=可以給出一個(gè)算法：(1)隨機(jī)選定wi,(2)若E<，則輸出wi,，停止。(3)計(jì)算，wi=wi-，i=1,2,…,n(4)轉(zhuǎn)(2)算法學(xué)習(xí)是否會(huì)成功。什么是成功，達(dá)到目標(biāo)，不是所有樣本都能達(dá)到目標(biāo)。樣本是線性可分的，則會(huì)成功。感知器是怎樣學(xué)習(xí)的？(1)樣本，(X1,Y1)，(X2,Y2)，…，(XN,YN)(2)求神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)樣本映射。單個(gè)神經(jīng)元的學(xué)習(xí)：作用函數(shù)為：f()=(1)先隨機(jī)確定w1,…,wn,(2)然后修改連接權(quán)值和門限值(3)怎樣修改：wi=-(4)=[-(d1-y1)f’(1)x1i-…-(dN-yN)f’(N)xNi]單個(gè)感知器怎樣學(xué)習(xí)，算法是相同的，不同之處在與去掉系數(shù)：wi=-[-(d1-y1)x1i-…-(dN-yN)xNi]單個(gè)感知器學(xué)習(xí)算法：誤差函數(shù)：E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2](1)隨機(jī)確定w1,…,wn,(2)計(jì)算E，若E<，則停止。(3)計(jì)算wi，，i=1,2,…,n。wi=-[-(d1-y1)x1i-…-(dN-yN)xNi]=-[(d1-y1)+…+(dN-yN)](4)wi=wi+wi，=+。(5)轉(zhuǎn)(2)。例子：與運(yùn)算，樣本如下：x1x2di000010100111先隨機(jī)取值：w1=0.5,w2=0.5,=0.4。f(0,0)=0;f(0,1)=1;f(1,0)=1；f(1,1)=1w1=-[-(d1-y1)x11-(d2-y2)x21-(d3-y3)x31-(d4-y4)x41]=-[-(0-0)0-(0-1)0-(0-1)1-(1-1)1]=-0.2*(1/4)(1)=-0.05；w2=-[-(0-0)0-(0-1)1-(0-1)0-(1-1)1]=-0.05=-[(0-0)*1+(0-1)*1+(0-1)*1+(1-1)*1]=-0.2*(1/4)(-2)=0.1w1=0.45；w2=0.45；=0.5f(0,0)=0；f(0,1)=0；f(1,0)=0；f(1,1)=1。還有一個(gè)問(wèn)題，一般的感知器學(xué)習(xí)怎么辦？有點(diǎn)辦法，難度大了。下面最好證明一個(gè)定理：定理：若訓(xùn)練樣本是線性可分的，則算法經(jīng)過(guò)有限步一定會(huì)收斂。*這個(gè)留著，下面是BP算法：先要有網(wǎng)絡(luò)結(jié)構(gòu)：講清楚網(wǎng)絡(luò)的連接權(quán)值是怎么標(biāo)記的門限值怎么標(biāo)記，給定樣本：(Xp,dp)，Xp=(xp1,xp2,…,xpn)T，dp=(dp1,dp2,…,dpm)T第t層第i個(gè)神經(jīng)元當(dāng)輸入為Xp時(shí)的輸出用表示，對(duì)應(yīng)的受到作用力總和：算法是怎樣來(lái)的：(1)構(gòu)造誤差函數(shù)：E=分析：若E=0，則顯然w和即為所求，若E>0，則要修改w和使E減小。怎樣修改？梯度下降。wij=-=-====最后一層的神經(jīng)元示意圖。==-=-=-=-第t層神經(jīng)元示意圖。和的計(jì)算方法見(jiàn)課本p36。說(shuō)明：沒(méi)法舉例子算法程序容易實(shí)現(xiàn)，很多現(xiàn)成的程序，可以用VC或VB實(shí)現(xiàn)。算法在神經(jīng)網(wǎng)絡(luò)規(guī)模較小時(shí)速度還行，規(guī)模大時(shí)速度太慢。有很多改進(jìn)方法，但解決不了根本問(wèn)題。說(shuō)算法壞是正常的，總是要改進(jìn)，算法的關(guān)鍵就是要求微分，這個(gè)微分求了30年，實(shí)際上被人家求出來(lái)了，發(fā)現(xiàn)很簡(jiǎn)單。BP算法求解原理是什么？局部搜索算法，開(kāi)始選擇隨機(jī)初始點(diǎn)，計(jì)算到局部最優(yōu)解時(shí)若沒(méi)達(dá)到要求，則重新選擇開(kāi)始點(diǎn)。7．改進(jìn)算法自己去看吧，什么原理呢，就是調(diào)整步長(zhǎng)，理局部最優(yōu)解遠(yuǎn)時(shí)步長(zhǎng)加長(zhǎng)，離局部最優(yōu)解近時(shí)步長(zhǎng)縮短。8．有一次我真是認(rèn)真分析了一下時(shí)間復(fù)雜度，可以說(shuō)明是指數(shù)的?？臻g復(fù)雜度很小，所以算法很實(shí)用。上次內(nèi)容：(1)什么是學(xué)習(xí)(2)單個(gè)神經(jīng)元的學(xué)習(xí)算法關(guān)于單層感知器學(xué)習(xí)的結(jié)論。定理：若訓(xùn)練樣本是線性可分的，則算法經(jīng)過(guò)有限步一定會(huì)收斂。*這個(gè)留著，現(xiàn)在不證明。下面是BP算法：先要有網(wǎng)絡(luò)結(jié)構(gòu)：講清楚網(wǎng)絡(luò)的連接權(quán)值是怎么標(biāo)記的門限值怎么標(biāo)記，給定樣本：(Xp,dp)，Xp=(xp1,xp2,…,xpn)T，dp=(dp1,dp2,…,dpm)T第t層第i個(gè)神經(jīng)元當(dāng)輸入為Xp時(shí)的輸出用表示，對(duì)應(yīng)的受到作用力總和：算法是怎樣來(lái)的：(1)構(gòu)造誤差函數(shù)：共N個(gè)樣本。E=分析：若E=0，則顯然w和即為所求，若E>0，則要修改w和使E減小。怎樣修改？梯度下降法。(,…,,,…,,…,,…,,,…,,,…,,…,,…,,…,…,,,…,,…,,…,)=-=-====最后一層的神經(jīng)元示意圖。==-=-=-=-=-=-=-==第t層神經(jīng)元示意圖。=-和的計(jì)算方法見(jiàn)課本p36。說(shuō)明：沒(méi)法舉例子算法程序容易實(shí)現(xiàn)，很多現(xiàn)成的程序，可以用VC或VB實(shí)現(xiàn)。算法在神經(jīng)網(wǎng)絡(luò)規(guī)模較小時(shí)速度還行，規(guī)模大時(shí)速度太慢。有很多改進(jìn)方法，但解決不了根本問(wèn)題。說(shuō)算法壞是正常的，總是要改進(jìn)，算法的關(guān)鍵就是要求微分，這個(gè)微分求了30年，實(shí)際上被人家求出來(lái)了，發(fā)現(xiàn)很簡(jiǎn)單。BP算法求解原理是什么？局部搜索算法，開(kāi)始選擇隨機(jī)初始點(diǎn)，計(jì)算到局部最優(yōu)解時(shí)若沒(méi)達(dá)到要求，則重新選擇開(kāi)始點(diǎn)。7．改進(jìn)算法自己去看吧，什么原理呢，就是調(diào)整步長(zhǎng)，理局部最優(yōu)解遠(yuǎn)時(shí)步長(zhǎng)加長(zhǎng)，離局部最優(yōu)解近時(shí)步長(zhǎng)縮短。8．有一次我真是認(rèn)真分析了一下時(shí)間復(fù)雜度，可以說(shuō)明是指數(shù)的?？臻g復(fù)雜度很小，所以算法很實(shí)用?！?.3聯(lián)想存儲(chǔ)器學(xué)習(xí)算法英文：associatememory，簡(jiǎn)稱HAM1先說(shuō)問(wèn)題：給定樣本模式：X1=(x11,x12,…,x1n)T{1,-1}nX2=(x21,x22,…,x2n)T{1,-1}n…………XN=(xN1,xN2,…,xNn)T{1,-1}nN個(gè)n維二值向量，學(xué)習(xí)樣本。問(wèn)題：要構(gòu)造離散hopfield神經(jīng)網(wǎng)絡(luò)使給定樣本成為神經(jīng)網(wǎng)絡(luò)的吸引子。平衡態(tài)。*也可以說(shuō)這樣，輸入Xp時(shí)，網(wǎng)絡(luò)穩(wěn)定輸出Xp，p=1,2,…,N。*問(wèn)一個(gè)問(wèn)題：要想輸入Xp輸出Yp怎樣做，Xp是n維向量，Yp是m維向量?？梢圆捎萌缦陆Y(jié)構(gòu)：可以采用兩層學(xué)習(xí)：聯(lián)想學(xué)習(xí)，前饋學(xué)習(xí)。沒(méi)有十全十美的辦法。只能說(shuō)明越來(lái)越好。hebb規(guī)則學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)固定學(xué)習(xí)目的是計(jì)算wij和i。規(guī)則：，1i,jnHebb規(guī)則解釋：當(dāng)兩者相同狀態(tài)時(shí)權(quán)值增加，表示同時(shí)興奮。用連接矩陣描述hopfield神經(jīng)網(wǎng)絡(luò)的權(quán)值計(jì)算方法：W=-NI。i=0，i=1,2,…,n學(xué)習(xí)算法：訓(xùn)練樣本：{X1,…,XN}fori=1tonforj=1tondowij=0;forp=1toNdofori=1tonforj=1tondowij=wij+xpixpj。問(wèn)題：是否所有樣本都會(huì)稱為網(wǎng)絡(luò)的吸引子。先舉一個(gè)例子：X1=(+1,+1,-1,-1)T，X2=(+1,-1,+1,-1)TW=X1X1T+X2X2T-2I=+-=(1)初態(tài)為：(1,1,-1,-1)T，下一個(gè)狀態(tài)仍然是(1,1,-1,-1)T。(2)初態(tài)為：(1,-1,1,-1)T，下一個(gè)狀態(tài)是：(1,-1,1,-1)T。并不是任意一個(gè)向量都能成為平衡態(tài)，按照這樣的規(guī)則。但是N能有多大呢？定理3.2設(shè)N個(gè)樣本模式滿足：(1)ndH(Xi,Xj)(1-)n,ij，0<<1/2(2)N1+則，當(dāng)N足夠大時(shí)，X1,…,XN都會(huì)成為網(wǎng)絡(luò)的吸引子。證明：若Xk=f(WXk)，則Xk是網(wǎng)絡(luò)吸引子。WXk=(-NI)Xk=(n-N)Xk+X1X1TXk+…+XNXNTXk限定后面一部分的絕對(duì)值，使其不超過(guò)前面就行。設(shè)Y=X1X1TXk+…+XNXNTXk=(y1,…,yn)，只需證明|yi|<(n-N)，則Xk是神經(jīng)網(wǎng)絡(luò)平衡態(tài)。|yi|(1-2)n(N-1)，解（1-2）n(N-1)<n-N并使n無(wú)窮大，就得到結(jié)論。N1+。注釋：當(dāng)神經(jīng)網(wǎng)絡(luò)選擇{0,1}狀態(tài)時(shí)怎么辦？神經(jīng)元作用函數(shù)，f()=此時(shí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法為：wij=3.3.2雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1問(wèn)題：識(shí)別張三，但是張三的照片缺損一點(diǎn)?？梢杂秒p向聯(lián)想存儲(chǔ)器。給定向量組：(X1,Y1)，(X2,Y2)，…，(XN,YN)。Xp=(xp1,…,)T，Yp=(yp1,…,)T，當(dāng)初始狀態(tài)為(Xp,*)時(shí)，最終穩(wěn)定態(tài)為：(Xp,Yp)很多情況下只能記憶神經(jīng)網(wǎng)絡(luò)狀態(tài)的一半，另一半聯(lián)想出來(lái)。根據(jù)狀態(tài)的一部分可以聯(lián)想出全部狀態(tài)。1結(jié)構(gòu)神經(jīng)元是什么樣的。神經(jīng)元作用函數(shù)：f()=，兩邊的神經(jīng)元都是這樣。神經(jīng)網(wǎng)絡(luò)的工作是有節(jié)拍的。每個(gè)節(jié)拍神經(jīng)元同時(shí)改變狀態(tài)。工作狀態(tài)改變規(guī)則：*從本質(zhì)上理解，還是Hopfield神經(jīng)網(wǎng)絡(luò)，性質(zhì)不會(huì)大變。*關(guān)心的問(wèn)題，這個(gè)神經(jīng)網(wǎng)絡(luò)是否穩(wěn)定，從一個(gè)狀態(tài)開(kāi)始是否可以收斂到平衡態(tài)上去。干什么用。2學(xué)習(xí)算法給定學(xué)習(xí)樣本：(X1,Y1)，(X2,Y2)，…，(XN,YN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使每個(gè)樣本均為神經(jīng)網(wǎng)絡(luò)的平衡態(tài)。分析：樣本給定，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)定了。每層神經(jīng)元個(gè)數(shù)定了?，F(xiàn)在只要計(jì)算神經(jīng)網(wǎng)絡(luò)的連接權(quán)值就行了。Hebb規(guī)則學(xué)習(xí)：顯然：，仍然滿足作用力與反作用力相等。寫(xiě)成矩陣形式：，顯然：W1=(W2)T定理3.3：若BAM學(xué)習(xí)訓(xùn)練樣本滿足，X向量與Y向量各自相互正交，則所有訓(xùn)練樣本均為BAM的平衡態(tài)。證明：設(shè)(Xl,Yl)是一個(gè)訓(xùn)練樣本，t時(shí)刻的狀態(tài)為：(Xl,Yl)，yj(t+1)=f()=f()=f()=f(n1ylj)=ylj。同理可證：xi(t+1)=xli。舉個(gè)例子：三個(gè)樣本：(X1,Y1)，(X2,Y2)，(X3,Y3)X1=(1,-1,-1,1)T,X2=(-1,1,1,-1)T,X3=(1,-1,1,-1)T。Y1=(-1,1,1)T,Y2=(-1,-1,-1)T,Y3=(1,-1,1)T。根據(jù)hebb規(guī)則計(jì)算得：W1=(W2)T=3.3.3HAM與BAM網(wǎng)絡(luò)模式分類器一個(gè)聯(lián)想存儲(chǔ)器神經(jīng)網(wǎng)絡(luò)，一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，兩者合并起來(lái)，就是一個(gè)組合的分類器，有時(shí)需要輸入與輸出不同。3.4Hamming神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)算法3.4.3分類原理發(fā)生變化的概率為：規(guī)則分類誤差最小就是最佳，但是沒(méi)法說(shuō)哪種辦法是最好的。問(wèn)題：給定向量：X1,X2,…,XN，Xi{1,-1}n，選擇Xp通過(guò)信道，接受到X，接受到X時(shí)并不知道傳送的到底是哪一個(gè)向量，怎么判斷呢？按照如下規(guī)則：若，則認(rèn)為Xi就是信道輸入端輸入的向量。從某種意義上說(shuō)是最好的。計(jì)算概率：假設(shè)=，條件概率，P{X|Xj}==，n表示每個(gè)向量的維數(shù)。分析：可以認(rèn)為<0.5，所以<1，所以dH(X,Xj)越小，P{X|Xj}越大，所以只需要通過(guò)海明距離衡量可能性。判斷準(zhǔn)則：哪一個(gè)向量與X海明距離小，就選那一個(gè)向量。計(jì)算dH(X,Xj)最小，相當(dāng)于計(jì)算n-dH(X,Xj)最大。先看n-dH(X,Xj)怎么算法。要將計(jì)算寫(xiě)成神經(jīng)網(wǎng)絡(luò)計(jì)算的形式：n-dH(X,Xj)=,若二值信息為：+1/-1，則計(jì)算公式為：n-dH(X,Xj)=，其中，Xj=(xj1,xj2,…,xjn)T，上次內(nèi)容：(1)BP網(wǎng)絡(luò)與BP算法，反向傳播算法，網(wǎng)絡(luò)因算法而得名。BackPropagation(2)多層感知器仍然找不到學(xué)習(xí)算法。(3)研究問(wèn)題的策略，不能全部解決就部分解決?！?.3聯(lián)想存儲(chǔ)器學(xué)習(xí)算法英文：associatememory，簡(jiǎn)稱HAM1先說(shuō)問(wèn)題：給定樣本模式：X1=(x11,x12,…,x1n)T{1,-1}nX2=(x21,x22,…,x2n)T{1,-1}n…………XN=(xN1,xN2,…,xNn)T{1,-1}nN個(gè)n維二值向量，學(xué)習(xí)樣本。問(wèn)題：要構(gòu)造離散Hopfield神經(jīng)網(wǎng)絡(luò)使給定樣本成為神經(jīng)網(wǎng)絡(luò)的吸引子平衡態(tài)。平衡態(tài)。*也可以說(shuō)這樣，輸入Xp時(shí)，網(wǎng)絡(luò)穩(wěn)定輸出Xp，p=1,2,…,N。*問(wèn)一個(gè)問(wèn)題：要想輸入Xp輸出Yp怎樣做，Xp是n維向量，Yp是m維向量。沒(méi)有十全十美的辦法。只能說(shuō)明越來(lái)越好。自然科學(xué)研究，首次嘗試成功非常重要。hebb規(guī)則學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)固定。學(xué)習(xí)目的是計(jì)算wij和i。規(guī)則：，1i,jnHebb規(guī)則解釋：當(dāng)兩個(gè)神經(jīng)原相同狀態(tài)時(shí)權(quán)值增加，表示同時(shí)興奮。用連接矩陣描述Hopfield神經(jīng)網(wǎng)絡(luò)的權(quán)值計(jì)算方法：W=-NI。i=0，i=1,2,…,n學(xué)習(xí)算法：訓(xùn)練樣本：{X1,…,XN}，Xp=(xp1,xp2,…,xpn)Tfori=1tonforj=1tondowij=0;forp=1toNdofori=1tonforj=1tondowij=wij+xpixpj。問(wèn)題：是否所有樣本都會(huì)成為神經(jīng)網(wǎng)絡(luò)的吸引子。先舉一個(gè)例子：X1=(+1,+1,-1,-1,-1)T，X2=(+1,-1,+1,-1,+1)TW=X1X1T+X2X2T-2I=+-=(1)初態(tài)為：(1,1,-1,-1,-1)T，下一個(gè)狀態(tài)仍然是(1,1,-1,-1,-1)T。(2)初態(tài)為：(+1,-1,+1,-1,+1)T，下一個(gè)狀態(tài)是：(1,-1,1,-1,1)T。并不是任意一個(gè)向量都能成為平衡態(tài)，按照這樣的規(guī)則。但是N能有多大呢？定理3.2設(shè)N個(gè)樣本模式滿足：(1)ndH(Xi,Xj)(1-)n,ij，0<<1/2(2)N1+則，當(dāng)N足夠大時(shí)，X1,…,XN都會(huì)成為網(wǎng)絡(luò)的吸引子。證明：這個(gè)結(jié)論很簡(jiǎn)單的討論。若Xk=f(WXk)，則Xk是網(wǎng)絡(luò)吸引子。WXk=(-NI)Xk=(n-N)Xk+X1X1TXk+…+XNXNTXk限定后面一部分的絕對(duì)值，使其不超過(guò)前面就行。設(shè)Y=X1X1TXk+…+XNXNTXk==(y1,…,yn)T，只需證明|yi|<(n-N)，則Xk是神經(jīng)網(wǎng)絡(luò)平衡態(tài)。||=|n-dH(Xi,Xj)|(1-2)n|yi|(1-2)n(N-1)，解（1-2）n(N-1)<n-N并使n無(wú)窮大，就得到結(jié)論。N1+。注釋：當(dāng)神經(jīng)網(wǎng)絡(luò)選擇{0,1}狀態(tài)時(shí)怎么辦？神經(jīng)元作用函數(shù)，f()=此時(shí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法為：wij=3.3.2雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1問(wèn)題：識(shí)別張三，但是張三的照片缺損一點(diǎn)?？梢杂秒p向聯(lián)想存儲(chǔ)器。給定向量組：(X1,Y1)，(X2,Y2)，…，(XN,YN)。Xp=(xp1,…,)T，Yp=(yp1,…,)T，當(dāng)初始狀態(tài)為(Xp,*)時(shí)，最終穩(wěn)定態(tài)為：(Xp,Yp)當(dāng)初始狀態(tài)為(*,Yp)時(shí)，最終穩(wěn)定態(tài)為：(Xp,Yp)很多情況下只能記憶神經(jīng)網(wǎng)絡(luò)狀態(tài)的一半，另一半聯(lián)想出來(lái)。根據(jù)狀態(tài)的一部分可以聯(lián)想出全部狀態(tài)。1結(jié)構(gòu)神經(jīng)元是什么樣的。神經(jīng)元作用函數(shù)：f()=，兩邊的神經(jīng)元都是這樣。神經(jīng)網(wǎng)絡(luò)的工作是有節(jié)拍的。每個(gè)節(jié)拍神經(jīng)元同時(shí)改變狀態(tài)。工作狀態(tài)改變規(guī)則：*從本質(zhì)上理解，還是Hopfield神經(jīng)網(wǎng)絡(luò)，性質(zhì)不會(huì)大變。*關(guān)心的問(wèn)題，這個(gè)神經(jīng)網(wǎng)絡(luò)是否穩(wěn)定，從一個(gè)狀態(tài)開(kāi)始是否可以收斂到平衡態(tài)上去。干什么用。一個(gè)方向的神經(jīng)元預(yù)置初始狀態(tài)，另一半任意狀態(tài)，開(kāi)始工作時(shí)，所有輸入同時(shí)變?yōu)?開(kāi)始狀態(tài)自由變化。2學(xué)習(xí)算法給定學(xué)習(xí)樣本：(X1,Y1)，(X2,Y2)，…，(XN,YN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使每個(gè)樣本均為神經(jīng)網(wǎng)絡(luò)的平衡態(tài)。分析：樣本給定，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)定了。每層神經(jīng)元個(gè)數(shù)定了?，F(xiàn)在只要計(jì)算神經(jīng)網(wǎng)絡(luò)的連接權(quán)值就行了。Hebb規(guī)則學(xué)習(xí)：顯然：，仍然滿足作用力與反作用力相等。寫(xiě)成矩陣形式：，顯然：W1=(W2)T定理3.3：若BAM學(xué)習(xí)訓(xùn)練樣本滿足，X向量與Y向量各自相互正交，則所有訓(xùn)練樣本均為BAM的平衡態(tài)。證明：設(shè)(Xl,Yl)是一個(gè)訓(xùn)練樣本，t時(shí)刻的狀態(tài)為：(Xl,Yl)，yj(t+1)=f()=f()=f()=f(n1ylj)=ylj。同理可證：xi(t+1)=xli。舉個(gè)例子：三個(gè)樣本：(X1,Y1)，(X2,Y2)，(X3,Y3)X1=(1,-1,-1,1)T,X2=(-1,1,1,-1)T,X3=(1,-1,1,-1)T。Y1=(-1,1,1)T,Y2=(-1,-1,-1)T,Y3=(1,-1,1)T。根據(jù)hebb規(guī)則計(jì)算得：W1=(W2)T=3.3.3HAM與BAM網(wǎng)絡(luò)模式分類器一個(gè)聯(lián)想存儲(chǔ)器神經(jīng)網(wǎng)絡(luò)，一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，兩者合并起來(lái)，就是一個(gè)組合的分類器，有時(shí)需要輸入與輸出不同?？梢圆捎萌缦陆Y(jié)構(gòu)：可以采用兩層學(xué)習(xí)：聯(lián)想學(xué)習(xí)，前饋學(xué)習(xí)。3.4Hamming神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)算法3.4.3分類原理發(fā)生變化的概率為：規(guī)則分類誤差最小就是最佳，但是沒(méi)法說(shuō)哪種辦法是最好的。問(wèn)題：給定向量：X1,X2,…,XN，Xi{1,-1}n，選擇Xp通過(guò)信道，接受到X，接受到X時(shí)并不知道傳送的到底是哪一個(gè)向量，怎么判斷呢？按照如下規(guī)則：若，則認(rèn)為Xi就是信道輸入端輸入的向量。從某種意義上說(shuō)是最好的。計(jì)算概率：假設(shè)=，條件概率，P{X|Xj}==，n表示每個(gè)向量的維數(shù)。分析：可以認(rèn)為<0.5，所以<1，所以dH(X,Xj)越小，P{X|Xj}越大，所以只需要通過(guò)海明距離衡量可能性。判斷準(zhǔn)則：哪一個(gè)向量與X海明距離小，就選那一個(gè)向量。計(jì)算dH(X,Xj)最小，相當(dāng)于計(jì)算n-dH(X,Xj)最大。先看n-dH(X,Xj)怎么算法。要將計(jì)算寫(xiě)成神經(jīng)網(wǎng)絡(luò)計(jì)算的形式：n-dH(X,Xj)=,若二值信息為：+1/-1，則計(jì)算公式為：n-dH(X,Xj)=，其中，Xj=(xj1,xj2,…,xjn)T，§5.1問(wèn)題簡(jiǎn)介:樣本集合：{u1,u2,…,uN}，ui=(Xi,Yi)，Xi=(xi1,xi2,…,xim)T,Yi=(yi