模式識(shí)別第六章

1、模式識(shí)別第六章第1頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.1人工神經(jīng)網(wǎng)絡(luò)概述 人工智能通過(guò)對(duì)人類智力活動(dòng)奧秘的探索與記憶思維機(jī)理的研究，來(lái)開(kāi)發(fā)人類智力活動(dòng)的潛能、探討用各種機(jī)器模擬人類智能的途徑，使人類的智能得以物化與延伸，產(chǎn)生了一門學(xué)科，即所謂的人工智能。人工智能（Artificial Intelligence，AI） 在20世紀(jì)90年代，人工智能的符號(hào)主義、連接主義和行為主義三種方法并存。 連接主義：人工神經(jīng)網(wǎng)絡(luò)第2頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四計(jì)算智能 近年來(lái)，借鑒仿生學(xué)思想，基于生物體系的生物進(jìn)化、細(xì)胞免疫、神經(jīng)細(xì)胞網(wǎng)絡(luò)等某些機(jī)制，用數(shù)

2、學(xué)語(yǔ)言抽象描述的計(jì)算方法，來(lái)模仿生物體系和人類的智能機(jī)制，產(chǎn)生了所謂的計(jì)算智能 計(jì)算智能（Computational Intelligence, CI） 軟計(jì)算（Soft Computing, SC） 人工神經(jīng)網(wǎng)絡(luò)、模糊集理論（Fuzzy Set, FS）、進(jìn)化計(jì)算（Evolutionary Computation, EC）第3頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四智能信息處理人類在不斷地進(jìn)步，社會(huì)在不斷地發(fā)展，這一方面受人的好奇心驅(qū)動(dòng)，人具有探索自然規(guī)律、了解未知世界、探索自身奧妙的內(nèi)動(dòng)力；另一方面人具有生存和提高生活質(zhì)量的需求。受這兩方面原動(dòng)力的驅(qū)動(dòng)，人類不斷地研究新的

3、方法和技術(shù)，不斷地研制各種工具、儀器和機(jī)器，來(lái)延伸、拓展和增強(qiáng)自身的各種能力。第4頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四人類所處的客觀環(huán)境、所面對(duì)的客觀世界是變化的、發(fā)展的，是浩瀚無(wú)垠的；人類的知識(shí)雖然在不斷豐富、不斷更新，但是相對(duì)客觀環(huán)境、客觀世界，始終是不完全的、不可靠的、不精確的、不一致的和不確定的；人類正是用這不精確的、不完美的知識(shí)，不斷地、逐步地了解了客觀世界，提高了生活質(zhì)量。人工智能、人工神經(jīng)網(wǎng)絡(luò)、進(jìn)化計(jì)算、模糊系統(tǒng)理 論等等都是人類在對(duì)客觀世界、人類自身現(xiàn)有認(rèn)識(shí)的基礎(chǔ)上所產(chǎn)生的新的方法和理論，是人類進(jìn)一步探索自然規(guī)律、了解未知世界、探索自身奧妙，提高生活質(zhì)量的

4、各種工具。第5頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四智能信息處理就是將不完全的、不可靠的、不精確的、不一致的和不確定的知識(shí)和信息逐步、逐步變得完全、可靠、精確、一致和確定的過(guò)程和方法，就是利用對(duì)不精確性、不確定性的容忍來(lái)達(dá)到問(wèn)題的可處理性和魯棒性。智能信息處理的對(duì)象及方法均具有多樣性、復(fù)雜性和綜合性的特點(diǎn)。智能信息處理涉及到信息科學(xué)的多個(gè)領(lǐng)域，是現(xiàn)代信號(hào)處理、人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)理論、進(jìn)化計(jì)算，包括人工智能等等理論和方法的綜合應(yīng)用。第6頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 從深層意義上看，模式識(shí)別與人工智能所研究的是如何用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。一

5、方面，從要實(shí)現(xiàn)的功能出發(fā)，我們可以將功能分解成子功能，直至設(shè)計(jì)出算法來(lái)實(shí)現(xiàn)這些子功能。這是自頂向下的分析方法。另一方面，人腦無(wú)論多么復(fù)雜，都可以看作是由大量神經(jīng)元組成的巨大的神經(jīng)網(wǎng)絡(luò)。從神經(jīng)元的基本功能出發(fā)，逐步從簡(jiǎn)單到復(fù)雜組成各種神經(jīng)網(wǎng)絡(luò)，研究它所能實(shí)現(xiàn)的功能，是自底向上的綜合方法。這兩種方法各有優(yōu)缺點(diǎn)，適用于不同的問(wèn)題。第7頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 亦稱為神經(jīng)網(wǎng)絡(luò)（Neural Networks, NN），是由大量處理單元（神經(jīng)元Neurons）廣泛互連而成的網(wǎng)絡(luò)，是對(duì)人腦的抽象、簡(jiǎn)化和模擬，反映人腦的基本特性。 人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來(lái)

6、研究人的智能行為，模擬人腦信息處理的功能。它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù)。人工神經(jīng)網(wǎng)絡(luò)第8頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四是由簡(jiǎn)單的處理單元所組成的大量并行分布的處理機(jī)，這種處理機(jī)具有存儲(chǔ)和應(yīng)用經(jīng)驗(yàn)知識(shí)的自然特性，它與人腦的相似之處概括為兩個(gè)方面：一是通過(guò)學(xué)習(xí)過(guò)程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識(shí)；二是內(nèi)部神經(jīng)元（突觸權(quán)值）用來(lái)存儲(chǔ)獲取的知識(shí)信息。人工神經(jīng)網(wǎng)絡(luò)第9頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四神經(jīng)網(wǎng)絡(luò)與 電子計(jì)算機(jī)圖靈：英國(guó)數(shù)學(xué)家。1912年6月23日出生于倫敦 Westminster區(qū)，1931年

7、進(jìn)入劍橋大學(xué)Kings College攻讀數(shù)學(xué)，畢業(yè)學(xué)位考試第一，獲Wrangler榮譽(yù)稱號(hào)。學(xué)位論文“The Central Limit Theorem of Probability”獲“Smith Prize”。畢業(yè)后到美國(guó)普林斯頓大學(xué)攻讀博士學(xué)位，1936年發(fā)表了著名論文“On Computable Numbers with an Application to the Entscheidungs Problem”，該文回答了“計(jì)算機(jī)”到底是怎樣的，如何進(jìn)行計(jì)算和工作，提出了計(jì)算模型“圖靈機(jī)”( Turing Machine)。Alan Mathison Turing (1912 1954

8、)第10頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1938年獲博士學(xué)位，博士論文“Systems of Logic Based on Ordinals”。1939年在英國(guó)外交部科研機(jī)構(gòu)工作，二戰(zhàn)期間用繼電器做成“Bombe”，協(xié)助軍方破解德國(guó)的著名密碼系統(tǒng)Enigma，戰(zhàn)后被受勛(Officer Order of the British Empire)。戰(zhàn)后到英國(guó)國(guó)家物理實(shí)驗(yàn)室(National Physical Lab., NPL)，設(shè)計(jì)和建造電子計(jì)算機(jī)(Automatic Computing Engine, ACE)。1948年離開(kāi)NPL，到曼徹斯特大學(xué)新成立的Royal

9、Society Computing Lab.1948年6月開(kāi)發(fā)出被稱為世界上第一臺(tái)存儲(chǔ)程序式計(jì)算機(jī)Mark I。第11頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1950年10月發(fā)表論文“Computing Machinery and Intelligence” 認(rèn)為計(jì)算機(jī)可以具有智能，并提出了一種用于判定機(jī)器是否具有智能的試驗(yàn)方法，即圖靈試驗(yàn)(Turing Test)。1951年當(dāng)選英國(guó)皇家學(xué)會(huì)院士。1952年圖靈被法院指控行為“極端不當(dāng)”。1954年6月7日，圖靈服食浸過(guò)氰化物溶液的蘋果“自殺”。 享年42歲。Thinking is computing 第12頁(yè)，共167頁(yè)，

10、2022年，5月20日，6點(diǎn)29分，星期四1966年美國(guó)計(jì)算機(jī)協(xié)會(huì)設(shè)立計(jì)算機(jī)界的第一獎(jiǎng)項(xiàng)“圖靈獎(jiǎng)”被稱為“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”ACM: Association for Computing MachineryIEEE Computer Society第13頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四John von Neumann (1903-1957)20世紀(jì)最杰出的數(shù)學(xué)家之一，于1945年提出了“程序內(nèi)存式”計(jì)算機(jī)的設(shè)計(jì)思想。這一卓越的思想為電子計(jì)算機(jī)的邏輯結(jié)構(gòu)設(shè)計(jì)奠定了基礎(chǔ)，已成為計(jì)算機(jī)設(shè)計(jì)的基本原則。由于他在計(jì)算機(jī)邏輯結(jié)構(gòu)設(shè)計(jì)上的偉大貢獻(xiàn)，他被譽(yù)為“計(jì)算機(jī)之父”。諾伊曼于1

11、903年出生于匈牙利的布達(dá)佩斯。他是一個(gè)數(shù)字神童，11歲時(shí)已顯示出數(shù)學(xué)天賦。12歲的諾伊曼就對(duì)集合論，泛函分析等深?yuàn)W的數(shù)學(xué)領(lǐng)域了如指掌。第14頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四青年時(shí)期，諾伊曼師從于著名數(shù)學(xué)家希爾伯特。在獲得數(shù)學(xué)博士之后，不滿30歲成為美國(guó)普林斯頓大學(xué)的第一批終身教授。諾伊曼不僅是個(gè)數(shù)學(xué)天才，在其他領(lǐng)域也大有建樹(shù)。他精通七種語(yǔ)言，在化學(xué)方面也有相當(dāng)?shù)脑煸劊鼮殡y得的是，他并不僅僅局限于純數(shù)學(xué)上的研究，而是把數(shù)學(xué)應(yīng)用到其他學(xué)科中去。對(duì)經(jīng)典力學(xué)、量子力學(xué)和流體力學(xué)的數(shù)學(xué)基礎(chǔ)進(jìn)行過(guò)深入的研究，并獲得重大成果，諾伊曼具備了堅(jiān)實(shí)的數(shù)理基礎(chǔ)，和廣博的知識(shí)，為他后來(lái)從

12、事計(jì)算機(jī)邏輯設(shè)計(jì)提供了堅(jiān)強(qiáng)的后盾。第15頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1944年諾伊曼參加原子彈的研制工作，該工作涉及到極為困難的計(jì)算。他所在的洛斯阿拉莫斯實(shí)驗(yàn)室為此聘用了一百多名女計(jì)算員，利用臺(tái)式計(jì)算機(jī)從早到晚計(jì)算，還是遠(yuǎn)遠(yuǎn)不能滿足需要。無(wú)窮無(wú)盡的數(shù)字和邏輯指令如同沙漠一樣把人的智慧和精力吸盡。被計(jì)算機(jī)所困擾的諾伊曼在一次極為偶然的機(jī)會(huì)中知道了ENIAC計(jì)算機(jī)的研制計(jì)劃，從此他投身到計(jì)算機(jī)研制這一宏偉的事業(yè)中，建立了一生中最大的豐功偉績(jī)。 第16頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1944年夏的一天，正在火車站候車的諾伊曼巧遇戈?duì)査固?，并同?/p>

13、進(jìn)行了短暫的交談。戈?duì)査固故敲绹?guó)彈道實(shí)驗(yàn)室的軍方負(fù)責(zé)人，他正參與ENIAC計(jì)算機(jī)的研制工作。在交談在，戈?duì)査固垢嬖V了諾伊曼有關(guān)ENIAC的研制情況。具有遠(yuǎn)見(jiàn)卓識(shí)的諾伊曼為這一研制計(jì)劃所吸引，他意識(shí)到了這項(xiàng)工作的深遠(yuǎn)意義。幾天之后，諾伊曼專程來(lái)到莫爾學(xué)院，參觀了尚未竣工的這臺(tái)龐大的機(jī)器，并以其敏銳的眼光，一下子抓住了計(jì)算機(jī)的靈魂邏輯結(jié)構(gòu)問(wèn)題，令ENIAC的研制們敬佩不已。第17頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四因?qū)嶋H工作中對(duì)計(jì)算的需要以及把數(shù)學(xué)應(yīng)用到其他科學(xué)問(wèn)題的強(qiáng)烈愿望，使諾伊曼迅速?zèng)Q定投身到計(jì)算機(jī)研制者的行列。對(duì)業(yè)已功成名就的諾伊曼來(lái)說(shuō)，這樣做需要極大的勇氣，因?yàn)檫@是

14、一個(gè)成敗未卜的新征途，一旦失敗，會(huì)影響他已取得的名譽(yù)和地位。諾伊曼卻以對(duì)新事物前途的洞察力，毅然決然地向此征途邁出了第一步，于1944年8月加入莫爾計(jì)算機(jī)研制小組，為計(jì)算機(jī)研制翻開(kāi)了輝煌的一頁(yè)。 第18頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四諾伊曼以其非凡的分析、綜合能力及雄厚的數(shù)理基礎(chǔ)，集眾人之長(zhǎng)，提出了一系列優(yōu)秀的設(shè)計(jì)思想，在他和莫爾小組其他成員的共同努力下，只經(jīng)歷了短短的十個(gè)月，人類在數(shù)千年中積累起來(lái)的科學(xué)技術(shù)文明，終于結(jié)出了最激動(dòng)人心的智慧之花一個(gè)全新的存儲(chǔ)程序通用電子計(jì)算機(jī)方案（EDVAC方案）誕生了。 第19頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期

15、四諾伊曼以“關(guān)于EDVAC的報(bào)告草案”為題，起草了長(zhǎng)達(dá)101頁(yè)的總結(jié)報(bào)告。報(bào)告廣泛而具體地介紹了制造電子計(jì)算機(jī)和程序設(shè)計(jì)的新思想。報(bào)告明確規(guī)定，EDVAC計(jì)算機(jī)由計(jì)算器、邏輯控制裝置、存儲(chǔ)器、輸入和輸出五大部分組成，并闡述了這五大部分的職能和相互關(guān)系。這份報(bào)告是計(jì)算機(jī)發(fā)展史上一個(gè)劃時(shí)代的文獻(xiàn)，它向世界宣告：電子計(jì)算機(jī)的時(shí)代開(kāi)始了。第20頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1954年6月，諾伊曼到美國(guó)普林斯頓高級(jí)研究所工作，出任IAS計(jì)算機(jī)研制小組的主任職位。在那時(shí)，他提出了更加完善的設(shè)計(jì)報(bào)告“電子計(jì)算裝置邏輯結(jié)構(gòu)初探”。報(bào)告中，諾伊曼對(duì)EDVAC中的兩大設(shè)計(jì)思想作了進(jìn)一步

16、的論證，為計(jì)算機(jī)的設(shè)計(jì)樹(shù)立了一座里程碑。設(shè)計(jì)思想之一是二進(jìn)制，他根據(jù)電子元件雙穩(wěn)工作的特點(diǎn)，建議在電子計(jì)算機(jī)中采用二進(jìn)制。報(bào)告提到了二進(jìn)制的優(yōu)點(diǎn)，并預(yù)言，二進(jìn)制的采用將大簡(jiǎn)化機(jī)器的邏輯線路。實(shí)踐證明了諾伊曼預(yù)言的正確性。第21頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四程序內(nèi)存是諾伊曼的另一杰作。通過(guò)對(duì)ENIAC的考察，諾伊曼敏銳地抓住了它的最大弱點(diǎn)沒(méi)有真正的存儲(chǔ)器。ENIAC只在20個(gè)暫存器，它的程序是外插型的，指令存儲(chǔ)在計(jì)算機(jī)的其它電路中。計(jì)算的高速與程序的手工存在著很大的矛盾。針對(duì)這個(gè)問(wèn)題，諾伊曼提出了程序內(nèi)存的思想：把運(yùn)算程序存在機(jī)器的存儲(chǔ)器中，這樣，就不必每個(gè)問(wèn)題都重新

17、編程，從而大大加快了運(yùn)算進(jìn)程。這一思想標(biāo)志著自動(dòng)運(yùn)算的實(shí)現(xiàn)，標(biāo)志著電子計(jì)算機(jī)的成熟，已成為電子計(jì)算機(jī)設(shè)計(jì)的基本原則。第22頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四von Neumann與神經(jīng)網(wǎng)絡(luò) 1949年，Von Neumann在Illinois大學(xué)四次講座的第二次講座中，闡述了McCulloch-Pitts正式的神經(jīng)網(wǎng)絡(luò)理論特點(diǎn)。1955年，他應(yīng)邀去Yale大學(xué)進(jìn)行Silliman講座，直至1956年（他死于1957年）。他未完成的Silliman講座的手稿于1958年作為一本書(shū)被出版，書(shū)名為The Computer and the Brain，此書(shū)由于涉及了Von Ne

18、umann生前所做的工作和他注意到的人腦與計(jì)算機(jī)的巨大差異。此外，1956年Von Neumann用約簡(jiǎn)的思想解決了一個(gè)在神經(jīng)網(wǎng)絡(luò)中特別令人關(guān)注的問(wèn)題，這就是如何用認(rèn)為是不可靠的神經(jīng)元來(lái)設(shè)計(jì)一個(gè)可靠的網(wǎng)絡(luò)問(wèn)題。 第23頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四神經(jīng)網(wǎng)絡(luò)也經(jīng)常被稱為神經(jīng)計(jì)算機(jī)，但它與現(xiàn)代數(shù)字計(jì)算機(jī)迥然不同。神經(jīng)網(wǎng)絡(luò)的信息存儲(chǔ)與處理（計(jì)算）是合二為一的，即信息的存儲(chǔ)體現(xiàn)在神經(jīng)元互連的分布上；傳統(tǒng)的計(jì)算機(jī)存儲(chǔ)與計(jì)算是獨(dú)立的，因而在存儲(chǔ)與計(jì)算之間存在著瓶頸；神經(jīng)網(wǎng)絡(luò)以大規(guī)模模擬計(jì)算為主；數(shù)字計(jì)算機(jī)是以串行離散符號(hào)處理為主；神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的魯棒性和容錯(cuò)性，善于聯(lián)想、概括

19、、類比和推廣，任何局部的損傷不會(huì)影響整體結(jié)果；第24頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四不同之處主要表現(xiàn)為（續(xù)）：神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力，能為新的輸入產(chǎn)生合理的輸出，可在學(xué)習(xí)過(guò)程之中不斷完善自己，具有創(chuàng)新特點(diǎn)；神經(jīng)網(wǎng)絡(luò)是一大規(guī)模自適應(yīng)非線性動(dòng)力系統(tǒng)，具有集體運(yùn)算的能力。這與本質(zhì)上是線性系統(tǒng)的現(xiàn)代數(shù)字計(jì)算機(jī)迥然不同。第25頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)的熱點(diǎn)研究領(lǐng)域，涉及到電子科學(xué)與技術(shù)、信息與通信工程、計(jì)算機(jī)科學(xué)與技術(shù)、電氣工程、控制科學(xué)與技術(shù)等諸多學(xué)科，其應(yīng)用領(lǐng)域包括：建模、時(shí)間序列分析、模式識(shí)別和控制等，并在不斷

20、的拓展。第26頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 人工神經(jīng)網(wǎng)絡(luò)（ANN）的研究與計(jì)算機(jī)的研究幾乎是同步發(fā)展。早在1943年，心理學(xué)家W. McCulloch和數(shù)學(xué)家W.Pitts合作，從數(shù)理邏輯的角度，提出了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)模型（MP模型），標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究的開(kāi)始。 1949年，D.O.Hebb從心理學(xué)角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。 1958年，F(xiàn).Rosenblatt首次引入了模擬人腦感知和學(xué)習(xí)能力的感知器（perceptron）概念。 1960年，B.Widrow和M. Hoff提出了主要用于自適應(yīng)系統(tǒng)的自適應(yīng)線性元件（A

21、daptive linear neuron）網(wǎng)絡(luò)。 1969年美國(guó)麻省理工學(xué)院著名的人工智能專家M. Minsky和S. Papert出版了頗有影響的perceptron一書(shū)， 指出其局限性。9.1.1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史第27頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 1976年S. Grossberg與J. A. Carpenter提出了自適應(yīng)共振理論（adaptive resonance therory, ART），并在以后的若干年發(fā)展了ART1、ART2和ART3網(wǎng)絡(luò)模型。 1982年美國(guó)加州工學(xué)院的物理學(xué)家J. Hoppfield提出了HNN模型，并首次引入了網(wǎng)絡(luò)能

22、量函數(shù)概念。 1986年，D. Rumelhart和J. McCelland等學(xué)者提出了多層感知器的反向傳播算法，克服了當(dāng)初阻礙感知器模型繼續(xù)發(fā)展的重要障礙，使BP網(wǎng)絡(luò)成為目前應(yīng)用最廣的網(wǎng)絡(luò)。 1987年，電氣和電子工程師學(xué)會(huì)IEEE在圣地亞哥召開(kāi)了盛大規(guī)模的神經(jīng)網(wǎng)絡(luò)國(guó)際學(xué)術(shù)會(huì)議。 1988年，學(xué)會(huì)的正式雜志Neural Networks 創(chuàng)刊。第28頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.1.2 生物神經(jīng)元 人腦神經(jīng)系統(tǒng)的基本單元是神經(jīng)元細(xì)胞，人腦神經(jīng)系統(tǒng)約由1011個(gè)神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元與約104個(gè)其他神經(jīng)元相連接。神經(jīng)細(xì)胞與人體中其他細(xì)胞的關(guān)鍵區(qū)別在于，神經(jīng)細(xì)胞具

23、有產(chǎn)生、處理和傳遞信號(hào)的能力。 神經(jīng)元是基本的信息處理單元。生物神經(jīng)元主要由胞體、樹(shù)突、軸突和突觸組成。生物神經(jīng)元基本結(jié)構(gòu) 第29頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四軸突樹(shù)突胞體突觸典型的神經(jīng)元（即神經(jīng)細(xì)胞）結(jié)構(gòu)，如下圖所示。1）胞體。它是神經(jīng)細(xì)胞的本體，內(nèi)有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。2）樹(shù)突是由細(xì)胞體向外伸出的，有不規(guī)則的表面和許多較短的分支。分支多達(dá)103數(shù)量級(jí)，長(zhǎng)度較短，通常不超過(guò)1mm。樹(shù)突相當(dāng)于信號(hào)的輸入端，用于接受神經(jīng)沖動(dòng)。3）軸突由細(xì)胞體向外伸出的最長(zhǎng)的一條分支，即神經(jīng)纖維，有些較長(zhǎng)可達(dá)1m以上。軸突遠(yuǎn)端也有分枝，可與多個(gè)神經(jīng)元連接。相當(dāng)于信號(hào)

24、的輸出電纜，其端部的許多神經(jīng)末梢為信號(hào)輸出端子，用于傳出神經(jīng)沖動(dòng)。神經(jīng)信號(hào)的傳導(dǎo)機(jī)制不是靠電信號(hào)，而是一個(gè)電化學(xué)過(guò)程，所以傳導(dǎo)速度比電信號(hào)慢得多。第30頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四4）神經(jīng)元之間通過(guò)軸突（輸出）和樹(shù)突（輸入）相互聯(lián)結(jié)，其接口稱為突觸。它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，每個(gè)細(xì)胞約有103104個(gè)突觸。 通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號(hào)（興奮）傳遞給下一個(gè)神經(jīng)元的樹(shù)突或胞體；對(duì)樹(shù)突的突觸多為興奮性的，使下一個(gè)神經(jīng)元興奮，而對(duì)胞體的突觸多為抑制性，其作用是阻止下一個(gè)神經(jīng)元興奮。細(xì)胞膜內(nèi)外有電位差，約為20100mv，稱為膜電

25、位。膜外為正，膜內(nèi)為負(fù)。 第31頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 神經(jīng)元的基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制。平時(shí)處于抑制狀態(tài)的神經(jīng)元，其樹(shù)突和胞體接收其他神經(jīng)元經(jīng)由突觸傳來(lái)的興奮電位，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加；如果輸入興奮總量超過(guò)某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其他神經(jīng)元。神經(jīng)元被觸發(fā)之后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)興奮性。 神經(jīng)元是按照“全或無(wú)”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號(hào)。因?yàn)樯窠?jīng)元興奮時(shí)往往不是只發(fā)出一個(gè)脈沖，而是

26、發(fā)出一串脈沖，如果把這一串脈沖看成是一個(gè)調(diào)頻信號(hào)，脈沖的密度是可以表達(dá)連續(xù)量的。第32頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四神經(jīng)元具有的重要功能可塑性：可塑性反映在新突觸的產(chǎn)生和現(xiàn)有神經(jīng)突觸的調(diào)整上，可塑性使神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)周圍的環(huán)境 。時(shí)空整合功能：時(shí)間整合功能表現(xiàn)在不同時(shí)間、同一突觸上；空間整合功能表現(xiàn)在同一時(shí)間、不同突觸上。興奮與抑制狀態(tài)：當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果，使細(xì)胞膜電位升高，超過(guò)被稱為動(dòng)作電位的閾值（約為40mv），細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出；同樣，當(dāng)膜電位低于閾值時(shí)，無(wú)神經(jīng)沖動(dòng)輸出，細(xì)胞進(jìn)入抑制狀態(tài)。第33頁(yè)，共167頁(yè)，2022年，5月20

27、日，6點(diǎn)29分，星期四脈沖與電位轉(zhuǎn)換：沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（60100mv）的離散脈沖信號(hào)，而細(xì)胞電位變化為連續(xù)信號(hào)。在突觸接口處進(jìn)行“數(shù)/?！鞭D(zhuǎn)換。神經(jīng)元中的軸突非常長(zhǎng)和窄，具有電阻高、電壓大的特性，因此軸突可以建模成阻容傳播電路。突觸的延時(shí)和不應(yīng)期：在相鄰的二次沖動(dòng)之間需要一個(gè)時(shí)間間隔。在此期間對(duì)激勵(lì)不響應(yīng)。不能傳遞神經(jīng)沖動(dòng)。學(xué)習(xí)、遺忘和疲勞：突觸的傳遞作用有學(xué)習(xí)、遺忘和疲勞過(guò)程。第34頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò) ，是人腦的抽象、簡(jiǎn)化、模擬，反映人腦的基本特性。一般來(lái)說(shuō)，作為神經(jīng)元模型應(yīng)具備

28、三個(gè)要素：(1)具有一組突觸或聯(lián)接，常用wij表示神經(jīng)元i和神經(jīng)元j之間的聯(lián)接強(qiáng)度，或稱之為權(quán)值。與人腦神經(jīng)元不同，人工神經(jīng)元權(quán)值的取值可在負(fù)值與正值之間。(2)具有反映生物神經(jīng)元時(shí)空整合功能的輸入信號(hào)累加.(3)具有一個(gè)激勵(lì)函數(shù)用于限制神經(jīng)元輸出。激勵(lì)函數(shù)將輸出信號(hào)壓縮（限制）在一個(gè)允許范圍內(nèi)，使其成為有限值。9.1.3 人工神經(jīng)元模型第35頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖9-1 單個(gè)人工神經(jīng)元模型單個(gè)的神經(jīng)元模型如圖9-1所示。第36頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四人工神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件，其輸入輸出關(guān)系可表示為(9-

29、1)其中: x1, x2, , xn是從外部環(huán)境或其他神經(jīng)元傳來(lái)的輸入信號(hào); w1, w2, , wn是對(duì)應(yīng)于輸入的連接權(quán)值; 是一個(gè)閾值; 函數(shù)g: RR為傳遞函數(shù), 也稱為激活函數(shù), 表示神經(jīng)元的輸出。 常用的三種基本激活函數(shù)如下: 第37頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四(1) 閾值型函數(shù)。 常用的閾值型函數(shù)有階躍函數(shù)和符號(hào)函數(shù)。 階躍函數(shù)的表達(dá)式為 (9-2)符號(hào)函數(shù)的表達(dá)式為(9-3)10)(xgx1-10 xg(x)第38頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四(2) 分段線性函數(shù)。 函數(shù)表達(dá)式為 (9-4)(3) Sigmoid函數(shù)。 如

30、圖9-2所示, 函數(shù)表達(dá)式為 (9-5)或(9-6)第39頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖 9-2Sigmoid函數(shù)示意圖(a) 取值在(0, 1)內(nèi); (b) 取值在(1, 1)內(nèi)第40頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.1.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是由大量的人工神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)。（1）從網(wǎng)絡(luò)性能角度可分為：連續(xù)型與離散型網(wǎng)絡(luò)、確定性與隨機(jī)性網(wǎng)絡(luò)；（2）從網(wǎng)絡(luò)結(jié)構(gòu)角度可分為前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)；（3）從學(xué)習(xí)方式角度可分為有教師學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)； （4）按連接突觸性質(zhì)可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。第41頁(yè)，共16

31、7頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1. 前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)中神經(jīng)元分層排列, 網(wǎng)絡(luò)由輸入層、 中間層(也稱隱含層)、 輸出層組成, 每一層的各神經(jīng)元只能接受前一層神經(jīng)元的輸出, 作為自身的輸入信號(hào)。 根據(jù)是否有中間層, 前饋網(wǎng)絡(luò)分為單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)。 常用的前饋網(wǎng)絡(luò)有感知器、 BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)等。 第42頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四單層前饋網(wǎng)絡(luò)沒(méi)有中間層。 圖9-3給出了輸入、 輸出均為四節(jié)點(diǎn)的單層前饋網(wǎng)絡(luò)。 由于輸入層只接受外界輸入, 無(wú)任何計(jì)算功能, 因此輸入層不納入層數(shù)的計(jì)算中。 “單層”是指具有計(jì)算節(jié)點(diǎn)的輸出層。 第43頁(yè)，共16

32、7頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖9-3 單層前饋神經(jīng)網(wǎng)絡(luò) 第44頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四多層前饋網(wǎng)絡(luò)有一個(gè)或多個(gè)隱含層。 隱含層節(jié)點(diǎn)的輸入和輸出都是對(duì)網(wǎng)絡(luò)內(nèi)部的, 隱含層節(jié)點(diǎn)具有計(jì)算功能, 所以隱含層納入層數(shù)的計(jì)算中。 多層前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖9-4 所示。 第45頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖9-4 多層前饋神經(jīng)網(wǎng)絡(luò)第46頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2. 反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的不同在于, 反饋網(wǎng)絡(luò)的輸出層接有反饋環(huán)路, 將網(wǎng)絡(luò)的輸出信號(hào)回饋到輸入層。 一個(gè)無(wú)隱含層的反饋網(wǎng)絡(luò)

33、如圖9-5所示, 網(wǎng)絡(luò)由單層神經(jīng)元構(gòu)成, 每個(gè)神經(jīng)元都將其輸出反饋到其他所有神經(jīng)元的輸入。 圖9-5中所描述的結(jié)構(gòu)不存在自反饋環(huán)路, 即沒(méi)有輸出神經(jīng)元將輸出反饋到其本身輸入的情況。 單層反饋網(wǎng)絡(luò)有多種, 其中最典型的是Hopfield網(wǎng)絡(luò)。 第47頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四圖9-5 單層反饋神經(jīng)網(wǎng)絡(luò)無(wú)自反饋和隱含層的反饋網(wǎng)絡(luò) 第48頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四含有隱含層的反饋網(wǎng)絡(luò) 第49頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3.隨機(jī)神經(jīng)網(wǎng)絡(luò) 隨機(jī)神經(jīng)網(wǎng)絡(luò)是對(duì)神經(jīng)網(wǎng)絡(luò)引入隨機(jī)機(jī)制，認(rèn)為神經(jīng)元是按照概率的原理進(jìn)行工作

34、的，這就是說(shuō)，每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于神經(jīng)元的輸入。Boltzmann機(jī)就是典型的隨機(jī)神經(jīng)網(wǎng)絡(luò)。4.競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò) 最簡(jiǎn)單的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)：Hamming網(wǎng)絡(luò) 第50頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.1.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，指的是通過(guò)神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境作出反應(yīng)的一個(gè)過(guò)程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)反復(fù)學(xué)習(xí)對(duì)其環(huán)境更為了解。 第51頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四學(xué)習(xí)算法是指針對(duì)學(xué)習(xí)

35、問(wèn)題的明確規(guī)則集合。學(xué)習(xí)類型是由參數(shù)變化發(fā)生的形式?jīng)Q定的，不同的學(xué)習(xí)算法對(duì)神經(jīng)元的突觸權(quán)值調(diào)整的表達(dá)式有所不同。沒(méi)有一種獨(dú)特的學(xué)習(xí)算法用于設(shè)計(jì)所有的神經(jīng)網(wǎng)絡(luò)。選擇或設(shè)計(jì)學(xué)習(xí)算法時(shí)還需要考慮神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及神經(jīng)網(wǎng)絡(luò)與外界環(huán)境相連的形式。第52頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四學(xué)習(xí)方式可分為：有導(dǎo)師學(xué)習(xí)(Learning with a teacher)和無(wú)導(dǎo)師學(xué)習(xí)(Learning without a teacher)。有導(dǎo)師學(xué)習(xí)又稱為有監(jiān)督學(xué)習(xí)(Supervised Learning)，在學(xué)習(xí)時(shí)需要給出導(dǎo)師信號(hào)或稱為期望輸出（響應(yīng)）。對(duì)每一個(gè)輸入訓(xùn)練樣本, 都有一個(gè)期望得

36、到的輸出值(也稱教師信號(hào)), 將它和實(shí)際輸出值進(jìn)行比較, 根據(jù)兩者之間的差值不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值, 直到差值減小到預(yù)定的要求。第53頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四無(wú)導(dǎo)師學(xué)習(xí)包括強(qiáng)化學(xué)習(xí)(Reinforcement Learning)與無(wú)監(jiān)督學(xué)習(xí) (Unsupervised Learning) 或稱為自組織學(xué)習(xí)（Self-Organized Learning）。網(wǎng)絡(luò)的學(xué)習(xí)完全是一種自我調(diào)整的過(guò)程, 不存在教師信號(hào)。 輸入模式進(jìn)入網(wǎng)絡(luò)后, 網(wǎng)絡(luò)按照預(yù)先設(shè)定的某種規(guī)則反復(fù)地自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值, 使網(wǎng)絡(luò)最終具有模式分類等功能。 第54頁(yè)，共167頁(yè)，2022年，5

37、月20日，6點(diǎn)29分，星期四假設(shè)yj為神經(jīng)元j的輸出, xi為神經(jīng)元i對(duì)神經(jīng)元j的輸入, wij是神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值, wij為連接權(quán)值wij的修正值, 即wij(n+1)=wij(n)+wij。 下面介紹9種常用的學(xué)習(xí)規(guī)則。 第55頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四1. Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是假定兩個(gè)神經(jīng)元同時(shí)興奮時(shí), 它們之間的連接強(qiáng)度應(yīng)該加強(qiáng)。 連接權(quán)值的學(xué)習(xí)規(guī)則按下式計(jì)算: (9-7)其中, 為學(xué)習(xí)速率參數(shù)。 第56頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2. 感知器的學(xué)習(xí)規(guī)則感知器的學(xué)習(xí)規(guī)則屬于有教師訓(xùn)練, 連接權(quán)值

38、的學(xué)習(xí)規(guī)則按下式計(jì)算: (9-8)其中: dj為神經(jīng)元j的期望響應(yīng); djyj為誤差信號(hào), 一般用rj表示, 也稱為學(xué)習(xí)信號(hào)。 第57頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四3. 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則是由輸出值和期望值之間的最小均方誤差推導(dǎo)出來(lái)的。 均方誤差定義為 (9-9)從而(9-10)第58頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四要使期望誤差最小, 要求在負(fù)梯度方向上改變, 所以取 (9-11)其中, 為學(xué)習(xí)速率參數(shù)。 一般地, 學(xué)習(xí)速率參數(shù)選得很小。 4. Widrow-Hoff學(xué)習(xí)規(guī)則 Widrow-Hoff 學(xué)習(xí)規(guī)則也是使期望輸出值和實(shí)際輸出值之間平

39、方誤差最小。 連接權(quán)值的學(xué)習(xí)規(guī)則按下式計(jì)算: 第59頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四(9-12)(9-13)該規(guī)則可以看做規(guī)則的特殊情況。 5. 相關(guān)學(xué)習(xí)規(guī)則相關(guān)學(xué)習(xí)規(guī)則為 (9-14)第60頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四這是Hebb規(guī)則的特殊情況, 但相關(guān)規(guī)則是有教師的, 要求權(quán)初始化wij=0。 6. Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)則第m層中有一個(gè)神經(jīng)元有最大響應(yīng), 這個(gè)神經(jīng)元被宣布為獲勝者, 則(9-1)其中, 是小的學(xué)習(xí)常數(shù)。 第61頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四7.內(nèi)星和外星學(xué)習(xí)規(guī)則內(nèi)

40、星和外星學(xué)習(xí)規(guī)則按下式計(jì)算：（內(nèi)星訓(xùn)練法） (9-16)（外星訓(xùn)練法） (9-17)第62頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四8. 梯度下降算法梯度下降算法的學(xué)習(xí)規(guī)則按下式計(jì)算: (9-18)其中, E為誤差函數(shù)。 9.隨機(jī)學(xué)習(xí)算法 隨機(jī)學(xué)習(xí)算法也稱為Boltzmann學(xué)習(xí)規(guī)則，是為了紀(jì)念Ludwig Boltzmann而命名的。Boltzmann學(xué)習(xí)規(guī)則是由統(tǒng)計(jì)力學(xué)思想而來(lái)的，在Boltzmann學(xué)習(xí)規(guī)則基礎(chǔ)上設(shè)計(jì)出的神經(jīng)網(wǎng)絡(luò)稱為Boltzmann機(jī)，其學(xué)習(xí)算法實(shí)質(zhì)上就是著名的模擬退火(Simulated Annealing, SA) 算法。第63頁(yè)，共167頁(yè)，202

41、2年，5月20日，6點(diǎn)29分，星期四9.1.6神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性（Nonlinearity）一個(gè)人工神經(jīng)元可以是線性或非線性的。利用神經(jīng)網(wǎng)絡(luò)的非線性，可解決許多非線性問(wèn)題。若輸入信號(hào)所隱含的物理機(jī)制是非線性的，則人工神經(jīng)網(wǎng)絡(luò)非線性的重要性會(huì)更加突出。分布式存儲(chǔ)信息。其信息的存儲(chǔ)分布在不同的位置，神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對(duì)各連接權(quán)值的分布來(lái)表示特定的信息。并行協(xié)同處理信息。神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都可根據(jù)接收到的信息進(jìn)行獨(dú)立的運(yùn)算和處理，并輸出結(jié)果，同一層的各個(gè)神經(jīng)元的輸出結(jié)果可被同時(shí)計(jì)算出來(lái)，然后傳輸下一層做進(jìn)一步處理，這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行運(yùn)算的特點(diǎn)。第64頁(yè)，共167頁(yè)，2022年

42、，5月20日，6點(diǎn)29分，星期四4.信息處理與存儲(chǔ)合二為一。神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元都兼有信息處理和存儲(chǔ)功能，神經(jīng)元之間連接強(qiáng)度的變化，既反映了對(duì)信息的記憶，同時(shí)又與神經(jīng)元對(duì)激勵(lì)的響應(yīng)一起反映了信息的處理。5. 對(duì)信息的處理具有自組織、自學(xué)習(xí)的特點(diǎn)，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來(lái)表示，這種權(quán)值可以通過(guò)對(duì)訓(xùn)練樣本的學(xué)習(xí)而不斷變換，而且隨著訓(xùn)練樣本量的增加和反復(fù)學(xué)習(xí)，這些神經(jīng)元之間的連接強(qiáng)度會(huì)不斷增加，從而提高神經(jīng)元對(duì)這些樣本特征的反映靈敏度。第65頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.2前饋神經(jīng)網(wǎng)絡(luò)9.2.1感知器1. 單層感知器網(wǎng)絡(luò)由美國(guó)學(xué)

43、者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出的 包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式 IEEE設(shè)立以其名字命名的獎(jiǎng)項(xiàng) 第66頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 單層感知器一層為輸入層，另一層是具有計(jì)算單元的輸出層，可以通過(guò)監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖9-6所示。 圖 9-6單層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖 第67頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 學(xué)習(xí)的目標(biāo)是通過(guò)改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量或特征向量作為訓(xùn)練集，當(dāng)輸入為

44、屬于第j 類的特征向量X時(shí)，應(yīng)使對(duì)應(yīng)于該類的輸出yj=1，而其他神經(jīng)元的輸出則為0（或-1）。第68頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四設(shè)理想的輸出為實(shí)際的輸出為了使實(shí)際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集中的向量X，并計(jì)算出實(shí)際的輸出 ，對(duì)權(quán)值w作如下的修改：其中 感知器的學(xué)習(xí)過(guò)程與求取線性判別函數(shù)的過(guò)程是等價(jià)的。感知器的特性：1）單層感知器只能用于解決線性可分問(wèn)題；2）學(xué)習(xí)過(guò)程收斂很快，且與初始值無(wú)關(guān)。第69頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 單層感知器工作原理 單層感知器可將外部輸入分為兩類和。當(dāng)感知器的輸出為+1時(shí)，輸入屬于l1 類，

45、當(dāng)感知器的輸出為-1時(shí)，輸入屬于 l2 類，從而實(shí)現(xiàn)兩類目標(biāo)的識(shí)別。在多維空間，單層感知器進(jìn)行模式識(shí)別的判決超平面由下式?jīng)Q定： 第70頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 對(duì)于只有兩個(gè)輸入的判別，邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)。判決邊界類l1類l2第71頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵钭鳛樯窠?jīng)元突觸權(quán)值向量的第一個(gè)分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：令上

46、式等于零，可得到在一維空間的單層感知器的判別超平面。 單層感知器學(xué)習(xí)算法思想第72頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四具體算法：第一步,設(shè)置變量和參量。 g(x)為激活函數(shù), y(n)為網(wǎng)絡(luò)實(shí)際輸出，d(n) 為期望輸出， 為學(xué)習(xí)速率， n 為迭代次數(shù)，e 為實(shí)際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量W(0) 的各個(gè)分量賦一個(gè)較小的隨機(jī)非零值，置 n=0。第三步,輸入一組樣本并給出它的期望輸出d(n) 。第73頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第四步,計(jì)算實(shí)際輸出:第五步,求出期望輸出和實(shí)際輸出求出誤差 根據(jù)誤差判斷目前輸出是否滿足條件

47、，一般為對(duì)所有樣本誤差為零或者均小于預(yù)設(shè)的值，則算法結(jié)束，否則將n值增加1，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進(jìn)入下一輪計(jì)算過(guò)程 第74頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四使用MATLAB實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下：第一步 根據(jù)應(yīng)用創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)；第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對(duì)創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第三步 輸入測(cè)試數(shù)據(jù)，測(cè)試訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。第75頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四例題：用單層感知器解決一個(gè)簡(jiǎn)單的分類問(wèn)題。設(shè)計(jì)一個(gè)感知器，將二維的三組輸入矢量分成兩類。已知輸入矢量為：P=-0.4 -0.5 0.6; 0.9 0

48、 0.1目標(biāo)矢量為：T=1 1 0;現(xiàn)將輸入矢量為Q=0.6 0.9 -0.1; -0.1 -0.5 0.5的樣本進(jìn)行分類。第76頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四訓(xùn)練誤差曲線第77頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四訓(xùn)練后的分類線第78頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四2. 多層感知器網(wǎng)絡(luò)單層感知器網(wǎng)絡(luò)只能解決線性可分問(wèn)題。 在單層感知器網(wǎng)絡(luò)的輸入層和輸出層之間加入一層或多層感知器單元作為隱含層, 就構(gòu)成了多層感知器網(wǎng)絡(luò)。多層感知器網(wǎng)絡(luò)可以解決線性不可分的輸入向量的分類問(wèn)題。 第79頁(yè)，共167頁(yè)，2022年，5月20日，

49、6點(diǎn)29分，星期四 由輸入層、隱含層(可以是一層或者多層)和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。 多層感知器的拓?fù)浣Y(jié)構(gòu) 輸入層神經(jīng)元的個(gè)數(shù)為輸入信號(hào)的維數(shù)，隱含層個(gè)數(shù)以及隱節(jié)點(diǎn)的個(gè)數(shù)視具體情況而定，輸出層神經(jīng)元的個(gè)數(shù)為輸出信號(hào)的維數(shù)。第80頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四多層感知器的特點(diǎn)含有一層或多層隱單元，從輸入模式中獲得了更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。每個(gè)神經(jīng)元的激活函數(shù)采用可微的函數(shù)sigmoid函數(shù)多個(gè)突觸使得網(wǎng)絡(luò)更具連通性 具有獨(dú)特的學(xué)習(xí)算法 BP算法第81頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 9.2.2BP網(wǎng)絡(luò)(B

50、ack Propagation) 三層前饋網(wǎng)絡(luò)的適用范圍大大超過(guò)二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)算法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無(wú)法直接計(jì)算其誤差。為解決這一問(wèn)題， Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向傳播算法。J. McClelland David Rumelhart 第82頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 BP網(wǎng)絡(luò)是采用誤差反向傳播(Back Propagation, BP)算法的多層前饋網(wǎng)絡(luò), 其中, 神經(jīng)元的傳遞函數(shù)為S型函數(shù), 網(wǎng)絡(luò)的輸入和輸出是一種非線性映射關(guān)系。 其主要思想是： 利用輸出后的誤差來(lái)估計(jì)輸出層

51、的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。即：是從后向前（反向）逐層傳播輸出層的誤差，以間接算出隱層誤差。第83頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四BP學(xué)習(xí)過(guò)程： （1）工作信號(hào)正向傳播：輸入信號(hào)從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號(hào)，這是工作信號(hào)的正向傳播。在信號(hào)的向前傳遞過(guò)程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號(hào)反向傳播。（2）誤差信號(hào)反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間差值即為誤差信號(hào)，誤差信號(hào)由輸出端開(kāi)始逐層

52、向后傳播，這是誤差信號(hào)的反向傳播。在誤差信號(hào)反向傳播的過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)。通過(guò)權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出。 第84頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出第85頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四輸出的導(dǎo)數(shù) 根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)。 第86頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四學(xué)習(xí)的過(guò)程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使

53、網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。第87頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程：信號(hào)的正向傳播 誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元各層單元的誤差信號(hào)修正各單元權(quán)值第88頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示修

54、正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第89頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則采用梯度下降算法。 在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中, 把輸出層節(jié)點(diǎn)的期望輸出(目標(biāo)輸出)與實(shí)際輸出(計(jì)算輸出)的均方誤差, 逐層向輸入層反向傳播, 分配給各連接節(jié)點(diǎn), 并計(jì)算出各連接節(jié)點(diǎn)的參考誤差, 在此基礎(chǔ)上調(diào)整各連接權(quán)值, 使得網(wǎng)絡(luò)的期望輸出與實(shí)際輸出的均方誤差達(dá)到最小。第90頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元, 輸出層有q個(gè)神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向

55、量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第91頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù): 誤差函數(shù)：第92頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第 個(gè)輸入樣本及對(duì)應(yīng)期望輸出 第93頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸

56、出第94頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù) 。 第95頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。 第96頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第97頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值 。 第98頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第七步，利用隱含層各神

57、經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。 第99頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。 第100頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四BP算法直觀解釋情況一直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe0，此時(shí)who0第101頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星

58、期四BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e0who第102頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)

59、誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。第103頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四BP學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最常用的學(xué)習(xí)方法之一, BP網(wǎng)絡(luò)被廣泛應(yīng)用于模式識(shí)別、 函數(shù)逼近、 數(shù)據(jù)壓縮等多個(gè)方面。 但是, BP算法存在一些不足, 例如, 隱含層數(shù)和隱含層神經(jīng)元數(shù)目通常是通過(guò)實(shí)驗(yàn)確定的, 缺乏理論依據(jù); 有可能收斂到一個(gè)局部極小點(diǎn), 得到局部最優(yōu)解; 學(xué)習(xí)算法的收斂速度較慢。 第104頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四9.2.3徑向基函數(shù)網(wǎng)絡(luò)一、概述1985年，Powell提出了多變量插值的徑向基函數(shù)(Radical Basis Function，RBF

60、)方法 。1988年， Moody和Darken首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。結(jié)構(gòu)：RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò) 輸入層由信號(hào)源節(jié)點(diǎn)組成；第二層為隱含層，隱單元的個(gè)數(shù)由所描述的問(wèn)題而定，隱單元的變換函數(shù)是中心點(diǎn)徑向?qū)ΨQ且衰減的非負(fù)非線性函數(shù)；第三層為輸出層，它對(duì)輸入模式的作用做出響應(yīng)。第105頁(yè)，共167頁(yè)，2022年，5月20日，6點(diǎn)29分，星期四 RBF網(wǎng)絡(luò)的基本思想：用徑向基函數(shù)（RBF）作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對(duì)輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過(guò)對(duì)隱單元輸出的加權(quán)求和得到輸出。當(dāng)RBF的中心點(diǎn)確定后，映射關(guān)系也就確