人工神經(jīng)網(wǎng)絡(luò)入門

關(guān)于人工神經(jīng)網(wǎng)絡(luò)入門一、概述生物神經(jīng)網(wǎng)絡(luò)——人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)特點神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式第2頁,共32頁，2024年2月25日，星期天1、生物神經(jīng)網(wǎng)絡(luò)——人工神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)系統(tǒng)的某些結(jié)構(gòu)和功能是天生的，如某些本能動作，但大多數(shù)功能需要后天學(xué)習(xí)才能獲得。構(gòu)造“人工神經(jīng)元”模擬生物細(xì)胞，并以某種方式進(jìn)行連接，從而模擬“人腦”的某些功能。第3頁,共32頁，2024年2月25日，星期天2、生物神經(jīng)元

生物神經(jīng)元是人腦神經(jīng)系統(tǒng)的基本單元，相互之間通過神經(jīng)末梢連接，神經(jīng)元信息是寬度和幅度相同的脈沖串，興奮的神經(jīng)元，輸出高頻率的脈沖串，引起下一個神經(jīng)元興奮；否則輸出頻率就低，抑制下一個神經(jīng)元。第4頁,共32頁，2024年2月25日，星期天3、人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元。依據(jù)生物神經(jīng)元的結(jié)構(gòu)和功能，可以把它看作一個多輸入單輸出的非線性閾值器件。第5頁,共32頁，2024年2月25日，星期天p2p1pR…f∑θaw1w2wRP：其它神經(jīng)元的輸出，即該神經(jīng)元輸入向量；w：其它神經(jīng)元與該神經(jīng)元的連接強(qiáng)度，即權(quán)值向量；Θ：神經(jīng)元的閾值，判斷輸入向量加權(quán)和與其大?。籪：神經(jīng)元輸入輸出關(guān)系函數(shù)，即傳輸函數(shù)，傳輸函數(shù)不同構(gòu)成了不同的神經(jīng)網(wǎng)絡(luò)模型；a：神經(jīng)元輸出第6頁,共32頁，2024年2月25日，星期天p2p1pR…aw1w2wR∑fnb人工神經(jīng)元一般模型第7頁,共32頁，2024年2月25日，星期天4、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

單個人工神經(jīng)元不能完成輸入信號的處理，需要按照一定的規(guī)則連接成網(wǎng)絡(luò)，并讓網(wǎng)絡(luò)中每個神經(jīng)元的權(quán)值和閾值按照一定的規(guī)則變化，才能實現(xiàn)一定的功能要求?？煞譃榉謱有秃突ミB型兩種。第8頁,共32頁，2024年2月25日，星期天

分層型神經(jīng)網(wǎng)絡(luò)按照功能分為輸入層、中間層和輸出層，中間層也稱為隱層，隱層可以有多層（一般不超過2層），也可以沒有。第9頁,共32頁，2024年2月25日，星期天5、神經(jīng)網(wǎng)絡(luò)特點分布式存儲信息并行協(xié)同處理信息信息處理與存儲合而為一對信息處理具有自組織、自學(xué)習(xí)特點，便于聯(lián)想、綜合和推廣。第10頁,共32頁，2024年2月25日，星期天6、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式

與生物神經(jīng)網(wǎng)絡(luò)一樣，人工神經(jīng)網(wǎng)絡(luò)必須經(jīng)過學(xué)習(xí)，才具有智能特性。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是在不斷調(diào)節(jié)權(quán)值和閾值的過程。模仿人的學(xué)習(xí)過程，提出三種學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。第11頁,共32頁，2024年2月25日，星期天1）監(jiān)督學(xué)習(xí)

給出了與所有輸入模式p對應(yīng)的輸出模式的“正確答案”，即期望輸出t（目標(biāo)），每次學(xué)習(xí)后，根據(jù)實際輸出a與期望輸出t的差別（誤差e），決定是否再次學(xué)習(xí)和學(xué)習(xí)方法，最終使e滿足要求。神經(jīng)網(wǎng)絡(luò)（學(xué)習(xí)系統(tǒng)）誤差分析P輸入a實際輸出e

誤差信號t

期望輸出第12頁,共32頁，2024年2月25日，星期天監(jiān)督學(xué)習(xí)的誤差信號定義：均方誤差mse平均絕對誤差mae誤差平方和sse第13頁,共32頁，2024年2月25日，星期天2）無監(jiān)督學(xué)習(xí)沒有信息作為響應(yīng)的校正，依據(jù)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則調(diào)節(jié)自身參數(shù)和結(jié)構(gòu)，使網(wǎng)絡(luò)輸出反映輸入的某些固有特性。3）強(qiáng)化學(xué)習(xí)介于兩者之間，外部環(huán)境對學(xué)習(xí)后的輸出結(jié)果只給出評價信息，而無答案，網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)通過強(qiáng)化正面評價行為來改善自身性能。第14頁,共32頁，2024年2月25日，星期天二、神經(jīng)網(wǎng)絡(luò)模型感知器BP網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)徑向基網(wǎng)絡(luò)競爭型神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)第15頁,共32頁，2024年2月25日，星期天1、感知器特點感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型感知器學(xué)習(xí)局限性感知器網(wǎng)絡(luò)設(shè)計第16頁,共32頁，2024年2月25日，星期天特點在解決線性可分問題時，感知器保持了運算速度快，性能可靠的優(yōu)點；理解感知器的訓(xùn)練算法，能夠為更好理解其它復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型奠定基礎(chǔ)。第17頁,共32頁，2024年2月25日，星期天感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型神經(jīng)元傳輸函數(shù)f：閾值型傳輸函數(shù)感知器網(wǎng)絡(luò)輸出：0，1感知器學(xué)習(xí)規(guī)則：δ規(guī)則，e＝t－a，網(wǎng)絡(luò)訓(xùn)練目的是使ta第18頁,共32頁，2024年2月25日，星期天感知器學(xué)習(xí)

感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，需要提供訓(xùn)練樣本集，每個樣本由神經(jīng)網(wǎng)絡(luò)的輸入向量和輸出向量對組成，n個訓(xùn)練樣本構(gòu)成的訓(xùn)練樣本集為：

每一步學(xué)習(xí)，對于各層感知器神經(jīng)元的權(quán)值和閾值的調(diào)整算法表示為：第19頁,共32頁，2024年2月25日，星期天

通過有限步數(shù)的學(xué)習(xí)后，網(wǎng)絡(luò)實際輸出和期望輸出的誤差將減小到0，此時，完成網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練結(jié)果使網(wǎng)絡(luò)訓(xùn)練樣本模式分布記憶在權(quán)值和閾值之中，當(dāng)給定網(wǎng)絡(luò)一個輸入模式時，網(wǎng)絡(luò)將計算出相應(yīng)輸出，從而判斷這一輸入模式屬于記憶中的哪一種模式或接近于哪一種模式。第20頁,共32頁，2024年2月25日，星期天感知器局限性輸出值單層感知器網(wǎng)絡(luò)只用于解決線性可分問題感知器學(xué)習(xí)算法只適用于單層感知器網(wǎng)絡(luò)第21頁,共32頁，2024年2月25日，星期天感知器網(wǎng)絡(luò)設(shè)計確定輸入向量的取值范圍、維數(shù)、網(wǎng)絡(luò)層的神經(jīng)元數(shù)目、傳輸函數(shù)和學(xué)習(xí)函數(shù)；構(gòu)造訓(xùn)練樣本集，確定每個樣本的輸入向量和目標(biāo)向量，訓(xùn)練樣本，得到滿足誤差性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)；構(gòu)造測試樣本集，仿真網(wǎng)絡(luò)的性能。第22頁,共32頁，2024年2月25日，星期天

舉例：判斷數(shù)字的奇偶性。第23頁,共32頁，2024年2月25日，星期天2、BP網(wǎng)絡(luò)特點BP網(wǎng)絡(luò)學(xué)習(xí)BP網(wǎng)絡(luò)設(shè)計第24頁,共32頁，2024年2月25日，星期天特點感知器神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則和LMS學(xué)習(xí)算法只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)，只能解決線性可分問題，多層神經(jīng)網(wǎng)絡(luò)可用于非線性分類BP神經(jīng)元傳輸函數(shù)為非線性函數(shù)BP網(wǎng)絡(luò)一般為多層網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型采用了BP網(wǎng)絡(luò)及其變化形式第25頁,共32頁，2024年2月25日，星期天BP網(wǎng)絡(luò)學(xué)習(xí)第一階段：輸入已知學(xué)習(xí)樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)第一層向后計算各神經(jīng)元輸出第二階段：從最后一層向前計算各權(quán)值和閾值對總誤差的影響，并據(jù)此修改以上兩個過程反復(fù)交替，直到達(dá)到收斂：誤差反向傳播（backpropagation）。第26頁,共32頁，2024年2月25日，星期天BP網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)層數(shù)輸入層節(jié)點數(shù)輸出層節(jié)點數(shù)隱層節(jié)點數(shù)第27頁,共32頁，2024年2月25日，星期天網(wǎng)絡(luò)層數(shù)

理論上已經(jīng)證明，在不限制隱層節(jié)點數(shù)的情況下，兩層（只有一個隱層）BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射，BP網(wǎng)絡(luò)隱層一般不超過兩層。第28頁,共32頁，2024年2月25日，星期天輸入層節(jié)點數(shù)

輸入層起緩沖存儲器作用，它接收外部輸入數(shù)據(jù)，其節(jié)點數(shù)取決于輸入矢量的維數(shù)，如以32×32大小圖像像素作為輸入數(shù)據(jù)時，輸入節(jié)點為1024第29頁,共32頁，2024年2月25日，星期天輸出層節(jié)點數(shù)

當(dāng)神經(jīng)網(wǎng)絡(luò)用于模式分類時，可以二進(jìn)制形式表示不同模式的輸出結(jié)果，輸出節(jié)點數(shù)可根據(jù)待分類模式數(shù)來確定。第30頁,共