神經(jīng)網(wǎng)絡(luò)期末報(bào)告

1、基于信息論的神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)報(bào)告基于信息論的神經(jīng)網(wǎng)絡(luò)模型 專(zhuān)業(yè)：計(jì)算數(shù)學(xué) 班級(jí)：數(shù)學(xué)二班 學(xué)號(hào)：152111033 姓名：劉楠楠本報(bào)告主要分為兩個(gè)部分，第一部分主要是對(duì)神經(jīng)網(wǎng)絡(luò)做一個(gè)整體的論述，闡述神經(jīng)元的模型基理和特點(diǎn)，第二部分則是利用信息論的知識(shí)來(lái)研究神經(jīng)元信號(hào)傳遞過(guò)程中，在有外界噪聲的干擾下，如何保證信息最終能夠達(dá)到最大輸出。第三部分列舉了一個(gè)擬合圖像的算例，用于對(duì)比不同算法對(duì)噪聲的敏感程度。1 神經(jīng)網(wǎng)絡(luò)概述1.1人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANNs），是人腦或自然神經(jīng)網(wǎng)絡(luò)對(duì)信息感知與處理等智能行為的抽象和模擬，是一種分布式并行處

2、理系統(tǒng)，它具有自組織、自學(xué)習(xí)、自適應(yīng)和非線性動(dòng)態(tài)處理的特性?？梢詫?shí)現(xiàn)人腦的概括、類(lèi)比和推廣能力，因而可以從大量數(shù)據(jù)中提取所需要的信息，通過(guò)聯(lián)想記憶和推理等能力來(lái)獲取所需要的數(shù)據(jù)。目前，已經(jīng)開(kāi)發(fā)和應(yīng)用的神經(jīng)網(wǎng)絡(luò)有30多種，比較典型的有以下幾種：感知器（Perceptron），多層感知器（MLP），BP前向網(wǎng)絡(luò)，Hopfield網(wǎng)絡(luò)和競(jìng)爭(zhēng)型（Kohonen）神經(jīng)網(wǎng)絡(luò)?？梢哉f(shuō)人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。1.2 人工神經(jīng)網(wǎng)絡(luò)的工作原理及特點(diǎn)    人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和

3、功能比較簡(jiǎn)單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作,它反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡(jiǎn)化和抽象。與數(shù)字計(jì)算機(jī)比較，人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別和過(guò)程控制。人工神經(jīng)網(wǎng)絡(luò)吸取了生物神經(jīng)網(wǎng)絡(luò)的許多優(yōu)點(diǎn)，因而有其固有的特點(diǎn)：（1）高度的并行性   人工神經(jīng)網(wǎng)絡(luò)由許多相同的簡(jiǎn)單處理單元并列組合而成，雖然每個(gè)單元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但大量簡(jiǎn)單處理單元的并行行動(dòng)，使

4、其對(duì)信息的處理能力與效果驚人。 （2）高度的非線性全局作用  當(dāng)對(duì)系統(tǒng)對(duì)于設(shè)計(jì)人員來(lái)說(shuō)，很透徹或者很清楚時(shí)，則一般利用數(shù)值分析，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對(duì)系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時(shí)，建立精確的數(shù)學(xué)模型很困難時(shí)，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢(shì)，因?yàn)樗恍枰獙?duì)系統(tǒng)進(jìn)行透徹的了解，但是同時(shí)能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡(jiǎn)化設(shè)計(jì)的難度。 （3）良好的容錯(cuò)性與聯(lián)想記憶能力  人工神經(jīng)網(wǎng)絡(luò)通過(guò)自身的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)對(duì)信息的記憶，所記憶的信息存儲(chǔ)在神經(jīng)元之間的權(quán)值中。從單個(gè)權(quán)值中看不出所存儲(chǔ)的信息內(nèi)容，因而是分布式的存儲(chǔ)

5、方式。這使得網(wǎng)絡(luò)具有良好的容錯(cuò)性，并能進(jìn)行聚類(lèi)分析、特征提取、等模式信息處理工作：又宜于做模式分類(lèi)、模式聯(lián)想等模式識(shí)別工作。 （4）十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能 人工神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練和學(xué)習(xí)來(lái)獲得網(wǎng)絡(luò)的權(quán)值和結(jié)構(gòu)，呈現(xiàn)出很強(qiáng)的自學(xué)習(xí)能力和對(duì)環(huán)境的自適應(yīng)能力。1.3人工神經(jīng)元模型 作為NN的基本單元的神經(jīng)元模型，它有三個(gè)基本要素：（1） 一組連接（對(duì)應(yīng)于生物神經(jīng)元的突觸），連接強(qiáng)度由各連接上的權(quán)值來(lái)表示，權(quán)值為正表示激活，為負(fù)表示抑制。（2） 一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和（線性組合）。（3） 一個(gè)非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)（

6、一般限制在（0,1）或（-1,1）之間）。此外還有一個(gè)閾值，如圖1所示圖形中的各個(gè)作用可用數(shù)學(xué)式子表示： 式中為輸入信號(hào)，為神經(jīng)元的權(quán)值，為線性組合結(jié)果，為閾值，為激活函數(shù)，為神經(jīng)元的輸出。2 基于信息論的神經(jīng)網(wǎng)絡(luò)模型2.1信息論簡(jiǎn)介 信息論是通信的數(shù)學(xué)基礎(chǔ)，它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來(lái)的一門(mén)新興橫斷學(xué)科。信息論創(chuàng)立標(biāo)志是1948年Claude Shannon(香農(nóng))發(fā)表論文“A Mathematical Theory of Communication”。在這篇文章中香農(nóng)創(chuàng)造性的采用概率論的方法來(lái)研究通信中的問(wèn)題，并且對(duì)信息給予了科學(xué)的定量描述，第一次提出了信息熵的概念。 1928年

7、，哈特萊(Hartley)首先提出了用對(duì)數(shù)度量信息的概念。一個(gè)消息所含有的信息量用它的可能值的個(gè)數(shù)的對(duì)數(shù)來(lái)表示。信息的度量方式主要有以下幾種：1.自信息：一個(gè)事件(消息)本身所包含的信息量，它是由事件的不確定性決定的。隨機(jī)事件的自信息量是該事件發(fā)生概率的函數(shù)，并且應(yīng)該滿足以下公理化條件： （1）是的嚴(yán)格遞減函數(shù)。即概率越小，事件發(fā)生的不確定性越大，事件發(fā)生后所包含的自信息量越大。 （2）極限情況下當(dāng)時(shí)，；當(dāng)時(shí)，。 （3）另外，從直觀概念上講，由兩個(gè)相對(duì)獨(dú)立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和?？梢宰C明，滿足以上公理化條件的函數(shù)形式是對(duì)數(shù)形式。2.平均自信息（信息熵）：隨機(jī)變

8、量X的每一個(gè)可能取值的自信息的統(tǒng)計(jì)平均值定義為隨機(jī)變量X的平均自信息量： 這里考慮離散隨機(jī)變量X從-K取到+K間2K+1個(gè)可能值，出現(xiàn)的概率為 是一個(gè)系統(tǒng)的不確定性的度量（1） 當(dāng)對(duì)某一k，時(shí)，則取其他值的概率均為0，這時(shí)完全確定，即為0，（2） 當(dāng)取任何一個(gè)值得概率均相等時(shí)，不確定性最大，事實(shí)上，由柯西不等式 等式成立的條件為，當(dāng)且僅當(dāng) 時(shí)，等式成立，所以對(duì)于2K+1個(gè)可能值得隨機(jī)變量來(lái)說(shuō) 3. 聯(lián)合熵、條件熵、平均互信息若有兩個(gè)隨機(jī)變量x，y，它們的離散分布分別是，二者的聯(lián)合分布為，則有聯(lián)合熵和條件熵 其中條件熵表示觀測(cè)到輸出y后輸入x中剩余的不確定性大小，由于信息熵是觀測(cè)到y(tǒng)以前x中的不

9、確定性，所以條件熵滿足 它們的二者之差就是x與y間的平均互信息，表示為 由圖2可知有如下性質(zhì)：（1） 對(duì)稱(chēng)性：，（2） 非負(fù)性：，（3） 。4.連續(xù)信源的微分熵（差熵）當(dāng)x為連續(xù)變量時(shí)，設(shè)其分布密度為，則可定義 稱(chēng)為微分熵，它雖然已不能代表連續(xù)信源的平均不確定性，也不能代表連續(xù)信源輸出的信息量，但依然滿足可加性。當(dāng)x為多維變量時(shí)，即用向量表示，為聯(lián)合分布密度，則 下面討論最大微分熵問(wèn)題：求滿足約束條件 的分布密度，使得其微分熵達(dá)最大，其中為均值，為方差。根據(jù)拉格朗日乘數(shù)法可知，只有當(dāng)積分 為穩(wěn)定時(shí)，微分熵達(dá)最大，即上述積分中的被積函數(shù) 對(duì)求導(dǎo)為零時(shí)，最大，所以求導(dǎo)得 對(duì)上式取自然對(duì)數(shù)，則其解為

10、 將其代入約束條件得 所以 可見(jiàn)這是一個(gè)正態(tài)分布，此時(shí)隨機(jī)變量x的微分熵為 （2.1）2.2單個(gè)神經(jīng)元受噪聲干擾 神經(jīng)網(wǎng)絡(luò)的一個(gè)最終目的是使得輸入信號(hào)最大程度的從輸出端輸出，盡量減少傳輸過(guò)程中的信息損失，即使得當(dāng)有噪聲是x與y間的互信息最大，這就是所謂的信息最大保持原則，而且最大信息保持原則與學(xué)習(xí)規(guī)則無(wú)關(guān)，它可以看作是信息論中信道容量這一概念在神經(jīng)網(wǎng)絡(luò)中的體現(xiàn)，即對(duì)于固定的信道，總存在一種信源（某種輸入概率分布），使信道平均傳輸一個(gè)符號(hào)接收端獲得的信息量最大，也就是說(shuō)對(duì)于每個(gè)固定信道都有一個(gè)最大的信息傳輸率，這個(gè)最大的信息傳輸率即為信道容量。設(shè)輸入x是L維的，單個(gè)神經(jīng)元受噪聲干擾時(shí)，輸出為 （

11、2.2）其中v為噪聲，假定v為高斯隨機(jī)變量，方差為，均值為0。輸出y也是高斯分布的隨機(jī)變量，方差為，且噪聲與輸入不相關(guān)，即 按照互信息的定義有 （2.3）從（2.2）可見(jiàn)，給定輸入向量x下y的分布相當(dāng)于一個(gè)常數(shù)疊加上一個(gè)高斯分布的隨機(jī)變量v，因此，條件熵是輸出中所含有關(guān)v的信息（而不是x的），于是有 （2.3）式變?yōu)?由（2.1）式知 所以 其中比值可看作是輸出的信噪比，此時(shí)，當(dāng)噪聲方差一定時(shí)，使輸出方差達(dá)到最大即可，換句話說(shuō)，這就相當(dāng)于使平均互信息最大，因此，在一定條件下，使單個(gè)神經(jīng)元的輸出的方差最大就能使輸入與輸出間的互信息最大，從而使得信息得以最多輸出。2.3多輸出單元受噪聲干擾 在這里

12、，我們只考察有兩個(gè)輸出單元的情況，對(duì)于更多輸出單元的情況也是類(lèi)似的推導(dǎo)，如圖3所示：此時(shí)有 （1） 加性噪聲都均值為0，方差為的高斯分布，并且這兩個(gè)噪聲是不相關(guān)的，即 （2） 輸出端與都是均值為0的高斯分布隨機(jī)變量。輸出與輸入間的互信息為 由上一節(jié)的討論可知 其中，又由于相互獨(dú)立，所以 令R為輸出向量y的相關(guān)矩陣 其中，由于以及，可得 其中和為沒(méi)有噪聲時(shí)和的方差，為無(wú)噪聲時(shí)與的相關(guān)系數(shù)。把此結(jié)果推廣到N維高斯變量 則N維變量y的微分熵為 對(duì)N=2的情況有 當(dāng)噪聲方差固定時(shí)，為使最大，需要使矩陣R的行列式最大， 根據(jù)噪聲的一般大小，可分為兩種情況：（1） 大的噪聲方差，當(dāng)大時(shí)，上式得第3項(xiàng)可以忽

13、略，此時(shí)應(yīng)使達(dá)最大，也就是當(dāng)該噪聲方差固定時(shí)，最大信息保持原則應(yīng)使輸出與本身的方差最大。（2） 低噪聲方差，當(dāng)小時(shí)，上式中第3項(xiàng)占優(yōu)勢(shì)，此時(shí)的要求是在保持與較大的條件下盡量使兩個(gè)輸出不相關(guān)。2.4輸入受加性噪聲干擾對(duì)于輸入受加性噪聲干擾，是在輸入端對(duì)其進(jìn)行變化，此時(shí)輸出為 其中為均值為0，方差為的相互獨(dú)立的隨機(jī)變量，可將上式寫(xiě)為 其中。噪聲是均值為0，方差為 的高斯分布隨機(jī)變量，同樣按第一節(jié)的處理方法，由于 所以互信息為 當(dāng)噪聲方差固定時(shí)，使比值最大可使互信息達(dá)到最大，由此可見(jiàn)，最大信息保持原則的結(jié)果是與問(wèn)題條件（權(quán)值）有關(guān)的。3 程序?qū)嵗翰捎脙煞N訓(xùn)練方法，L-M優(yōu)化算法（trainlm）

14、和貝葉斯正則化算法，用以訓(xùn)練BP網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB語(yǔ)句生成。close all clear echo on clc % NEWFF生成一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) % TRAIN對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練% SIM對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 pause % 敲任意鍵開(kāi)始 clc % 定義訓(xùn)練樣本矢量 % P 為輸入矢量 P = -1:0.05:1; % T 為目標(biāo)矢量 randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P); % 繪制樣本數(shù)據(jù)點(diǎn) plot(P

15、,T,'+'); echo off hold on; plot(P,sin(2*pi*P),':'); % 繪制不含噪聲的正弦曲線 echo on clc pause clc % 創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) net=newff(minmax(P),20,1,'tansig','purelin'); pause clc echo off clcdisp('1. L-M 優(yōu)化算法 TRAINLM'); disp('2. 貝葉斯正則化算法 TRAINBR'); choice=input('請(qǐng)選擇訓(xùn)練

16、算法(1,2):'); figure(gcf); if(choice=1) echo on clc % 采用 L-M 優(yōu)化算法 TRAINLM net.trainFcn='trainlm' pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 500; net.trainParam.goal = 1e-6; net=init(net); % 重新初始化 pause clcelseif(choice=2) echo on clc % 采用貝葉斯正則化算法 TRAINBR net.trainFcn='trainbr' pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 500; randn('seed',192736547); net = init(net); % 重新初始化 pause clc end % 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò) net,tr=train(net,P,T); pause clc % 對(duì) BP 網(wǎng)絡(luò)進(jìn)行仿真 A = sim(net,P); % 計(jì)算仿真誤差 E = T - A; MSE=mse(E) pause clc % 繪制匹配結(jié)果曲線 close all; plot(P,A,P,T,&#