《物聯(lián)網(wǎng)智能信息處理》課件第四章 物聯(lián)網(wǎng)的智能信息處理-第三節(jié)

目錄4123基于貝葉斯網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)法0信息融合技術(shù)粗糙集信息處理5信息的跨系統(tǒng)交互信息處理的定義與目標(biāo)1

由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運(yùn)動(dòng)、交感等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，最重要的是腦神經(jīng)系統(tǒng)。4.3基于貝葉斯網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)法4.3.1生物神經(jīng)網(wǎng)絡(luò)軸突樹突突觸細(xì)胞體神經(jīng)末梢突觸一個(gè)神經(jīng)元的樹突-細(xì)胞體－軸突－突觸－另一個(gè)神經(jīng)元樹突1.生物神經(jīng)元2神經(jīng)元工作狀態(tài)：興奮狀態(tài)：細(xì)胞膜電位高于動(dòng)作電位的閾值時(shí)，產(chǎn)生神經(jīng)沖動(dòng)。抑制狀態(tài)：細(xì)胞膜電位低于動(dòng)作電位的閾值時(shí)，無神經(jīng)沖動(dòng)產(chǎn)生。4.3.1生物神經(jīng)網(wǎng)絡(luò)時(shí)空整合能力對(duì)不同時(shí)間通過同一突觸傳入的信息具有時(shí)間整合功能對(duì)同一時(shí)間通過不同突觸傳入的信息具有空間整合功能學(xué)習(xí)與遺忘由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)和減弱，因此神經(jīng)元具有學(xué)習(xí)與遺忘的功能。1.生物神經(jīng)元34.3.1生物神經(jīng)網(wǎng)絡(luò)2.生物神經(jīng)網(wǎng)絡(luò)從信息系統(tǒng)研究的觀點(diǎn)出發(fā)，對(duì)于人腦這個(gè)智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作模式。（2)神經(jīng)系統(tǒng)的可塑性和自組織性。(3)信息處理與信息存貯合二為一。(4)信息處理的系統(tǒng)性(5)能接受和處理模糊的、模擬的、隨機(jī)的信息。(6)求滿意解而不是精確解。(7)系統(tǒng)的恰當(dāng)退化和冗余備份(魯棒性和容錯(cuò)性)。4.3.2人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANNs）是在結(jié)構(gòu)和功能上對(duì)生物神經(jīng)網(wǎng)絡(luò)的某種程度的模擬和逼近。4直觀理解人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)。它一般由大量神經(jīng)元組成：每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元。每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù)

。1.人工神經(jīng)元5人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元。它對(duì)生物神經(jīng)元的模擬主要考慮兩個(gè)特性：時(shí)空加權(quán)，閾值作用。圖中：是指神經(jīng)元的輸入；是指連接權(quán)值；是神經(jīng)元的閾值；是神經(jīng)元的凈輸入；是非線性函數(shù)；是神經(jīng)元的輸出。4.3.2人工神經(jīng)網(wǎng)絡(luò)模型6在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。閾值型S型線性型線性

飽和線性

對(duì)稱飽和線性4.3.2人工神經(jīng)網(wǎng)絡(luò)模型1.人工神經(jīng)元72.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

若干個(gè)神經(jīng)元通過相互連接就形成一個(gè)神經(jīng)網(wǎng)絡(luò)，這個(gè)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)稱為神經(jīng)網(wǎng)絡(luò)的互連模式。神經(jīng)元模型、數(shù)量及互連模式確定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)又決定了其信息處理的能力。4.3.2人工神經(jīng)網(wǎng)絡(luò)模型8根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類：(1)層次型神經(jīng)網(wǎng)絡(luò)4.3.2人工神經(jīng)網(wǎng)絡(luò)模型2.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)普通前向網(wǎng)絡(luò)神經(jīng)元分層排列，順序連接。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入。層內(nèi)互聯(lián)前向網(wǎng)絡(luò)在同一層中的神經(jīng)元相互有連接?？梢詫?shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制。9(1)層次型神經(jīng)網(wǎng)絡(luò)(2)互連型神經(jīng)網(wǎng)絡(luò)4.3.2人工神經(jīng)網(wǎng)絡(luò)模型2.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)帶反饋的層次網(wǎng)絡(luò)每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。只在輸出層到輸入層存在反饋。任意兩個(gè)神經(jīng)元之間都可能有相互連接的關(guān)系。神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動(dòng)態(tài)過程中。根據(jù)神經(jīng)網(wǎng)絡(luò)的連接結(jié)構(gòu)及功能特點(diǎn)可知，層次型神經(jīng)網(wǎng)絡(luò)主要用于函數(shù)映射，互連型神經(jīng)網(wǎng)絡(luò)主要用作各種聯(lián)想存儲(chǔ)器或用于求解最優(yōu)化問題。103.神經(jīng)網(wǎng)絡(luò)工作過程學(xué)習(xí)期連接權(quán)值按照一定的學(xué)習(xí)規(guī)則進(jìn)行自動(dòng)調(diào)整目標(biāo)是使性能函數(shù)達(dá)到最小工作期各神經(jīng)元的連接權(quán)值固定網(wǎng)絡(luò)輸入信號(hào)計(jì)算出網(wǎng)絡(luò)的輸出結(jié)果神經(jīng)元的模型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的輸出性能主要取決于：4.3.2人工神經(jīng)網(wǎng)絡(luò)模型114.神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式網(wǎng)絡(luò)的輸出有一個(gè)評(píng)價(jià)的標(biāo)準(zhǔn)，網(wǎng)絡(luò)將實(shí)際輸出和評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行比較，由其誤差信號(hào)決定連接權(quán)值的調(diào)整。有監(jiān)督學(xué)習(xí)算法只需給出一組輸入，網(wǎng)絡(luò)能夠逐漸演變到對(duì)輸入的某種模式做出特定的反應(yīng)。無監(jiān)督學(xué)習(xí)算法4.3.2人工神經(jīng)網(wǎng)絡(luò)模型可避免數(shù)據(jù)的分析工作和建模工作非編程自適應(yīng)的信息處理方式完成復(fù)雜的輸入與輸出非線性映射信息存貯與處理合二為一5.神經(jīng)網(wǎng)絡(luò)特點(diǎn)自適應(yīng)性容錯(cuò)性并行處理自組織性層次性聯(lián)想記憶可塑性神經(jīng)網(wǎng)絡(luò)計(jì)算特點(diǎn)4.3.2人工神經(jīng)網(wǎng)絡(luò)模型124.3.3BP神經(jīng)網(wǎng)絡(luò)13輸入層隱含層輸出層誤差后向傳播(Back-Propagation)神經(jīng)網(wǎng)絡(luò)模型，是采用BP算法的多層感知器神經(jīng)網(wǎng)絡(luò)。它是目前使用最廣泛一類神經(jīng)網(wǎng)絡(luò)模型。除輸入，輸出層外，還有一個(gè)或多個(gè)隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。144.3.3BP神經(jīng)網(wǎng)絡(luò)1.BP學(xué)習(xí)算法正向傳播輸入層-隱含層-傳輸層每一層神經(jīng)元的狀態(tài)只影響下層的神經(jīng)元反向傳播輸出層不能得到其期望輸出情況下進(jìn)行誤差沿原來的通路返回，改變權(quán)重值BP學(xué)習(xí)算法是對(duì)簡(jiǎn)單的學(xué)習(xí)規(guī)則的推廣和發(fā)展。學(xué)習(xí)實(shí)質(zhì)上就是一個(gè)典型的函數(shù)最優(yōu)化過程。它利用梯度最速下降法，使權(quán)重值沿誤差的負(fù)梯度方向改變。154.3.3BP神經(jīng)網(wǎng)絡(luò)2.BP網(wǎng)絡(luò)學(xué)習(xí)流程4.3.3BP神經(jīng)網(wǎng)絡(luò)163.BP網(wǎng)絡(luò)優(yōu)缺點(diǎn)優(yōu)點(diǎn)全局逼近，有較好的泛化能力高度的非線性映射，較好的容錯(cuò)性缺點(diǎn)收斂速度慢局部極小值問題隱節(jié)點(diǎn)個(gè)數(shù)選取問題新樣例加入影響學(xué)習(xí)17基于條件概率的定義p(Ai|E)是在給定證據(jù)下的后驗(yàn)概率p(Ai)是先驗(yàn)概率P(E|Ai)是在給定Ai下的證據(jù)似然p(E)是證據(jù)的預(yù)定義后驗(yàn)概率?==iiiiiiii))p(AA|p(E))p(AA|p(Ep(E)))p(AA|p(EE)|p(A==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E4.3.4貝葉斯網(wǎng)絡(luò)1.貝葉斯規(guī)則貝葉斯網(wǎng)絡(luò)：概率論圖論4.3.4貝葉斯網(wǎng)絡(luò)2.貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)是基于概率推理過程的圖形化網(wǎng)絡(luò)。它提供了一種自然的表示因果信息的方法，用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。18例子P(C,S,R,W)=P(C)P(S|C)P(R|S,C)P(W|S,R,C)chainrule=P(C)P(S|C)P(R|C)P(W|S,R,C)since=P(C)P(S|C)P(R|C)P(W|S,R)since4.3.4貝葉斯網(wǎng)絡(luò)2.貝葉斯網(wǎng)絡(luò)19圖分割，有向分割（D-separate,D-分割）變量X和Y通過第三個(gè)變量Z間接相連的三種情況：阻塞(block)設(shè)Z為一節(jié)點(diǎn)集合，X和Y是不在Z中的兩個(gè)節(jié)點(diǎn)。考慮X和Y之間的一條通路。如果滿足下面條件之一，則稱被Z所阻塞：4.3.4貝葉斯網(wǎng)絡(luò)3.圖分割與變量獨(dú)立相關(guān)概念20定理（整體馬爾科夫性）設(shè)X和Y為貝葉斯網(wǎng)N中的兩個(gè)變量，Z為N中一個(gè)不包含X和Y的節(jié)點(diǎn)集合。如果ZD-分割X和Y，那么X和Y在給定Z時(shí)條件獨(dú)立，即4.3.4貝葉斯網(wǎng)絡(luò)3.圖分割與變量獨(dú)立相關(guān)概念X⊥Y|Z圖分割，有向分割（D-separate,D-分割）D-分割是圖論的概念，而條件獨(dú)立是概率論的概念，所以定理揭示了貝葉斯網(wǎng)絡(luò)圖論側(cè)面和概率論側(cè)面之間的關(guān)系。如果X和Y之間的所有通路都被Z阻塞，則說Z有向分割(Directedseparate)X和Y，簡(jiǎn)稱

d-separate,d-分割。那么X和Y在給定Z時(shí)條件獨(dú)立。21224.3.4貝葉斯網(wǎng)絡(luò)4.

貝葉斯網(wǎng)絡(luò)推理變量消元算法(Variableelimination)

——利用概率分解降低推理復(fù)雜度。使得運(yùn)算局部化。消元過程實(shí)質(zhì)上就是一個(gè)邊緣化的過程最優(yōu)消元順序：最大勢(shì)搜索，最小缺邊搜索234.3.4貝葉斯網(wǎng)絡(luò)4.

貝葉斯網(wǎng)絡(luò)推理團(tuán)樹（cliquetree）是一種無向樹，其中每一個(gè)節(jié)點(diǎn)代表一個(gè)變量集合，稱為團(tuán)(clique)。團(tuán)樹必須滿足變量連通性，即包含同一變量的所有團(tuán)所導(dǎo)出的子圖必須是連通的。

團(tuán)樹傳播算法——利用步驟共享來加快推理的算法貝葉斯網(wǎng)絡(luò)團(tuán)樹234.3.4貝葉斯網(wǎng)絡(luò)5.貝葉斯網(wǎng)絡(luò)基本思想及應(yīng)用輔助智能決策

數(shù)據(jù)融合

模式識(shí)別

醫(yī)療診斷

文本理解

數(shù)據(jù)挖掘貝葉斯網(wǎng)絡(luò)的應(yīng)用領(lǐng)域?yàn)榱颂幚砣斯ぶ悄苎芯恐械牟淮_定性(uncertainty)問題。將概率統(tǒng)計(jì)應(yīng)用于復(fù)雜領(lǐng)域進(jìn)行不確定性推理和數(shù)據(jù)分析的工具。是一種系統(tǒng)地描述隨即變量之間關(guān)系的工具。用概率論處理不確定性的主要優(yōu)點(diǎn)是保證推理結(jié)果的正確性。244.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)1.

基于貝葉斯理論的神經(jīng)網(wǎng)絡(luò)25常規(guī)的神經(jīng)網(wǎng)絡(luò)面臨的問題：1.如何控制網(wǎng)絡(luò)模型的復(fù)雜度。2.缺少對(duì)網(wǎng)絡(luò)參數(shù)與網(wǎng)絡(luò)輸出進(jìn)行置信區(qū)間估計(jì)的工具。結(jié)合貝葉斯推斷的神經(jīng)網(wǎng)絡(luò)：1.貝葉斯方法解決了神經(jīng)網(wǎng)絡(luò)中超參數(shù)的設(shè)定和置信區(qū)間估計(jì)的問題。2.貝葉斯學(xué)習(xí)著眼于整個(gè)參數(shù)空間的概率分布，在理論上增加了網(wǎng)絡(luò)的泛化能力。4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)26考慮有監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型典型的前饋神經(jīng)網(wǎng)絡(luò)誤差性能函數(shù)為均方差函數(shù)，假設(shè)誤差函數(shù)為N樣本總數(shù)ei誤差增加網(wǎng)絡(luò)權(quán)閾值的均方差修正后的誤差性能函數(shù)Wi網(wǎng)絡(luò)權(quán)值α,β超參數(shù)值4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)27將α,β視為隨機(jī)變量，則其后驗(yàn)分布為P(D|M)歸一化因子稱為超參數(shù)α,β的顯著度。使α,β后驗(yàn)分布最大，只需似然函數(shù)最大權(quán)閾值的后驗(yàn)分布

M網(wǎng)絡(luò)結(jié)構(gòu)w權(quán)值向量D樣本數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)M已確定已知權(quán)值的先驗(yàn)分布P(w|α,M)、樣本數(shù)據(jù)集條件4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)28無權(quán)值先驗(yàn)知識(shí)時(shí)，假設(shè)先驗(yàn)分布服從常見的高斯分布Zw(α)歸一化因子權(quán)值先驗(yàn)分布求解其中4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)29各樣本數(shù)據(jù)是獨(dú)立選擇的，似然函數(shù)ZD(α)歸一化因子似然函數(shù)求解其中可計(jì)算出值4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)30由先驗(yàn)分布和似然函數(shù)可得權(quán)值的后驗(yàn)分布ZF(α)歸一化因子權(quán)值后驗(yàn)分布求解其中上式與w無關(guān)，則最小化F(W)可以求得后驗(yàn)分布的最大值，此時(shí)所對(duì)應(yīng)的權(quán)閾值即為所求4.3.5貝葉斯神經(jīng)網(wǎng)絡(luò)2.

神經(jīng)網(wǎng)絡(luò)的貝葉斯學(xué)習(xí)31將之前求得的帶入，取對(duì)數(shù)，再求導(dǎo)確定超參數(shù)的值：設(shè)F(W)取最小值