《物聯(lián)網(wǎng)智能信息處理》課件第四章 物聯(lián)網(wǎng)的智能信息處理-第三節(jié)

目錄4123基于貝葉斯網(wǎng)絡的神經(jīng)網(wǎng)絡法0信息融合技術粗糙集信息處理5信息的跨系統(tǒng)交互信息處理的定義與目標1

由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運動、交感等）所構(gòu)成的錯綜復雜的神經(jīng)網(wǎng)絡，最重要的是腦神經(jīng)系統(tǒng)。4.3基于貝葉斯網(wǎng)絡的神經(jīng)網(wǎng)絡法4.3.1生物神經(jīng)網(wǎng)絡軸突樹突突觸細胞體神經(jīng)末梢突觸一個神經(jīng)元的樹突-細胞體－軸突－突觸－另一個神經(jīng)元樹突1.生物神經(jīng)元2神經(jīng)元工作狀態(tài)：興奮狀態(tài)：細胞膜電位高于動作電位的閾值時，產(chǎn)生神經(jīng)沖動。抑制狀態(tài)：細胞膜電位低于動作電位的閾值時，無神經(jīng)沖動產(chǎn)生。4.3.1生物神經(jīng)網(wǎng)絡時空整合能力對不同時間通過同一突觸傳入的信息具有時間整合功能對同一時間通過不同突觸傳入的信息具有空間整合功能學習與遺忘由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強和減弱，因此神經(jīng)元具有學習與遺忘的功能。1.生物神經(jīng)元34.3.1生物神經(jīng)網(wǎng)絡2.生物神經(jīng)網(wǎng)絡從信息系統(tǒng)研究的觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有如下一些固有特征：(1)并行分布處理的工作模式。（2)神經(jīng)系統(tǒng)的可塑性和自組織性。(3)信息處理與信息存貯合二為一。(4)信息處理的系統(tǒng)性(5)能接受和處理模糊的、模擬的、隨機的信息。(6)求滿意解而不是精確解。(7)系統(tǒng)的恰當退化和冗余備份(魯棒性和容錯性)。4.3.2人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetworks，ANNs）是在結(jié)構(gòu)和功能上對生物神經(jīng)網(wǎng)絡的某種程度的模擬和逼近。4直觀理解人工神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構(gòu)。它一般由大量神經(jīng)元組成：每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元。每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權(quán)系數(shù)

。1.人工神經(jīng)元5人工神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元。它對生物神經(jīng)元的模擬主要考慮兩個特性：時空加權(quán)，閾值作用。圖中：是指神經(jīng)元的輸入；是指連接權(quán)值；是神經(jīng)元的閾值；是神經(jīng)元的凈輸入；是非線性函數(shù)；是神經(jīng)元的輸出。4.3.2人工神經(jīng)網(wǎng)絡模型6在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構(gòu)成不同的神經(jīng)元模型。閾值型S型線性型線性

飽和線性

對稱飽和線性4.3.2人工神經(jīng)網(wǎng)絡模型1.人工神經(jīng)元72.神經(jīng)網(wǎng)絡結(jié)構(gòu)

若干個神經(jīng)元通過相互連接就形成一個神經(jīng)網(wǎng)絡，這個神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)稱為神經(jīng)網(wǎng)絡的互連模式。神經(jīng)元模型、數(shù)量及互連模式確定了神經(jīng)網(wǎng)絡的結(jié)構(gòu)，而神經(jīng)網(wǎng)絡結(jié)構(gòu)又決定了其信息處理的能力。4.3.2人工神經(jīng)網(wǎng)絡模型8根據(jù)神經(jīng)元的拓撲結(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡可分成以下兩大類：(1)層次型神經(jīng)網(wǎng)絡4.3.2人工神經(jīng)網(wǎng)絡模型2.神經(jīng)網(wǎng)絡結(jié)構(gòu)普通前向網(wǎng)絡神經(jīng)元分層排列，順序連接。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入。層內(nèi)互聯(lián)前向網(wǎng)絡在同一層中的神經(jīng)元相互有連接?？梢詫崿F(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機制。9(1)層次型神經(jīng)網(wǎng)絡(2)互連型神經(jīng)網(wǎng)絡4.3.2人工神經(jīng)網(wǎng)絡模型2.神經(jīng)網(wǎng)絡結(jié)構(gòu)帶反饋的層次網(wǎng)絡每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。只在輸出層到輸入層存在反饋。任意兩個神經(jīng)元之間都可能有相互連接的關系。神經(jīng)網(wǎng)絡處在一種不斷改變狀態(tài)的動態(tài)過程中。根據(jù)神經(jīng)網(wǎng)絡的連接結(jié)構(gòu)及功能特點可知，層次型神經(jīng)網(wǎng)絡主要用于函數(shù)映射，互連型神經(jīng)網(wǎng)絡主要用作各種聯(lián)想存儲器或用于求解最優(yōu)化問題。103.神經(jīng)網(wǎng)絡工作過程學習期連接權(quán)值按照一定的學習規(guī)則進行自動調(diào)整目標是使性能函數(shù)達到最小工作期各神經(jīng)元的連接權(quán)值固定網(wǎng)絡輸入信號計算出網(wǎng)絡的輸出結(jié)果神經(jīng)元的模型結(jié)構(gòu)神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)神經(jīng)網(wǎng)絡的學習算法神經(jīng)網(wǎng)絡的輸出性能主要取決于：4.3.2人工神經(jīng)網(wǎng)絡模型114.神經(jīng)網(wǎng)絡學習方式網(wǎng)絡的輸出有一個評價的標準，網(wǎng)絡將實際輸出和評價標準進行比較，由其誤差信號決定連接權(quán)值的調(diào)整。有監(jiān)督學習算法只需給出一組輸入，網(wǎng)絡能夠逐漸演變到對輸入的某種模式做出特定的反應。無監(jiān)督學習算法4.3.2人工神經(jīng)網(wǎng)絡模型可避免數(shù)據(jù)的分析工作和建模工作非編程自適應的信息處理方式完成復雜的輸入與輸出非線性映射信息存貯與處理合二為一5.神經(jīng)網(wǎng)絡特點自適應性容錯性并行處理自組織性層次性聯(lián)想記憶可塑性神經(jīng)網(wǎng)絡計算特點4.3.2人工神經(jīng)網(wǎng)絡模型124.3.3BP神經(jīng)網(wǎng)絡13輸入層隱含層輸出層誤差后向傳播(Back-Propagation)神經(jīng)網(wǎng)絡模型，是采用BP算法的多層感知器神經(jīng)網(wǎng)絡。它是目前使用最廣泛一類神經(jīng)網(wǎng)絡模型。除輸入，輸出層外，還有一個或多個隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡無反饋。144.3.3BP神經(jīng)網(wǎng)絡1.BP學習算法正向傳播輸入層-隱含層-傳輸層每一層神經(jīng)元的狀態(tài)只影響下層的神經(jīng)元反向傳播輸出層不能得到其期望輸出情況下進行誤差沿原來的通路返回，改變權(quán)重值BP學習算法是對簡單的學習規(guī)則的推廣和發(fā)展。學習實質(zhì)上就是一個典型的函數(shù)最優(yōu)化過程。它利用梯度最速下降法，使權(quán)重值沿誤差的負梯度方向改變。154.3.3BP神經(jīng)網(wǎng)絡2.BP網(wǎng)絡學習流程4.3.3BP神經(jīng)網(wǎng)絡163.BP網(wǎng)絡優(yōu)缺點優(yōu)點全局逼近，有較好的泛化能力高度的非線性映射，較好的容錯性缺點收斂速度慢局部極小值問題隱節(jié)點個數(shù)選取問題新樣例加入影響學習17基于條件概率的定義p(Ai|E)是在給定證據(jù)下的后驗概率p(Ai)是先驗概率P(E|Ai)是在給定Ai下的證據(jù)似然p(E)是證據(jù)的預定義后驗概率?==iiiiiiii))p(AA|p(E))p(AA|p(Ep(E)))p(AA|p(EE)|p(A==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E4.3.4貝葉斯網(wǎng)絡1.貝葉斯規(guī)則貝葉斯網(wǎng)絡：概率論圖論4.3.4貝葉斯網(wǎng)絡2.貝葉斯網(wǎng)絡貝葉斯網(wǎng)絡是基于概率推理過程的圖形化網(wǎng)絡。它提供了一種自然的表示因果信息的方法，用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關系。18例子P(C,S,R,W)=P(C)P(S|C)P(R|S,C)P(W|S,R,C)chainrule=P(C)P(S|C)P(R|C)P(W|S,R,C)since=P(C)P(S|C)P(R|C)P(W|S,R)since4.3.4貝葉斯網(wǎng)絡2.貝葉斯網(wǎng)絡19圖分割，有向分割（D-separate,D-分割）變量X和Y通過第三個變量Z間接相連的三種情況：阻塞(block)設Z為一節(jié)點集合，X和Y是不在Z中的兩個節(jié)點。考慮X和Y之間的一條通路。如果滿足下面條件之一，則稱被Z所阻塞：4.3.4貝葉斯網(wǎng)絡3.圖分割與變量獨立相關概念20定理（整體馬爾科夫性）設X和Y為貝葉斯網(wǎng)N中的兩個變量，Z為N中一個不包含X和Y的節(jié)點集合。如果ZD-分割X和Y，那么X和Y在給定Z時條件獨立，即4.3.4貝葉斯網(wǎng)絡3.圖分割與變量獨立相關概念X⊥Y|Z圖分割，有向分割（D-separate,D-分割）D-分割是圖論的概念，而條件獨立是概率論的概念，所以定理揭示了貝葉斯網(wǎng)絡圖論側(cè)面和概率論側(cè)面之間的關系。如果X和Y之間的所有通路都被Z阻塞，則說Z有向分割(Directedseparate)X和Y，簡稱

d-separate,d-分割。那么X和Y在給定Z時條件獨立。21224.3.4貝葉斯網(wǎng)絡4.

貝葉斯網(wǎng)絡推理變量消元算法(Variableelimination)

——利用概率分解降低推理復雜度。使得運算局部化。消元過程實質(zhì)上就是一個邊緣化的過程最優(yōu)消元順序：最大勢搜索，最小缺邊搜索234.3.4貝葉斯網(wǎng)絡4.

貝葉斯網(wǎng)絡推理團樹（cliquetree）是一種無向樹，其中每一個節(jié)點代表一個變量集合，稱為團(clique)。團樹必須滿足變量連通性，即包含同一變量的所有團所導出的子圖必須是連通的。

團樹傳播算法——利用步驟共享來加快推理的算法貝葉斯網(wǎng)絡團樹234.3.4貝葉斯網(wǎng)絡5.貝葉斯網(wǎng)絡基本思想及應用輔助智能決策

數(shù)據(jù)融合

模式識別

醫(yī)療診斷

文本理解

數(shù)據(jù)挖掘貝葉斯網(wǎng)絡的應用領域為了處理人工智能研究中的不確定性(uncertainty)問題。將概率統(tǒng)計應用于復雜領域進行不確定性推理和數(shù)據(jù)分析的工具。是一種系統(tǒng)地描述隨即變量之間關系的工具。用概率論處理不確定性的主要優(yōu)點是保證推理結(jié)果的正確性。244.3.5貝葉斯神經(jīng)網(wǎng)絡1.

基于貝葉斯理論的神經(jīng)網(wǎng)絡25常規(guī)的神經(jīng)網(wǎng)絡面臨的問題：1.如何控制網(wǎng)絡模型的復雜度。2.缺少對網(wǎng)絡參數(shù)與網(wǎng)絡輸出進行置信區(qū)間估計的工具。結(jié)合貝葉斯推斷的神經(jīng)網(wǎng)絡：1.貝葉斯方法解決了神經(jīng)網(wǎng)絡中超參數(shù)的設定和置信區(qū)間估計的問題。2.貝葉斯學習著眼于整個參數(shù)空間的概率分布，在理論上增加了網(wǎng)絡的泛化能力。4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習26考慮有監(jiān)督的神經(jīng)網(wǎng)絡模型典型的前饋神經(jīng)網(wǎng)絡誤差性能函數(shù)為均方差函數(shù)，假設誤差函數(shù)為N樣本總數(shù)ei誤差增加網(wǎng)絡權(quán)閾值的均方差修正后的誤差性能函數(shù)Wi網(wǎng)絡權(quán)值α,β超參數(shù)值4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習27將α,β視為隨機變量，則其后驗分布為P(D|M)歸一化因子稱為超參數(shù)α,β的顯著度。使α,β后驗分布最大，只需似然函數(shù)最大權(quán)閾值的后驗分布

M網(wǎng)絡結(jié)構(gòu)w權(quán)值向量D樣本數(shù)據(jù)集網(wǎng)絡結(jié)構(gòu)M已確定已知權(quán)值的先驗分布P(w|α,M)、樣本數(shù)據(jù)集條件4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習28無權(quán)值先驗知識時，假設先驗分布服從常見的高斯分布Zw(α)歸一化因子權(quán)值先驗分布求解其中4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習29各樣本數(shù)據(jù)是獨立選擇的，似然函數(shù)ZD(α)歸一化因子似然函數(shù)求解其中可計算出值4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習30由先驗分布和似然函數(shù)可得權(quán)值的后驗分布ZF(α)歸一化因子權(quán)值后驗分布求解其中上式與w無關，則最小化F(W)可以求得后驗分布的最大值，此時所對應的權(quán)閾值即為所求4.3.5貝葉斯神經(jīng)網(wǎng)絡2.

神經(jīng)網(wǎng)絡的貝葉斯學習31將之前求得的帶入，取對數(shù)，再求導確定超參數(shù)的值：設F(W)取最小值