模式識(shí)別 與物聯(lián)網(wǎng)

1、模式識(shí)別 與物聯(lián)網(wǎng)第1頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四目錄1.神經(jīng)網(wǎng)絡(luò)概念及優(yōu)點(diǎn)2.神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型3.神經(jīng)網(wǎng)絡(luò)分類(lèi)4.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)系統(tǒng)5.介紹神經(jīng)網(wǎng)絡(luò)分類(lèi)和傳統(tǒng)分類(lèi)器6.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和泛化7.特征變量選擇8.誤分類(lèi)代價(jià)第2頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四什么是人工神經(jīng)網(wǎng)絡(luò)？國(guó)際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人Hecht Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過(guò)對(duì)連續(xù)或斷續(xù)的輸入狀態(tài)進(jìn)行信息處理。” 第3頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25

2、分，星期四人工神經(jīng)網(wǎng)絡(luò)有什么優(yōu)點(diǎn)？(1)可以充分逼近任意復(fù)雜的非線性關(guān)系； (2)所有定量或定性的信息都等勢(shì)分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性； (3)采用并行分布處理方法，可以進(jìn)行快速大量的運(yùn)算； (4)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)； (5)能夠同時(shí)處理定量、定性知識(shí)。 第4頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四優(yōu)點(diǎn)表現(xiàn)？第一，具有自學(xué)習(xí)功能，預(yù)期未來(lái) 。第二，具有聯(lián)想存儲(chǔ)功能。 第三，具有高速尋找優(yōu)化解的能力。第5頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型X1，X2，Xn是神經(jīng)元的輸入，即是來(lái)自前級(jí)n個(gè)神經(jīng)元的軸突的信

3、息A是i神經(jīng)元的閻值；Wi1，Wi2，Win分別是i神經(jīng)元對(duì)X1，X2，Xn的權(quán)系數(shù)，Yi是i神經(jīng)元的輸出；f是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，Xn的共同刺激達(dá)到閥值時(shí)以何種方式輸出。 第6頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四激發(fā)函數(shù)f有多種形式，其中最常見(jiàn)的有階躍型、線性型和S型三種形式：階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。 線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；這種神經(jīng)元稱線性連續(xù)型模型。s型激發(fā)函數(shù)，它的輸出是非線性的；這種神經(jīng)元稱非線性連續(xù)型模型。 第7頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期

4、四 在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)。 Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它由相同的神經(jīng)元構(gòu)成的單層，并且具有學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對(duì)稱連接。這個(gè)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。它是目前人們研究得最多的模型之一。第8頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四 BP網(wǎng)絡(luò)是反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語(yǔ)言綜合，識(shí)別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。Koh

5、onen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元；而輸出層是二維的神經(jīng)元，神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而，在輸出層中，神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性；從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測(cè)器。 第9頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四 ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用ART網(wǎng)絡(luò)主要用于模式識(shí)別，它不足之處是在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感。 第10頁(yè)，共33頁(yè)，20

6、22年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類(lèi):1.相關(guān)學(xué)習(xí)規(guī)則 這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。常用于自聯(lián)想網(wǎng)絡(luò)，如Hopfield網(wǎng)絡(luò)2.糾錯(cuò)學(xué)習(xí)規(guī)則 這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。按局部改善最大的方向一步步進(jìn)行優(yōu)化，從而最終找到全局優(yōu)化值。感知器學(xué)習(xí)就采用這種糾錯(cuò)學(xué)習(xí)規(guī)則例如BP算法。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。3.無(wú)監(jiān)督學(xué)習(xí)規(guī)則。它是一種對(duì)輸入測(cè)檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則。ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類(lèi)。 第11頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過(guò)程 這個(gè)過(guò)程可分為兩個(gè)階

7、段；執(zhí)行階段和學(xué)習(xí)階段。下面以前向網(wǎng)絡(luò)情況說(shuō)明這兩個(gè)階段。 1執(zhí)行階段 :指神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，并產(chǎn)生對(duì)應(yīng)的輸出過(guò)程。第12頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四2學(xué)習(xí)階段 : 學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自我完善的階段；這時(shí)，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使到結(jié)定的測(cè)度函數(shù)E達(dá)到最小。 神經(jīng)網(wǎng)絡(luò)對(duì)信息的學(xué)習(xí)是為了取得對(duì)信息的適應(yīng)特性，或信息的特征；而神經(jīng)網(wǎng)絡(luò)對(duì)信息的執(zhí)行過(guò)程是對(duì)特征的檢索或者是對(duì)信息的分類(lèi)過(guò)程。 第13頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)框圖輸入部接收外來(lái)的輸入樣本X，由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)系數(shù)W調(diào)整，然后由

8、輸出部輸出結(jié)果。在這個(gè)過(guò)程中，期望的輸出信號(hào)可以作為教師信號(hào)輸入，由該教師信號(hào)與實(shí)際輸出進(jìn)行比較，產(chǎn)生的誤差去控制修改權(quán)系數(shù)W。 第14頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四感知器是有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，由線性元件及閥值元件組成。感知器如圖所示。 感知器的最大作用就是可以用于分類(lèi)，可以用做分類(lèi)器A 類(lèi)B類(lèi)第15頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四上面感知器的傳遞函數(shù)是階躍函數(shù)，它可以用作分類(lèi)器。由于感知器學(xué)習(xí)算法因其傳遞函數(shù)的簡(jiǎn)單而存在局限性。 存在問(wèn)題：即如果函數(shù)不是線性可分時(shí)，則求不出結(jié)果；另外，不能推廣到一般前饋網(wǎng)絡(luò)中。 解決辦法：提出另一種算法

9、梯度算法(也即是LMS法)。 為了能實(shí)現(xiàn)梯度算法，需把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù)，例如Sigmoid函數(shù)， 第16頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四反向傳播學(xué)習(xí)的BP算法 ；感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中它只能改變最后權(quán)系數(shù)。因此，感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。 BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來(lái)的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向網(wǎng)絡(luò)。故而有時(shí)也稱無(wú)反饋多層前向網(wǎng)絡(luò)為BP模型。 BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一 第17頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，

10、星期四BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法， 第18頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。 1正向傳播輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。2反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。第19頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四傳統(tǒng)的分類(lèi)

11、過(guò)程基于概率模型的貝葉斯決策理論，其局限性是只有當(dāng)滿足已知的概率條件時(shí)才能夠取得很好的效果。由于神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，神經(jīng)網(wǎng)絡(luò)用于分類(lèi)可以取代若干傳統(tǒng)的分類(lèi)方法。在先驗(yàn)概率不知道的情況下，也可以取的很好的效果。第20頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)絡(luò)用于后驗(yàn)概率估計(jì)考慮一個(gè)映射函數(shù)對(duì)函數(shù)F應(yīng)用最小均方估計(jì)理論，最小期望均方誤差 是給定x，y的條件期望 ，在分類(lèi)問(wèn)題中，輸出y是二進(jìn)制值向量，如果x屬于第j類(lèi)，那么第j個(gè)基向量是 F(x)的第j個(gè)元素 由上得出，映射函數(shù)的最小二乘估計(jì)在分類(lèi)問(wèn)題中就是后驗(yàn)概率第21頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四神經(jīng)網(wǎng)

12、絡(luò)和傳統(tǒng)的分類(lèi)器統(tǒng)計(jì)模式分類(lèi)是基于貝葉斯決策理論的后驗(yàn)概率，是線性的，而神經(jīng)網(wǎng)絡(luò)分類(lèi)是非線性的，兩者沒(méi)有直接關(guān)系，但是當(dāng)神經(jīng)網(wǎng)絡(luò)采用階梯函數(shù)的分類(lèi)器時(shí)，神經(jīng)網(wǎng)絡(luò)分類(lèi)器的判決函數(shù)可以和貝葉斯后驗(yàn)概率分類(lèi)器等價(jià)。邏輯回歸也是分類(lèi)工具，實(shí)際上它是標(biāo)準(zhǔn)的統(tǒng)計(jì)方法，它的性能優(yōu)于判決分析。邏輯回歸可以認(rèn)為是后驗(yàn)概率。第22頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四學(xué)習(xí)和泛化是神經(jīng)網(wǎng)絡(luò)研究的最重要的主題之一，學(xué)習(xí)通過(guò)數(shù)據(jù)的訓(xùn)練后輸出近似于輸入的能力，泛化是預(yù)測(cè)未知的能力。過(guò)擬合對(duì)訓(xùn)練樣本的輸出很好，但預(yù)測(cè)能力差，欠擬合預(yù)測(cè)能力強(qiáng)，但是和期望輸出的誤差大。簡(jiǎn)單的模型，比如線性分類(lèi)器一般會(huì)欠擬合，

13、復(fù)雜靈活的模型，比如神經(jīng)網(wǎng)絡(luò)趨向于過(guò)擬合。欠擬合和過(guò)擬合可以通過(guò)預(yù)測(cè)錯(cuò)誤偏差和協(xié)方差的分解來(lái)分析。第23頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四對(duì)于一個(gè)確定的數(shù)據(jù)集，模型的偏差和協(xié)方差是矛盾的，一個(gè)減少，另一個(gè)就會(huì)增大，比較好的神經(jīng)網(wǎng)絡(luò)分類(lèi)器一般根據(jù)情況選擇一個(gè)折中的辦法。不失一般性，設(shè)輸入x，輸出為y，由后驗(yàn)概率模型可知，第24頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四設(shè)訓(xùn)練數(shù)據(jù)集DN的尺寸為N，輸出的實(shí)際值是f（x;DN）， 那么均方誤差錯(cuò)誤均方估計(jì)誤差對(duì)數(shù)據(jù)集很敏感，改變數(shù)據(jù)集或采樣大小，都會(huì)影響均方誤差，第25頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25

14、分，星期四模型的總體預(yù)測(cè)誤差ED表示樣本大小為N的所以可能隨機(jī)樣本的期望。右面第一項(xiàng) 獨(dú)立于訓(xùn)練樣本和基函數(shù)，它反映了由于數(shù)據(jù)的固有噪聲而產(chǎn)生的固有誤差。右面第二項(xiàng)可以分解為上面第一項(xiàng)是模型偏差的平方，第二項(xiàng)是模型協(xié)方差第26頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四減少預(yù)測(cè)誤差的方法：神經(jīng)網(wǎng)絡(luò)模型對(duì)于給定的訓(xùn)練數(shù)據(jù)一般輸出的偏差很小，但是潛在的風(fēng)險(xiǎn)是其泛化的協(xié)方差比較大。D和K指出，在機(jī)器學(xué)習(xí)背景下，協(xié)方差的指標(biāo)性能比預(yù)測(cè)性能差的學(xué)習(xí)偏差更重要。為此，我們要求找到一些減少協(xié)方差方法。減少過(guò)擬合的方法1.交叉驗(yàn)證法 2.處罰訓(xùn)練法 3.權(quán)值衰減和節(jié)點(diǎn)變化法第27頁(yè)，共33頁(yè)，20

15、22年，5月20日，6點(diǎn)25分，星期四多分類(lèi)器結(jié)合使用，可以減少泛化錯(cuò)誤。而且性能比單個(gè)分類(lèi)器單獨(dú)使用效果要好，條件是各個(gè)分類(lèi)器是無(wú)偏且獨(dú)立的。結(jié)合多分類(lèi)器方法：不同網(wǎng)絡(luò)結(jié)構(gòu)相同網(wǎng)絡(luò)結(jié)構(gòu)，但1.算法不同，2.初始權(quán)值不同，3.分類(lèi)器不同。結(jié)合多分類(lèi)器可以減少誤差主要是減少了模型的輸出方差，而不是輸出的偏差。分類(lèi)器彼此之間越不相關(guān)，結(jié)合后綜合效果越好第28頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四減少相關(guān)性的方法：選擇不同的特征變量（比相同特征變量不同結(jié)構(gòu)效果好）訓(xùn)練不同的數(shù)據(jù)集雖然結(jié)合分類(lèi)器的方法比使用單個(gè)分類(lèi)器要好，但還有一些問(wèn)題存在，包括： 結(jié)合中分類(lèi)器的選擇 結(jié)合規(guī)模大小

16、結(jié)合分類(lèi)器的最佳方式 上面這些問(wèn)題還沒(méi)有一個(gè)確定標(biāo)準(zhǔn)，都要憑借經(jīng)驗(yàn)來(lái)確定。第29頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四在建立神經(jīng)網(wǎng)絡(luò)模型和其它分類(lèi)器中，特征變量的選擇很重要。特征變量選擇的目的是尋找最小的特征集，使它可以滿足預(yù)測(cè)性能。在模式識(shí)別里的一些關(guān)于統(tǒng)計(jì)特征選擇標(biāo)準(zhǔn)和算法不能直接用于神經(jīng)網(wǎng)絡(luò)分類(lèi)器中，由于神經(jīng)網(wǎng)絡(luò)是非線性網(wǎng)絡(luò)。特征變量選擇中一個(gè)比較流行的方法是主成分分析法（PCA）,PCA是一個(gè)統(tǒng)計(jì)技術(shù)，它可以減少特征變量維數(shù)而不損失包含在原始數(shù)據(jù)中的固有信息。PCA是一個(gè)無(wú)監(jiān)督學(xué)習(xí)過(guò)程，它不考慮輸入變量和目標(biāo)輸出之間的關(guān)系，另外，PCA是一個(gè)線性維數(shù)減少的技術(shù)，它不適于非線性的復(fù)雜結(jié)構(gòu)。第30頁(yè)，共33頁(yè)，2022年，5月20日，6點(diǎn)25分，星期四在大部分文獻(xiàn)中，對(duì)誤分類(lèi)代價(jià)研究的比較少，一般都是考慮誤分類(lèi)代價(jià)是相等的，最后找到總的最小誤分類(lèi)代價(jià)。但是這個(gè)結(jié)果并不可靠。而實(shí)際應(yīng)用中，比如銀行破產(chǎn)預(yù)測(cè)，信用危機(jī)分析，醫(yī)療診斷等，誤分類(lèi)錯(cuò)誤在不同組的不同類(lèi)別中的代價(jià)顯著不同。它們對(duì)分類(lèi)結(jié)果