智能信號處理

1、什么是智能？什么是智能？智能可以是名詞，也可以是形容詞。智能可以是名詞，也可以是形容詞。用作名詞，智能是指人類所能進(jìn)行的腦力勞動，包括感用作名詞，智能是指人類所能進(jìn)行的腦力勞動，包括感覺、認(rèn)知、記憶、聯(lián)想、計算、推理、判斷、決策、抽象、覺、認(rèn)知、記憶、聯(lián)想、計算、推理、判斷、決策、抽象、概括概括用作形容詞，智能的意義是：人一樣的、聰明的、靈活用作形容詞，智能的意義是：人一樣的、聰明的、靈活的、柔性的、自學(xué)習(xí)的、自組織的、自適應(yīng)的、自治的的、柔性的、自學(xué)習(xí)的、自組織的、自適應(yīng)的、自治的智能理論的研究包括兩方面：其一是對智能的產(chǎn)生、形智能理論的研究包括兩方面：其一是對智能的產(chǎn)生、形成和工作的機(jī)制的

2、直接研究；其二是研究如何利用人工的方成和工作的機(jī)制的直接研究；其二是研究如何利用人工的方法模擬、延伸和擴(kuò)展智能。法模擬、延伸和擴(kuò)展智能。什么是什么是智能信號處理？智能信號處理？能夠使用工具是人類的重要特征。人們對于體力能夠使用工具是人類的重要特征。人們對于體力上勝過他們的機(jī)器司空見慣，然而，當(dāng)上勝過他們的機(jī)器司空見慣，然而，當(dāng)IBM的計算機(jī)的計算機(jī)（Deep Blue）打敗國際象棋大師打敗國際象棋大師 Kasparov 的時候，的時候，許多人坐不住了：計算機(jī)如此聰明，它們能力的成長許多人坐不住了：計算機(jī)如此聰明，它們能力的成長會失去控制，最終危害人類嗎？會失去控制，最終危害人類嗎？實際上，勝過

3、人類棋手的計算機(jī)，無非是按照程實際上，勝過人類棋手的計算機(jī)，無非是按照程序設(shè)計者事先規(guī)定的算法行事，是編程者的算法勝了序設(shè)計者事先規(guī)定的算法行事，是編程者的算法勝了國際象棋大師。國際象棋大師。 什么是什么是智能信號處理？智能信號處理？ 心理活動的最高層級是思維策略，中間一層是初級心理活動的最高層級是思維策略，中間一層是初級信息處理，最低層級是生理過程，即中樞神經(jīng)系統(tǒng)、神信息處理，最低層級是生理過程，即中樞神經(jīng)系統(tǒng)、神經(jīng)元和大腦的活動，與此相應(yīng)的是計算機(jī)程序、語言和經(jīng)元和大腦的活動，與此相應(yīng)的是計算機(jī)程序、語言和硬件。硬件。研究認(rèn)知過程的主要任務(wù)是探求高層次思維決策與研究認(rèn)知過程的主要任務(wù)是探求

4、高層次思維決策與初級信息處理的關(guān)系，并用計算機(jī)程序來模擬人的思維初級信息處理的關(guān)系，并用計算機(jī)程序來模擬人的思維策略水平，而用計算機(jī)語言模擬人的初級信息處理過程。策略水平，而用計算機(jī)語言模擬人的初級信息處理過程。 這是智能信息處理的起源！這是智能信息處理的起源！智能智能信號處理信號處理 智能信號的處理方法 神經(jīng)網(wǎng)絡(luò)概念 BP神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例1、智能信號處理方法、智能信號處理方法 人工智能人工智能(Artificial Intelligence ， AI) ，是研究、，是研究、開發(fā)用于模擬開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一

5、門新的技術(shù)科學(xué)。技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。 基于基于人人的的慢速腦慢速腦研究研究； 思維思維觀點觀點: AI不僅限于邏輯思維，還應(yīng)考慮形象思維、不僅限于邏輯思維，還應(yīng)考慮形象思維、靈感思維，才能促進(jìn)靈感思維，才能促進(jìn)AI的突破性的發(fā)展。的突破性的發(fā)展?？焖倌X快速腦非邏輯腦非邏輯腦圖像腦圖像腦右腦右腦慢速腦慢速腦邏輯腦邏輯腦學(xué)術(shù)腦學(xué)術(shù)腦左腦左腦1、智能信號處理方法、智能信號處理方法人工智能人工智能神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)小波分析小波分析模式識別模式識別模糊聚類模糊聚類專家系統(tǒng)專家系統(tǒng)遺傳算法遺傳算法2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對人腦神經(jīng)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)是從微

6、觀結(jié)構(gòu)與功能上對人腦神經(jīng)系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分形象的模擬而建立起來的一類模型，具有模擬人的部分形象思維的能力。其特點主要是具有非線性、學(xué)習(xí)能力和自思維的能力。其特點主要是具有非線性、學(xué)習(xí)能力和自適應(yīng)性，是模擬人的智能的一條重要途徑適應(yīng)性，是模擬人的智能的一條重要途徑。它是由簡單信息處理單元（人工神經(jīng)元，簡稱神經(jīng)元）它是由簡單信息處理單元（人工神經(jīng)元，簡稱神經(jīng)元）互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息。網(wǎng)絡(luò)的信息處理互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息。網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來實現(xiàn)，它是通過把問題表由處理單元之間的相互作用來實現(xiàn)，它是通過把問題表達(dá)成處理單元之間的

7、連接權(quán)來處理的。達(dá)成處理單元之間的連接權(quán)來處理的。細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡化和模擬，反映了人腦神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡化和模擬，反映了人腦功能的若干基本特性：功能的若干基本特性：（1）網(wǎng)絡(luò)的信息處理由處理單元間的相互作用來實現(xiàn)，）網(wǎng)絡(luò)的信息處理由處理單元間的相互作用來實現(xiàn)，并具有并行處理的特點。并具有并行處理的特點。（2）知識與信息的存儲，表現(xiàn)為處理單元之間分布式的）知識與信息的存儲，表現(xiàn)為處理單元之間分布式的物理聯(lián)系。物理聯(lián)系。（3）網(wǎng)絡(luò)的學(xué)習(xí)和識別，決定于處理單元連接權(quán)系

8、的動）網(wǎng)絡(luò)的學(xué)習(xí)和識別，決定于處理單元連接權(quán)系的動態(tài)演化過程。態(tài)演化過程。（4）具有聯(lián)想記憶的特性。）具有聯(lián)想記憶的特性。2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念 1943年，美國心理學(xué)家年，美國心理學(xué)家Mc Culloch和數(shù)學(xué)家和數(shù)學(xué)家Pitts共同提出共同提出“模擬生物神經(jīng)元模擬生物神經(jīng)元”的被稱為的被稱為MP的人的人工神經(jīng)元工神經(jīng)元模型模型，從此從此開創(chuàng)了對神經(jīng)網(wǎng)絡(luò)的理論開創(chuàng)了對神經(jīng)網(wǎng)絡(luò)的理論研究。研究。0001 ( , 1) ()nnjjiijiijjjiijjuw xw xxwyf u 2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念0001 ( , 1) ()nnjjiijiijjjiijjuw x

9、w xxwyf u 其中：其中： 為為閾值閾值 為連接權(quán)為連接權(quán)值值 為激活函數(shù)為激活函數(shù)jwjif ( ) xxnj1jnj? )f( )jy.ww1f ()-1.2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)元模型的作用函數(shù)，用以模擬神經(jīng)細(xì)胞的興奮、神經(jīng)元模型的作用函數(shù)，用以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。抑制以及閾值等非線性特性。 2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)的概念MPMP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的來連接權(quán)值。但是，我們可以根據(jù)需要之間的來連接權(quán)值。但是，我們可以根據(jù)需要 ，采用一，采用一些常見的算法來調(diào)整神經(jīng)

10、元連接權(quán)，以達(dá)到學(xué)習(xí)的目的。些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)的目的。下面介紹的下面介紹的HebbHebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法。HebbHebb學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為：若第網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為：若第i i個和第個和第j j個神經(jīng)元同個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即：ijijwu u2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接有如下幾種形式。根據(jù)連接方

11、式的不同，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接有如下幾種形式。1 1）前向網(wǎng)絡(luò)）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)結(jié)構(gòu)如下圖。神經(jīng)元分層排列，分別組成輸入層、中間層前向網(wǎng)絡(luò)結(jié)構(gòu)如下圖。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和網(wǎng)絡(luò)和BPBP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。網(wǎng)絡(luò)均

12、屬于前向網(wǎng)絡(luò)。2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式2 2）有反饋的前向網(wǎng)路）有反饋的前向網(wǎng)路其結(jié)構(gòu)如下圖。輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某其結(jié)構(gòu)如下圖。輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列。如神經(jīng)認(rèn)知機(jī)和回歸種模式序列。如神經(jīng)認(rèn)知機(jī)和回歸BPBP網(wǎng)絡(luò)都屬于這種類型。網(wǎng)絡(luò)都屬于這種類型。2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式3 3）層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)）層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)其結(jié)構(gòu)如下圖。通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層內(nèi)神經(jīng)其結(jié)構(gòu)如下圖。通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮抑制。這樣可以限制每層內(nèi)可以同時

13、動作的元之間的橫向抑制或興奮抑制。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進(jìn)行運作。例如，可以利用橫向抑制機(jī)理把某層內(nèi)具有最大輸出的體進(jìn)行運作。例如，可以利用橫向抑制機(jī)理把某層內(nèi)具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出的狀態(tài)。神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出的狀態(tài)。2.3神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式的學(xué)習(xí)方式 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的學(xué)習(xí)也也稱為稱為訓(xùn)練訓(xùn)練，指的是通過神經(jīng)，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)網(wǎng)絡(luò)所在環(huán)

14、境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)值和域值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)值和域值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)境做出反應(yīng)的一個過程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)境做出反應(yīng)的一個過程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。根據(jù)學(xué)習(xí)過程的組織方式不同，學(xué)習(xí)方式分為兩類根據(jù)學(xué)習(xí)過程的組織方式不同，學(xué)習(xí)方式分為兩類：有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。2.3神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式的學(xué)習(xí)方式1）有監(jiān)督學(xué)習(xí)：有監(jiān)督學(xué)習(xí)：對于監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練往往要基對于監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練往往要基于一定數(shù)量的訓(xùn)練樣本。訓(xùn)練樣本通常

15、由輸入矢量于一定數(shù)量的訓(xùn)練樣本。訓(xùn)練樣本通常由輸入矢量和目標(biāo)矢量組成。在學(xué)習(xí)和訓(xùn)練過程中，網(wǎng)絡(luò)根據(jù)和目標(biāo)矢量組成。在學(xué)習(xí)和訓(xùn)練過程中，網(wǎng)絡(luò)根據(jù)實際輸出與期望輸出的比較，進(jìn)行連接權(quán)值和域值實際輸出與期望輸出的比較，進(jìn)行連接權(quán)值和域值的調(diào)節(jié)。通過將期望輸出成為導(dǎo)師信號，它是評價的調(diào)節(jié)。通過將期望輸出成為導(dǎo)師信號，它是評價學(xué)習(xí)的標(biāo)準(zhǔn)。最典型的有監(jiān)督學(xué)習(xí)算法是學(xué)習(xí)的標(biāo)準(zhǔn)。最典型的有監(jiān)督學(xué)習(xí)算法是BP算法，算法，即誤差反向傳播算法。即誤差反向傳播算法。2.3神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式的學(xué)習(xí)方式2）無監(jiān)督學(xué)習(xí)：無監(jiān)督學(xué)習(xí)：對于無監(jiān)督學(xué)習(xí)，則無教師信號提對于無監(jiān)督學(xué)習(xí)，則無教師信號提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能夠根據(jù)其

16、特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能夠根據(jù)其特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進(jìn)行連接權(quán)值和域值的調(diào)整。此時，網(wǎng)絡(luò)的學(xué)習(xí)評價進(jìn)行連接權(quán)值和域值的調(diào)整。此時，網(wǎng)絡(luò)的學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于其內(nèi)部。標(biāo)準(zhǔn)隱含于其內(nèi)部。智能智能信號處理信號處理 智能信號的處理方法 神經(jīng)網(wǎng)絡(luò)概念 BP神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例3.1 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)有導(dǎo)師的學(xué)習(xí)方式 輸入量與輸出量構(gòu)成一個訓(xùn)練對正向+反向的數(shù)據(jù)流學(xué)習(xí)過程 正向：輸入層 各級隱層 輸出層 反向：輸出層 各級隱層 輸入層BP神經(jīng)網(wǎng)絡(luò)是一種多層感知神經(jīng)網(wǎng)絡(luò)，采用誤差反向傳遞學(xué)習(xí)算法（Error Back Propagation），基本結(jié)構(gòu)包括輸入層、中間層（隱含層）和

17、輸出層，每層都由節(jié)點組成。3.1 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)l 誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)(Back Propagation Neural Network，簡記作BP網(wǎng)絡(luò))l 工程實際中運用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。3.1 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)輸入模式從輸入層經(jīng)隱含層傳向輸出層的“模式順傳播模式順傳播”過程網(wǎng)絡(luò)的期望輸出與實際輸出之差的誤差信號由輸出層輸出層經(jīng)隱隱含層含層向輸入層輸入層逐層修正連接權(quán)的“誤差逆?zhèn)鞑フ`差逆?zhèn)鞑ァ边^程由“模式順傳播模式順傳播”和“誤誤差逆?zhèn)鞑ゲ钅鎮(zhèn)鞑ァ钡姆磸?fù)交替進(jìn)行的網(wǎng)絡(luò)“記憶訓(xùn)練”過程網(wǎng)絡(luò)趨向收斂即網(wǎng)絡(luò)的全局誤差趨向極小值的“學(xué)習(xí)收斂”過程。性能（誤差）函數(shù)3.1 BP神經(jīng)網(wǎng)絡(luò)神

18、經(jīng)網(wǎng)絡(luò) 初始化W 輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值pjopjhjihkjkpjopkokjokjxtwtwOtwtw)()1()()1( 改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？NoNoyy3.1 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)的運行包括兩個階段訓(xùn)練或?qū)W習(xí)階段（training or learning phase） 向神經(jīng)網(wǎng)絡(luò)提供一系列輸入輸出數(shù)據(jù)組，通過數(shù)值計算方法和參數(shù)優(yōu)化技術(shù)，使節(jié)點連接的權(quán)重因子不斷調(diào)整，直到從給定的輸入能產(chǎn)生所期望的輸出。預(yù)測（應(yīng)用）階段（generalization phase） 以訓(xùn)練好的網(wǎng)絡(luò)，對未知的樣本進(jìn)行預(yù)測。輸入、輸出

19、層節(jié)點網(wǎng)絡(luò)層數(shù)激活函數(shù)的選擇隱含層節(jié)點數(shù)的確定學(xué)習(xí)速率和沖量系數(shù)網(wǎng)絡(luò)的初始連接權(quán)值3.2 BP神經(jīng)網(wǎng)絡(luò)設(shè)計要點神經(jīng)網(wǎng)絡(luò)設(shè)計要點輸入層節(jié)點數(shù)：輸入層節(jié)點數(shù)：即實際問題中的因素個數(shù)，或稱因變量個數(shù)初始值預(yù)處理：初始值預(yù)處理：預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析等。常采用的是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到-1,1范圍內(nèi),訓(xùn)練結(jié)束后再反映射到原數(shù)據(jù)范圍。輸出層節(jié)點數(shù)：輸出層節(jié)點數(shù)：實際問題中所要預(yù)測的值個數(shù)，或稱自變量個數(shù)網(wǎng)絡(luò)層數(shù) 即確定隱層層數(shù)。 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差提高精度，但也使網(wǎng)絡(luò)復(fù)雜化。 設(shè)計神經(jīng)網(wǎng)絡(luò)應(yīng)優(yōu)先考慮3層網(wǎng)絡(luò)（即有1個隱層）。 一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實現(xiàn)。 隱層節(jié)點數(shù)