智能信號(hào)處理課件

智能信號(hào)處理什么是智能？智能可以是名詞，也可以是形容詞。用作名詞，智能是指人類(lèi)所能進(jìn)行的腦力勞動(dòng)，包括感覺(jué)、認(rèn)知、記憶、聯(lián)想、計(jì)算、推理、判斷、決策、抽象、概括……用作形容詞，智能的意義是：人一樣的、聰明的、靈活的、柔性的、自學(xué)習(xí)的、自組織的、自適應(yīng)的、自治的……智能理論的研究包括兩方面：其一是對(duì)智能的產(chǎn)生、形成和工作的機(jī)制的直接研究；其二是研究如何利用人工的方法模擬、延伸和擴(kuò)展智能。什么是智能信號(hào)處理？能夠使用工具是人類(lèi)的重要特征。人們對(duì)于體力上勝過(guò)他們的機(jī)器司空見(jiàn)慣，然而，當(dāng)IBM的計(jì)算機(jī)（DeepBlue）打敗國(guó)際象棋大師Kasparov的時(shí)候，許多人坐不住了：計(jì)算機(jī)如此聰明，它們能力的成長(zhǎng)會(huì)失去控制，最終危害人類(lèi)嗎？實(shí)際上，勝過(guò)人類(lèi)棋手的計(jì)算機(jī)，無(wú)非是按照程序設(shè)計(jì)者事先規(guī)定的算法行事，是編程者的算法勝了國(guó)際象棋大師。什么是智能信號(hào)處理？心理活動(dòng)的最高層級(jí)是思維策略，中間一層是初級(jí)信息處理，最低層級(jí)是生理過(guò)程，即中樞神經(jīng)系統(tǒng)、神經(jīng)元和大腦的活動(dòng)，與此相應(yīng)的是計(jì)算機(jī)程序、語(yǔ)言和硬件。研究認(rèn)知過(guò)程的主要任務(wù)是探求高層次思維決策與初級(jí)信息處理的關(guān)系，并用計(jì)算機(jī)程序來(lái)模擬人的思維策略水平，而用計(jì)算機(jī)語(yǔ)言模擬人的初級(jí)信息處理過(guò)程。這是智能信息處理的起源！智能信號(hào)處理智能信號(hào)的處理方法神經(jīng)網(wǎng)絡(luò)概念BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例1、智能信號(hào)處理方法人工智能(ArtificialIntelligence，AI)，是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)。

基于人的慢速腦研究；思維觀點(diǎn):AI不僅限于邏輯思維，還應(yīng)考慮形象思維、靈感思維，才能促進(jìn)AI的突破性的發(fā)展。快速腦非邏輯腦圖像腦右腦慢速腦邏輯腦學(xué)術(shù)腦左腦1、智能信號(hào)處理方法人工智能神經(jīng)網(wǎng)絡(luò)小波分析模式識(shí)別模糊聚類(lèi)專(zhuān)家系統(tǒng)遺傳算法2.1神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對(duì)人腦神經(jīng)系統(tǒng)的模擬而建立起來(lái)的一類(lèi)模型，具有模擬人的部分形象思維的能力。其特點(diǎn)主要是具有非線性、學(xué)習(xí)能力和自適應(yīng)性，是模擬人的智能的一條重要途徑。它是由簡(jiǎn)單信息處理單元（人工神經(jīng)元，簡(jiǎn)稱(chēng)神經(jīng)元）互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息。網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來(lái)實(shí)現(xiàn)，它是通過(guò)把問(wèn)題表達(dá)成處理單元之間的連接權(quán)來(lái)處理的。2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡(jiǎn)化和模擬，反映了人腦功能的若干基本特性：（1）網(wǎng)絡(luò)的信息處理由處理單元間的相互作用來(lái)實(shí)現(xiàn)，并具有并行處理的特點(diǎn)。（2）知識(shí)與信息的存儲(chǔ)，表現(xiàn)為處理單元之間分布式的物理聯(lián)系。（3）網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別，決定于處理單元連接權(quán)系的動(dòng)態(tài)演化過(guò)程。（4）具有聯(lián)想記憶的特性。2.1神經(jīng)網(wǎng)絡(luò)的概念1943年，美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts共同提出“模擬生物神經(jīng)元”的被稱(chēng)為MP的人工神經(jīng)元模型，從此開(kāi)創(chuàng)了對(duì)神經(jīng)網(wǎng)絡(luò)的理論研究。2.1神經(jīng)網(wǎng)絡(luò)的概念其中：為閾值為連接權(quán)值為激活函數(shù)2.1神經(jīng)網(wǎng)絡(luò)的概念神經(jīng)元模型的作用函數(shù)，用以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。2.1神經(jīng)網(wǎng)絡(luò)的概念MP模型在發(fā)表時(shí)并沒(méi)有給出一個(gè)學(xué)習(xí)算法來(lái)調(diào)整神經(jīng)元之間的來(lái)連接權(quán)值。但是，我們可以根據(jù)需要，采用一些常見(jiàn)的算法來(lái)調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)的目的。下面介紹的Hebb學(xué)習(xí)規(guī)則就是一個(gè)常見(jiàn)學(xué)習(xí)算法。Hebb學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為：若第i個(gè)和第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即：2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式根據(jù)連接方式的不同，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接有如下幾種形式。1）前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)結(jié)構(gòu)如下圖。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱(chēng)為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來(lái)自前一層神經(jīng)元的輸入，后面的層對(duì)前面的層沒(méi)有信號(hào)反饋。輸入模式經(jīng)過(guò)各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式2）有反饋的前向網(wǎng)路其結(jié)構(gòu)如下圖。輸出層對(duì)輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲(chǔ)某種模式序列。如神經(jīng)認(rèn)知機(jī)和回歸BP網(wǎng)絡(luò)都屬于這種類(lèi)型。2.2神經(jīng)網(wǎng)絡(luò)的互聯(lián)模式3）層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)其結(jié)構(gòu)如下圖。通過(guò)層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮抑制。這樣可以限制每層內(nèi)可以同時(shí)動(dòng)作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個(gè)整體進(jìn)行運(yùn)作。例如，可以利用橫向抑制機(jī)理把某層內(nèi)具有最大輸出的神經(jīng)元挑選出來(lái)，從而抑制其他神經(jīng)元，使之處于無(wú)輸出的狀態(tài)。2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱(chēng)為訓(xùn)練，指的是通過(guò)神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)值和域值），使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境做出反應(yīng)的一個(gè)過(guò)程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。根據(jù)學(xué)習(xí)過(guò)程的組織方式不同，學(xué)習(xí)方式分為兩類(lèi)：有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式1）有監(jiān)督學(xué)習(xí)：對(duì)于監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)訓(xùn)練往往要基于一定數(shù)量的訓(xùn)練樣本。訓(xùn)練樣本通常由輸入矢量和目標(biāo)矢量組成。在學(xué)習(xí)和訓(xùn)練過(guò)程中，網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的比較，進(jìn)行連接權(quán)值和域值的調(diào)節(jié)。通過(guò)將期望輸出成為導(dǎo)師信號(hào)，它是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)。最典型的有監(jiān)督學(xué)習(xí)算法是BP算法，即誤差反向傳播算法。2.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式2）無(wú)監(jiān)督學(xué)習(xí)：對(duì)于無(wú)監(jiān)督學(xué)習(xí)，則無(wú)教師信號(hào)提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)能夠根據(jù)其特有的結(jié)構(gòu)和學(xué)習(xí)規(guī)則，進(jìn)行連接權(quán)值和域值的調(diào)整。此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于其內(nèi)部。智能信號(hào)處理智能信號(hào)的處理方法神經(jīng)網(wǎng)絡(luò)概念BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例3.1BP神經(jīng)網(wǎng)絡(luò)有導(dǎo)師的學(xué)習(xí)方式輸入量與輸出量構(gòu)成一個(gè)訓(xùn)練對(duì)正向+反向的數(shù)據(jù)流學(xué)習(xí)過(guò)程正向：輸入層各級(jí)隱層輸出層反向：輸出層各級(jí)隱層輸入層BP神經(jīng)網(wǎng)絡(luò)是一種多層感知神經(jīng)網(wǎng)絡(luò)，采用誤差反向傳遞學(xué)習(xí)算法（ErrorBackPropagation），基本結(jié)構(gòu)包括輸入層、中間層（隱含層）和輸出層，每層都由節(jié)點(diǎn)組成。3.1BP神經(jīng)網(wǎng)絡(luò)誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)(BackPropagationNeuralNetwork，簡(jiǎn)記作BP網(wǎng)絡(luò))工程實(shí)際中運(yùn)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)。3.1BP神經(jīng)網(wǎng)絡(luò)①輸入模式從輸入層經(jīng)隱含層傳向輸出層的“模式順傳播”過(guò)程②網(wǎng)絡(luò)的期望輸出與實(shí)際輸出之差的誤差信號(hào)由輸出層經(jīng)隱含層向輸入層逐層修正連接權(quán)的“誤差逆?zhèn)鞑ァ边^(guò)程③由“模式順傳播”和“誤差逆?zhèn)鞑ァ钡姆磸?fù)交替進(jìn)行的網(wǎng)絡(luò)“記憶訓(xùn)練”過(guò)程④網(wǎng)絡(luò)趨向收斂即網(wǎng)絡(luò)的全局誤差趨向極小值的“學(xué)習(xí)收斂”過(guò)程。性能（誤差）函數(shù)3.1BP神經(jīng)網(wǎng)絡(luò)初始化W輸入和期望輸出計(jì)算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？NoNoyy基本流程3.1BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)的運(yùn)行包括兩個(gè)階段訓(xùn)練或?qū)W習(xí)階段（trainingorlearningphase）

向神經(jīng)網(wǎng)絡(luò)提供一系列輸入－輸出數(shù)據(jù)組，通過(guò)數(shù)值計(jì)算方法和參數(shù)優(yōu)化技術(shù)，使節(jié)點(diǎn)連接的權(quán)重因子不斷調(diào)整，直到從給定的輸入能產(chǎn)生所期望的輸出。預(yù)測(cè)（應(yīng)用）階段（generalizationphase）

以訓(xùn)練好的網(wǎng)絡(luò)，對(duì)未知的樣本進(jìn)行預(yù)測(cè)。①輸入、輸出層節(jié)點(diǎn)②網(wǎng)絡(luò)層數(shù)③激活函數(shù)的選擇④隱含層節(jié)點(diǎn)數(shù)的確定⑤學(xué)習(xí)速率和沖量系數(shù)⑥網(wǎng)絡(luò)的初始連接權(quán)值3.2BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)要點(diǎn)輸入層節(jié)點(diǎn)數(shù)：即實(shí)際問(wèn)題中的因素個(gè)數(shù)，或稱(chēng)因變量個(gè)數(shù)初始值預(yù)處理：預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析等。常采用的是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到[-1,1]范圍內(nèi),訓(xùn)練結(jié)束后再反映射到原數(shù)據(jù)范圍。輸出層節(jié)點(diǎn)數(shù)：實(shí)際問(wèn)題中所要預(yù)測(cè)的值個(gè)數(shù)，或稱(chēng)自變量個(gè)數(shù)網(wǎng)絡(luò)層數(shù)即確定隱層層數(shù)。一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差提高精度，但也使網(wǎng)絡(luò)復(fù)雜化。設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)應(yīng)優(yōu)先考慮3層網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。隱層節(jié)點(diǎn)數(shù)目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法，主要是按經(jīng)驗(yàn)選取。一些經(jīng)驗(yàn)公式可以參考N=輸入節(jié)點(diǎn)*75%N=sqrt(輸入*輸出)確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿(mǎn)足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)；隱層節(jié)點(diǎn)數(shù)必須小于N-1（N為訓(xùn)練樣本數(shù)）；訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍。激活函數(shù)：常采用Sigmoid型函數(shù)學(xué)習(xí)速率：過(guò)大加快收斂，但會(huì)導(dǎo)致系統(tǒng)震蕩。初始權(quán)值選?。哼x擇一組介于-0.5～0.5之間的值作為網(wǎng)絡(luò)初始權(quán)值。優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性

廣泛應(yīng)用于日常生活各個(gè)領(lǐng)域，包括材料性能預(yù)測(cè)、環(huán)境污染防治系統(tǒng)建模、心理學(xué)預(yù)測(cè)、產(chǎn)品銷(xiāo)售預(yù)測(cè)、價(jià)格預(yù)測(cè)、市場(chǎng)供求分析、證券投資分析、農(nóng)業(yè)災(zāi)害預(yù)測(cè)等，并取得了良好的擬合結(jié)果。3.3BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)(1)BP算法的收斂速度慢，不能保證網(wǎng)絡(luò)收斂；(2)BP算法從數(shù)學(xué)角度看是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問(wèn)題；(3)BP網(wǎng)絡(luò)中隱含層神經(jīng)元的數(shù)目目前僅有一些經(jīng)驗(yàn)的選取方法；(4)BP網(wǎng)絡(luò)并沒(méi)有反饋存在，只是一個(gè)非線性映射系統(tǒng)；(5)BP網(wǎng)絡(luò)的泛化能力較差。缺點(diǎn)：4、BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用函數(shù)擬合：

使得輸入P1=1:2:200

輸出為T(mén)1=sin(P1*0.1）謝謝?。?nèi)容總結(jié)智能信號(hào)處理。人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對(duì)人腦神經(jīng)系統(tǒng)的模擬而建立起來(lái)的一類(lèi)模型，具有模擬人的部分形象思維的能力。網(wǎng)絡(luò)的信息處理由處理單元之間的相互作用來(lái)實(shí)現(xiàn)，它是通過(guò)把問(wèn)題表達(dá)成處理單元之間的連接權(quán)來(lái)處理的。神經(jīng)網(wǎng)絡(luò)是人腦的某種抽象、簡(jiǎn)化和模擬，反映了人腦功能的若干基本特性：。（1）網(wǎng)絡(luò)的信息處理由處理單元間的相互作用來(lái)實(shí)現(xiàn)