神經(jīng)網(wǎng)絡(luò)聲音信號分類

目錄一、問題的提出二、程序流程三、實(shí)驗(yàn)結(jié)果四、參數(shù)選擇對結(jié)果的影響五、神經(jīng)網(wǎng)絡(luò)的容錯能力六、并行訓(xùn)練的嘗試七、增加隱含層的嘗試八、總結(jié)當(dāng)前第1頁\共有23頁\編于星期四\20點(diǎn)一、問題的提出本任務(wù)選取了民歌、古箏、搖滾和流行四類不同音樂，每段音樂都用倒譜系數(shù)法提取5OO組24維語音特征信號，用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對這四類音樂音的有效分類?；贐P神經(jīng)網(wǎng)絡(luò)的語音特征信號分類算法建模包括BP神經(jīng)網(wǎng)絡(luò)構(gòu)建,BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和BP神經(jīng)網(wǎng)絡(luò)分類三步，算法流程如圖所示。當(dāng)前第2頁\共有23頁\編于星期四\20點(diǎn)二、程序流程·神經(jīng)網(wǎng)絡(luò)選擇24輸入，1個隱含層，隱含層中含有25個節(jié)點(diǎn)和有4個節(jié)點(diǎn)的輸出層?！ぜせ詈瘮?shù)選擇為：其中a=1，b=1·步長η=0.1，動量常數(shù)α=0.01·樣本數(shù)量：500個·訓(xùn)練回合數(shù)：100次當(dāng)前第3頁\共有23頁\編于星期四\20點(diǎn)二、程序流程為了方便編程和計(jì)算，將神經(jīng)網(wǎng)絡(luò)中的計(jì)算寫成向量運(yùn)算：當(dāng)前第4頁\共有23頁\編于星期四\20點(diǎn)三、實(shí)驗(yàn)結(jié)果（1）首先我們看一下訓(xùn)練中權(quán)值的變化串行訓(xùn)練時，每輸入一個樣本，都會改變一次網(wǎng)絡(luò)的權(quán)值。對每次隱含層和輸出層的權(quán)值的變化量中每個元素求平方和。即可看出每次權(quán)值更新時權(quán)值變化的大小。按理來說，隨著訓(xùn)練的進(jìn)行，權(quán)值的變化率應(yīng)該越來越小，最終趨近于0。當(dāng)前第5頁\共有23頁\編于星期四\20點(diǎn)三、實(shí)驗(yàn)結(jié)果（1）這個結(jié)果有點(diǎn)怪。每次權(quán)值的變化并沒有按想象中的那樣下降并趨近于0。但是訓(xùn)練后得到的神經(jīng)網(wǎng)絡(luò)是正確的。我對書中給的程序進(jìn)行了這種嘗試，得到的權(quán)值也類似，沒有明顯下降。據(jù)我分析，權(quán)值的絕對變化率并不能反映出網(wǎng)絡(luò)是否趨于穩(wěn)定。有可能權(quán)值變化率很大，但其造成的影響很小。那下面考察一下權(quán)值的相對變化率，即以變化率除以權(quán)值的大小。當(dāng)前第6頁\共有23頁\編于星期四\20點(diǎn)三、實(shí)驗(yàn)結(jié)果（1）可見隱含層的權(quán)值變化還是很理想的，但輸出層同樣沒趨于0。也許是樣本之間差異太大，輸出的函數(shù)不連續(xù)，所以系統(tǒng)實(shí)在無法找到合適的權(quán)值，滿足每種樣本的需求?；蛘呤怯捎诖杏?xùn)練的局限性造成的。當(dāng)前第7頁\共有23頁\編于星期四\20點(diǎn)三、實(shí)驗(yàn)結(jié)果（2）現(xiàn)在我們來看一下輸出誤差的變化。我們期望每回合的訓(xùn)練，輸出誤差的大小 應(yīng)該逐步減小，直到接近于一個平穩(wěn)的值。這個結(jié)果還是比較正確的。增加訓(xùn)練回合的次數(shù)，可以降低誤差，最終在一個比較小的值附近浮動。當(dāng)前第8頁\共有23頁\編于星期四\20點(diǎn)三、實(shí)驗(yàn)結(jié)果（3）下面考察一下分類的正確率：進(jìn)行了200次訓(xùn)練和測試，每次對500個樣本進(jìn)行訓(xùn)練，并對2000個樣本進(jìn)行測試。得到每次平均正確分類個數(shù)為：1695.6個，標(biāo)準(zhǔn)差為58.9個。可得正確檢測率為（84±3）%對書上的程序進(jìn)行測試，得到正確檢測率為（85±4）%可見，我的結(jié)果是正確的。樣本來源1234分類正確率0.8800.9760.6380.876當(dāng)前第9頁\共有23頁\編于星期四\20點(diǎn)四、參數(shù)選擇對結(jié)果的影響在這次神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)中用到了很多參數(shù)，它們幾乎都會對網(wǎng)絡(luò)的學(xué)習(xí)和工作造成極大的影響。下面主要研究隱含層節(jié)點(diǎn)數(shù)N、步長η、動量常數(shù)α、激勵函數(shù)參數(shù)[a,b]，對網(wǎng)絡(luò)的影響。當(dāng)前第10頁\共有23頁\編于星期四\20點(diǎn)從表格中看出，N=5時，網(wǎng)絡(luò)的運(yùn)行結(jié)果就幾乎可以滿足要求。隨節(jié)點(diǎn)數(shù)增加，效果也沒有特別明顯的改善。所以，隱含層選擇5個節(jié)點(diǎn)就夠了。四、參數(shù)選擇對結(jié)果的影響（1）在不改變其他條件的情況下，更改隱含層的節(jié)點(diǎn)數(shù)N，考察訓(xùn)練樣本的正確檢測概率和全部樣本的正確檢測概率（每組重復(fù)5次）：N3581420253550100訓(xùn)練樣本正確檢測率（%）73±189±189±189±187±187±187±286±179±3全部樣本正確檢測率（%）71±183±483±782±784±483±584±285±477±6當(dāng)前第11頁\共有23頁\編于星期四\20點(diǎn)四、參數(shù)選擇對結(jié)果的影響（2）不同步長與動量常數(shù)對輸出誤差收斂的影響：步長分別選取為[0.01,0.1,0.5,0.9],動量常數(shù)分別選取為：[0,0.01,0.1,0.5]。從圖中可見，當(dāng)步長增大時，輸出誤差下降變快。但當(dāng)步長太大時，輸出會出現(xiàn)錯誤。這應(yīng)該是由于算法發(fā)散所造成的。動量常數(shù)增大有時候也會增快誤差的下降，但取值過大時候也會造成輸出結(jié)果的錯誤?？梢姦翆λ惴ǖ姆€(wěn)定性也有影響。實(shí)驗(yàn)結(jié)果表明，在這個網(wǎng)絡(luò)中，選擇η=0.1的時候比較合適。當(dāng)前第12頁\共有23頁\編于星期四\20點(diǎn)四、參數(shù)選擇對結(jié)果的影響（3）激活函數(shù)f=a·tanh(b·x)不同參數(shù)[a,b]對輸出誤差影響：分別令a、b=[0.6,1,1.5,2]。從圖中，可以看出函數(shù)參數(shù)對輸出會產(chǎn)生很大的影響，盡管其影響的效果不是很有規(guī)律。由于網(wǎng)絡(luò)比較復(fù)雜，激活函數(shù)也是非線性的。所以其參數(shù)造成的影響不是很容易解釋?？傮w來說，當(dāng)b值比較大的時候，網(wǎng)絡(luò)的輸出結(jié)果將完全錯誤；當(dāng)b值比較小時，網(wǎng)絡(luò)可以正常工作，雖然誤差下降的速度很慢。這應(yīng)該是由于b較大時，激活函數(shù)導(dǎo)數(shù)的衰減很快造成網(wǎng)絡(luò)節(jié)點(diǎn)達(dá)到飽和。實(shí)驗(yàn)的結(jié)果表明，取參數(shù)a=1，b=1或1.5的時候，效果最好當(dāng)前第13頁\共有23頁\編于星期四\20點(diǎn)四、參數(shù)選擇對結(jié)果的影響（3）選擇激活函數(shù)為f=1/(1+exp(-x))的時候，步長分別選取為[0.01,0.1,0.5,0.9],動量常數(shù)分別選取為[0,0.01,0.1,0.5]，的輸出誤差結(jié)果：可見，選擇了不同的激活函數(shù)，對網(wǎng)絡(luò)訓(xùn)練的影響很大。在這個訓(xùn)練中對于步長和動量系數(shù)的選取遠(yuǎn)比之前的雙曲正切函數(shù)隨意。而且，當(dāng)參數(shù)選擇合適時，收斂速度也比雙曲正切函數(shù)的網(wǎng)絡(luò)快一些。從圖中看出，當(dāng)步長選擇更大的時候，訓(xùn)練收斂速度更快。而動量常數(shù)選擇較大的時候，訓(xùn)練的收斂速度也會更快。當(dāng)前第14頁\共有23頁\編于星期四\20點(diǎn)五、神經(jīng)網(wǎng)絡(luò)的容錯能力將神經(jīng)網(wǎng)絡(luò)的一些隱含層損壞，即使其輸出為0。檢驗(yàn)網(wǎng)絡(luò)的正確檢測率變化。在損壞一定數(shù)量的神經(jīng)元后，網(wǎng)絡(luò)的正確檢測率不會太劇烈的下降，說明其容錯能力很強(qiáng)。但若有太多神經(jīng)元同時損壞，則神經(jīng)網(wǎng)絡(luò)還是無法使用的損壞神經(jīng)元個數(shù)012345678正確檢測率（%）87.487.476.876.976.876.857.157.157.1當(dāng)前第15頁\共有23頁\編于星期四\20點(diǎn)六、并行訓(xùn)練的嘗試嘗試了一下并行訓(xùn)練，具體做法是每次輸入的樣本得到一個權(quán)值改變量，每回合結(jié)束后，將這些改變量取平均值去更新權(quán)值。分別檢驗(yàn)其權(quán)值的改變量、輸出誤差以及參數(shù)對其性能的影響。（在不加說明的情況下，參數(shù)均與串行訓(xùn)練的參數(shù)相同）當(dāng)前第16頁\共有23頁\編于星期四\20點(diǎn)六、并行訓(xùn)練的嘗試（1）可見，在并行訓(xùn)練中，權(quán)值的變化總體減小并最終趨近于0。這點(diǎn)看起來要強(qiáng)于串行訓(xùn)練。首先我們看一下訓(xùn)練中權(quán)值的變化：并行訓(xùn)練時，每回合，都會改變一次網(wǎng)絡(luò)的權(quán)值。網(wǎng)絡(luò)權(quán)值變化程度的定義同串行訓(xùn)練時一樣。當(dāng)前第17頁\共有23頁\編于星期四\20點(diǎn)六、并行訓(xùn)練的嘗試（2）圖中看出，輸出誤差收斂很慢，并且，其最終收斂到的誤差強(qiáng)度也遠(yuǎn)高于同等參數(shù)下，串行訓(xùn)練得到的誤差值。這可能是由于訓(xùn)練陷入了局部最小值。在這個參數(shù)下，檢測的正確率也不高，只有（81.2±0.2）%。不過，比串行訓(xùn)練好的是，對于每次訓(xùn)練，網(wǎng)絡(luò)的性能差異不大，所以用起來可能會更保險(xiǎn)一些。當(dāng)前第18頁\共有23頁\編于星期四\20點(diǎn)六、并行訓(xùn)練的嘗試（3）不同步長與動量常數(shù)對輸出誤差收斂的影響：步長分別選取為[0.01,0.1,0.5,0.9],動量常數(shù)分別選取為：[0,0.01,0.1,0.5]。從圖中可看出，步長選擇較大時，誤差收斂較快。而且大部分情況下，動量常數(shù)較大時誤差收斂更快。但是在步長和動量常數(shù)都很大時，輸出會出現(xiàn)錯誤。另外，相比于串行訓(xùn)練，它在同樣的條件下，雖然訓(xùn)練最終逼近的誤差比較大，但誤差發(fā)散的情況少一些?；静粫?yàn)椴介L和動量常數(shù)選取不當(dāng)而使訓(xùn)練出現(xiàn)錯誤。當(dāng)前第19頁\共有23頁\編于星期四\20點(diǎn)七、增加隱含層的嘗試實(shí)驗(yàn)中，將隱含層增加到了兩層（24×8×8×4）和三層（24×8×8×7×4），進(jìn)行測試。下面分別給出1、2、3層隱含層，進(jìn)行100、300、1000次迭代得到的輸出誤差曲線。以及正確檢測的概率。從結(jié)果中可看到，對于隱含層只有一層的情況，誤差隨迭代次數(shù)增加，剛開始下降的很快，但是最終的誤差維持在較高的高度。兩層隱含層和三層隱含層最終迭代得到的輸出誤差幾乎一樣，迭代次數(shù)很多時，正確檢測概率也相同。但三層隱含層的網(wǎng)絡(luò)誤差隨迭代次數(shù)下降的很慢，迭代次數(shù)少時正確檢測概率不高，而且同樣迭代次數(shù)，其訓(xùn)練時間更長。所以選擇有兩個隱含層的網(wǎng)絡(luò)比較合適。正確檢測概率（%）一層二層三層100次85±387±385±31000次88±191±191±1當(dāng)前第20頁\共有23頁\編于星期四\20點(diǎn)八、總結(jié)這次用BP神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)分類的實(shí)驗(yàn)，總體上是成功的。實(shí)驗(yàn)中，我搭建了神經(jīng)網(wǎng)絡(luò)，并通過改變參數(shù)來檢驗(yàn)其效果。得以下結(jié)論：1、訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的性能并不固定，會在一定范圍內(nèi)波動。2、訓(xùn)練時候的步長、動量常數(shù)和激活函數(shù)對訓(xùn)練的影響非常大。尤其是若激活函數(shù)沒選好，會嚴(yán)重增加訓(xùn)練的難度。3、即使輸入數(shù)據(jù)維數(shù)很多，網(wǎng)絡(luò)每層的節(jié)點(diǎn)數(shù)并不一定要取太多。4、神經(jīng)網(wǎng)絡(luò)的容錯性很好，在破壞一定數(shù)量的神經(jīng)元后，網(wǎng)絡(luò)還可以正常工作。5、并行計(jì)算時，網(wǎng)絡(luò)訓(xùn)練很慢，并且容易陷入局部最小值。性能不太好，但是更穩(wěn)定。6、神經(jīng)網(wǎng)絡(luò)的隱含層層數(shù)并不是越多越好，有時候增加一層會明顯改善網(wǎng)絡(luò)的性能，但是繼續(xù)增加反而可能破壞其性能。當(dāng)前第21頁\共有23頁\編于星期四\20點(diǎn)八、總結(jié)此外，