第4章矢量量化課件

第四章語音信號(hào)的矢量量化§4.1概述§4.2矢量量化的基本原理§4.3失真測度§4.4最佳矢量量化器和碼本的設(shè)計(jì)§4.5降低復(fù)雜度的矢量量化系統(tǒng)§4.6語音參數(shù)的矢量量化§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ§4.8遺傳矢量量化9/8/20231第四章語音信號(hào)的矢量量化§4.1概述8/3/2§4.1概述量化分為兩大類：一類是標(biāo)量量化，另一類是矢量量化。標(biāo)量量化:用若干個(gè)離散的數(shù)字值來表示每一個(gè)幅度具有連續(xù)取值(模擬值)的離散時(shí)域信號(hào)(采樣信號(hào))。9/8/20232§4.1概述量化分為兩大類：一類是標(biāo)量量化，另一類是矢量矢量量化的定義：矢量量化(VectorQuantization)是將若干個(gè)取樣信號(hào)分成一組，即構(gòu)成一個(gè)矢量，然后對(duì)此矢量一次進(jìn)行量化。將某一范圍內(nèi)的矢量歸為某一類，即所謂的矢量量化9/8/20233矢量量化的定義：矢量量化(VectorQuantizati

矢量量化研究的基礎(chǔ)是信息論的一個(gè)分支：“率——畸變理論”，其中有兩項(xiàng)理論研究成果對(duì)于矢量量化算法的發(fā)展起關(guān)鍵作用。第一，該理論指出，對(duì)于一定的量化速率R(以每個(gè)采樣信號(hào)平均所用的量化比持?jǐn)?shù)衡量，用比特／采樣表示)，量化畸變D(以量化信號(hào)與原信號(hào)之間的誤差均方值和原信號(hào)均方值之比來衡量)是一定的。第二，無論對(duì)于何種信息源，即使是無記憶的信息源(即各個(gè)采樣信號(hào)之間相互統(tǒng)計(jì)獨(dú)立的情況)，矢量量化總是優(yōu)于標(biāo)量量化，且矢量維數(shù)越大優(yōu)度越高。9/8/20234矢量量化研究的基礎(chǔ)是信息論的一個(gè)分支：“率——畸變理論”，矢量量化的應(yīng)用：進(jìn)入80年代以后，矢量量化技術(shù)引入語音處理領(lǐng)域，使之又有長足的進(jìn)步。目前這項(xiàng)技術(shù)已經(jīng)用于語音波形編碼，線性預(yù)測編碼、語音識(shí)別與合成、圖像壓縮等。矢量量化的研究目的：針對(duì)待定的信息源和矢量維數(shù)，找到一種最優(yōu)的矢量量化器，它能夠在R一定時(shí)給出最低的畸變。9/8/20235矢量量化的應(yīng)用：進(jìn)入80年代以后，矢量量化技術(shù)引入語音處理領(lǐng)上圖的兩維矢量空間里，存在6類矢量，每一類都有一個(gè)中心，稱為室心，每一室心對(duì)應(yīng)一個(gè)碼字矢量。從量上來表征第i類矢量。集合稱為碼本。圖4.1什么是矢量量化(VQ)9/8/20236上圖的兩維矢量空間里，存在6類矢量，每一類都有一個(gè)中心，稱任意一個(gè)矢量V應(yīng)該歸為哪一類，要看它是“靠近”哪一類矢量，或者說它離哪一個(gè)室心最“近”。例如上圖中虛線畫出的矢量V最靠近V1，則將其規(guī)定為V1類，并用V1表示V，或者說V被量化為V1。這樣作可以把本來無限多的矢量只用有限個(gè)碼字矢量來表示(此處為6個(gè))。假如碼本中的碼字矢量是有序的，則被量化的矢量可用碼字序號(hào)來表示。因此，可以大大壓縮信息量。9/8/20237任意一個(gè)矢量V應(yīng)該歸為哪一類，要看它是“靠近”哪一類矢量，或§4.2

矢量量化的基本原理

矢量量化的過程是：將語音信號(hào)波形的A個(gè)樣點(diǎn)的每一幀，或有k個(gè)參數(shù)的每一參數(shù)幀，構(gòu)成k維空間中的一個(gè)矢量，然后對(duì)這個(gè)矢量進(jìn)行量化。標(biāo)量量化和矢量量化的區(qū)別：在標(biāo)量量化時(shí)，在一維的零至無窮大值之間設(shè)置若干個(gè)量化階梯，當(dāng)某輸入信號(hào)的幅度值落在某相鄰的兩個(gè)量化階梯之間時(shí)，就被量化為兩階梯的中心值。而在矢量量化時(shí)，則將A維無限空間劃分為M個(gè)區(qū)域邊界，然后將輸入矢量與這些邊界進(jìn)行比較，并被量化為“距離”最小的區(qū)域邊界的中心矢量值。9/8/20238§4.2矢量量化的基本原理矢量量化的過程是：將語音信號(hào)下面以K=2為例進(jìn)行說明。

9/8/20239下面以K=2為例進(jìn)行說明。8/3/20239相關(guān)概念：若要對(duì)一個(gè)矢量X進(jìn)行量化，首先要選擇一個(gè)合適的失真測度，而后用最小失真原理，分別計(jì)算用量化矢量Yi替代x所帶來的失真。其中最小失真值所對(duì)應(yīng)的那個(gè)量化矢量，就是矢量X的重構(gòu)矢量(或稱恢復(fù)矢量)。通常把所有M個(gè)量化矢量構(gòu)成的集合{Yi}稱為碼書或碼本(Codebook)。把碼書中的每個(gè)量化矢量Yi({i=1，2，…，M)稱為碼字或碼矢。不同的劃分或不同的量化矢量選取就可以構(gòu)成不同的矢量量化器。

9/8/202310相關(guān)概念：若要對(duì)一個(gè)矢量X進(jìn)行量化，首先要選擇一個(gè)合適的失真矢量量化系統(tǒng)的組成：

矢量量化系統(tǒng)的組成框圖9/8/202311矢量量化系統(tǒng)的組成：矢量量化系統(tǒng)的組成框圖8/3/2023矢量量化的特點(diǎn)：矢量量化的兩個(gè)問題：

有高度保密的優(yōu)良性能；用于傳輸時(shí)，其傳輸速率可以進(jìn)一步降低；穩(wěn)定性能好。

①如何劃分M個(gè)區(qū)域邊界。這個(gè)過程稱為“訓(xùn)練”或建立碼書，方法是：將大量的欲處理的信號(hào)的波形幀矢量或參數(shù)幀矢量進(jìn)行統(tǒng)計(jì)劃分，進(jìn)一步確定這些劃分邊界的中心矢量值來得到碼書。②如何確定兩矢量在進(jìn)行比較時(shí)的測度。這個(gè)測度就是兩矢量之間的距離，或以其中某一矢量為基準(zhǔn)時(shí)的失真度。它描述了當(dāng)輸入矢量用碼書所對(duì)應(yīng)的矢量來表征時(shí)所應(yīng)付出的代價(jià)。

9/8/202312矢量量化的特點(diǎn)：有高度保密的優(yōu)良性能；用于傳輸時(shí)，其傳輸速率選擇了失真測度以后，就可以進(jìn)行矢量量化器的設(shè)計(jì)了。矢量量化器最佳設(shè)計(jì)的兩個(gè)條件是：對(duì)給定的碼本,(為碼本尺寸），在矢量空間中，找出所有碼本矢量的最佳區(qū)域邊界使平均失真最小。2)對(duì)給定的區(qū)域邊界，找出最佳碼本矢量使平均失真最小，也就是得到碼本。9/8/202313選擇了失真測度以后，就可以進(jìn)行矢量量化器的設(shè)計(jì)了。矢量量化器矢量量化器的性能指標(biāo)：碼書大小M、平均信噪比。矢量量化器的設(shè)計(jì)：平均信噪比：定義為方括號(hào)中的分子是一秒內(nèi)信號(hào)矢量的平均能量，而分母是一秒內(nèi)輸入信號(hào)矢量與碼書矢量之間的平均失真(即量化噪聲)。

從大量信號(hào)樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找到好的失真測度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，以便用最少的搜索和計(jì)算失真的運(yùn)算量，來實(shí)現(xiàn)最大可能的平均信噪比。

9/8/202314矢量量化器的性能指標(biāo)：碼書大小M、平均信噪比。平均信噪比：8§4.3失真測度

失真的定義：失真測度必須具備的特性：

將輸入信號(hào)矢量用碼書的重構(gòu)矢量來表征時(shí)的誤差或所付出的代價(jià)。①必須在主觀評(píng)價(jià)上有意義，即小的失真應(yīng)該對(duì)應(yīng)于好的主觀語音質(zhì)量。②必須是易于處理的，即在數(shù)學(xué)上易于實(shí)現(xiàn)，這樣可以用于實(shí)際的矢量量化器的設(shè)計(jì)。③平均失真存在并且可以計(jì)算。

9/8/202315§4.3失真測度失真的定義：將輸入信號(hào)矢量用碼書失真測度的方法：

均方誤差(即歐氏距離)、加權(quán)的均方誤差、Itakura—Saito（板倉-齋藤）距離，似然比失真測度等。

9/8/202316失真測度的方法：均方誤差(即歐氏距離)、加權(quán)的均方誤4.3.1歐氏距離——均方誤差

設(shè)輸入信號(hào)的某個(gè)k維矢量X，與碼書中某個(gè)k維矢量Y進(jìn)行比較，xi、yi分別表示X和Y的元素(1≤i≤k)，則定義均方誤差為歐氏距離，即有

9/8/2023174.3.1歐氏距離——均方誤差設(shè)輸入信號(hào)的某幾種其他常用的歐氏距離：9/8/202318幾種其他常用的歐氏距離：8/3/2023184.3.2線性預(yù)測失真測度

直接用由線性預(yù)測系數(shù)所描述的信號(hào)模型的功率譜來進(jìn)行比較，采用板倉—齋藤(Itakura—Saito)距離，簡稱I—S距離。

但是，這兩種失真測度也有其局限性，它們都僅僅比較了兩矢量的功率譜，而沒有考慮其能量信息。

9/8/2023194.3.2線性預(yù)測失真測度直接用由線性預(yù)測系4.3.3識(shí)別失真測度

9/8/2023204.3.3識(shí)別失真測度8/3/202320§4.4最佳矢量量化器和碼本的設(shè)計(jì)

4.4.1矢量量化器最佳設(shè)計(jì)的兩個(gè)條件

定義：所謂最佳設(shè)計(jì)，就是使失真最小。由于碼書就是在這個(gè)設(shè)計(jì)過程中產(chǎn)生的，所以這也就是碼書的設(shè)計(jì)過程。重要問題：劃分量化區(qū)間和確定量化矢量。

9/8/202321§4.4最佳矢量量化器和碼本的設(shè)計(jì)

4.4.1矢量量化器1．最佳劃分對(duì)給定的碼書yM={Y1,Y2,...,YM}（M為碼書的尺寸），找出所有碼書矢量的最佳區(qū)域邊界Si(i=1,2,...,M)，以使平均失真最小，即尋找最佳劃分。由于碼書已給定，因此可以用最近鄰近準(zhǔn)則NNR(NearestNeighborRule)得到最佳劃分。

這個(gè)條件實(shí)際上是敘述了最佳矢量量化器的設(shè)計(jì)。由于給定碼書共有M個(gè)碼字，所以可以把矢量空間分成M個(gè)區(qū)間Si(i=1,2,...,M)。這些Si稱為胞腔。

9/8/2023221．最佳劃分對(duì)給定的碼書yM={Y1,Y2,下圖給出了K=2的最佳劃分示意圖。

9/8/202323下圖給出了K=2的最佳劃分示意圖。8/3/2023232．最佳碼書

對(duì)于給定的區(qū)域邊界Si，找出最佳碼書矢量，使碼書的平均失真最小，也就是得到碼書yM。這里，使平均失真最小，碼字Yi必須為給定的Si(i=1,2,...,M)的形心。形心就是該區(qū)域空間的幾何中心。這些形心就組成了最佳碼書中的碼字。這個(gè)條件實(shí)際上敘述了碼書的設(shè)計(jì)方法。

9/8/2023242．最佳碼書對(duì)于給定的區(qū)域邊界Si，找出最佳碼書矢4.4.2LBG算法

9/8/2023254.4.2LBG算法8/3/2023254.4.3初始碼書的生成

1．隨機(jī)選取法定義：從訓(xùn)練序列中隨機(jī)地選取M個(gè)矢量作為初始碼字，從而構(gòu)成初始碼書，就是隨機(jī)選取法。優(yōu)點(diǎn)：不用初始化計(jì)算，從而可大大減少計(jì)算時(shí)間缺點(diǎn)：可能會(huì)選到一些非典型的矢量作為碼字，即被選中的碼字在訓(xùn)練序列中的分布不均勻。這樣碼字就沒有代表性，導(dǎo)致碼書中有限個(gè)碼字得不到充分利用，使矢量量化器的性能變差。這種方法帶有一定的“盲目性”。

9/8/2023264.4.3初始碼書的生成1．隨機(jī)選取法8/3/20232．分裂法

方法原理：先認(rèn)為碼書尺寸為M=1，即初始碼書中只包含一個(gè)碼字。計(jì)算所有訓(xùn)練序列的形心，將此形心作為第一個(gè)碼字（i=0）。然后，將它分裂為此時(shí)碼書中包含有兩個(gè)元素，一個(gè)是i=0，另一個(gè)是i=1；并按M=2用訓(xùn)練序列對(duì)它設(shè)計(jì)出M=2的碼書。接著，再分別將此碼書的兩個(gè)碼字一分為二，這時(shí)碼書中就有了4個(gè)碼字。這個(gè)過程重復(fù)下去，經(jīng)過log2M次設(shè)計(jì)，就得到所要求的有M個(gè)碼字的初始碼書。特點(diǎn)：初始碼書性能較好，以此碼書設(shè)計(jì)的矢量量化器性能也較好；但是隨著碼書中碼字的增加，計(jì)算量也迅速增加。

9/8/2023272．分裂法方法原理：8/3/2023273．乘積碼書法

這種碼書初始化的方法，是用若干個(gè)低維數(shù)的碼書作為乘積碼，求得所需的高維數(shù)的碼書。比如說，要設(shè)計(jì)一個(gè)高維數(shù)的碼書，可簡單地用2個(gè)低維數(shù)的碼書作乘積來獲得。即維數(shù)為k1，大小為M1的碼書乘以維數(shù)為k-k1，大小為M2的碼書，得到一個(gè)k維碼書，其大小為M=M1·M2。

9/8/2023283．乘積碼書法這種碼書初始化的方法，是用若干個(gè)低維§4.5降低復(fù)雜度的矢量量化系統(tǒng)

方法分類：

無記憶的矢量量化、有記憶的矢量量化器。4.5.1無記憶的矢量量化系統(tǒng)1．樹形搜索的矢量量化系統(tǒng)分類：二叉樹、多叉樹。9/8/202329§4.5降低復(fù)雜度的矢量量化系統(tǒng)方法分類：無記憶的矢量如圖：碼本尺寸M=8的二叉樹，它的碼本中共包含有14個(gè)碼字。輸入信號(hào)矢量為X，先與Y0與Yl比較，計(jì)算出失真d(X，Y0)和d(X，Y1)。如果后者較小，則走下面支路，同時(shí)送“1”輸出。類似地，如果最后到達(dá)Yl0l，則送出的輸出角標(biāo)就是101。這個(gè)過程也就是矢量量化的過程。9/8/202330如圖：碼本尺寸M=8的二叉樹，它的碼本中共包含有14個(gè)碼字。優(yōu)點(diǎn)：可以減少運(yùn)算量。缺點(diǎn)：存儲(chǔ)容量增大且性能會(huì)有所降低。

9/8/202331優(yōu)點(diǎn)：可以減少運(yùn)算量。8/3/2023312．多級(jí)矢量量化系統(tǒng)

9/8/2023322．多級(jí)矢量量化系統(tǒng)8/3/2023329/8/2023338/3/2023334.5.2有記憶的矢量量化系統(tǒng)

概念：有記憶的矢量量化在量化每一個(gè)輸入矢量時(shí)，不僅與此矢量本身有關(guān)，而且也與其前面的矢量有關(guān)。也就在量化時(shí)，它通過“記憶”，利用了過去輸入矢量的信息，利用了矢量與矢量之間的相關(guān)性，從而提高了矢量量化的性能。優(yōu)點(diǎn)：在語音編碼中，引入記憶后，還可利用音長、短時(shí)的非平穩(wěn)統(tǒng)計(jì)特性，清音、濁音和無聲區(qū)域的特性，短時(shí)頻譜特性等信息。意味著在相同維數(shù)條件下大大提高了矢量量化系統(tǒng)的性能。

9/8/2023344.5.2有記憶的矢量量化系統(tǒng)概念：有記憶的矢量量化在預(yù)測矢量量化（PredictiveVQ），自適應(yīng)矢量量化（AdaptiveVQ）,APVQ是它們的結(jié)合。下圖是APVQ的系統(tǒng)框圖。

9/8/202335預(yù)測矢量量化（PredictiveVQ），自適應(yīng)矢量量化（§4.6語音參數(shù)的矢量量化

語音參數(shù)矢量量化的定義：將語音信號(hào)經(jīng)過分析，得到各種參數(shù)，然后再將這些按幀或按段分析所得的參數(shù)組構(gòu)成矢量，進(jìn)行矢量量化。

語音參數(shù)的矢量量化：是在生成碼本的基礎(chǔ)上，對(duì)作為矢量的語音參數(shù)序列進(jìn)行編碼的過程。這個(gè)定義含有兩個(gè)過程：先要生成碼本，這是將語音參數(shù)序列作為矢量空間分類的形成碼本的過程；將語音參數(shù)序列作為矢量，參照碼本歸類的過程；9/8/202336§4.6語音參數(shù)的矢量量化語音參數(shù)矢量量化的定義：將語音舉例分析矢量量化前，每秒44.4幀，用54bit量化(其中，十個(gè)線性預(yù)測系數(shù)用41bit，基音周期用6bit，增益參數(shù)5bit，清／濁音判決用1bit，同步用1bit)。而在VQLPC聲碼器中，線性預(yù)測系數(shù)是{Ai}，基音周期是{Bi}，增益參數(shù){Gi}和濁／清音識(shí)別參數(shù){Vi}。

9/8/202337舉例分析矢量量化前，每秒44.4幀，用54bVQLPC聲碼器特點(diǎn)：對(duì)線性預(yù)測系數(shù)采用了矢量量化，而其余參數(shù)均采用差值標(biāo)量量化。編碼速率明顯地比原來的LPC聲碼器低。語音編碼的目的：力求用盡可能低的編碼速率，以傳輸盡可能高的語音質(zhì)量(盡可能地減小重建信號(hào)與原始信號(hào)之間的失真)，而希望設(shè)備簡單，成本盡可能低。9/8/202338VQLPC聲碼器特點(diǎn)：對(duì)線性預(yù)測系數(shù)采用了矢量量化，而其余①采用與能量和增益無關(guān)的對(duì)數(shù)似然比失真測度作為VQ的距離測度。②碼書尺寸為1024，即用10bit來表示其角標(biāo)。碼書的產(chǎn)生是用10個(gè)人(其中7人為男子，3人為女子)的大約30分鐘的隨機(jī)對(duì)話的聲音來進(jìn)行訓(xùn)練產(chǎn)生的。并將訓(xùn)練序列分為濁音和清音兩類。因此，對(duì)應(yīng)的碼書也分為濁音碼書和清音碼書兩類，都用LBG算法訓(xùn)練。VQLPC聲碼器的設(shè)計(jì)方法9/8/202339①采用與能量和增益無關(guān)的對(duì)數(shù)似然比失真測度作為VQ的由于采用了矢量量化，所以VQLPC聲碼器編碼速率明顯降低了。在這種聲碼器中，僅對(duì)線性預(yù)測系數(shù)采用了矢量量化，對(duì)其他參數(shù)均采用差值標(biāo)量量化。這種混合編碼方式是解決矢量量化系統(tǒng)復(fù)雜度過高的一個(gè)方法。意義：9/8/202340由于采用了矢量量化，所以VQLPC聲碼器編§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ人工神經(jīng)網(wǎng)絡(luò)的一項(xiàng)非常重要的功能是通過學(xué)習(xí)實(shí)現(xiàn)對(duì)于輸入矢量的分類。即每輸入一個(gè)矢量，人工神經(jīng)網(wǎng)絡(luò)輸出一個(gè)該矢量所屬類別的標(biāo)號(hào)，從這一點(diǎn)看它與VQ的功能是十分相近的。人工神經(jīng)網(wǎng)絡(luò)與普通VQ不同而獨(dú)具特色之處在于：（1）它是由大量神經(jīng)元構(gòu)成的并行分布處理系統(tǒng)來實(shí)現(xiàn)的，因此較之普通VQ的串行搜索而言，它可以用并行搜索方法由輸入矢量求得其輸出標(biāo)號(hào)。因此，它的運(yùn)行速度比前者高得多。（2）人工神經(jīng)網(wǎng)絡(luò)依托于這套并行分布處理機(jī)構(gòu)，可以建起高效的學(xué)習(xí)算法(與VQ碼本的建立算法相對(duì)應(yīng)，也可稱之為訓(xùn)練算法)。9/8/202341§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ人工神經(jīng)網(wǎng)絡(luò)的一項(xiàng)非常重要的功能學(xué)習(xí)算法可以分成無監(jiān)督和有監(jiān)督兩大類。無監(jiān)督學(xué)習(xí)算法又稱為自組織學(xué)習(xí)算法，它對(duì)輸人矢量所做的類別劃分，無需依賴于外界事先已建立的對(duì)這些矢量類別的約定，從這點(diǎn)看自組織學(xué)習(xí)算法與普通VQ碼本建立算法十分相似。有監(jiān)督的學(xué)習(xí)算法則需在學(xué)習(xí)之前就建立訓(xùn)練矢量集合中各個(gè)矢量所屬類別的約定，通過學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)能夠完成這種約定；并且推而廣之及于所有末參加訓(xùn)練的輸人矢量。這樣有監(jiān)督學(xué)習(xí)算法可以直接或間接地用于完成各種模式識(shí)別任務(wù)。（3）對(duì)于普通VQ，各個(gè)輸出標(biāo)號(hào)之間不存在空間關(guān)系上的關(guān)聯(lián)(拓樸關(guān)系)。而對(duì)于像Kohonen自組織特征映射人工神經(jīng)網(wǎng)絡(luò)等類型的網(wǎng)絡(luò)，各個(gè)輸出之間存在空間拓?fù)潢P(guān)聯(lián)。這對(duì)于進(jìn)一步利用這些輸出是很有價(jià)值的。9/8/202342學(xué)習(xí)算法可以分成無監(jiān)督和有監(jiān)督兩大類。無監(jiān)督學(xué)習(xí)算法又稱為自有三種人工神經(jīng)網(wǎng)絡(luò)與這一章討論的VQ有密切關(guān)系，它們是：(1)前向多層人工神經(jīng)網(wǎng)絡(luò)(采用有監(jiān)督學(xué)習(xí)算法)；(2)ART(自適應(yīng)諧振理論)人工神經(jīng)網(wǎng)絡(luò)(采用自組織學(xué)習(xí)算法)；(3)T．Kohonen自組織待征映射人工神經(jīng)網(wǎng)絡(luò)(自組織和有監(jiān)督學(xué)習(xí)算法都被采用)。9/8/202343有三種人工神經(jīng)網(wǎng)絡(luò)與這一章討論的VQ有密切關(guān)系，它們是：(1§4.7.1Kohonen神經(jīng)網(wǎng)絡(luò)簡介在對(duì)人類的神經(jīng)系統(tǒng)及腦的研究中，人們發(fā)現(xiàn)：人腦的某些區(qū)域?qū)δ撤N信息或感覺敏感，如人腦的某一部分對(duì)視知覺的處理特別有效，而另一部分則對(duì)聽知覺的處理特別有效。這種情況使人們對(duì)大腦的作用的整體性與局部性特征有所認(rèn)識(shí)。對(duì)大腦的研究表明，大腦是由大量協(xié)同作用的神經(jīng)元群體組成的。大腦的神經(jīng)網(wǎng)絡(luò)是一個(gè)十分復(fù)雜的反饋系統(tǒng)，在這個(gè)系統(tǒng)中含有各種反饋?zhàn)饔茫姓w反饋，局部反饋；另外，還有化學(xué)交互作用。在大腦處理信息的過程中，聚類是其極其重要的功能。大腦通過聚類過程從而識(shí)別外界信號(hào)，并產(chǎn)生自組織過程。9/8/202344§4.7.1Kohonen神經(jīng)網(wǎng)絡(luò)簡介在對(duì)人類的神經(jīng)系統(tǒng)及具有二維網(wǎng)格的自組織特征映射網(wǎng)絡(luò)模型9/8/202345具有二維網(wǎng)格的自組織特征映射網(wǎng)絡(luò)模型8/3/202345自組織特征映射神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下：采用隨機(jī)擾動(dòng)法生成一組初始權(quán)值:式中N為輸入節(jié)點(diǎn)數(shù)，它對(duì)應(yīng)著輸入矢量的維數(shù)；M為輸出節(jié)點(diǎn)的個(gè)數(shù)，同時(shí)將M個(gè)輸出節(jié)點(diǎn)排列成二維陣列，每一個(gè)節(jié)點(diǎn)表示一個(gè)聚類中心。(2)每次輸入一個(gè)N維的訓(xùn)練矢量，采用歐幾里德距離測度，計(jì)算各輸入節(jié)點(diǎn)到每一輸出節(jié)點(diǎn)j的距離：

，

9/8/202346自組織特征映射神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下：采用隨機(jī)擾動(dòng)法生成(3)選擇最佳匹配的輸出節(jié)點(diǎn)。即選出最小對(duì)應(yīng)的輸出節(jié)點(diǎn)。(4)調(diào)整相鄰近節(jié)點(diǎn)的權(quán)值：式中j是包含在內(nèi)的與相鄰的輸出節(jié)點(diǎn)。(t)是一個(gè)大于0而小于1的增益函數(shù)，其值是隨迭代次數(shù)逐漸遞減的。以節(jié)點(diǎn)為中心的鄰近區(qū)域的大?。ㄒ脏徲蚝瘮?shù)來表示）也是隨迭代次數(shù)逐漸縮小的。9/8/202347(3)選擇最佳匹配的輸出節(jié)點(diǎn)。即選出最小對(duì)應(yīng)的輸出(5)其它神經(jīng)元的權(quán)值保持不變，即：

(6)如果已經(jīng)達(dá)到預(yù)定的迭代次數(shù)，停止迭代，否則轉(zhuǎn)向(2)繼續(xù)迭代，或象矢量量化那樣根據(jù)相對(duì)失真值觀察收斂的情況，決定是否結(jié)束。9/8/202348(5)其它神經(jīng)元的權(quán)值保持不變，即：8/3/202348§4.7.2二進(jìn)樹碼本形成算法在kohonen神經(jīng)網(wǎng)絡(luò)中的應(yīng)用9/8/202349§4.7.2二進(jìn)樹碼本形成算法在kohonen神經(jīng)網(wǎng)絡(luò)中的9/8/2023508/3/2023509/8/2023518/3/2023519/8/2023528/3/2023529/8/2023538/3/202353§4.8遺傳矢量量化（GAVQ）算法

求取VQ碼本的傳統(tǒng)的方法是LBG算法。但該算法是一種局部優(yōu)化算法，得到的碼本質(zhì)量往往不高。本節(jié)采用的遺傳矢量量化算法(GeneticAlgorithmsVectorQuantization，GAVQ)，是一種全局優(yōu)化算法，將遺傳算法的全局優(yōu)化特性和VQ建模技術(shù)巧妙地結(jié)合起來，通過科學(xué)的編碼方案及對(duì)初始群體中的VQ碼本進(jìn)行有效的遺傳操作從而搜索出訓(xùn)練矢量空間中的全局優(yōu)化VQ碼本。9/8/202354§4.8遺傳矢量量化（GAVQ）算法求取VQ碼本的傳統(tǒng)的§4.8.1遺傳算法遺傳算法（GeneticAlgorithm-GA）由美國J.Holland教授提出的，是模擬生物在自然環(huán)境中的遺傳和進(jìn)化過程而形成的一種自適應(yīng)全局優(yōu)化概率搜索算法。它模擬物種從低級(jí)到高級(jí)的演化過程，從一個(gè)稱之為群體的隨機(jī)初始解的集合開始，采用優(yōu)勝劣汰，適者生存的自然法則，通過對(duì)群體施加遺傳操作實(shí)現(xiàn)群體內(nèi)個(gè)體結(jié)構(gòu)重組的迭代過程，每一次迭代獲得一組解答，每個(gè)解答由一個(gè)適應(yīng)度函數(shù)來評(píng)估，這一過程不斷重復(fù)，直到達(dá)到某種形式上的收斂。9/8/202355§4.8.1遺傳算法遺傳算法（GeneticAlgori遺傳算法尤其適用于處理傳統(tǒng)搜索方法難以解決的復(fù)雜和非線性問題，可以廣泛用于組合優(yōu)化、機(jī)器學(xué)習(xí)、自適應(yīng)控制和人工生命等領(lǐng)域。而且，遺傳算法作為一種新的全局優(yōu)化搜索方法，具有簡單通用、魯棒性強(qiáng)、適于并行處理和應(yīng)用廣泛的優(yōu)點(diǎn)，近些年得到了迅速的發(fā)展，已廣泛用于最優(yōu)控制、圖像編碼、發(fā)現(xiàn)博弈策略等許多實(shí)際問題的求解。它比盲目的搜索效率高得多，又比專門針對(duì)特定問題的算法通用性強(qiáng)，是一種與問題無關(guān)的求解模式。9/8/202356遺傳算法尤其適用于處理傳統(tǒng)搜索方法難以解決的復(fù)雜和非線性問題遺傳算法包括三個(gè)基本操作：選擇、交叉和變異。1)選擇選擇運(yùn)算又稱為繁殖、再生或復(fù)制運(yùn)算，用于生物界優(yōu)勝劣汰的自然選擇。它從第代種群中選擇出優(yōu)良的某些染色體，放入匹配池(緩沖區(qū)，matchpool)，為染色體交叉和變異運(yùn)算產(chǎn)生新種群做準(zhǔn)備。適應(yīng)度越高的染色體被選擇的可能性越大，遺傳基因在下一代種群中的分布就越廣，其子孫在下一代出現(xiàn)的數(shù)量就越多。選擇的方法有多種，較常用的是賭輪盤選擇法，應(yīng)用該方法個(gè)體被選中并遺傳到下一代群體中的概率與該個(gè)體的適應(yīng)度大小成正比。9/8/202357遺傳算法包括三個(gè)基本操作：選擇、交叉和變異。8/3/20232)交叉將群體內(nèi)的各個(gè)個(gè)體隨機(jī)搭配成對(duì)，對(duì)每一個(gè)個(gè)體，以某個(gè)概率交換它們之間的部分染色體，這樣可以創(chuàng)造出新的個(gè)體。3)變異變異運(yùn)算模擬生物在自然的遺傳環(huán)境中由于各種偶然因素引起的基因突變，它以某一概率隨機(jī)地改變遺傳基因(表示染色體的符號(hào)串的某一位)的值。它隨機(jī)地將染色體的某一個(gè)基因由1變成0，或由0變成1。若只有選擇和交叉，而沒有變異操作，則無法在初始基因組合以外的空間進(jìn)行搜索，使進(jìn)化過程在早期就陷入局部解而中止進(jìn)化，從而使解的質(zhì)量受到限制。通過變異操作，可確保種群中遺傳基因類型的多樣性，以便搜索能在盡可能大的空間中進(jìn)行，避免丟失有用的遺傳信息而陷入局部解，獲得質(zhì)量較高的優(yōu)化解。9/8/2023582)交叉8/3/202358遺傳算法的步驟如下：第1步：初始化。設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器，設(shè)置最大進(jìn)化代數(shù)，隨機(jī)產(chǎn)生初始種群，個(gè)體數(shù)目一定，每個(gè)個(gè)體表示為染色體的基因編碼；第2步：個(gè)體評(píng)價(jià)。計(jì)算群體中