學(xué)習(xí)矢量量化的研究及在圖象編碼中的應(yīng)用

1學(xué)習(xí)矢量量化的研究及其在圖象編碼中的應(yīng)用2深圳大學(xué)“信號(hào)與信息處理”學(xué)科學(xué)科帶頭人：謝維信教授學(xué)術(shù)隊(duì)伍

:教授15人、副教授11人

三年內(nèi)可支配科研經(jīng)費(fèi)：4053萬(wàn)元目前承擔(dān)科研項(xiàng)目共

48項(xiàng)：國(guó)家及國(guó)務(wù)院各部門(mén)項(xiàng)目

3項(xiàng)

國(guó)家自然科學(xué)基金項(xiàng)目8項(xiàng)國(guó)防科研項(xiàng)目2項(xiàng)近五年發(fā)表學(xué)術(shù)論文共396篇，三大檢索165篇

3“信號(hào)與信息處理”學(xué)科的

研究方向智能信息處理圖象編碼與數(shù)字水印技術(shù)

光電信號(hào)處理與系統(tǒng)

網(wǎng)絡(luò)信息處理

張基宏教授李霞教授陶蘭教授紀(jì)震教授4矢量量化項(xiàng)目來(lái)源三項(xiàng)國(guó)家自然科學(xué)基金項(xiàng)目序號(hào)項(xiàng)目名稱(chēng)負(fù)責(zé)人研究時(shí)間1學(xué)習(xí)矢量量化的研究及其在視頻圖象編碼中的應(yīng)用（60172065）張基宏教授紀(jì)震教授2002.01-2004.12(結(jié)題為優(yōu))2蟻群算法在矢量量化圖像編碼中的應(yīng)用（60372087）李霞教授2004.01-2006.123粒子群優(yōu)化算法的研究及其在圖編碼中的應(yīng)用紀(jì)震教授2005剛獲批準(zhǔn)5二維矢量量化示意圖碼字聚類(lèi)邊界訓(xùn)練矢量6一、項(xiàng)目意義

本項(xiàng)目通過(guò)研究和發(fā)展“學(xué)習(xí)矢量量化”理論，旨在尋找一種新的快速高效的矢量量化算法。這種算法的成功實(shí)現(xiàn)，對(duì)推動(dòng)在低碼率信道下圖象壓縮編碼技術(shù)的研究，具有重要理論意義和廣闊的應(yīng)用前景。7一、項(xiàng)目意義（續(xù)）目前國(guó)際上通用的圖象壓縮標(biāo)準(zhǔn)仍然以標(biāo)量量化為主，未能采用矢量量化的原因主要是矢量量化理論研究本身存在的難度。標(biāo)量量化技術(shù)只能作為矢量量化的一維特例，矢量量化理論把圖象信號(hào)的處理工作推廣到高維空間，顯然具有標(biāo)量量化不可比擬的優(yōu)勢(shì)。進(jìn)一步提高圖象壓縮編碼的性能，迫切需要在矢量量化領(lǐng)域的理論突破。8一、項(xiàng)目意義（續(xù)）本項(xiàng)目以學(xué)習(xí)矢量量化為主要研究方向，同時(shí)涉及到的其它重要研究領(lǐng)域包括：模糊聚類(lèi)神經(jīng)網(wǎng)絡(luò)模擬退火蟻群算法粒子群算法智能數(shù)字水印等9二、國(guó)內(nèi)外研究情況簡(jiǎn)介

國(guó)際學(xué)術(shù)界對(duì)矢量量化理論的研究仍局限于上世紀(jì)80年代的研究熱點(diǎn)K-means算法和90年代的研究熱點(diǎn)FuzzyK-means（FKM）算法。

10二、國(guó)內(nèi)外研究情況簡(jiǎn)介（續(xù)）FKM算法仍然是目前圖象壓縮領(lǐng)域中性能最佳的矢量量化算法。目前還沒(méi)有作者宣稱(chēng)或理論上證明他們的算法能尋求到全局最優(yōu)解。K-means系列算法的共同點(diǎn)是，在碼書(shū)訓(xùn)練過(guò)程中，只考慮了訓(xùn)練矢量對(duì)碼字的吸引作用，從而約束了最優(yōu)解的尋解空間。一些改進(jìn)算法是在訓(xùn)練過(guò)程中，引入隨機(jī)擾動(dòng)，優(yōu)點(diǎn)是拓展了最優(yōu)解的尋找空間，但缺點(diǎn)是參數(shù)多，碼書(shū)訓(xùn)練過(guò)程不可重復(fù)，增加了算法的計(jì)算復(fù)雜度。11三、理論創(chuàng)新（FRLVQ）1.模糊強(qiáng)化學(xué)習(xí)矢量量化FuzzyReinforcedLearningVectorQuantization12三、理論創(chuàng)新（FRLVQ）(續(xù))創(chuàng)新性地提出了一種新的學(xué)習(xí)機(jī)理:“強(qiáng)化學(xué)習(xí)”“強(qiáng)化學(xué)習(xí)”＝吸引學(xué)習(xí)因子＋排斥學(xué)習(xí)因子每個(gè)碼字的最優(yōu)移動(dòng)方向由多對(duì)吸引和排斥學(xué)習(xí)因子的合力決定FRLVQ＝“強(qiáng)化學(xué)習(xí)”＋FKM13三、理論創(chuàng)新（FRLVQ）(續(xù))吸引學(xué)習(xí)因子傳統(tǒng)的K-means算法和FKM算法在碼書(shū)訓(xùn)練過(guò)程中，采用了最近鄰域的數(shù)學(xué)模型。經(jīng)過(guò)論證，最近鄰域在數(shù)學(xué)本質(zhì)上等價(jià)于吸引因子的作用。

初步統(tǒng)一傳統(tǒng)學(xué)習(xí)矢量量化理論的數(shù)學(xué)模型。14三、理論創(chuàng)新（FRLVQ）(續(xù))排斥學(xué)習(xí)因子

K-means考慮了訓(xùn)練矢量和最近碼字之間的吸引因子；FKM算法考慮的是訓(xùn)練矢量與每個(gè)碼字之間的模糊吸引因子（距離較近的碼字擁有較大的吸引因子）。因?yàn)檫@兩種方法都只考慮了吸引因子的影響，所以約束了最優(yōu)解的尋解空間。排斥學(xué)習(xí)因子的引入，極大地釋放了吸引因子對(duì)最優(yōu)解的尋解空間的約束。

15強(qiáng)化學(xué)習(xí):學(xué)習(xí)因子y1y2xi(wi)y1y2(xi)wiI:吸引因子II:排斥因子γ1γwγ2η1ηwη216強(qiáng)化學(xué)習(xí):碼字移動(dòng)示意圖y1y2y1y2xi(wi)(xi)wiI:來(lái)自Xi的吸引II:來(lái)自Wi的排斥17三、理論創(chuàng)新（FRLVQ）(續(xù))FRLVQ與模擬退火、遺傳算法的比較傳統(tǒng)的模擬退火、遺傳算法等技術(shù)是通過(guò)引入隨機(jī)擾動(dòng)，擴(kuò)大了尋解空間，但缺點(diǎn)是收斂速度慢，參數(shù)數(shù)量多，參數(shù)選擇對(duì)結(jié)果敏感。FRLVQ沒(méi)有采用引入隨機(jī)擾動(dòng)的方法，而是準(zhǔn)確地確定了每個(gè)碼字的最佳移動(dòng)方向，從而使整體碼書(shū)向全局最優(yōu)解靠近。優(yōu)點(diǎn)是迭代次數(shù)少，收斂速度快，只有兩個(gè)參數(shù)需設(shè)置，同時(shí)參數(shù)有較大的選擇空間，對(duì)結(jié)果不敏感。18三、理論創(chuàng)新（FRLVQ）(續(xù))FRLVQ的優(yōu)越性能在相同的壓縮比例下，F(xiàn)KM算法的性能是傳統(tǒng)算法中最優(yōu)的（與發(fā)表在國(guó)際期刊的文章的實(shí)驗(yàn)結(jié)果一致）；而FRLVQ算法始終穩(wěn)定地取得顯著優(yōu)于FKM的性能，達(dá)到了國(guó)際最高水平。

相關(guān)的研究成果已經(jīng)陸續(xù)發(fā)表于ICASSP2003學(xué)會(huì)以及國(guó)際著名的信號(hào)處理領(lǐng)域?qū)W術(shù)期刊——IEEProc.-Vis.ImageSignalProcessing和SignalProcessing，獲得了國(guó)際同行的認(rèn)可。19三、理論創(chuàng)新（FRLVQ）(續(xù))FRLVQ的優(yōu)越性能20原圖K-meansFKMFRLVQ21三、理論創(chuàng)新（FRLVQ）(續(xù))FRLVQ理論的提出是國(guó)際矢量量化研究領(lǐng)域的一次理論創(chuàng)新和突破

22三、理論創(chuàng)新（蟻群算法）2.基于蟻群算法的矢量量化蟻群算法是一種新型的模擬進(jìn)化算法，屬于仿生信號(hào)處理的一個(gè)分支，其理論研究與應(yīng)用領(lǐng)域均有待進(jìn)一步深入與拓展。

23三、理論創(chuàng)新（蟻群算法）(續(xù))本項(xiàng)目在國(guó)際上首次將蟻群算法應(yīng)用于矢量量化的碼書(shū)設(shè)計(jì)中，創(chuàng)造性地利用人工蟻群系統(tǒng)中螞蟻通過(guò)信息素留存尋找最優(yōu)路徑的機(jī)制，結(jié)合單只螞蟻通過(guò)拾起、放下物體從而使得物體聚堆的行為模型，合理設(shè)計(jì)放下概率、禁忌列表以及信息素更新方式，從而得到性能較好的碼書(shū)。

24三、理論創(chuàng)新（蟻群算法）(續(xù))

在矢量量化研究領(lǐng)域，進(jìn)一步深入結(jié)合仿生信號(hào)處理，推動(dòng)了該領(lǐng)域的發(fā)展。在國(guó)際上，本項(xiàng)目已經(jīng)率先在該方面作出了卓有成效的創(chuàng)新性探索。

25三、理論創(chuàng)新（快速模擬退火）3.快速模擬退火矢量量化

在國(guó)際上，首次提出了一種快速模擬退火矢量量化圖象編碼算法，將模擬退火技術(shù)與K-means算法有機(jī)結(jié)合，通過(guò)對(duì)K-means算法中的空胞腔碼書(shū)進(jìn)行適當(dāng)處理，并設(shè)置適當(dāng)參數(shù)使K-means與模擬退火交替進(jìn)行，降低計(jì)算量和進(jìn)一步提高碼書(shū)初始化的性能。

26三、理論創(chuàng)新（矢量量化攻擊)

4.第二代智能數(shù)字水印的矢量量化攻擊

本項(xiàng)目組在國(guó)內(nèi)率先開(kāi)展了第二代智能數(shù)字水印的研究工作，并且取得卓有成效的成果。開(kāi)拓性地將矢量量化應(yīng)用到第二代智能數(shù)字水印研究中，在壓縮圖象的版權(quán)保護(hù)中首次系統(tǒng)地引入矢量量化的攻擊分析，并將之結(jié)合到Stirmark軟件中。

矢量量化攻擊的引入，充分考慮了目前的國(guó)際圖象壓縮標(biāo)準(zhǔn)，并且能夠兼容今后這些國(guó)際標(biāo)準(zhǔn)的拓展，具有較強(qiáng)的理論價(jià)值和應(yīng)用價(jià)值。

27四、理論成果

本項(xiàng)目在以下幾個(gè)方面取得了具有國(guó)際領(lǐng)先水平的、開(kāi)拓性的研究成果：1．在國(guó)際上，首次提出了“強(qiáng)化學(xué)習(xí)”的學(xué)習(xí)機(jī)理。創(chuàng)造性引入了吸引和排斥兩類(lèi)學(xué)習(xí)因子，前者初步統(tǒng)一了傳統(tǒng)學(xué)習(xí)矢量量化的數(shù)學(xué)模型，后者能夠有效地釋放對(duì)碼書(shū)最優(yōu)解的尋解空間的約束。學(xué)習(xí)矢量量化理論的研究因此從傳統(tǒng)的K-means和FKM算法發(fā)展到一個(gè)全新的階段：模糊強(qiáng)化學(xué)習(xí)矢量量化（FRLVQ）。與各種文獻(xiàn)中已公開(kāi)發(fā)表的算法相比，F(xiàn)RLVQ的性能顯著優(yōu)于目前圖像壓縮領(lǐng)域中性能最佳的矢量量化算法——FKM，達(dá)到了國(guó)際領(lǐng)先水平,取得了重大的理論突破。28四、理論成果（續(xù)）2．在國(guó)際上，開(kāi)拓性地在矢量量化領(lǐng)域引入了仿生信號(hào)處理，創(chuàng)造性地提出了一種基于蟻群算法的矢量量化的碼書(shū)設(shè)計(jì)算法，有效改善了譯碼圖象的方格效應(yīng)。

3．在國(guó)際上，首次提出了一種快速模擬退火矢量量化算法，與傳統(tǒng)的K-means算法相比，減少了計(jì)算量，提高了碼書(shū)性能和收斂速度。4．在國(guó)際上，開(kāi)拓性地將矢量量化應(yīng)用到第二代智能數(shù)字水印研究中，在壓縮圖象的版權(quán)保護(hù)中首次系統(tǒng)地引入矢量量化的攻擊分析。

29五、論文成果

本項(xiàng)目共發(fā)表學(xué)術(shù)論文31篇。其中國(guó)際刊物8篇，國(guó)內(nèi)權(quán)威刊物15篇，國(guó)際學(xué)術(shù)會(huì)議8篇。論文收錄情況

檢索名稱(chēng)已經(jīng)收錄數(shù)目SCI8EI21ISTP830五、論文成果（續(xù)）國(guó)際學(xué)術(shù)期刊名稱(chēng)

發(fā)表論文數(shù)目

IEEProc.VisualImageSignalProcessing

1SignalProcessing

1ElectronicsLetters

1DynamicsOfContinuousDiscreteAndImpulsiveSystems

1Computers&MathematicsWithApplications1ChineseJournalofElectronics

331五、論文成果（續(xù)）國(guó)內(nèi)權(quán)威期刊名稱(chēng)

發(fā)表論文數(shù)目

電子學(xué)報(bào)4計(jì)算機(jī)學(xué)報(bào)

1信號(hào)處理

2通信學(xué)報(bào)1電子科學(xué)學(xué)刊（英文版）

2模式識(shí)別1系統(tǒng)工程與電子技術(shù)432六、項(xiàng)目展望FRLVQ理論的應(yīng)用領(lǐng)域有以下幾個(gè)方面：運(yùn)動(dòng)圖象壓縮

FRLVQ能準(zhǔn)確地捕捉到靜止圖象中邊緣信息豐富的圖象分塊，這一點(diǎn)與視頻圖象壓縮機(jī)理是一致的。人眼總是對(duì)視頻圖象中的邊緣信號(hào)比較敏感，如果這一部分得到了較好的表征，那么對(duì)其整體的效果就會(huì)有極大的改善。聚類(lèi)分析和模式識(shí)別矢量量化技術(shù)源于聚類(lèi)分析，其研究成果也可以推動(dòng)聚類(lèi)分析的發(fā)展。FRLVQ非常適合于用來(lái)分析球狀分布的數(shù)據(jù)。在生物醫(yī)學(xué)、大型經(jīng)濟(jì)分析與預(yù)測(cè)的實(shí)際運(yùn)用中都會(huì)帶來(lái)較大的理論和經(jīng)濟(jì)利益。神經(jīng)網(wǎng)絡(luò)的研究

FRLVQ可以進(jìn)一步發(fā)展成為一種新的競(jìng)爭(zhēng)學(xué)習(xí)模型。33六、項(xiàng)目展望（續(xù)）本項(xiàng)目對(duì)蟻群算法的初步研究成果，可以應(yīng)用于其它聚類(lèi)分析，對(duì)于仿生模式識(shí)別領(lǐng)域的理論研究具有重要的學(xué)術(shù)價(jià)值。本項(xiàng)目還將進(jìn)一步研究具有群體智能的仿生信號(hào)處理，譬如粒子群優(yōu)化算法（ParticleSwarmOptimization）。這些工作對(duì)于推動(dòng)國(guó)內(nèi)的仿生信號(hào)處理和仿生模式識(shí)別，具有重大的理論價(jià)值。

34七、粒子群優(yōu)化算法PSO算法是源于大自然中生物世界的仿生類(lèi)算法。PSO算法是一種進(jìn)化計(jì)算技術(shù)(evolutionarycomputation)，由Eberhart博士和Kennedy博士發(fā)明。源于對(duì)鳥(niǎo)群捕食的行為研究同遺傳算法類(lèi)似，是一種基于疊代的優(yōu)化工具。系統(tǒng)初始化為一組隨機(jī)解，通過(guò)疊代搜尋最優(yōu)值。但是并沒(méi)有遺傳算法中的交叉以及變異運(yùn)算，而是粒子在解空間追隨最優(yōu)的粒子進(jìn)行搜索。

35七、粒子群優(yōu)化算法(續(xù))1.建立基于粒子群優(yōu)化算法的矢量量化圖象壓縮編碼模型，認(rèn)識(shí)和掌握其內(nèi)在機(jī)理和本質(zhì)特性；2．由于國(guó)際上的粒子群優(yōu)化算法研究主要偏重于純數(shù)學(xué)理論研究，在工程上的應(yīng)用研究鮮見(jiàn)報(bào)道，所以必須探索粒子群優(yōu)化算法在矢量量化中如何應(yīng)用的數(shù)學(xué)模型；研究工作36七、粒子群優(yōu)化算法(續(xù))3．分別探討如何利用粒子群優(yōu)化算法解決矢量量化中的碼書(shū)初始化、碼書(shū)學(xué)習(xí)矢量超球體收縮和碼書(shū)仿生優(yōu)化聚類(lèi)問(wèn)題，進(jìn)一步完善基于矢量量化的圖象編碼統(tǒng)一模型；4．為了提高矢量量化收斂速度，需要修改粒子群原模型，建立基于粒子群的矢量超