總結(jié)有限無線信道資源下移動(dòng)視頻高效壓縮

報(bào)告基本信息1.有限的無線信道資源下的移動(dòng)高效壓胡瑞敏，大學(xué)3.4.5.6.代價(jià)的技術(shù)細(xì)節(jié)的微調(diào)，進(jìn)一步提升的空間有限。為了克服以上，針對(duì)移動(dòng)通信，現(xiàn)現(xiàn)有編碼框架對(duì)圖像中的紋理區(qū)域壓縮效率不高是制約其編碼效率提高的重要因一。HVS器很難達(dá)到的效果：在不改變的質(zhì)量前提下，進(jìn)一步減小編碼碼率。移動(dòng)，編碼，紋理掩蔽效應(yīng)，最小可察覺失真，人眼視覺機(jī)項(xiàng)目（課題）項(xiàng)目（課題）合作單位（5家中代價(jià)的技術(shù)細(xì)節(jié)的微調(diào)，進(jìn)一步提升的空間有限。為了克服以上，針對(duì)移動(dòng)通信，現(xiàn)現(xiàn)有編碼框架對(duì)圖像中的紋理區(qū)域壓縮效率不高是制約其編碼效率提高的重要因一。的視覺特性，研究有限的無線信道資源下的移動(dòng)高效壓縮技術(shù)?；贘ND建模的HVS的各類視覺特性來建立感知誤差閾值——最小可覺察失真用來去除視覺感知冗余。該方法可以實(shí)現(xiàn)傳統(tǒng)編很難達(dá)到的效果：在不改變的質(zhì)量前提下，進(jìn)一步減小編碼碼率ThetraditionalhybridcodingtechniquewhichbasedonShannoninformationtheorycanonlyremovedataredundancy,whileignoringthevisionredundancy.Thedevelopmentofthecodingtechnicalframeworkencounteredbottlenecknow,codingefficiencydependsonthecomputationalcomplexitygreatlyincreased.Inorderto ethesechallenges,formobilecommunication,needtoexplorenewencodingmethods.Thisprojectysesallkindsofimagecontentfeatures(suchascolor,motion,texture),foundthattheexistingcodingframecompressionefficiencyoftextureregionsintheimageisnothighisoneoftheimportantfactorstorestrictthecodingefficiencyimproving.Thetexturemaskingeffectbetweentextureregions,therebyreducingthehumansensitivitytotexture,andthisfeaturecanimprovethecompressionefficiencyofthetextureregion.Humanvisionsystemwithvisualacuity,maskingeffectandselectiveattentionmechanismandothercharacteristics,canbedirectlyorindirectlyusedforimprovinginformationprocessing.Therefore,thisprojecttakingfulladvantageofhumanvisualproperties,toresearchmobilecodingtechnologybasedonvisioncharacteristics.codingbasedonJNDmodelingthroughvariousvisualcharacteristicsofHVStobuildperceptualerrorthreshold--MinimumperceptibledistortionbasedonJND,whichcandistinguishthehumaneyecanperceivethesignalandcannotbeperceived,onthisbasis,throughacertainmethodtoremovethevisualperceptualredundancy.Thismethodcanachievethebettereffectwhichcomparedtoconventionalencoder:Inthecaseofwithoutreducethe subjectivequality,furtherreducingthe codingbiterate.引 研究背景和意 研究背 研究意 關(guān)鍵術(shù) 研究范 研究目 研究思路和總體方 主 研究現(xiàn) 國際/國內(nèi)標(biāo)準(zhǔn)中的技術(shù)需求描 國內(nèi)外技術(shù)研究現(xiàn) 研究方 研究?jī)?nèi) 基于紋理合成的幀內(nèi)幀間預(yù)測(cè)技 基于視覺中心凹的最小可察覺失真濾波編 研究過程（關(guān)鍵算法 研究結(jié) 實(shí)驗(yàn)環(huán)境搭 測(cè)試標(biāo)準(zhǔn)和實(shí)驗(yàn)方 實(shí)驗(yàn)結(jié) 結(jié) 研究成果的作用、影響、應(yīng)用前 創(chuàng)新 研究成果統(tǒng) 驗(yàn)證方 應(yīng)用方 研究中的問題、經(jīng)驗(yàn)和建 參考文 圖12009-2013年中國市場(chǎng)規(guī) 圖22009-2013年中國用戶規(guī) 圖32010-2015年全球月移動(dòng)流 圖4課題研究總體技術(shù)路 圖5感光細(xì)胞分布圖及場(chǎng)景到視網(wǎng)膜投影示意 圖6功能框 圖7經(jīng)過拉斯金字塔三級(jí)分解后的圖像計(jì)算過 圖8基于圖像的幀內(nèi)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編 圖9基于圖像的幀內(nèi)模板匹配預(yù)測(cè)編 圖10基于動(dòng)態(tài)紋理模型的虛擬幀預(yù) 圖12驗(yàn)證方案示意 圖13高效編碼應(yīng) 表1本編碼方法的平均增 表2本編碼方法的平均增 表3TheBitratesReductionandSubjectiveQualityEvaluation 引。3G3G時(shí)代，以移動(dòng)點(diǎn)播、移動(dòng)等為代表的移動(dòng)多業(yè)務(wù)最具發(fā)展前景承載和創(chuàng)新多業(yè)務(wù)，市場(chǎng)發(fā)展?jié)摿薮?。然而原始?shù)據(jù)量巨大，如何通過網(wǎng)絡(luò)完成不同設(shè)備之間的并非易事。傳統(tǒng)的編碼標(biāo)準(zhǔn)H.264/AVC被廣泛應(yīng)用于數(shù)字電視、流媒體傳輸、DVD、等領(lǐng)域。但在3G環(huán)境下，妨礙移動(dòng)傳輸?shù)膸讉€(gè)根本性因素并沒有在移動(dòng)通信領(lǐng)域著有限的無線電頻譜資源不穩(wěn)定的無線信道環(huán)境、資源受限的移動(dòng)終端、受制于人的技術(shù)專利狀況等四個(gè)方面的巨大。傳統(tǒng)的基于香。利用人眼的視覺特性，研究基于視覺特性的移動(dòng)高效編碼技術(shù)?；贘ND建模的質(zhì)量前提下，進(jìn)一步減小編碼碼率。具體研究包括以下內(nèi)容基于視覺中心凹的最小可察覺失真濾波編碼：應(yīng)用本方法建立頻域Foveated模型，搭建基于FoveatedJND的編碼框架，可顯著降低編碼碼率研究背景和意研究背移動(dòng)業(yè)務(wù)飛速發(fā)3G時(shí)代，3G步增強(qiáng),驅(qū)動(dòng)移動(dòng)通信業(yè)進(jìn)入新一輪增長(zhǎng),而增值業(yè)務(wù)將成為其最主要的收入增長(zhǎng)點(diǎn)。據(jù)原信息預(yù)測(cè),3G時(shí)代增值業(yè)務(wù)帶來的收入將達(dá)到或超過運(yùn)營商總收入的50%。業(yè)務(wù)機(jī)音樂等為代表的移動(dòng)多業(yè)務(wù)最具發(fā)展前景，將成為未來3G業(yè)務(wù)的主導(dǎo)。）承載和創(chuàng)新多業(yè)務(wù)，市場(chǎng)發(fā)展?jié)摿薮螅娦胚\(yùn)營商、傳統(tǒng)廣電和互聯(lián)網(wǎng)企業(yè)競(jìng)爭(zhēng)日趨激烈國內(nèi)著名專業(yè)機(jī)構(gòu)艾瑞咨（iResearch報(bào)告稱，2013年中國市場(chǎng)規(guī)模將達(dá)到63.2億元，中國用戶規(guī)模將達(dá)到2.41億人。）圖12009-2013年中國市場(chǎng)規(guī)圖22009-2013年中國用戶規(guī)艾瑞咨詢(iResearch)根據(jù)Currentysis報(bào)告數(shù)據(jù)整理發(fā)現(xiàn)，2010年至2015期間，全球移動(dòng)月瀏覽量將保持穩(wěn)定增長(zhǎng)的態(tài)勢(shì)，盡管增長(zhǎng)速度在2011年之后有所回落，但同比增長(zhǎng)率均保持在50%以上，預(yù)計(jì)到2015年，移動(dòng)月瀏覽量將達(dá)到4648千萬億字節(jié)普及。2011年全球智能的普及率已接近11%，并將繼續(xù)擴(kuò)大。2、移動(dòng)互聯(lián)網(wǎng)的壯大，很大程度上決定了移動(dòng)互聯(lián)網(wǎng)的巨大增長(zhǎng)空間。同時(shí)，移動(dòng)應(yīng)用創(chuàng)新不斷應(yīng)用日趨多樣化，必將吸引的互聯(lián)網(wǎng)用戶對(duì)移動(dòng)的關(guān)注。，巨

圖32010-2015年全球月移動(dòng)流H.264/AVC作為目前編碼效率最高的國際通用編碼標(biāo)準(zhǔn)被廣泛應(yīng)用于數(shù)字電視、流傳輸、DVD、等領(lǐng)域。但在3G環(huán)中“無線的資源是有限的。最為突出的四大如下有更高的數(shù)據(jù)率和更大的系統(tǒng)容量，但是通信帶寬的增長(zhǎng)跟不上業(yè)務(wù)的增長(zhǎng)。這就要求流傳輸系統(tǒng)在對(duì)流進(jìn)行編碼時(shí)，要有較高的壓縮效率，尤其對(duì)編碼更是如此耗大量的能源這一大大制約了移動(dòng)通信業(yè)務(wù)的發(fā)展因而設(shè)計(jì)低能耗的壓縮算法，受制于人的技術(shù)專利狀長(zhǎng)期以來信源編碼技術(shù)昂貴的專利費(fèi)用成為產(chǎn)業(yè)，AVS突破了部分混合編碼有完全被攻克。況且，ITU和MPEG在下一代標(biāo)準(zhǔn)上的進(jìn)展已經(jīng)遠(yuǎn)遠(yuǎn)超前于我國的AVS2，稍有不慎，AVS剛剛追趕上H264的機(jī)會(huì)又會(huì)喪失，重新陷入國外專利的局面。有大的提升空間。為了克服以上，針對(duì)移動(dòng)通信，需要探索新的編碼途徑。對(duì)圖像中的紋理區(qū)域壓縮效率不高，成為制約其編碼效率提高的重要因一。視覺認(rèn)知心基于ND建模的編碼通過探索人眼視覺系統(tǒng)S的各類視覺特性來建立感知誤閾值——最小可覺察失真D，從而可以區(qū)分人眼能夠感知到和不能感知到的信號(hào)，在此基礎(chǔ)上通過一定的方法可以用來去除視覺感知冗余該方法可以實(shí)現(xiàn)傳統(tǒng)編很難到的效果：在不改變的質(zhì)量前提下，進(jìn)一步的減小編碼碼率。研究意本課題的研究工作內(nèi)容簡(jiǎn)針對(duì)上述，我們主要研究如下內(nèi)容碼效率提高的重要因一。利用H.264/AVC對(duì)flowergarden序列進(jìn)行編碼的結(jié)果表明，當(dāng)紋理區(qū)域比較大時(shí)，紋理區(qū)域其所占碼率可能會(huì)占總碼率的60%以上，因此，本課題從提高紋理區(qū)域的壓縮效率為突破口，引入紋理模型，建立了基于紋理的幀內(nèi)預(yù)測(cè)編碼技0.7dBFoveatedJNDFoveatedJND的編碼框架，可顯著降低編碼碼率。在編軟件及設(shè)備研發(fā)方面移動(dòng)終端處理器相對(duì)臺(tái)式機(jī)或?qū)I(yè)設(shè)備在處理能力上的不足，以及處理器功耗約束性問題已成為國際上限制移動(dòng)寬帶業(yè)務(wù)發(fā)展的主要在多應(yīng)用系統(tǒng)平臺(tái)方面，隨著數(shù)據(jù)量的急劇增大，在復(fù)雜的網(wǎng)絡(luò)條件下，構(gòu)建穩(wěn)健的海量數(shù)據(jù)與分發(fā)系統(tǒng)成為一個(gè)待解決的關(guān)鍵問題。本課題采用優(yōu)化的P2P技術(shù)，傳輸或分發(fā)。目前的P2P技術(shù)基本上是用戶結(jié)點(diǎn)越多可用的資源也越多，而在由于移動(dòng)設(shè)備的計(jì)算能力與帶寬的限制，由用戶做P2P轉(zhuǎn)發(fā)的成本是難以接受的。本課題采用數(shù)據(jù)中P2PP2P的優(yōu)點(diǎn)，尤其是在傳輸結(jié)點(diǎn)數(shù)較少的情況下，仍然能夠本課題的研究意，有自主的專利***項(xiàng)高水平***篇；創(chuàng)造了含、移動(dòng)多搜索，***S*****案，采納率***；；提交編碼標(biāo)準(zhǔn)的算法及技術(shù)優(yōu)化方案的提案10項(xiàng)；提交專利15項(xiàng)國際152項(xiàng)；；發(fā)了高性能的編器，包括移動(dòng)平臺(tái)軟件編器1套、硬件編和器各11個(gè)。我國數(shù)字編技術(shù)的研究水平增強(qiáng)了我國在高速成長(zhǎng)的全球移動(dòng)產(chǎn)業(yè)中的關(guān)鍵術(shù)研究范動(dòng)環(huán)境下的服務(wù)質(zhì)量。②“編軟件及設(shè)備研發(fā)針對(duì)多運(yùn)算巨大的資源體業(yè)務(wù)中編碼與適配環(huán)節(jié)的軟硬件產(chǎn)品為業(yè)務(wù)驗(yàn)證與應(yīng)用推廣提品方案③“型移動(dòng)多應(yīng)用系統(tǒng)平臺(tái)研發(fā)，已有的平臺(tái)系統(tǒng)難以適應(yīng)移動(dòng)互聯(lián)網(wǎng)開放的業(yè)務(wù)模式，創(chuàng)新與發(fā)展。④“寬帶移動(dòng)多業(yè)務(wù)驗(yàn)證，鑒于新業(yè)務(wù)的引進(jìn)存在著系統(tǒng)穩(wěn)定性、兼容研究目動(dòng)網(wǎng)絡(luò)環(huán)境的編理論、技術(shù)及解決方案的總體目標(biāo)，在技術(shù)支撐下開發(fā)面向TD-SCDMA等移動(dòng)環(huán)境的軟硬件編產(chǎn)品，建設(shè)移動(dòng)流點(diǎn)播驗(yàn)證系統(tǒng)，實(shí)施上述成我國在該領(lǐng)域的競(jìng)爭(zhēng)力，取得我國在相關(guān)標(biāo)準(zhǔn)領(lǐng)域的話語權(quán)。具體而言：，在業(yè)務(wù)模式方面創(chuàng)造含移動(dòng)多搜索在內(nèi)的至少3新的業(yè)務(wù)形式在網(wǎng)絡(luò)環(huán)境方面提出適應(yīng)移動(dòng)異構(gòu)網(wǎng)絡(luò)大規(guī)模流業(yè)務(wù)的解決方案如多功能轉(zhuǎn)碼方案基于覆蓋網(wǎng)絡(luò)的平臺(tái)體系架構(gòu)；在技術(shù)研究方面，在技術(shù)、差錯(cuò)恢復(fù)、轉(zhuǎn)碼、超分辨率重建等領(lǐng)域產(chǎn)生具有自主的專利不少于***項(xiàng)高水平***篇在標(biāo)準(zhǔn)化研究方面，完成標(biāo)準(zhǔn)建議文稿**篇，其中參與***S標(biāo)準(zhǔn)的升級(jí)，參與相關(guān)標(biāo)準(zhǔn)的修訂***項(xiàng)，向國內(nèi)外標(biāo)準(zhǔn)化組織提交***項(xiàng)以上的技術(shù)提案，預(yù)期采納率**%；業(yè)務(wù)驗(yàn)證和示范等方面為滿足業(yè)務(wù)驗(yàn)證的需要開發(fā)高性能的編器包括移動(dòng)平臺(tái)軟件編，軟件一套，建設(shè)移動(dòng)網(wǎng)絡(luò)流業(yè)務(wù)驗(yàn)證系統(tǒng)1個(gè)。研究思路和總體方，整個(gè)課題包含四個(gè)大的研究?jī)?nèi)容：移動(dòng)編碼及其性能優(yōu)化的關(guān)鍵技術(shù)研究編，用這些技術(shù)和產(chǎn)品搭建移動(dòng)流業(yè)務(wù)驗(yàn)證系統(tǒng)來驗(yàn)證技術(shù)的可用性、先進(jìn)性。、術(shù)、標(biāo)準(zhǔn)的研究現(xiàn)狀及其存在的不足，然后進(jìn)行移動(dòng)多業(yè)務(wù)的需求和無線網(wǎng)絡(luò)、無線信與任務(wù)進(jìn)度安排。在具體的研究過程采用理論和實(shí)驗(yàn)相結(jié)合與實(shí)際環(huán)境測(cè)試相結(jié)合的方式逐步推進(jìn)。在確保理論推導(dǎo)成功后進(jìn)行實(shí)驗(yàn)驗(yàn)證，然后在仿真系統(tǒng)反復(fù)試驗(yàn)完成后進(jìn)入現(xiàn)場(chǎng)測(cè)試根據(jù)現(xiàn)場(chǎng)出現(xiàn)的具體情況以及國內(nèi)外的研究成果進(jìn)行反復(fù)修改調(diào)試等工作直到關(guān)鍵技術(shù)指標(biāo)完全達(dá)到為止在業(yè)務(wù)驗(yàn)證的流點(diǎn)播系統(tǒng)成功投入運(yùn)行后，來的問題，繼續(xù)修改和完善技術(shù)方案，開展AVS標(biāo)準(zhǔn)的升級(jí)、完善以及相關(guān)標(biāo)準(zhǔn)的修訂工作，形成高效實(shí)用的移動(dòng)多編技術(shù)標(biāo)準(zhǔn)和系統(tǒng)解決方案，把本課題的研究成果進(jìn)行、4主研究現(xiàn)國際/國內(nèi)標(biāo)準(zhǔn)中的技術(shù)需求描（MMS還有待進(jìn)一步提高，使得新業(yè)務(wù)的引進(jìn)受質(zhì)量不佳等問題。針對(duì)進(jìn)一步提升壓縮效率的需求，VCEG和MPEG兩大國際標(biāo)準(zhǔn)組織再次進(jìn)行合作，建立了編碼聯(lián)合工作組JCT-VC（JointCollaborativeTeamon Coding，年1月正式開始了下一代高效編碼標(biāo)準(zhǔn)HEVC（HighEfficiency 工作。HEVC標(biāo)準(zhǔn)面對(duì)甚至清應(yīng)用的家庭影院等多設(shè)備、移動(dòng)寬帶通信終端這兩大應(yīng)用前景，提出了對(duì)應(yīng)的技術(shù)指標(biāo)：壓縮效率要比現(xiàn)有H.264標(biāo)準(zhǔn)有顯著提高，圖像分辨率至少提高4倍，幀率至少提高2倍，支持從YCbCr4:2:0到Y(jié)CbCr4:4:4的采樣數(shù)據(jù)格高5倍。HEVC標(biāo)準(zhǔn)設(shè)定的更大的數(shù)據(jù)量、更快的處理速度、更高的壓縮效率的技術(shù)指標(biāo)，對(duì)于現(xiàn)有的多技術(shù)而言將是一個(gè)巨大基于香農(nóng)信息論的編碼技術(shù)著如何AVS是我國具備自主知識(shí)的第二代信源編碼標(biāo)準(zhǔn)。AVS標(biāo)準(zhǔn)包括系統(tǒng)、、音頻、數(shù)字管理等四個(gè)主要技術(shù)標(biāo)準(zhǔn)和一致性測(cè)試等支撐標(biāo)準(zhǔn)，主要面向晰度和高質(zhì)（1）MPEG-22H.264（2）復(fù)雜度低，算H.264（3）利模式簡(jiǎn)單，費(fèi)用低長(zhǎng)期以來信源編碼技術(shù)昂貴的專利費(fèi)用成為產(chǎn)業(yè)，AVS突破了部分混合編碼有完全被攻克。況且，ITU和MPEG在下一代標(biāo)準(zhǔn)上的進(jìn)展已經(jīng)遠(yuǎn)遠(yuǎn)超前于我國的AVS2，稍有不慎，AVS剛剛追趕上H264的機(jī)會(huì)就會(huì)喪失，可能重新陷入國外專利的局面。國內(nèi)外技術(shù)研究基于紋理分析與合成的編碼技基于紋理分析合成的編碼主要是對(duì)中的視覺感知上細(xì)節(jié)無關(guān)的紋理區(qū)域采用；要負(fù)責(zé)分割出紋理區(qū)域，同時(shí)為紋理合成模塊提供需要的邊信息端的紋理合成模塊；基于Gabor濾波器的方法。基于Gabor濾波器的方法由于可以通過設(shè)計(jì)不同尺寸、方向的濾紋理合成模塊是在樣本圖像有限并已知的情況下生成與其近似但又不是原樣本的Graph-cut的紋理合成方法和基于反向紋理合成方法[1]。Doretto等[2]動(dòng)態(tài)紋理模型，XinLiSTALL模型[3]等?；贘ND模型的編碼技最小可察覺失真（Just-noticeabledifference，JND）指人眼所不能感知到的圖像最大失20年的研究熱點(diǎn)。JND模型一般考慮人眼的對(duì)比敏感度，亮度掩蔽效應(yīng)，紋理掩蔽效應(yīng)等因素。X.Zhang和ZhenyuWei分別提出了考慮空間域?qū)Ρ让舾卸龋╟ontrastsensitivityfunctionCSF）函數(shù)，局部背景的亮度掩蔽效應(yīng)和紋理掩蔽效應(yīng)的DCT域JND模型。針對(duì)序列，時(shí)間域的CSF函數(shù)也被納入JND模型中。在時(shí)空域CSF函數(shù)的模型之上，2006Jia考慮了本之上考慮了JND模型中運(yùn)動(dòng)特征的方向性進(jìn)一步提升了時(shí)域JND模型的準(zhǔn)確性XiaokangYang和Chun-ManMak分別在20052009JND模型在像素域和DCT域?qū)︻A(yù)測(cè)殘5JND膜的感光細(xì)胞并不是均勻分布的（5所示，視網(wǎng)膜的中心凹(Foveation)的感光細(xì)胞密JNDJND和FoveationFoveatedJND模型。2008MaJNDFoveation點(diǎn)。2009年ChenFoveatedJNDJND作為權(quán)值，調(diào)整失FoveatedJND作為掩蔽閾值的物理意義，碼率下降有限。另外，以上工作均為像素域的FoveatedJNDCSF特性，其準(zhǔn)確性也有限?？傊?，F(xiàn)oveatedJNDFoveatedJND的視頻編碼沒能充分利用頻域CSF特性，也沒有考慮到基于混合編碼框架的編碼的特點(diǎn)和確的，符合編碼特點(diǎn)的FoveatedJND模型成為進(jìn)一步定量描述和去除信號(hào)視覺冗余的研究方功能需功能框++量-幀內(nèi)測(cè)+++熵FF基于FF6相關(guān)設(shè)備及軟件框本技術(shù)方案基于H.264標(biāo)準(zhǔn)參考軟件JM為框架，在其基礎(chǔ)上集成了我們的算法，從而JM參考代碼框架。技術(shù)指H.264標(biāo)準(zhǔn)幀內(nèi)預(yù)測(cè)的編碼效率H.264PSNR0.7dB左右；H.264PSNR0.17dB左右；DCTFoveatedJNDFoveatedJND模型，搭建基于FoveatedJND的編碼框架，顯著降低編碼碼率。預(yù)計(jì)此方法在頻域的可察覺失真閾值模型中引入關(guān)注度因素，能建立更為精確和符合編碼特點(diǎn)的JND計(jì)算模型，結(jié)合此模型的編碼較傳統(tǒng)感知編碼方法可降低8%的碼率。DCTFoveatedJND的分級(jí)失真模型及在編碼中應(yīng)用，建立可用于視蔽機(jī)制的失真進(jìn)行分段定義，建立符合編碼特點(diǎn)的MSE形式的失真模型，在用于碼率控制后較傳統(tǒng)感知編碼方法可降低5%以上的碼率。研究?jī)?nèi)基于紋理合成的幀內(nèi)幀間預(yù)測(cè)技H.264/AVC編碼中，提高幀內(nèi)預(yù)測(cè)效率；針對(duì)現(xiàn)有幀間預(yù)測(cè)效率較低的問題，傳統(tǒng)基于圖像的新型幀內(nèi)預(yù)基于圖像的新型幀內(nèi)預(yù)測(cè)技術(shù)將計(jì)算機(jī)視覺領(lǐng)域的圖像模型引入編碼領(lǐng)對(duì)于時(shí)域相關(guān)性的挖掘，主要是利用前面已編/的重構(gòu)圖像作為參考圖像來進(jìn)行預(yù)測(cè)。基于視覺中心凹的最小可察覺失真濾波編傳統(tǒng)的基于像素域FoveatedJND的編碼沒能充分利用頻域CSF特性，也沒有考慮了編碼中預(yù)測(cè)變換編碼的特點(diǎn)是建立融合了多種視覺特性的完整感知編碼框架究基于FoveatedJND的編碼方法。本方法建立頻域FoveatedJND模型，搭建基于FoveatedJND的編碼框架，可顯著降低編研究過程（關(guān)鍵算法基于紋理合成的幀內(nèi)幀間預(yù)測(cè)技基于圖像的新型幀內(nèi)預(yù)測(cè)技圖像計(jì)圖像（Imageepitome）首先由N.Jojic和VincentCheung等提出，VincentCheung和N.Jojic的圖像模型將原始圖像分成若干組的矩形圖像片，在圖像生成模型的基礎(chǔ)上結(jié)合最大似然概率估計(jì)（MLE,umLikelihoodEstimate，利用期望最大化算（EM算法,ExpectationizationAlgorithm）的方法，計(jì)算出原始圖像或的圖像摘對(duì)原始圖像通過雙線性濾波后下采樣到圖像大小的圖像作為EM算法過程中z的初始7所示。圖7經(jīng)過拉斯金字塔三級(jí)分解后的圖像計(jì)算過基于圖像的幀內(nèi)預(yù)測(cè)編，在基于預(yù)測(cè)/變換的混合編碼過程中，如果已知了包含全局紋理和形狀信息的圖像，對(duì)于提高預(yù)測(cè)的精度具有非常重要的意義。正是基于此種考慮圖像，、89所示，具有一些共有的模塊，除了原有的幀內(nèi)預(yù)測(cè)編碼模塊以外，共有的模塊還包含鏡頭劃分鏡頭的圖像摘、①基于圖像的幀內(nèi)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編對(duì)于基于圖像的幀內(nèi)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼，在原有幀內(nèi)預(yù)測(cè)模式的基礎(chǔ)上，我們?cè)觯‥PIOME_PRED前塊在圖像中運(yùn)動(dòng)搜索到的最佳匹配塊塊，同時(shí)記錄下當(dāng)前塊在圖像中的運(yùn)動(dòng)矢圖8基于圖像的幀內(nèi)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編②基于圖像的幀內(nèi)模板匹配預(yù)測(cè)編對(duì)于8×8的幀內(nèi)預(yù)測(cè)塊采用在圖像中進(jìn)行運(yùn)動(dòng)搜索獲得當(dāng)前塊的預(yù)測(cè)，雖然通過4×44×44×4塊，并不新增加圖像DC預(yù)測(cè)模式。圖9基于圖像的幀內(nèi)模板匹配預(yù)測(cè)編基于圖像的幀內(nèi)模板匹配預(yù)測(cè)編碼的預(yù)測(cè)通過在圖像中匹配當(dāng)前塊的模（通4×4塊即為當(dāng)前塊的預(yù)測(cè)。匹配的準(zhǔn)則為模板的最小均方差，搜索獲得最佳的運(yùn)動(dòng)(dx,dy

)arg

(T(x,y)E(x(x,

,y

其中CT為“L型”模板T中的像素坐標(biāo)，E表示圖像，(dx,dy)為模板在圖像中以上兩種方法需要首先將待編碼的序列劃分為若干獨(dú)立的鏡頭，對(duì)每個(gè)鏡，分別計(jì)算出該鏡頭的圖像鏡頭的檢測(cè)目前已經(jīng)有多種經(jīng)典的檢測(cè)方法，如全，式中圖像采用無損編碼的方式進(jìn)行壓縮，這些方式包括JPEGLS、CALIC等方法。在性能方面，本編碼方法能顯著提升圖像的質(zhì)量，對(duì)于邊緣分明的圖像在相同碼率條件下，本方法圖像細(xì)節(jié)更豐富?；趧?dòng)態(tài)紋理的新型幀間預(yù)測(cè)傳統(tǒng)動(dòng)態(tài)紋理模型幀為處理單元用一個(gè)狀態(tài)轉(zhuǎn)移方程和一個(gè)輸出方程描述動(dòng)態(tài)x(t1Ax(t 其中：v(t~N(0Q),x(0)y(t)Cx(t)

ymeansymeansy(t的基本項(xiàng)；然后通過噪聲項(xiàng)v(t)的激勵(lì)，生成對(duì)應(yīng)的狀態(tài)轉(zhuǎn)移矩陣A和輸出矩陣C，最終得到y(tǒng)(t)。y(t)

其中：v(t)~N(0,Q),x(0)v(tA'Rnn,C'Rmn下面我們給出如何用前nn1記Y(y0, yn1)為前n幀圖像的亮度和色度值矩陣，每列中依次存放一幀中所YYUSV0令Chat=UXhatSVTx000Xhat0Xhat0 AhatXhatn1Xhatn2 其中Xhatn1為矩陣Xhat中2~n列的所有元素組成的矩陣，Xhatn2為矩陣Xhat 1~n1列的所有元素組成矩陣的廣義逆矩陣令VhatXhatn1AhatXhatn vv對(duì)Vhat進(jìn)行奇異值分解：VhatUSvvnBhatUn3Snn 其中：Un3為矩陣U中1~n2列的所有元素組成的矩陣，Sn3S中1~n2v Bhat矩陣的列數(shù)并賦值給變量len，并進(jìn)行n次迭代操作（t1~nXhattAhatXhatt1Bhat tYtChatX nn1幀序列，即Ynn基于以上的動(dòng)態(tài)紋理模型，其引入到H.264/AVC的幀間預(yù)測(cè)的參考幀緩沖區(qū)管（n≥2，設(shè)為5。利用動(dòng)態(tài)紋理模型生成出一幀虛擬圖像，將其替換這n幀參考圖像中距離當(dāng)前幀最遠(yuǎn)的一幀參考圖像，編/器從剩余的n-1幀真實(shí)參考圖像和這1幀虛擬圖像中進(jìn)行幀間+-F+-FN-++變量反量10反量基于視覺中心凹的最小可察覺失真濾波編碼技后結(jié)合局部圖像內(nèi)容的掩蔽特性，計(jì)算DCT域FoveatedJND閾值，并將其應(yīng)用在編碼型；基于關(guān)注度的FoveatedJND計(jì)算模型；基于FoveatedJND的編碼方法。視覺閾值的空域權(quán)值計(jì)算模當(dāng)圖像中只存在一個(gè)關(guān)注點(diǎn)的時(shí)候，根據(jù)ZhouWang的博士“ScalableFoveatedwij的計(jì)算方式如下：1(i/)1(i/)(j/22xy

2arctan

2RPichPich為圖像高度，RwijDCTxfyf為關(guān)注點(diǎn)的坐標(biāo)，V

(x(xx)2(yyffearctan 個(gè)關(guān)注點(diǎn)的作用

其中，p(mn)是關(guān)注點(diǎn)(m,n)被關(guān)注的概率，可以通過對(duì)關(guān)注度圖進(jìn)行統(tǒng)計(jì)得到。e(mnx,y是點(diǎn)(x,y)到關(guān)注點(diǎn)(m,n)e(mnx,y進(jìn)行平均，得到塊的偏心率e。e(i,j)的界限。e(i,j)F(we)

exp(wF(w,e)exp(w

eFoveatedJND計(jì)算模

FJND(x,y,t,w,e)JND(x,y,w,t)F(x,y,w,FJND(x,ytwe)表示在時(shí)間t上宏塊（x,y）wJND(xywtt上宏塊（x,y）wF(x,ywe表示宏塊（x,y）w的視覺閾值空域權(quán)值。本地掩蔽閾值的計(jì)算方法可以直接借鑒KingN.Ngan2008年在ICIP上的文章[25]中的視JND模型，此模型綜合考慮對(duì)比度掩蔽特性，亮度掩蔽特性，紋理掩蔽特性以及時(shí)TBasic(xyw是空域?qū)Ρ让舾卸乳撝?，F(xiàn)lum(xy是亮度對(duì)比敏感度因子，并按照百分比1將視覺關(guān)注度排在1SM(1SM(1的點(diǎn)ptype(i,j)

SMi,jSMe(i,j)，并對(duì)偏e(i,j)2選取e(i,j)。e(2基于FoveatedJND的預(yù)測(cè)編碼FoveatedJNDFoveatedJND用于頻域?yàn)V波

ifY(u,

FJND(u,

FoveatedJND的條件下，優(yōu)化預(yù)測(cè)編碼中的運(yùn)動(dòng)估計(jì)。在幀間MCOST(s,c)D(s,c)motionBit(MV其中，MCOST(s,c)是運(yùn)動(dòng)矢量的代價(jià)函數(shù)，motion是運(yùn)動(dòng)估計(jì)的拉格朗日系數(shù)，Bit(MV)是運(yùn)動(dòng)矢量MV所占用的比特位，D(s,c)則是失真度量。編將選擇使擬重新定義D(sc，以優(yōu)化幀間編碼。首先，得到預(yù)測(cè)殘差信號(hào)e，對(duì)eDCT變換，得到eEEJNDE(u,v)E(u,v)ifE(u,

FJND(u,0 0EjDCT的反變換，得到ej，最后求得ejSADSTDD(s研究結(jié)實(shí)驗(yàn)環(huán)境搭容量320G、顯示器為DellE1910HLCD顯示器。操作系統(tǒng)平臺(tái)為WindowsXP，編碼H.264JM12.4。測(cè)試標(biāo)準(zhǔn)和實(shí)驗(yàn)方20094MPEGm16463《下一代高效結(jié)果數(shù)據(jù)，然后統(tǒng)計(jì)對(duì)應(yīng)的PSNR值和碼率結(jié)果。其中，衡量技術(shù)性能的指標(biāo)使用PSNR性BDPSNR（dBBDBR（%VCEG-M33MPEGm16463的實(shí)驗(yàn)結(jié)基于紋理合成的幀內(nèi)幀間預(yù)測(cè)在H.264/AVC的參考模型JM12.4上，實(shí)現(xiàn)了基于反向紋理合成的幀內(nèi)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼，其中圖在編碼過程中直接采用H.264/AVC的I_PCM模式傳輸其像素值。與傳統(tǒng)的H.264/AVC幀內(nèi)編碼相比，在相同的碼率下，PSNR0.705dB。1序 本技術(shù)相比H.264標(biāo)準(zhǔn)增PSNR增加平均碼率節(jié)省平H.264/AVC多參考幀編碼相比，在相同的碼率下，PSNR0.17dB。2序 本技術(shù)相比H.264標(biāo)準(zhǔn)增PSNR增加平均碼率節(jié)省平基于視覺中心凹的最小可察覺失真濾波編從下表可以看出基于視覺中心凹的最小可察覺失真濾波編碼技術(shù)，在編碼質(zhì)量保H.26430%10%的碼率。3TheBitratesReductionandSubjectiveQualityEvaluationan1vs△an1vs△an2vsan1vs-1280x720.0r1920x1080----結(jié)研究成果的作用、影響、應(yīng)用前創(chuàng)新基于紋理合成的幀內(nèi)幀間預(yù)測(cè)的圖像，編碼塊的預(yù)測(cè)由圖像生成，并在此基礎(chǔ)上設(shè)計(jì)了兩種新的幀內(nèi)預(yù)測(cè)模式，H.264/AVC標(biāo)準(zhǔn)相比提高了幀內(nèi)預(yù)測(cè)的效率。過動(dòng)態(tài)紋理模型合成出一幀虛擬參考圖像，將其引入?yún)⒖紙D像列表中，和傳統(tǒng)H.264/AVC基于視覺中心凹的最小可察覺是真濾波編基于動(dòng)態(tài)紋理模型的虛擬參考QCIF0.06dB、WQVGA序列平均0.17dB的編碼圖像PSNR增益；在端提出一種幀級(jí)錯(cuò)誤掩蓋方法，相比基于運(yùn)動(dòng)矢量QCIF0.18dB、CIF0.16dB的PSNR增益。研究成果統(tǒng)：ChengdongLan,RuiminHu,ZhenHan,andZhongyuanWang,"Afacesuper-resolution ChengdongLan,RuiminHu,ZhenHan,andTaoLu,"FaceHallucinationwithShapeParametersProjectionConstraint,"inProc.ACMConf.Multimedia.(ACM-MM),2010,pp.883-886.HaoChen,RuiminHu,DanMao,andZhongyuanWang,"Anovelframeerrorconcealmentalgorithmbasedondynamictexturesynthesis,"inProc.IEEEConf.DataHaoChen,RuiminHu,ZhongyuanWang,andRuiZhong,"InterPredictionBasedonSpatio-TemporalAdaptiveLocalizedLearningModel,"inProc.IEEEConf.PictureYangXia,RuiminHu,ZhengkunHuang,andYinSu,"Anovelmethodforgenerationofmotionsaliency,"inProc.IEEEConf.ImageProcess.(ICIP),2010,pp.4685-4688.QijunWang,RuiminHu,andZhongyuanWang,"SpatiallyScalable OnHybridEpitomicResizing,"inProc.IEEEConf.DataCompression.(DCC),2010,pp.139-QijunWang,RuiminHu,ZhongyuanWang,andBoHang,"IntraCodingandRefreshBasedOn HaoChen,RuiminHu,DanMao,RuiZhong,andZhongyuanWang,"CodingUsing HaoChen,RuiminHu,iHu,andZhongyuanWang,"TemporalColorJustNoticeableDistortionModelandItsApplicationforCoding,"inProc.IEEEConf.Multimedia&YangXia,RuiminHu,andZhongyuanWang,"PerceptualCompressionbasedonDCT-FoveatedJNDModelmap,"inProc.IEEEConf.ImageandSignalYangXia,RuiminHu,andZhongyuanWang,"SalientMapExtractionbasedonMotionhistorymap,"inproc,IEEEConf.ImageandSignalProcessing.(CISP),2011,pp.427-430.HuangKebin,HuRuimin,HanZhen,andWangFeng,"Asuper-resolutionmethodbasedonlocalsparseandglobalgradient,"inProc.IEEEConf.ImageysisandSignalKebinHuang,RuiminHu,ZhenHan,TaoLu,andJunJunJiang"Afacesuper-resolutionmethodbasedonilluminationinvariantfeature,"inProc.IEEEConf.MultimediaJunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"ASuper-ResolutionMethodforLow-QualityFaceImagethroughRBF-PLSRegressionandNeighborEmbedding,"inProc.IEEEConf.Acoustics,Speech,andSignalProcessing,(ICASSP),2012,pp.1253-1256.JunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"SurveillanceFaceHallucinationviaVariableSelectionandManifoldLearning,"in Conf.CircuitsandSystems.(ISCAS),2012,pp.2681-2684.JunjunJiang,RuiminHu,ZhenHan,KebinHuang,andTaoLu,"EfficientSingleImageSuper-ResolutionviaGraphEmbedding,"inProc.IEEEConf.MultimediaandExpo.(ICME),2012,pJunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"Position-PatchBasedFaceHallucinationviaLocality-constrainedRepresentation,"inProc.IEEEConf.MultimediaandExpo.(ICME),2012,pp.212-217.JunjunJiang,RuiminHu,ZhenHan,KebinTaoLu"GraphDiscriminantysisonMulti-Manifold(GDAMM):ANovelSuper-ResolutionMethodforFaceRecognition,"in iHu,RuiminHu,ZhongyuanWang,MangDuan,andZhenHan,"LEASTSQUAREBASEDVIEWSYNTHESISPREDICTIONFORMULTI- Proc.IEEEPacific-RimConf.Multimedia.(PCM),2012.pp.241-RuiZhong,RuiminHu,YiShi，ZhongyuanWang,ZhenHan,andLuLiu,"JUSTNOTICEABLEDIFFERENCEFOR3DIMAGESWITHDEPTHSALIENCY,"inPros.IEEEPacific-RimConf.Multimedia.(PCM),2012.pp.414-ZhiqiangHou,RuiminHu,andZhongyuanWang,"ImprovementsofDynamicTextureSynthesisforCoding,"inProc.IEEEConf.PatternRecognition.(ICPR),2012,pp.3148-3ZhenHan,JunjunJiang,RuiminHu,TaoLu,andKebinHuang,"FaceImageSuper-ResolutionviaNearestFeatureLine,"inProc.ACMConf.Multimedia.(ACM-MM),2012,pp.769-772.QijunWang,RuiminHu,andZhongyuanWang,"IntracodingandRefreshwithCompression-OrientedEpitomicPriors,"IEEETrans.CircuitsandSystemsforiHu,RuiminHu,ZhongyuanWang,GeGao,MangDuan,andYanGong,"ADAPTIVELEARNINGBASEDVIEWSYNTHESISPREDICTIONFORMULTI-VIEWCODING,"JournalofSignalProcessingTaoLu,Ruimin1Hu,ChengdonLan,andZhenHan,"Facesuper-resolutionbased-onnon-negativematrixfactorization,"InternationalJournalofDigitalContentTechnologyandItsApplications,vol.5,no.4,2011,pp.82-87.ShangGao,Rui-MinHu,andGangTian,"UsingMulti-stepTransitionMatricesforCameraModelIdentification,"InternationalJournalofHybridInformationTaoLu,andRuiminHu,"FacehallucinationBasedonSampleSelectionBiasCorrection,"InternationalJournalofAdvancementsInComputing胡瑞敏,胡金暉,王中元,黃震坤.面向3G環(huán)境下的移動(dòng)編碼技術(shù).中國通王中元,胡瑞敏,常軍,鐘睿,韓鎮(zhèn).基于壓縮域的多路流混合方法.高技術(shù)通訊,22(1),pp42-47,2012.韓鎮(zhèn),胡瑞敏,陳皓,李明.一種基于精確度的降分辨率轉(zhuǎn)碼運(yùn)動(dòng)矢量合成算法.中國圖象圖形學(xué)報(bào),2010(01),pp.7-14.田綱,胡瑞敏,王中元.一種基于運(yùn)動(dòng)矢量分析的Meanshift目標(biāo)算法.中國圖象圖形劉瓊,胡瑞敏,韓鎮(zhèn).一種利用視覺掩蔽效應(yīng)的感區(qū)域編碼方法.中國圖象圖形學(xué)報(bào),15(6),pp.861-866.2010.胡金暉,胡瑞敏,王中元,,黃震坤.多視點(diǎn)與深度編碼技術(shù)研究綜述.電聲技術(shù),35(12),2011.基于時(shí)空鄰居信息的后向預(yù)測(cè)方