（信號與信息處理專業(yè)論文）基于fuzzy+sets的視頻幀內(nèi)差錯掩蓋技術(shù)研究.pdf

雨京郵電大學(xué)碩士研究生學(xué)位論文摘要 摘要 隨著視頻通信技術(shù)的發(fā)展 數(shù)字視頻在軍事應(yīng)用和人們的日常生活中都起著越來越重 要的作用 然而 數(shù)字視頻信號在傳輸過程中由于信道干擾等原因會出現(xiàn)突發(fā)性誤碼 使 得解碼終端出現(xiàn)差錯塊或丟失塊 最終導(dǎo)致視頻質(zhì)量下降 因此 除了采用糾錯編碼 遇 錯重傳等方法外 往往還可以在解碼端利用正確接收的信息恢復(fù)丟失的信息 這就是基于 解碼的差錯恢復(fù)方法即差錯掩蓋技術(shù) h 2 6 l 和m p e g x 等視頻編碼標(biāo)準(zhǔn)中均采用了差 錯掩蓋技術(shù) 對于幀內(nèi)編碼的i 幀 它不能利用時間方向上的冗余信息進(jìn)行恢復(fù) 只能利 用當(dāng)前幀內(nèi)的空間信息進(jìn)行錯誤恢復(fù) i 幀的誤碼會導(dǎo)致差錯傳播到g o p 圖像組 的其他 幀 因此尋找恢復(fù)準(zhǔn)確度高 可實現(xiàn)的幀內(nèi)差錯掩蓋方法至關(guān)重要 本論文首先研究了各種基于經(jīng)典統(tǒng)計數(shù)學(xué)的幀內(nèi)差錯掩蓋算法 包括基于像素插值的 方法和基于塊匹配的方法 并分析這些算法的優(yōu)勢和局限性 然后 在研究模糊集理論的基礎(chǔ)上 提出兩種基于模糊集理論的視頻幀內(nèi)差錯掩蓋算 法 包括基于模糊推理的方法和模糊聚類的方法 詳細(xì)介紹算法的基本思想和掩蓋流程 并重點討論算法的關(guān)鍵問題 在基于模糊推理的視頻幀內(nèi)差錯掩蓋方法中 將模糊推理應(yīng) 用于是否接受初步差錯掩蓋結(jié)果的判決上 合理修正掩蓋結(jié)果 使得邊緣連續(xù) 在基于模 糊聚類的方法中 首先利用幀內(nèi)差錯塊周圍相鄰塊的平滑程度和紋理方向等約束條件 對 差錯塊周圍的相鄰塊進(jìn)行模糊分類 然后用相似塊的像素插值得到差錯塊的像素值 最后在h 2 6 4 參考軟件j m 8 6 的基礎(chǔ)上 實現(xiàn)各類算法 并利用不同特性和誤碼率的 序列進(jìn)行了測試 實驗結(jié)果表明 文中提出的基于模糊集理論的幀內(nèi)差錯掩蓋算法優(yōu)于基 于經(jīng)典數(shù)學(xué)的方法 改善了圖像的邊緣細(xì)節(jié)和紋理信息 提高了圖像的主觀質(zhì)量和p s n r 峰值信噪比 值 關(guān)鍵詞 視頻解碼差錯掩蓋i 幀模糊集模糊推理和聚類 南京郵電大學(xué)碩士研究生學(xué)位論文a b s t r a c t a b s t r a c t a st h ed e v e l o p m e n to fv i d e oc o m m u n i c a t i o nt e c h n o l o g y d i g i t a lv i d e oi sw i d e l yu s e di n m i l i t a r ya p p l i c a t i o na n dd a i l yl i f e h o w e v e r b i te r r o r so rp a c k e t sl o s to c c u rd u r i n gt r a n s m i s s i o n d u et on o i s e si nt h ep h y s i c a lc h a n n e la n df i n a l l yl e a dt ot h ed e g r a d a t i o no fv i d e oq u a l i t y t h u s b e s i d e sf e c a r qa n do t h e re r r o rr e s i l i e n c es t r a t e g i e s e r r o rc o n c e a l m e n t e c i sn e e d e da tt h e d e c o d e rs i d et or e d u c et h ed e g r a d a t i o na n dr e c o v e rt h ed a m a g e di m a g e s t h ee x i s t i n g i n t e r n a t i o n a lv i d e oe n c o d i n gs t a n d a r d ss u c ha sh 2 6 la n dm p e g xe m p l o ye r r o rc o n c e a l m e n t s t r a t e g i e s a st h ei n t r a f l a m ei s t h er e f e r e n c eo fs u b s e q u e n tpo rbf l a m e s i tc a n n o tb e r e c o n s t r u c t e db yt h et e m p o r a li n f o r m a t i o n f u r t h e r m o r e t h ei m p e r f e c tr e c o v e r yo fi n t r a f l a m e w i l ll e a dt oe r r o rp r o p a g a t i o nt os u b s e q u e n tf l a m e si nt h es a m eg o ea sar e s u l t l o o k i n gf o ra n a c c u r a t ea n df e a s i b l es p a t i a le r r o rc o n c e a l m e n ta l g o r i t h mf o ri n t r a f r a m eb e c o m e sc r u c i a l f i r s t t h i sp a p e rb r i e f l yi n t r o d u c e sv a r i o u ss p a t i a le r r o rc o n c e a l m e n ta l g o r i t h m sb a s e do n c l a s s i c a ls t a t i s t i c sm a t h e m a t i c s i n c l u d i n gt h ep i x e li n t e r p o l a t i o nm e t h o d sa n dt h eb l o c k m a t c h i n gm e t h o d s a n dt h el i m i t a t i o n sa n da d v a n t a g e so ft h e s ea l g o r i t h m sa r er e s e a r c h e d d e e p l y t h e nt h ea l g o r i t h m sb a s e do nf u z z ys e t sa r ep r o p o s e d i n c l u d i n gt h ea l g o r i t h mb a s e do n f u z z yr e a s o n i n ga n dt h ea l g o r i t h mb a s e do nf u z z yc l u s t e r i n g t h et h e o r yb a s i s c o n c e a l m e n t s t e p sa n dt h ek e yp r o b l e m sa r ed i s c u s s e di nd e t a i l s f u z z yr e a s o n i n gi sa p p l i e dt oj u d g et h e i n i t i a le r r o rc o n c e a l m e n t i ft h ei n i t i a lc o n c e a l m e n ti sn o ta c c u r a t e p i x e lm o d i f i c a t i o ni s e m p l o y e dt om a k et h ee d g e sc o n t i n u o u s f u z z yc l u s t e r i n gi sa p p l i e dt oc l a s s i f yt h en e i g h b o r b l o c k sa r o u n dt h el o s tb l o c ka c c o r d i n gt ot h es m o o t h n e s s d i r e c t i o na n do t h e rr e s t r i c t i v e c o n d i t i o n s t h e nt h el o s tb l o c ki si n t e r p o l a t e db yt h es i m i l a rb l o c k s f i n a l l yt h ee x p e r i m e n t sa r ec a r r i e do u tb a s e do nt h er e f e r e n c es o f t w a r ej m 8 6o fh 2 6 4 a n dd i f f e r e n tv i d e os e q u e n c e sa r et e s t e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h m s p r o p o s e di nt h i sp a p e rs u r p a s st h ec l a s s i c a ls p a t i a la l g o r i t h m s c a ni m p r o v et h ee d g ea n dt e x t u r e d e t a i l so ft h ei m a g e a n di n c r e a s et h ep s n rv a l u ea sw e l l k e yw o r d s v i d e od e c o d i n g e r r o rc o n c e a l m e n t i n t r a f r a m e f u z z ys e t s f u z z y r e a s o n i n ga n df u z z yc l u s t e r i n g i l 南京郵電大學(xué)學(xué)位論文獨創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進(jìn)行的研究 工作及取得的研究成果 盡我所知 除了文中特別加以標(biāo)注和致謝的 地方外 論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果 也不包 含為獲得南京郵電大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材 料 與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了 明確的說明并表示了謝意 研究生簽名 皿蹇日期 皇咝 南京郵電大學(xué)學(xué)位論文使用授權(quán)聲明 南京郵電大學(xué) 中國科學(xué)技術(shù)信息研究所 國家圖書館有權(quán)保留 本人所送交學(xué)位論文的復(fù)印件和電子文檔 可以采用影印 縮印或其 他復(fù)制手段保存論文 本人電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一 致 除在保密期內(nèi)的保密論文外 允許論文被查閱和借閱 可以公布 包括刊登 論文的全部或部分內(nèi)容 論文的公布 包括刊登 授權(quán) 南京郵電大學(xué)研究生部辦理 研究生簽名 濫導(dǎo)師簽名 熟墨日期 壘 墨 二 f 參 南京郵電大學(xué)碩士研究生學(xué)位論文 第一章緒論 第一章緒論 1 1 課題的提出 音頻和視頻是人類進(jìn)行信息通信中最直接有效的方式 隨著現(xiàn)代通信理論 計算機技 術(shù) 微電子技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展 信息社會對于多媒體通信有迫切的需求 人們實 現(xiàn)a n yt i m e a n yw h e r e w i t ha n yp e r s o n 的多媒體通信也變得越來越接近現(xiàn)實 而圖像和 視頻的傳輸通信都是以海量數(shù)據(jù) 超高帶寬的需求為特征 i p t v n g n 3 g n g b w i po v e rd v b 三網(wǎng)融合等新技術(shù)也都是以高速度 高安全性 高可靠性的數(shù)據(jù)傳輸為基 礎(chǔ) 對大量存儲空間和高傳輸帶寬的需求促進(jìn)了視頻編解碼技術(shù)的飛速發(fā)展 因此 作為 視頻業(yè)務(wù)及存儲應(yīng)用核心技術(shù)的高效率視頻數(shù)字壓縮編解碼技術(shù) 越來越引起人們的關(guān)注 成為目前廣播 視頻與多媒體通信領(lǐng)域中的熱點與亮點 壓縮效率的提高與數(shù)據(jù)傳輸?shù)聂敯粜允窍嗷ッ艿?壓縮率提高的同時導(dǎo)致了視頻數(shù) 據(jù)的抗差錯能力較為脆弱 壓縮編碼去除了圖像信息中大量的空間和時間上的冗余信息 導(dǎo)致在信道中傳輸?shù)囊曨l信息相關(guān)性降低 1 1 因此 抗誤碼性能急劇降低 誤碼在解壓縮 以后又會產(chǎn)生差錯擴散 最終導(dǎo)致視頻質(zhì)量下降 在許多有傳輸效率 實時性等要求的應(yīng) 用場合 糾錯編碼 自動請求重傳等差錯控制方法會增加傳輸?shù)臄?shù)據(jù)量 從而加劇網(wǎng)絡(luò)的 傳輸擁塞 因而必須尋找更適于視頻傳輸?shù)牟铄e控制方法 由于視頻數(shù)據(jù)在時間和空間上 具有高度相關(guān)性 傳輸過程中發(fā)生錯誤的視頻數(shù)據(jù)有可能利用其時間和空間上鄰近的數(shù)據(jù) 來掩蓋 即差錯掩蓋技術(shù) 目前的視頻編解碼技術(shù)大多是建立在圖像信號的統(tǒng)計特性基礎(chǔ)上的 利用圖像的空間 或 和 時間上的相關(guān)性來進(jìn)行 它要對所解碼的圖像進(jìn)行統(tǒng)計分析 計算和處理 屬于 精確計算方法 與之相應(yīng)的常見差錯掩蓋技術(shù)也是基于這樣的 硬 計算環(huán)境的 圖像信 息不同于數(shù)據(jù)信息或文本信息 它具有一定的模糊性 f u z z y 尤其是常見的觀賞視頻圖 像更是如此 因此 在允許一定的失真條件下 可以充分利用人眼視覺的這一特性 對所 接收的有損圖像進(jìn)行模糊分類及聚合 利用屬于同一模糊類的圖像部分 通過一定的算法 來掩蓋因誤碼而丟失的部分 或?qū)σ呀?jīng)掩蓋的結(jié)果進(jìn)行模糊推理 修正掩蓋的像素值 可 以在盡量減少差錯對人的視覺效果影響的前提下 達(dá)到提高重建圖像質(zhì)量的目的 國家自然科學(xué)基金項目 n s f c 6 0 6 7 2 1 3 4 南京郵電大學(xué)碩士研究生學(xué)位論文第一章緒論 1 2 視頻差錯掩蓋技術(shù) 1 2 1 差錯掩蓋的研究意義和約束條件 圖1 1 是一般視頻通信的基本框架 原始的音視頻信號 視頻一般為y u v 格式 經(jīng) 過信源編碼 壓縮 碼流復(fù)用 將多路音視頻信號合成一路信號 經(jīng)過信道編碼 傳輸 信道解碼 解復(fù)用 信源解碼等一系列的傳輸變換重新得到接收的視頻信號 送到顯示終 端顯示 圖1 l 視頻通信的一般框架 數(shù)字視頻信號在傳輸過程中由于線路干擾等原因會出現(xiàn)傳輸q o s 下降 尤其是在無 線信道和基于i p 的信道中表現(xiàn)更加嚴(yán)重 無線信道固有的多徑效應(yīng) 瑞利衰落損耗和抖 動等特點使得誤碼率高 穩(wěn)定性差 視頻信號在基于i p 的網(wǎng)絡(luò)中傳輸 和其他業(yè)務(wù)流量 共用網(wǎng)絡(luò)容易導(dǎo)致網(wǎng)絡(luò)擁塞 此時會發(fā)生丟包現(xiàn)象 同時受到路由選擇 信道容量和節(jié)電 處理能力影響 視頻信號還會出現(xiàn)延遲 如果這些誤碼和丟包在信道編解碼過程中得不到 有效的控制和糾正 顯示終端就會出現(xiàn)馬賽克 停頓甚至黑屏現(xiàn)象 嚴(yán)重影響視覺效果和 多媒體通信的質(zhì)量 因此 為了減小傳輸錯誤的影響 抗誤碼技術(shù)成為視頻壓縮標(biāo)準(zhǔn)中的重要組成部分 如h 2 6 x 和m p e g 2 j 其中 差錯掩蓋技術(shù)不對編碼器作任何要求 不增加編碼冗余度 因此不增加通信的傳輸負(fù)擔(dān) 這種方法是屬于視頻信息的后處理范疇 原則上對任何圖像 編解碼格式和標(biāo)準(zhǔn)都適用 因此其應(yīng)用范圍很廣 但是 視頻誤碼的差錯掩蓋技術(shù)是基于 不同的假設(shè)前提進(jìn)行的 這些假設(shè)前提正是進(jìn)行差錯掩蓋的先驗約束條件 3 1 1 一致性 c o n s i s t e n c y 一致性是一個基礎(chǔ)的先驗約束條件 這是所有差錯掩蓋方法必須遵守的 它要求差錯 掩蓋算法不能改變已經(jīng)正確重建的像素值 用差錯掩蓋算法掩蓋后的像素值必須在所能接 墮室塑皇奎蘭堡主翌壅生堂垡堡塞莖二童墮笙 受的范圍內(nèi) 如亮度信號為 0 2 5 5 之內(nèi)的整數(shù) 2 光滑性 s m o o t h n e s s 光滑性也是一個基礎(chǔ)的差錯掩蓋的假設(shè)前提 這種光滑性約束條件可應(yīng)用在時間和空 間兩個方向上 在空間上 差錯掩蓋假設(shè)出現(xiàn)差錯的塊和其周圍的塊是光滑連接的 可以 利用周圍塊的像素值恢復(fù)差錯塊 恢復(fù)后的差錯塊與周圍相鄰塊要像素值線性變化 但是 這種光滑性的假設(shè)限制了差錯塊內(nèi)部的邊緣和紋理信息的恢復(fù) 在時間域上 光滑性可解釋為當(dāng)前幀內(nèi)的某一區(qū)域與前一幀中的某一區(qū)域相似或相 同 基于這種假設(shè) 時域掩蓋的一種方法是當(dāng)前幀內(nèi)的差錯塊用前一幀中對應(yīng)位置的塊來 代替 或者用前一幀的運動矢量估計差錯塊的運動矢量 然后用它所指示的前一幀中的相 應(yīng)塊來代替當(dāng)前的差錯塊 這種假設(shè)對于快速運動的區(qū)域所得到的結(jié)果是很不理想的 3 統(tǒng)計相關(guān)性 s t a t i s t i c a lc o r r e l a t i o n 統(tǒng)計相關(guān)性是視頻差錯掩蓋的另外一種先驗性假設(shè)約束條件 這種先驗性約束條件假 設(shè)視頻中的像素可由某種統(tǒng)計模型生成 源視頻中的圖像和損壞視頻中的圖像被建模為隨 機分布模型 由這種先驗?zāi)Ｐ?再通過最大后驗概率m a p m a x i m u map o s t e r i o r i p r o b a b i l i t y 的方法從正確解碼的像素來估計差錯的像素 最常用的模型為馬爾可夫隨機場 模型m r f m a r k o vr a n d o mf i e l d s 和哈伯一馬爾可夫隨機場模型 h u b e r m a r k o vr a n d o m f i e l d 這種基于模型的方法時間復(fù)雜度相當(dāng)高 而且在掩蓋差錯塊的邊緣方面也有問題 4 邊緣連續(xù)性 e d g ec o n t i n u i t y 邊緣連續(xù)性的假設(shè)是指圖像中一個區(qū)域的邊緣 一般指線性邊緣 是連續(xù)的 這個假 設(shè)前提暗示 如果一個差錯塊周圍的塊內(nèi)有邊緣 而且其方向指示通過有差錯的塊 那么 這條邊緣線一定通過差錯的塊 需要進(jìn)行掩蓋 如基于凸集投影p o c s p r o j e c t i o no n t o c o n v e xs e t s 的差錯掩蓋方法就使用該假設(shè)進(jìn)行掩蓋 5 運動矢量的連續(xù)性 m o t i o nc o n t i n u i t y 運動矢量的連續(xù)性假設(shè)是指差錯塊的運動矢量與空間和時間上相鄰塊的運動矢量是 相似或相同的 基于這種假設(shè) 用平滑濾波或邊緣匹配來選擇運動矢量 然后用候選運動 矢量在參考幀中找到相應(yīng)的塊來代替差錯塊 最后根據(jù)差錯塊與它周圍塊的邊緣連續(xù)性進(jìn) 行修正 1 2 2 視頻幀內(nèi)差錯掩蓋的重要意義 國際上的視頻編碼標(biāo)準(zhǔn) p n i q 2 6 x 和m p e g 普遍采用了基于塊的混合編碼方式 因此 差錯掩蓋主要是利用相鄰塊的空域及時域冗余信息來盡量恢復(fù)丟失塊的信息 4 5 6 1 時間域 3 南京郵電大學(xué)碩士研究生學(xué)位論文 第一章緒論 的差錯掩蓋技術(shù)就是解碼器利用與丟失區(qū)域在時間上相鄰 如前一幀 的圖像幀的數(shù)據(jù)來 恢復(fù)受損區(qū)域 而空間域差錯掩蓋技術(shù)則是利用同一圖像幀中的相鄰宏塊對丟失宏塊進(jìn)行 恢復(fù)的技術(shù) 這種方法也可用在掩蓋運動矢量不存在時 對幀內(nèi)編碼的宏塊進(jìn)行差錯掩蓋 時域方式主要是利用相鄰幀的信息來對丟失塊的信息進(jìn)行恢復(fù) 然而視頻序列或圖像 組g o p g r o u po f p i c t u r e s 的第一幀是幀內(nèi)編碼的i 幀 與前后幀的相關(guān)性不大 在一般情況 下 它不能利用時間方向上的冗余信息進(jìn)行恢復(fù) 只能利用當(dāng)前幀內(nèi)的相鄰塊的信息進(jìn)行 錯誤恢復(fù) i 幀掩蓋的不好會導(dǎo)致掩蓋誤差傳播至i j g o p 的其他幀 最終導(dǎo)致視頻序列質(zhì)量的 下降 傳統(tǒng)的i 幀誤碼掩蓋方法主要是基于像素內(nèi)插 7 域者塊匹配1 8 1 的方法 基于相鄰塊像 素內(nèi)插的方法是利用相鄰塊相應(yīng)位置的像素值進(jìn)行加權(quán)平均得到一個重建的像素值 用重 建的像素值恢復(fù)丟失的塊 這種方法在平滑區(qū)域效果還好 在細(xì)節(jié)豐富和邊緣處會使得圖 像模糊 主觀質(zhì)量嚴(yán)重降質(zhì) 在基于塊匹配準(zhǔn)則的幀內(nèi)差錯掩蓋方法中 首先找到與丟失 塊相似的塊 然后用拷貝或內(nèi)插的方法進(jìn)行恢復(fù) 這種方法容易出現(xiàn)塊效應(yīng) 它使用單一 的特征量如m a d m e a no f a b s o l u t ed i f f e r e n c e 尋找相似塊 找出的相似塊往往不是最 佳的 而且需要多次匹配 因此尋找更佳的i 幀的掩蓋技術(shù)日益受到關(guān)注 1 2 3 國內(nèi)外視頻幀內(nèi)差錯掩蓋的研究現(xiàn)狀 近年來對視頻差錯掩蓋技術(shù)的研究一直是國內(nèi)外的研究熱點領(lǐng)域之一 發(fā)表了不少有 關(guān)算法的論文 有些算法已經(jīng)付諸實施 取得了長足的進(jìn)展 空間域的方法主要使用了塊 拷貝和插值方法 如m p e g 2 中的塊匹配方法和h 2 6 4 中使用的加權(quán)平均插值方法 這 些方法具有簡單實用的特點 但只適用于平滑區(qū)域 對有邊緣的區(qū)域恢復(fù)的圖像會產(chǎn)生模 糊 后續(xù)的改進(jìn)方法有方向插值算法 9 1 基于凸集投影 p o c s 的算法 和基于馬爾可 夫隨機場 m r f 的方法 l l 等 這些方法可以恢復(fù)出圖像的邊緣信息 對于比較規(guī)則或 者對稱的圖像 還可以利用圖像的遠(yuǎn)端相關(guān)性 類似于幀間的差錯掩蓋方法 利用包含誤 碼塊的本地窗口尋找與它匹配的遠(yuǎn)端窗口 利用該窗口中和誤碼塊對應(yīng)的塊代替 但這些算法基本上都是基于圖像統(tǒng)計特性的 仍然存在差錯掩蓋效果不佳 算法復(fù)雜 度較高的缺陷 因此 采用何種辦法 如何進(jìn)一步提高掩蓋圖像質(zhì)量 降低算法的耗時 仍然是一個急需研究和解決的技術(shù)難題 1 3 論文結(jié)構(gòu)和主要研究內(nèi)容 本論文研究的重點是基于模糊數(shù)學(xué)的視頻幀內(nèi)差錯掩蓋技術(shù) 主要是根據(jù)視頻當(dāng)前幀 4 南京郵電大學(xué)碩士研究生學(xué)位論文第一覃緒論 內(nèi)的圖像像素相關(guān)的模糊性質(zhì) 利用模糊數(shù)學(xué)的方法進(jìn)行分析和研究 獲得性能更好的視 頻差錯掩蓋算法 使得用它掩蓋后的視頻主客觀質(zhì)量比用傳統(tǒng)方法掩蓋后的視頻質(zhì)量要 好 本論文的主要工作是 1 研究和實現(xiàn)多個典型的幀內(nèi)差錯掩蓋算法 2 研究模糊數(shù)學(xué)的經(jīng)典理論 并分析圖像中存在的模糊性 3 提出新的基于模糊數(shù)學(xué)的幀內(nèi)差錯掩蓋算法 4 實現(xiàn)基于模糊聚類和模糊推理的幀內(nèi)差錯掩蓋程序 并與經(jīng)典算法比較 本文的結(jié)構(gòu)如下 第一章主要介紹本文的研究背景 第二章給出了模糊數(shù)學(xué) 模糊集 的基本理論 重點闡述了模糊聚類和模糊推理兩大分支的基本理論 對其在信號處理中的 應(yīng)用進(jìn)行了總結(jié) 探討了本論文研究的數(shù)學(xué)基礎(chǔ)和研究方法 第三章介紹幾種經(jīng)典的幀內(nèi) 差錯掩蓋算法及其改進(jìn)算法 并分析其優(yōu)勢及存在的局限性 第四章介紹基于模糊推理的 幀內(nèi)差錯掩蓋算法 并討論隸屬度函數(shù)和推理規(guī)則的選取 第五章提出基于模糊聚類的幀 內(nèi)差錯掩蓋算法 討論聚類特征量及相似度的選取 第六章使用不同特性和誤碼率的序列 進(jìn)行實驗 并進(jìn)行了分析 最后對全文做出總結(jié) 并提出了下一步工作的方向 南京郵電大學(xué)碩士研究生學(xué)位論文第二章模糊集 f u z z ys e t s 理論 第二章模糊集 f u z z ys e t s 理論 扎德 l a z a d e h 在1 9 6 5 年提出了模糊集的概念 在經(jīng)典數(shù)學(xué)之外開拓了模糊數(shù)學(xué) 的先河 模糊數(shù)學(xué)是建立在模糊集合之上的 它是描述和處理人類語言中所特有的模糊信 息的理論 它是用精確的數(shù)學(xué)方法處理模糊對象 其中模糊推理和模糊聚類是模糊集理論 的兩大分支 在控制論和圖像處理中獲得廣泛的應(yīng)用 本論文主要研究了基于模糊數(shù)學(xué)的 方法處理視頻的差錯掩蓋 以提高差錯視頻的掩蓋質(zhì)量 2 1 模糊集理論的提出 2 1 1 經(jīng)典集合及其特征函數(shù) 在數(shù)學(xué)上 概念的外延可以通過 集合 來表達(dá) 即c a n t o r 集合理論 1 2 l 集合即 把 一定的并且彼此可以明確識別的東西一東西可以是直觀的對象 也可以是思維的對象一放 在一起9 9 0 例如全體自然數(shù) 全體有理數(shù) 全體實數(shù)都是集合 集合中的每一個具體的對 象 成員 稱為該集合的元素 事實上 集合與一個概念在人腦中的形成密切相關(guān) 一個 概念的形成大致需要包含兩個方面 一方面是從內(nèi)在條件把握各個有關(guān)因素對這個概念所 作的規(guī)定 即這個概念的內(nèi)在涵義 稱之為概念的 內(nèi)涵 另外一方面就是這個概念所 包含的內(nèi)容 換句話說就是符合此概念的事物全體 我們稱之為概念的 外延 內(nèi)涵和 外延是描述概念的兩個方面 它們是相輔相成的 設(shè)么為集合 若具體對象a 是集合彳的元素 則稱口 a 即a 屬于a 否則口仨a 即口不屬于a a 與a 之間的隸屬關(guān)系可以用a 的特征函數(shù)刻畫 即 c 口 三主三 c 2 其中 口 為元素a 相對集合彳的特征函數(shù) 從c a n t o r 集合論可以看出 在經(jīng)典數(shù)學(xué)中 任何一個元素和一個集合只有一種關(guān)系 即口屬于么或者a 不屬于a 它是建立 二值邏輯 的基礎(chǔ)上的 具有 非此即彼 的關(guān) 系 2 1 2 模糊集與隸屬度函數(shù) 一個經(jīng)典集合的 內(nèi)涵 和 外延 都必須是明確的 所以對論域中的任何元素 或 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊集 f u z z ys e t s 理論 者屬于某一集合 或者不屬于這個集合 兩者必居其一且僅居其一 然而在現(xiàn)實世界中 有許多概念并沒有明確的 外延 如 天氣好 水溫很低 個子很高 等都是 模糊的概念 這樣就使得經(jīng)典集合論對于這樣的概念顯得力不從心了 因為模糊概念很難 簡單地用 屬于 或 不屬于 來表示 而只能通過屬于的程度來描述 換句話說 就是 論域中的元素符合某一概念的程度不能僅僅用0 或1 來表示 而需要借助于介于0 到1 之間的 實數(shù)來表示 論域x 上的 模糊集合 1 3 1 4 1 定義為 a x 爿 工 i x r 2 2 或者 a x 聲 x i 工 x 2 3 其中彳 x 或者心o 稱為 隸屬度函數(shù) 它滿足 a x 斗m 這里m 稱為 隸屬空間 最常見的隸屬空間為區(qū)間 0 1 隸屬度函數(shù)線 工 用于刻畫元素x x 寸模糊集合彳的隸屬程 度 即 隸屬度 所以模糊集合a 的每個元素 工 心 工 都能明確地表現(xiàn)出x 的隸屬等級 心 x 的值越大 工的隸屬程度就越高 當(dāng)心 x 1 時 說明工完全屬于彳 而心 工 0 時 說明工不屬于a 而心 x 值介于o 和1 之間時 說明隸屬于a 的程度也介于 屬于 與 不 屬于 之間 是模糊的 與經(jīng)典集合類似 在模糊集合的表示中 對于隸屬度為0 的元素 可以不列出 由定義可以看出 模糊集合a 是由隸屬度函數(shù)心 工 唯一確定的 可以把模糊集合彳與 隸屬度函數(shù)兒 x 看成是等同的 隸屬程度的思想是模糊數(shù)學(xué)的基本思想 當(dāng)心 x 僅取值 0 和1 時 模糊集合退化為經(jīng)典集合 可見經(jīng)典集合是模糊集合的特殊情形 x 上的所有模 糊集合組成的集合稱為x 的模糊冪集 記為r x 2 2 模糊推理 f u z z yr e a s o n i n g 推理就是根據(jù)已知的一些命題按照一定的法則去推斷一個新的命題的思維過程和思 維方式 簡言之從己知條件求未知結(jié)果的思維過程就是推理 模糊邏輯推理是一種不確定 性的推理方法 其基礎(chǔ)是模糊邏輯 它是根據(jù)給定的行為規(guī)則集來得到輸入信息對應(yīng)的隸 屬度值的過程 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊集 f u z z ys e t s 理論 模糊推理是對模糊信息進(jìn)行處理的方法 也是模糊數(shù)學(xué)中除了隸屬度函數(shù)之外的又一 個重要的組成部分 1 5 16 1 由于它在諸多工業(yè)生產(chǎn)領(lǐng)域上的成功應(yīng)用 使它在近2 0 多年來模 糊系統(tǒng)理論的研究中始終占有重要的地位 z a d e h 于1 9 7 3 年第一次提出了模糊分離規(guī)則 f m p f u z z ym o d u sp o n e n s 并被m a m d a n i 等人所發(fā)展 形成了如今被廣泛使用的c r i c o m p o s i t i o n a lr u l eo fi n f e r e n c e 等方法1 1 7 模糊推理作為近似推理的一個分支 以數(shù)值計算而不是以符號推演為特征 正因如此 它與經(jīng)典邏輯有明顯的不同 它不注重基于公理的形式推演 甚至也沒有基于賦值的語義 運算 這也是模糊推理區(qū)別于人工智能方法的特征所在 2 2 1 模糊推理的基本思想 一個系統(tǒng)的輸出與預(yù)定的標(biāo)準(zhǔn)之間總是有誤差的 以e 記此誤差 這個誤差又是隨著時 間而變化的 以e o 記誤差變化率 所謂推理就是要根據(jù)e 與e o 或許還要e 的多階導(dǎo)數(shù) 對系 統(tǒng)的輸入進(jìn)行調(diào)整 經(jīng)典控制理論中這個調(diào)整量是p 與e o 的函數(shù)f e p o 在某些情況下 這個 是不易建立或不需要建立的 取而代之的是已知一組專家經(jīng)驗 即已知當(dāng)誤差為e 且 變化率為p 們時應(yīng)當(dāng)采取的調(diào)整量為q i l 2 棚 并要在這一組經(jīng)典情況的基礎(chǔ)上針對隨 時測得的e 與e 鏟計算出相應(yīng)的控制量c 來 模糊推理的基本原理是 1 8 第一步 把p f q p 與 分別模糊化為疋lz x 與 上的模糊集4 且 c i 蠢與b 1 第二步 列出算式 已知 4 助l c l 以黑專q 2 4 且給定彳 勘 求c 第三步 將c 去模糊 d e f u z z i l y 后就得到最終的數(shù)值控制量c 以上的第二步就是模糊 推理 由于已知條件4 且e 可用乘積x 上的一個模糊集去取代 且療條規(guī)則可以通過聚 合 a g g r e g a t e 而成為一條超規(guī)則 或者可以分別使用這刀條規(guī)則單獨推理后將所得刀個中間 結(jié)果以某種方式合成為最終的c 所以模糊推理可歸結(jié)為以下最基本的形式 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊集 f u z z ys e t s 理論 已知 且給定 求 彳專召 彳 2 5 這野 a 舭的模糊集 b 是肚的模糊集 求解方程 2 5 的傳統(tǒng)方式l i o z a d e h 于1 9 7 5 年提出的c r i 算法 z a d e h 提出了一種蘊 涵算子吃 o l 2 專 o l 如下 心 口 6 口 v a a b 2 6 這里口 表示1 口 v 和a 分別表示取上 下確界運算 c r i 算法的第一步是利用蘊涵算子恐 把已知條f c a b 轉(zhuǎn)化為x 肚的一個模糊關(guān)系r0 y 如下 r x r z 么 z b y 工 y x x y 2 7 然后在第二步用彳 與月復(fù)合就得出 即b a r 這里復(fù)合運算 的具體表達(dá)式為 b y s u p a x 人r x x 2 8 s u p a x 恐 么 工 曰 j y j e x 這樣就求出了最終答案b 2 2 2 模糊推理系統(tǒng) 一個模糊推理系統(tǒng)的原理框圖如圖2 1 所利1 9 系當(dāng)百 屯麗h 一出 剖竺塑些p i 竺竺蘭蘭p i 墨堡塑些f 冷 模糊推理系統(tǒng)通常分為3 個部分 模糊化 模糊推理和反模糊化 在模糊化中首先 確定輸入模糊集合和對應(yīng)的模糊隸屬度函數(shù) 傳統(tǒng)的集合是一種 非此即彼 的思想 一個元素是否屬于該集合是確定的 可以用t r u e 或f a l s e 表示 而在模糊集合中 一個元 素屬于該集合利用隸屬度來表示 即該元素在多大程度上屬于該模糊集 隸屬度取值在0 到1 之間 模糊隸屬度函數(shù)定義了輸入空間的某點與隸屬度之間的映射關(guān)系 整個模糊 化的過程就是將輸入的確定值用各個模糊集合的隸屬度來表示 模糊推理過程利用模糊邏輯將由模糊化過程得到的輸入模糊集的隸屬度映射到輸出 模糊集的隸屬度 經(jīng)常用到的模糊邏輯有a n d 和o r 等 對于模糊集中的a n d 邏輯來 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊榘 f u z z ys e t s 理論 說 取隸屬度最小 而o r 取隸屬度最大 在模糊推理過程中要利用模糊規(guī)則 常用的 是i f t h e n 結(jié)構(gòu) 如 i f xi sa a n d y i sb t h e nzi sc 其中 a b 為輸入模糊集 c 為輸出模糊集 利用模糊邏輯可以得到條件成立的隸屬度 那么結(jié)論的隸屬度與之相同 在一般應(yīng)用中有多個模糊規(guī)則 每個模糊規(guī)則確定了輸出在某個輸出模糊集的隸屬度 在各個模糊集的重合部分取隸屬度最大值 這樣得到最終輸出的隸屬度圖形 這種推理 方法稱為最大一最小法 在模糊過程中 得到了輸出的隸屬度圖形 最后的反模糊化過程是要將不確定性映射 到確定的輸出 如取隸屬度圖形的重心 二分法等 2 3 模糊聚類 f u z z yc l u s t e r i n g 聚類就是按照一定的要求和規(guī)律對事物迸行區(qū)分和分類的過程 即 物以類聚 其 目的是使得屬于同一類別的個體之間的距離盡可能小 而不同類別的個體之間的距離盡可 能的大 模糊聚類在這一過程中沒有任何關(guān)于類分的先驗知識 僅靠事物之間的相似性作 為類屬劃分的準(zhǔn)則 因此屬于無監(jiān)督分類的范疇 2 0 2 l 聚類分析則是指用數(shù)學(xué)的方法研究和處理給定對象的分類 它是數(shù)理統(tǒng)計中多元統(tǒng)計 分析的一種 也是非監(jiān)督模式識別的一個重要分支 它把一個沒有類別標(biāo)記的樣本集按照 某種準(zhǔn)則劃分成若干個子集 類 使相似的樣本盡可能歸為一類 而不相似的樣本盡可 能劃分到不同的類中 聚類分析算法除了廣泛應(yīng)用于模式識別 圖像分割 特征匹配等領(lǐng) 域外 還在心理學(xué) 生理學(xué) 醫(yī)學(xué)和地理學(xué)等領(lǐng)域中有著廣泛的應(yīng)用 2 3 1 傳統(tǒng)聚類分析 傳統(tǒng)的劃分方法是一種硬劃分 是把每個待處理的對象嚴(yán)格地劃分到某個類中 硬劃 分方法的典型代表是c 均值算法 2 2 設(shè)x x l 而 cr 5 是一個數(shù)據(jù)集 材 cm l o 是一個隸屬度矩陣 v v l 吃 v c 是c 個聚類中心 m r 2 c r l c 均值算法把 2 個向量五 i i 2 2 分成c 個簇q f 1 2 并求得每個簇的聚類中 心 使得簇內(nèi)方差的和達(dá)到最小 甜 1 i 吒一匕 1 2 其中 l o 1 c 均值 ii l f 1 聚類算法的基本步驟如下 1 初始化 給出初始聚類中心v o 二 們 屹 k o 1 0 為迭代次數(shù) 最大迭代次數(shù)為 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊集 f u z z ys e t s 理論 t 閾值為p 2 用下列公式更新 1 牡 藝覷2 而n l k 1 u u 3 用下列公式更新e 1 甜 v 1 7 1 l n 一 如果m a x i l0 n 一0 ij r 則停止 否則 z 1 轉(zhuǎn)至步驟 2 2 9 2 1 0 c 均值算法思想簡單 實現(xiàn)容易 收斂快 運行速度快 內(nèi)存消耗小 能有效地處理 大數(shù)據(jù)集 是目前最常用的聚類算法之一 但是 c 均值算法也有不少缺點 如采用的是 硬劃分 每類由類中心代表 每個數(shù)據(jù)點的影響一樣 沒有考慮噪聲數(shù)據(jù)的影響 也缺少 對類中心的約束等 2 3 2 模糊聚類分析 傳統(tǒng)的聚類分析是一種硬劃分 它把每個待識別的樣本對象嚴(yán)格地劃分到某類中 具 有非此即彼的性質(zhì) 因此這種類別劃分的界限是鮮明的 而實際上大多數(shù)對象并沒有嚴(yán)格 的屬性 它們在形態(tài)和類屬方面存在著中介性 具有亦此亦彼的性質(zhì) 適合于軟劃分 模 糊集理論為這種軟劃分提供了有力的分析工具 人們開始用模糊的方法來處理聚類問題 即模糊聚類分析 由于模糊聚類得到了屬于各個類別的不確定性程度 表達(dá)了樣本類屬的 中介性 即建立起樣本屬于各個類別的不確定性的程度的描述 給定數(shù)據(jù)集x 工 工 矗 cr 5 為模式空間的一組有限觀測樣本集 以 吒 五 r r 為觀測樣本以的特征矢量或模式矢量 由該數(shù)據(jù)集得到c 個子集 墨 f l 2 c 滿足 2 3 心i x 置n 以 1 i 七 c 南京郵電大學(xué)碩士研究生學(xué)位論文第二章模糊集 f u z z ys e t s 理論 氍 囝 置 x 1 i k c 帆 u l o l v f 七 圭 1 v k o 蘭 刀 v 磅 2 1 1 其中 k 為樣本x k 隸屬于子集置的程度 c 均值算法的隸屬度要么是1 要么是0 這不能反映數(shù)據(jù)點與類中心的實際關(guān)系 為 了處理這個問題 模糊聚類算法引入每個樣本屬于每個子集的隸屬度 其主要思想是將經(jīng) 典劃分的定義模糊化 聚類的過程與經(jīng)典c 均值聚類相似 2 3 3 基于模糊等價關(guān)系的模糊聚類分析 從實現(xiàn)方法上分 聚類分析方法可大致分為四種類型 譜系聚類法 基于等價關(guān)系的 聚類方法 圖論聚類法和基于目標(biāo)函數(shù)的聚類方法f 2 4 2 5 譜系聚類法也叫分層聚類分析法 將模式樣本按距離準(zhǔn)則逐步聚類 類別由多到少 直到滿足合適的分類要求時為止 這種聚類方法是由不同層次的分割聚類組成 層次之間 的分割具有嵌套關(guān)系 圖論聚類方法最早i 掃z a h n 提出 又稱為最大 小 支撐樹聚類算法 其基本思想是 畫出以被分類元素為頂點 以模糊相似矩陣尺的元素 為權(quán)重的一棵最大 的樹 取定五 o l 砍斷權(quán)重小于力的枝 得到一棵不連通的圖 各個連通的分支便構(gòu)成 了在五水平上的分類 基于目標(biāo)函數(shù)的聚類方法是把聚類分析歸結(jié)為一個帶約束的非線性 規(guī)劃的問題 基于等價關(guān)系的聚類分析較為常用 它的思想來源于等價布爾矩陣 構(gòu)造等價關(guān)系完 成劃分 2 6 1 在一般的情況下 利用初始樣本構(gòu)造的模糊關(guān)系僅僅能滿足自反性和對稱性 而不滿足傳遞性 所以生成的只是一個模糊相似矩陣r 而不是模糊等價矩陣 所以為了 進(jìn)行分類 還要在這個模糊相似矩陣的基礎(chǔ)之上去生成一個模糊等價矩陣 最自然的方法 就是去求該模糊相似矩陣r 的傳遞閉包f 假 這樣便可以得到一個模糊等價矩陣 當(dāng)生成模 糊等價矩陣后 取某一實數(shù)彳 o 1 計算出 r 上的布爾矩陣p 便得到論域喲一個等價劃 分 當(dāng)p u 1 時說明薯與x j 在同一個等價類中 否則不在同一個等價類中 如果依次將彳值 從1 變小至0 時 便可以得到瑚一個逐漸由細(xì)變粗的動態(tài)分類 在這個方法中 由于模糊 等價矩陣是采用傳遞閉包的方法得到的 故此方法也稱為傳遞閉包法 基于等價關(guān)系進(jìn)行模糊聚類的過程 可以歸納為以下的兩個步驟 1 生成模糊等價矩陣 由一個模糊相似矩陣通過求閉包生成一個模糊等價矩陣 給 南京郵電大學(xué)碩士研究生學(xué)位論文第二章模糊集 f u z z ys e t s 理論 定數(shù)據(jù)集x 五 恐 c r 5 為模式空間的一組有限觀測樣本集 五 以 r 掣為 觀測樣本毛的特征矢量或模式矢量 計算x 中樣本毛和樣本一相似的程度乃 o 1 f 1 2 z 由此得到論域趾的一個模糊相似關(guān)系r 通過合成運算得到r 的等價矩陣晨 2 劃分 由大s o d 依次取實數(shù)旯 o l 計算黿 再根據(jù)忌刪行劃分 最后便 得至忸在不同的水平下對事物的劃分 2 4 模糊集理論的應(yīng)用 模糊集合的理論和方法是一種能夠有效針對那些非精確 不完全類信息的有效處理手 段 從單純的 硬 計算環(huán)境拓展至更為廣闊的 軟 計算s c s o f t w a r ec o m p u t a t i o n 領(lǐng)域 它與人腦的功能相對應(yīng) 自從1 9 6 5 年z a d e h 提出模糊集理論之后 模糊集的理論和 方法在各方面取得了廣泛的應(yīng)用 特別是在控制和圖像處理方面 其應(yīng)用已經(jīng)比較成熟 如圖像的模糊形態(tài)學(xué)處理 模糊增強 模糊分類和模糊邊緣檢測等唧 2 8 2 9 3 0 最近幾年來 將模糊集合理論和方法應(yīng)用到對視頻信號的處理和壓縮方面也取得了進(jìn)展 3 1 3 2 在模式識別中 兩個最主要的分支為有監(jiān)督分類和無監(jiān)督分類兩個方面 其中無監(jiān)督 分類與聚類分析相對應(yīng) 在沒有訓(xùn)練樣本的情況下 模糊聚類可根據(jù)數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)通 過機器學(xué)習(xí)自動劃分特征空間 達(dá)到自動分類的目的 基于模糊規(guī)則的推理是用人類推理 的語言來描述如何處理的指示 即用普通語言形式描述處理的規(guī)則 并可以轉(zhuǎn)化為數(shù)學(xué)算 子的結(jié)構(gòu) 可以廣泛應(yīng)用于控制理論和數(shù)字視頻的后處理中 在圖像處理中 由于人眼視覺的主觀性使圖像適合于模糊手段處理 訓(xùn)練樣本圖像的 匱乏又需要無監(jiān)督分析 而模糊聚類正好滿足這兩方面的要求 目前 模糊集理論被廣泛 應(yīng)用于圖像分割 邊緣檢測 圖像增強 圖像壓縮 圖像平滑 圖像匹配等眾多方面 取 得了豐碩的成果 但是將模糊集技術(shù)應(yīng)用到圖像傳輸領(lǐng)域 特別是應(yīng)用到誤碼處理 如差 錯掩蓋等方面 國內(nèi)外這方面的理論研究剛剛開始 基于統(tǒng)計學(xué)的差錯掩蓋算法都是滿足 某單一約束條件的最優(yōu)化來實現(xiàn)的 而實際上由于視頻信息的豐富性 基于這種單一約束 條件的掩蓋算法是不可取的 而圖像信息的模糊性可以將模糊集理論引入差錯掩蓋中 充 分利用視頻信息 南京郵電大學(xué)碩士研究生學(xué)位論文 第二章模糊集 f u z z ys e t s 理論 2 5 本章小結(jié) 本章主要總結(jié)了模糊數(shù)學(xué)的基本理論及其在信號處理中的應(yīng)用 模糊推理和模糊聚類 分析是模糊數(shù)學(xué)研究的兩大主要分支 應(yīng)用范圍比較廣 尤其是在圖像處理方面的研究較 為深入 但把模糊集理論應(yīng)用于視頻差錯掩蓋方面的研究 國內(nèi)外還鮮有報道 本章第一 小節(jié)給出了模糊集合的背景和定義 重點介紹隸屬度函數(shù) 第二小節(jié)和第三小節(jié)分別介紹 了模糊推理和模糊聚類的基礎(chǔ)知識 重點闡述了模糊推理的基本思想和基于等價類的模糊 聚類方法 第四小節(jié)總結(jié)了模糊集理論在信號處理方面的應(yīng)用 重點指出了把模糊數(shù)學(xué)應(yīng) 用于視頻差錯掩蓋研究的基礎(chǔ)和意義 南京郵電大學(xué)碩士研究生學(xué)位論文 第三章基于經(jīng)典數(shù)學(xué)的視頻幀內(nèi)差錯掩蓋 第三章基于經(jīng)典數(shù)學(xué)的視頻幀內(nèi)差錯掩蓋 盡管在通信底層及系統(tǒng)層采用了各種糾錯手段 由網(wǎng)絡(luò)引起的傳輸差錯無法徹底被去 除 仍有殘留差錯存在 在此情況下 解碼器可以利用差錯掩蓋技術(shù)盡可能減小殘留差錯 對重建視頻質(zhì)量的影響 即解碼器試圖用主觀可以接受的 近似原始質(zhì)量的視頻數(shù)據(jù)來遮 蓋差錯受損數(shù)據(jù) 而不需要從編碼器得到額外的信息 現(xiàn)有的視頻編碼標(biāo)準(zhǔn) 如h 2 6 x 和m p e g 普遍采用了基于塊的混合編碼方式 受損的 宏塊m b m a c r o b l o c k q b 有三種類型的信息需要估算和恢復(fù) 紋理信息 運動向量以及編 碼模式 幀內(nèi) 幀間 i n t r a i n t e r 3 3 j 恢復(fù)的基礎(chǔ)是自然景物的低頻特性 即空間和時間上 相鄰的像素具有平滑性 因此 差錯掩蓋主要是利用相鄰塊的空域及時域冗余信息來盡量 恢復(fù)丟失塊的信息 現(xiàn)有的視頻幀內(nèi)差錯掩蓋主要是利用經(jīng)典數(shù)學(xué) 由當(dāng)前幀內(nèi)的像素值 估計丟失的像素值 3 1 簡單加權(quán)插值算法 3 1 1 算法描述 當(dāng)受損塊前面沒有參考幀時 如i 幀內(nèi)的宏塊 就不能用基于時域掩蓋的方法來掩蓋 但是圖像內(nèi)部空間相鄰的像素是高度相關(guān)的 可以用受損塊的四周鄰塊的像素值來估計受 損塊的像素值 這就是基于空域掩蓋的空間插值法 簡單加權(quán)插值算法就是利用受損塊周 圍的一圈像素點來進(jìn)行插值 州 在確定受損塊的可用相鄰塊之后 即進(jìn)行逐像素的恢復(fù) 首先根據(jù)可用相鄰塊的起始 坐標(biāo)獲取可用相鄰塊與受損塊相鄰的邊界像素值 對受損塊內(nèi)的每一像素點 用與它最鄰 近的上下左右四個可用邊界像素點進(jìn)行加權(quán)平均 每個像素點的權(quán)重與它到當(dāng)前丟失像素 點的距離成反比 公式如下 刪卜盟毪等等等業(yè) 江 其中p 7 p i n i p s p i 0 p p o j p 月 p n l j f d r d 8 噸 d r 分別是 四個可用邊界像素點與待恢復(fù)像素點之間的距離 為恢復(fù)塊的大小 如圖3 1 所示 南京郵電大學(xué)碩士研究生學(xué)位論文第三章基予經(jīng)典數(shù)學(xué)的視頻幀內(nèi)差錯掩蓋 i 搿 一 j l 一 口r 一 一 1 f 弘 鍋 j i l9 p f 力 1 lll 綴 3 1 2h 2 6 4 幀內(nèi)差錯掩蓋流程 肋 圖3 i 簡單加權(quán)插值 在h 2 6 4 參考軟件j m 中 沒有完整性或比特差錯檢查 所有出錯或不完整的s l i c e 視為丟失 在解碼前丟棄 不會被解碼 在所有正