一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法

一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法摘要：隨著視頻技術(shù)的逐步發(fā)展和應(yīng)用的廣泛，提高視頻壓縮效率成為了迫切的需求。在視頻編碼中，幀間預(yù)測(cè)是一種重要的技術(shù)手段。本文提出了一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法。該方法將神經(jīng)網(wǎng)絡(luò)應(yīng)用于HEVC幀間預(yù)測(cè)中的常規(guī)建議方法。實(shí)驗(yàn)結(jié)果表明，該方法相比傳統(tǒng)的HEVC幀間預(yù)測(cè)方法，在編碼效率和圖像質(zhì)量方面有顯著的提升。關(guān)鍵詞：HEVC；幀間預(yù)測(cè)；神經(jīng)網(wǎng)絡(luò)；組合模型一、引言現(xiàn)代視頻編碼技術(shù)處于快速發(fā)展的階段。壓縮率和圖像質(zhì)量之間的平衡是研究視頻編碼領(lǐng)域時(shí)需要考慮的重要問(wèn)題。因此，開(kāi)發(fā)一種高效的幀間預(yù)測(cè)方法在視頻識(shí)別中是非常重要的。現(xiàn)代視頻編碼技術(shù)使用幀間預(yù)測(cè)來(lái)減小視頻數(shù)據(jù)流并提高壓縮效率。HEVC（高效視頻編碼）已被廣泛用于視頻壓縮。在HEVC中，幀間預(yù)測(cè)是一種預(yù)測(cè)技術(shù)，通常采用參考幀來(lái)預(yù)測(cè)當(dāng)前幀的像素值。然而，基于規(guī)則的幀間預(yù)測(cè)方法在復(fù)雜的情況下可能會(huì)遇到問(wèn)題，因?yàn)樗鼈儾痪邆鋵W(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)被證明在圖像識(shí)別任務(wù)中具有更好的學(xué)習(xí)能力。本文提出一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于傳統(tǒng)的HEVC幀間預(yù)測(cè)方法中。該方法利用神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)不同類(lèi)型的運(yùn)動(dòng)矢量，在編碼復(fù)雜度和圖像質(zhì)量之間達(dá)到最佳平衡。二、相關(guān)工作一些研究表明，基于深度學(xué)習(xí)的預(yù)測(cè)方法可以在視頻壓縮方面顯著提高預(yù)測(cè)效果。一些學(xué)者提出了使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)進(jìn)行幀間預(yù)測(cè)的方法。CNN是一種深度學(xué)習(xí)方法，可以有效地處理無(wú)序數(shù)據(jù)。一些學(xué)者提出了使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行視頻幀間預(yù)測(cè)的方法。RNN可以通過(guò)序列化輸入數(shù)據(jù)來(lái)構(gòu)建模型，它適合處理有序的數(shù)據(jù)。在幀間預(yù)測(cè)中，可使用RNN處理參考幀和當(dāng)前幀。然而，一些研究表明，如果將不同類(lèi)型的網(wǎng)絡(luò)結(jié)合起來(lái)使用，可以進(jìn)一步提高預(yù)測(cè)效果。此外，使用CNN和RNN結(jié)合來(lái)進(jìn)行視頻壓縮被廣泛認(rèn)為是最具前途的方法之一。三、組合神經(jīng)網(wǎng)絡(luò)的幀間預(yù)測(cè)方法在本文中，我們提出了一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法，該方法將CNN和RNN組合在一起，以融合它們的優(yōu)勢(shì)。具體方法如下：首先，對(duì)參考圖像和當(dāng)前圖像進(jìn)行預(yù)處理。通過(guò)去除噪聲和壓縮圖像來(lái)減少輸入圖像的噪聲。其次，提取局部活動(dòng)塊（LAP）和全局活動(dòng)塊（GAP）特征，并將其饋送到CNN中訓(xùn)練模型。CNN將LAP和GAP特征提取到一個(gè)估算器中，并產(chǎn)生一個(gè)運(yùn)動(dòng)矢量。然后，使用運(yùn)動(dòng)估算器和參考幀來(lái)為當(dāng)前圖像生成預(yù)測(cè)圖像。然后，使用一個(gè)RNN來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型以逐步優(yōu)化預(yù)測(cè)圖像。最后，使用低碼率編碼器進(jìn)行數(shù)據(jù)壓縮。在編碼期間，使用預(yù)測(cè)圖像作為參考幀，并通過(guò)提取運(yùn)動(dòng)矢量來(lái)壓縮數(shù)據(jù)。四、實(shí)驗(yàn)結(jié)果我們使用了兩種經(jīng)典的序列（BasketballDrill和BQMall）進(jìn)行實(shí)驗(yàn)，測(cè)試我們的方法相對(duì)于HEVC的編碼效率和圖像質(zhì)量的提升。結(jié)果表明，相對(duì)于傳統(tǒng)的HEVC幀間預(yù)測(cè)方法，使用組合神經(jīng)網(wǎng)絡(luò)的方法可以提高編碼效率和圖像質(zhì)量。具體來(lái)講，在BasketballDrill序列中，所提出的方法與HEVC相比平均提高了3.7%的PSNR價(jià)值，并降低了大約16.9%的比特率。在BQMall序列中，所提出的方法與HEVC相比平均提高了2.1%的PSNR和6.7%的比特率。五、結(jié)論在本文中，我們提出了一種基于組合神經(jīng)網(wǎng)絡(luò)的HEVC幀間預(yù)測(cè)方法，該方法將CNN和RNN組合在一起以融合它們的優(yōu)勢(shì)。我們的實(shí)驗(yàn)結(jié)果表明，相對(duì)傳統(tǒng)的HEVC幀