視頻編解碼的方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

(19)中華人民共和國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局

(12)發(fā)明專(zhuān)利

(10)授權(quán)公告號(hào)CN110719477B

(45)授權(quán)公告日2022.03.25

(21)申請(qǐng)?zhí)?01910605634.2H04N79/732(2014.01)

H04N79/503(2014.01)

(22)申請(qǐng)日2019.07.05

H04N79/776(2014.01)

(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)

H04N79/774(2014.01)

申請(qǐng)公布號(hào)CN110719477A

H04N79/82(2014.01)

(43)申請(qǐng)公布日2020.01.21H04N79/703(2014.01)

H04N79/786(2014.01)

(30)優(yōu)先權(quán)數(shù)據(jù)

H04N79/67(2014.01)

62/696,5302018.07.11US

H04N79/747(2014.01)

16/218,2332018.12.12US

H04N79/705(2014.01)

(73)專(zhuān)利權(quán)人騰訊美國(guó)有限責(zé)任公司

地址美國(guó)加利福尼亞州帕洛阿爾托公園大(56)對(duì)比文件

WO2010116268A1,2010.10.14

道2747號(hào)

WO2010051846A1,2010.05.14

(72)發(fā)明人李翔趙欣劉杉徐萌

CN102484701A,2012.05.30

(74)專(zhuān)利代理機(jī)構(gòu)北京德琦知識(shí)產(chǎn)權(quán)代理有限US2013259128A1,2013.10.03

公司11018CN102165771A,2011.08.24

代理人馬媛媛王琦

審查員呂薇

(51)Int.CI.

H04N79/784(2014.01)權(quán)利要求書(shū)2頁(yè)說(shuō)明書(shū)27頁(yè)附圖14頁(yè)

(54)發(fā)明名稱(chēng)

視頻編解碼的方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)

算機(jī)可讀存儲(chǔ)介質(zhì)

(57)摘要府「八S1SO1X-^J500

本申請(qǐng)實(shí)施例提供了一種視頻編解碼的方

對(duì)四碼單元所關(guān)行解碼sisio

法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其

中該方法包括:對(duì)編碼視頻比特流中的圖像的塊,S152O

??單元是否關(guān)聯(lián)空間變化變-5

相關(guān)聯(lián)的編碼信息進(jìn)行解碼，該編碼信息指示子

區(qū)域在該塊中的位置，并且該子區(qū)域的面積是該

塊面積的1/4；利用第一采樣的殘差數(shù)據(jù)重構(gòu)該

塊位于該子區(qū)域內(nèi)的第一采樣;在不采用該殘差

數(shù)據(jù)的情況下重構(gòu)該塊位于該子區(qū)域外的第二

采樣。

g

箕

寸

6

I

Z

S

I

g

CN110719477B權(quán)利要求書(shū)1/2頁(yè)

1.一種視頻解碼方法，其特征在于，包括：

對(duì)編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼，該編碼信息表示子區(qū)域

在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編碼信息表示該子區(qū)域的寬

度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度，且該子區(qū)域僅鄰接于以下其中之

一:該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊的寬度，該子區(qū)域的高度

為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的上邊緣、該塊的下邊緣;該

編碼信息還通過(guò)第一二進(jìn)制化代碼bin和第二bin指示該塊采用的變換模式，該第一bin和

第二bin組成的’10'表示該塊被垂直分割，并編碼對(duì)應(yīng)于所述子區(qū)域位于左邊緣、右邊緣的

變換模式其中之一;該第一bin和第二bin組成的’11'表示該塊被水平分割，并編碼對(duì)應(yīng)于

所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣;及

在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，重建所述第一采樣進(jìn)一步包括：

通過(guò)對(duì)該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行反變換以確定該子區(qū)域內(nèi)的所述

第一采樣的所述殘差數(shù)據(jù),其中所述變換系數(shù)接收自所述編碼視頻比特流。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，該子區(qū)域呈矩形。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，該塊利用幀間預(yù)測(cè)編碼，且所述第一采樣

和所述第二采樣具有相同的運(yùn)動(dòng)預(yù)測(cè)信息。

5.根據(jù)權(quán)利要求1?4任一項(xiàng)所述的方法，其特征在于，在該編碼視頻比特流中用信號(hào)

表示該子區(qū)域位置的編碼信息。

6.一種視頻解碼裝置，其特征在于，包括：

信息解碼模塊，用于對(duì)編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼，該

編碼信息表示子區(qū)域在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編碼信

息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度,且該子區(qū)域僅

鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊的寬

度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的上邊

緣、該塊的下邊緣；該編碼信息還通過(guò)第一二進(jìn)制化代碼bin和第二bin指示該塊采用的變

換模式，該第一bin和第二bin組成的10'表示該塊被垂直分割，并編碼對(duì)應(yīng)于所述子區(qū)域

位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的11'表示該塊被水

平分割，并編碼對(duì)應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

重建模塊,用于利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣;及

在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述重建模塊用于：

通過(guò)對(duì)該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行反變換以確定該子區(qū)域內(nèi)的所述

第一采樣的所述殘差數(shù)據(jù),其中所述變換系數(shù)接收自所述編碼視頻比特流。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，該子區(qū)域呈矩形，該塊利用幀間預(yù)測(cè)編碼,

且所述第一采樣和所述第二采樣具有相同的運(yùn)動(dòng)預(yù)測(cè)信息。

9.根據(jù)權(quán)利要求6?8任一項(xiàng)所述的裝置，其特征在于，在該編碼視頻比特流中用信號(hào)

表示該子區(qū)域位置的編碼信息。

2

CN110719477B權(quán)利要求書(shū)2/2頁(yè)

10.一種計(jì)算機(jī)設(shè)備，包括處理器和存儲(chǔ)器，其特征在于，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)

可讀指令，所述指令可被所述處理器執(zhí)行用于實(shí)現(xiàn)根據(jù)權(quán)利要求1-5任一權(quán)利要求所述的

方法。

11.一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有程序，其特征在于,所述程序可被至少

一個(gè)處理器執(zhí)行用于實(shí)現(xiàn)根據(jù)權(quán)利要求1-5任一權(quán)利要求所述的方法。

3

CN110719477B說(shuō)明書(shū)1/27頁(yè)

視頻編解碼的方法、裝置'計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

[0001]相關(guān)文件

[0002]本公開(kāi)要求2018年7月11日遞交的美國(guó)臨時(shí)申請(qǐng)62/696530的優(yōu)先權(quán)，以及2018年

12月12日遞交的美國(guó)申請(qǐng)16/218233的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用結(jié)合在本文中。

技術(shù)領(lǐng)域

[0003]本申請(qǐng)實(shí)施例主要涉及視頻編碼技術(shù)，尤其涉及一種視頻編解碼的方法、裝置、計(jì)

算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

[0004]本文提供的背景描述是為了呈現(xiàn)本申請(qǐng)的背景。記名的發(fā)明人的工作，在該背景

部分描述的工作以及本說(shuō)明書(shū)各實(shí)施例的范圍內(nèi)的內(nèi)容，在遞交時(shí)可能并不算作現(xiàn)有技

術(shù)，均未被明示或暗示地承認(rèn)作為不利于本申請(qǐng)的現(xiàn)有技術(shù)。

[0005]視頻編碼和解碼可以使用具有運(yùn)動(dòng)補(bǔ)償?shù)膱D像間預(yù)測(cè)來(lái)進(jìn)行。未壓縮的數(shù)字視頻

可包括一系列圖像，每個(gè)圖像具有一定的空間維度，例如1920x1080的亮度采樣和相關(guān)的色

度采樣。圖像序列可具有固定或可變的圖像速率（俗稱(chēng)幀率），例如，每秒60張圖像或60Hz。

未壓縮的視頻需要較高的比特率。例如，每個(gè)采樣為8比特的1080p604：2：0（60Hz幀率下的

1920x1080亮度采樣分辨率）的視頻需要接近1.5G比特/秒的帶寬。長(zhǎng)度為一小時(shí)的這種視

頻需要600G字節(jié)以上的存儲(chǔ)空間。

[0006]視頻編碼和解碼的一個(gè)目的是，通過(guò)壓縮來(lái)降低輸入視頻信號(hào)的冗余。在一些情

況下，壓縮可將帶寬或存儲(chǔ)器的需求減小至少兩個(gè)數(shù)量級(jí)?？墒褂脽o(wú)損壓縮、有損壓縮，或

其組合。無(wú)損壓縮指可從經(jīng)過(guò)壓縮的原始信號(hào)中重建原始信號(hào)的準(zhǔn)確副本的技術(shù)。當(dāng)使用

有損壓縮時(shí)，重建信號(hào)可與原始信號(hào)不一致,但原始信號(hào)和重建信號(hào)之間的失真足夠小，以

使重建信號(hào)能夠?qū)崿F(xiàn)所期望的用途。視頻領(lǐng)域中廣泛采用有損壓縮。容許的失真量取決于

應(yīng)用，例如，一些消費(fèi)型直播應(yīng)用的用戶(hù)比電視節(jié)目應(yīng)用的用戶(hù)能容忍更大的失真。可實(shí)現(xiàn)

的壓縮比可以反映出：可允許/可容忍的失真越大，可產(chǎn)生的壓縮比越高。

[0007]運(yùn)動(dòng)補(bǔ)償可以是有損壓縮技術(shù)，并且可以涉及一些技術(shù)，這些技術(shù)利用來(lái)自先前

重建的圖像或其一部分（即參考圖像）的采樣數(shù)據(jù)塊，在對(duì)其進(jìn)行運(yùn)動(dòng)矢量（后文稱(chēng)為MV）所

指示的方向上的空間移位之后），用于預(yù)測(cè)新重建的圖像或圖像部分。在一些情況下，參考

圖像可以與當(dāng)前正在重建的圖像相同。MV可以有兩個(gè)維度X和Y,或三個(gè)維度，第三個(gè)是所使

用的參考圖像的指示（后者，間接地，可以是一個(gè)時(shí)間維度）。

[0008]目前，空間可變變換（spatiallyvaryingtransform,SVT）試圖將運(yùn)動(dòng)補(bǔ)償殘差

分割為不同區(qū)域，即殘差較小的區(qū)域和殘差較大的區(qū)域。在JVET-K0139中提出的SVT中，僅

定位和編碼殘差較大的一個(gè)區(qū)域。其它殘差較小的區(qū)域被丟棄并且其殘差被強(qiáng)制設(shè)為0。然

而,JVET-K0139中提出的區(qū)域分割模式是有限的，這導(dǎo)致實(shí)際應(yīng)用中的效率較低。

4

CN110719477B說(shuō)明書(shū)2/27頁(yè)

發(fā)明內(nèi)容

[0009]本申請(qǐng)實(shí)施例提供了一種視頻解碼的方法、裝置計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介

質(zhì)。在一些實(shí)施例中，該裝置對(duì)編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解碼。

該編碼信息指示子區(qū)域在該塊中的位置，并且該子區(qū)域的面積是該塊面積的1/4；其中，該

編碼信息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度,且該子

區(qū)域僅鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該

塊的寬度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一：該塊

的上邊緣、該塊的下邊緣;該編碼信息還通過(guò)第一二進(jìn)制化代碼bin和第二bin指示該塊采

用的變換模式，該第一bin和第二bin組成的'10'表示該塊被垂直分割，并編碼對(duì)應(yīng)于所述

子區(qū)域位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的’11'表示該

塊被水平分割，并編碼對(duì)應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一。該裝置

進(jìn)一步利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重構(gòu)所述第一采樣，并且在不采用殘

差數(shù)據(jù)的情況下重構(gòu)該塊中的位于該子區(qū)域外的第二采樣。

[0010]一個(gè)實(shí)施例中，該裝置進(jìn)一步通過(guò)對(duì)該子區(qū)域內(nèi)的所述第一采樣的變換系數(shù)進(jìn)行

反變換以確定該子區(qū)域內(nèi)所述第一采樣的殘差數(shù)據(jù)，其中所述變換系數(shù)接收自該編碼視頻

比特流。

[0011]在一些實(shí)施例中，該子區(qū)域呈矩形。

[0012]在一些實(shí)施例中，利用幀間預(yù)測(cè)對(duì)該塊進(jìn)行編碼，且所述第一采樣和所述第二采

樣具有相同的運(yùn)動(dòng)預(yù)測(cè)信息。

[0013]在一些例子中，在該編碼視頻比特流中用信號(hào)表示該子區(qū)域位置的編碼信息。

[0014]本申請(qǐng)實(shí)施例提供了一種視頻解碼裝置,包括：

[0015]信息解碼模塊，用于對(duì)編碼視頻比特流中的圖像的塊所關(guān)聯(lián)的編碼信息進(jìn)行解

碼，該編碼信息表示子區(qū)域在該塊中的位置，該子區(qū)域的面積是該塊面積的1/4；其中，該編

碼信息表示該子區(qū)域的寬度為該塊寬度的1/4,該子區(qū)域的高度等于該塊的高度，且該子區(qū)

域僅鄰接于以下其中之一：該塊的左邊緣、該塊的右邊緣;或者，該子區(qū)域的寬度等于該塊

的寬度，該子區(qū)域的高度為該塊高度的1/4,并且該子區(qū)域僅鄰接于以下其中之一:該塊的

上邊緣、該塊的下邊緣;該編碼信息還通過(guò)第一二進(jìn)制化代碼bin和第二bin指示該塊采用

的變換模式，該第一bin和第二bin組成的’10'表示該塊被垂直分割，并編碼對(duì)應(yīng)于所述子

區(qū)域位于左邊緣、右邊緣的變換模式其中之一；該第一bin和第二bin組成的’11'表示該塊

被水平分割，并編碼對(duì)應(yīng)于所述子區(qū)域位于上邊緣、下邊緣的變換模式其中之一；

[0016]重建模塊，用于利用該塊在該子區(qū)域內(nèi)的第一采樣的殘差數(shù)據(jù)重建該第一采樣；

及

[0017]在不采用殘差數(shù)據(jù)的情況下重建該塊位于該子區(qū)域外的第二采樣。

[0018]本申請(qǐng)實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器中存儲(chǔ)有

計(jì)算機(jī)可讀指令，可由所述處理器執(zhí)行，以實(shí)現(xiàn)任一實(shí)施例的方法。

[0019]本申請(qǐng)實(shí)施例還提供了一種非暫存計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有程序，該程序可

由至少一個(gè)處理器執(zhí)行，以實(shí)現(xiàn)任一實(shí)施例的方法。

[0020]本申請(qǐng)實(shí)施例中，可以采用各種方式將編碼單元(CU)分割為具有相對(duì)較大的殘差

的第一采樣的第一子區(qū)域(即殘差較大的子區(qū)域)以及具有相對(duì)較小殘差的第二采樣的第

5

CN110719477B說(shuō)明書(shū)3/27頁(yè)

二子區(qū)域（即殘差較小的子區(qū)域），從而提高編解碼的效率。

[0021]附圖簡(jiǎn)要說(shuō)明

[0022]根據(jù)以下詳細(xì)描述和附圖，本申請(qǐng)主題的其它特征、性質(zhì)和各種優(yōu)點(diǎn)將變得更加

明顯，在附圖中：

[0023]圖1是一個(gè)例子中的當(dāng)前塊及其周?chē)目臻g合并候選者的示意圖。

[0024]圖2是一個(gè)實(shí)施例的通信系統(tǒng)的簡(jiǎn)化框圖的示意圖。

[0025]圖3是另一個(gè)實(shí)施例的通信系統(tǒng)的簡(jiǎn)化框圖的示意圖。

[0026]圖4是一個(gè)實(shí)施例的解碼器的簡(jiǎn)化框圖的示意圖。

[0027]圖5是一個(gè)實(shí)施例的編碼器的簡(jiǎn)化框圖的示意圖。

[0028]圖6是另一實(shí)施例的編碼器的框圖。

[0029]圖7是另一實(shí)施例的解碼器的框圖。

[0030]圖8示出一個(gè)實(shí)施例的吉文斯（Givens）旋轉(zhuǎn)。

[0031]圖9是一個(gè)實(shí)施例的16個(gè)元素NSST的超立方-吉文斯變換（Hypercube-Givens

Transform,HyGT）的流程圖。

[0032]圖10是一個(gè)實(shí)施例的HyGT的輪次和可選的排列通路。

[0033]圖11是本申請(qǐng)一些實(shí)施例的空間可變變換（spatiallyvaryingtransform,SVT）

模式的例子。

[0034]圖12是本申請(qǐng)另一些實(shí)施例的SVT模式的例子。

[0035]圖13是本申請(qǐng)又一些實(shí)施例的SVT模式的例子。

[0036]圖14是本申請(qǐng)一些實(shí)施例的合并子區(qū)域關(guān)聯(lián)的SVT模式的例子。

[0037]圖15是本申請(qǐng)實(shí)施例的過(guò)程的概要流程圖。

[0038]圖16是本申請(qǐng)實(shí)施例的計(jì)算機(jī)系統(tǒng)的示意圖。

具體實(shí)施方式

[0039]在一些視頻壓縮技術(shù)中，用于采樣數(shù)據(jù)的某個(gè)區(qū)域的MV可以從其它MV預(yù)測(cè)得到，

例如，從與該重建中的區(qū)域在空間上相鄰的另一采樣數(shù)據(jù)區(qū)域相關(guān)的、并且解碼順序在該

MV之前的那些MV。這樣做可以大大減少編碼MV所需的數(shù)據(jù)量，從而消除冗余并加大壓縮。例

如,MV預(yù)測(cè)可以有效地工作，因?yàn)楫?dāng)對(duì)從相機(jī)導(dǎo)出的輸入視頻信號(hào)（稱(chēng)為自然視頻）進(jìn)行編

碼時(shí),存在一種統(tǒng)計(jì)可能性，即比單個(gè)MV可適用的區(qū)域更大的區(qū)域在相似的方向上移動(dòng)，并

因此,在某些情況下，可以使用從相鄰區(qū)域的MV推導(dǎo)出的類(lèi)似運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)。這導(dǎo)致為

給定區(qū)域找到的MV與從周?chē)腗V預(yù)測(cè)出的MV相似或相同，并且進(jìn)而在燧編碼之后，可以用

比對(duì)其直接編碼時(shí)使用的比特?cái)?shù)更少的比特來(lái)表示。在一些情況下,MV預(yù)測(cè)可以是對(duì)源自

原始信號(hào)（即：采樣流）的信號(hào)（即：MV）的無(wú)損壓縮的示例。在其它情況下,MV預(yù)測(cè)本身可能

是有損的，例如在從一些周?chē)腗V計(jì)算預(yù)測(cè)因子時(shí)產(chǎn)生的舍入誤差導(dǎo)致的損失。

[0040]在H.265/HEVCQTU-TH.265建議書(shū)，高效視頻編碼攝,2016年12月）中描述了各種

MV預(yù)測(cè)機(jī)制。在H.265提供的許多MV預(yù)測(cè)機(jī)制中，這里描述的是一種后文稱(chēng)為空間合并的技

術(shù)。

[0041]請(qǐng)參考圖1,當(dāng)前塊（101）包括在運(yùn)動(dòng)搜索過(guò)程期間已由編碼器發(fā)現(xiàn)的樣本，根據(jù)

已產(chǎn)生空間偏移的相同大小的先前塊，可預(yù)測(cè)所述樣本。另外，可從一個(gè)或多個(gè)參考圖片相

6

CN110719477B說(shuō)明書(shū)4/27頁(yè)

關(guān)聯(lián)的元數(shù)據(jù)中導(dǎo)出所述MV,而非對(duì)MV直接編碼。例如，使用AO、A1和BO、B1、B2(分別對(duì)應(yīng)

102到106)五個(gè)周?chē)蓸又械娜我徊蓸酉嚓P(guān)聯(lián)的MV,(按解碼次序)從最近的參考圖片的元

數(shù)據(jù)中獲得所述MV。在H.265中,MV預(yù)測(cè)可使用來(lái)自相鄰塊所使用的同一參考圖像的預(yù)測(cè)因

子。

[0042]圖2是本申請(qǐng)實(shí)施例的通信系統(tǒng)(200)的簡(jiǎn)化框圖。通信系統(tǒng)(200)包括多個(gè)終端

裝置，所述終端裝置可通過(guò)例如網(wǎng)絡(luò)(250)彼此通信。舉例來(lái)說(shuō)，通信系統(tǒng)(200)包括通過(guò)網(wǎng)

絡(luò)(250)互連的終端設(shè)備(210)和終端設(shè)備(220)。在圖2的實(shí)施例中，終端設(shè)備(210)和終端

設(shè)備(220)執(zhí)行單向數(shù)據(jù)傳輸。舉例來(lái)說(shuō)，終端設(shè)備(210)可對(duì)視頻數(shù)據(jù)(例如由終端設(shè)備

(210)采集的視頻圖像流)進(jìn)行編碼以通過(guò)網(wǎng)絡(luò)(250)傳輸?shù)搅硪唤K端設(shè)備(220)。已編碼的

視頻數(shù)據(jù)以一個(gè)或多個(gè)編碼視頻碼流的形式傳輸。終端設(shè)備(220)可從網(wǎng)絡(luò)(250)接收編碼

視頻數(shù)據(jù)，對(duì)編碼視頻數(shù)據(jù)進(jìn)行解碼以恢復(fù)視頻數(shù)據(jù)，并根據(jù)恢復(fù)的視頻數(shù)據(jù)顯示視頻圖

像。單向數(shù)據(jù)傳輸常用于媒體服務(wù)應(yīng)用等。

[0043]在另一實(shí)施例中，通信系統(tǒng)(200)包括執(zhí)行編碼視頻數(shù)據(jù)的雙向傳輸?shù)慕K端設(shè)備

(230)和(240),所述雙向傳輸可在，例如，視頻會(huì)議期間，發(fā)生。對(duì)于雙向數(shù)據(jù)傳輸，終端設(shè)

備(230)和終端設(shè)備(240)中的每個(gè)終端設(shè)備可對(duì)視頻數(shù)據(jù)(例如由終端設(shè)備采集的視頻圖

像流)進(jìn)行編碼以通過(guò)網(wǎng)絡(luò)(250)傳輸?shù)浇K端設(shè)備(230)和終端設(shè)備(240)中的另一終端設(shè)

備。終端設(shè)備(230)和終端設(shè)備(240)中的每個(gè)終端設(shè)備還可接收由終端設(shè)備(230)和終端

設(shè)備(240)中的另一終端設(shè)備傳輸?shù)囊丫幋a視頻數(shù)據(jù)，且可對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行解

碼以恢復(fù)視頻數(shù)據(jù)，且可根據(jù)恢復(fù)的視頻數(shù)據(jù)在可訪問(wèn)的顯示裝置上顯示視頻圖像。

[0044]在圖2的實(shí)施例中，終端設(shè)備(210)、終端設(shè)備(220)、終端設(shè)備(230)和終端設(shè)備

(240)可為服務(wù)器、個(gè)人計(jì)算機(jī)和智能電話，但本申請(qǐng)公開(kāi)的原理可不限于此。本申請(qǐng)實(shí)施

例適用于筆記本電腦、平板電腦、媒體播放器和/或?qū)Ｓ靡曨l會(huì)議設(shè)備。網(wǎng)絡(luò)(250)表示在終

端設(shè)備(210)、終端設(shè)備(220)、終端設(shè)備(230)和終端設(shè)備(240)之間傳送已編碼視頻數(shù)據(jù)

的任何數(shù)目的網(wǎng)絡(luò)，包括例如有線(連線的)和/或無(wú)線通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)(250)可在電路

交換和/或包交換的信道中交換數(shù)據(jù)。該網(wǎng)絡(luò)可包括電信網(wǎng)絡(luò)、局域網(wǎng)、廣域網(wǎng)和/或互聯(lián)

網(wǎng)。為本文討論的目的，除非有明確說(shuō)明，網(wǎng)絡(luò)(250)的體系結(jié)構(gòu)和拓?fù)渑c本申請(qǐng)的操作無(wú)

關(guān)。

[0045]作為實(shí)施例，圖3示出視頻編碼器和視頻解碼器在流媒體環(huán)境中的部署方式。本申

請(qǐng)所公開(kāi)主題可同等地適用于其它支持視頻的應(yīng)用，包括例如視頻會(huì)議、數(shù)字TV、在包括

CD、DVD、存儲(chǔ)棒等的數(shù)字介質(zhì)上存儲(chǔ)壓縮視頻等等。

[0046]流媒體系統(tǒng)可包括采集子系統(tǒng)(313)，所述采集子系統(tǒng)可包括數(shù)碼相機(jī)等視頻源

(301)，所述視頻源創(chuàng)建未壓縮的視頻圖像流(302)。在實(shí)施例中，視頻圖像流(302)包括由

數(shù)碼相機(jī)拍攝的采樣。視頻圖像流(302)(用粗線表示，以強(qiáng)調(diào)比已編碼的視頻數(shù)據(jù)(304)

(或已編碼的視頻碼流)的數(shù)據(jù)量大)可由電子設(shè)備(320)處理,所述電子設(shè)備(320)包括耦

接到視頻源(301)的視頻編碼器(303)。視頻編碼器(303)可包括硬件、軟件或軟硬件組合以

實(shí)現(xiàn)或?qū)嵤┤缦挛母敿?xì)地描述的本申請(qǐng)主題的各實(shí)施例。已編碼的視頻數(shù)據(jù)(304)(或已

編碼的視頻碼流(304))(用細(xì)線表示，以強(qiáng)調(diào)比視頻圖像流(302)的數(shù)據(jù)量小)可存儲(chǔ)在流

媒體服務(wù)器(305)上以供后續(xù)使用。一個(gè)或多個(gè)流媒體客戶(hù)端子系統(tǒng)(例如圖3中的客戶(hù)端

子系統(tǒng)(306)和客戶(hù)端子系統(tǒng)(308))可訪問(wèn)流媒體服務(wù)器(305)以獲取已編碼的視頻數(shù)據(jù)

7

CN110719477B說(shuō)明書(shū)5/27頁(yè)

(304)的副本(307)和副本(309)?？蛻?hù)端子系統(tǒng)(306)可包括，例如，電子設(shè)備(330)中的視

頻解碼器(310)。視頻解碼器(310)對(duì)已編碼的視頻數(shù)據(jù)的傳入副本(307)進(jìn)行解碼,并創(chuàng)建

可在顯示器(312)(例如顯示屏)或其它呈現(xiàn)設(shè)備(未示出)上呈現(xiàn)的傳出視頻圖像流(311)o

在一些流媒體系統(tǒng)中，可根據(jù)一些視頻編碼/壓縮標(biāo)準(zhǔn)對(duì)已編碼的視頻數(shù)據(jù)(304)、(307)和

(309)(例如視頻碼流)進(jìn)行編碼。這些標(biāo)準(zhǔn)的例子包括ITU-T建議H.265。一個(gè)例子中，一種

正在開(kāi)發(fā)的視頻編碼標(biāo)準(zhǔn)被俗稱(chēng)為多功能視頻編碼(VersatileVideoCoding,VVC)。本申

請(qǐng)的主題可以在VVC環(huán)境中使用。

[0047]應(yīng)注意，電子設(shè)備(320)和(330)可包括其它組件(未示出)。例如，電子設(shè)備(320)

可包括視頻解碼器(未示出)，且電子設(shè)備(330)還可包括視頻編碼器(未示出)o

[0048]圖4是本申請(qǐng)實(shí)施例的視頻解碼器(410)的框圖。視頻解碼器(410)可設(shè)置在電子

設(shè)備(430)中。電子設(shè)備(430)可包括接收器(431)(例如接收電路)。視頻解碼器(410)可用

于代替圖3實(shí)施例中的視頻解碼器(310)。

[0049]接收器(431)可接收要由視頻解碼器(410)解碼的一個(gè)或多個(gè)編碼視頻序列;在同

一實(shí)施例或另一實(shí)施例中，一次接收一個(gè)編碼視頻序列，其中每個(gè)編碼視頻序列的解碼獨(dú)

立于其它編碼視頻序列?？蓮男诺?401)接收編碼視頻序列，該信道(412)可以是通向存儲(chǔ)

已編碼視頻數(shù)據(jù)的存儲(chǔ)裝置的硬件/軟件鏈路。接收器(431)可以接收已編碼視頻數(shù)據(jù)和其

它數(shù)據(jù)，其它數(shù)據(jù)例如編碼音頻數(shù)據(jù)和/或輔助數(shù)據(jù)流，它們可以被轉(zhuǎn)發(fā)到它們各自的使用

實(shí)體(未示出)。接收器(431)可以將編碼視頻序列與其它數(shù)據(jù)分離。為了防止網(wǎng)絡(luò)抖動(dòng)，緩

沖存儲(chǔ)器(415)可耦接在接收器(431)與端解碼器/解析器(420)(此后稱(chēng)為“解析器(420))

之間?！痹谀承?yīng)用中，緩沖存儲(chǔ)器(415)是視頻解碼器(410)的一部分。在其它情況下，所述

緩沖存儲(chǔ)器(415)可設(shè)置在視頻解碼器(410)外部(未示出)。而在其它情況下，可在視頻解

碼器(410)的外部設(shè)置緩沖存儲(chǔ)器(未標(biāo)示)(例如，用于防止網(wǎng)絡(luò)抖動(dòng))，并在視頻解碼器

(410)的內(nèi)部配置另一緩沖存儲(chǔ)器(415)(例如，用于處理播出定時(shí))。而當(dāng)接收器(431)從具

有足夠帶寬和可控性的存儲(chǔ)/轉(zhuǎn)發(fā)設(shè)備，或從等時(shí)同步網(wǎng)絡(luò)接收數(shù)據(jù)時(shí)，也可能不需要使用

緩沖存儲(chǔ)器(415)，或可以使用小型緩沖存儲(chǔ)器。為了在例如互聯(lián)網(wǎng)等盡力而為式的分組網(wǎng)

絡(luò)上使用，可能需要使用緩沖存儲(chǔ)器(415)，緩沖存儲(chǔ)器可相對(duì)較大并且最好是具有自適應(yīng)

的大小，且可至少部分地由操作系統(tǒng)或視頻解碼器(410)外部的類(lèi)似元件(未標(biāo)示)實(shí)現(xiàn)。

[0050]視頻解碼器(410)可包括解析器(420)以根據(jù)編碼視頻序列重建符號(hào)(421)。這些

符號(hào)的類(lèi)別包括用于管理解碼器(410)操作的信息，還可能包括用于控制諸如顯示器的呈

現(xiàn)設(shè)備(412)的信息，該呈現(xiàn)設(shè)備不是解碼器的組成部分，但是可以耦合到解碼器，如圖4所

示。用于呈現(xiàn)設(shè)備的控制信息可以是補(bǔ)充增強(qiáng)信息(SEI消息)或視頻可用性信息(VUI)參數(shù)

集片段(未示出)的形式。解析器(420)可對(duì)接收到的編碼視頻序列進(jìn)行解析/端解碼。編碼

視頻序列的編碼可根據(jù)視頻編碼技術(shù)或標(biāo)準(zhǔn)進(jìn)行，且可遵循各種原理，包括可變長(zhǎng)度編碼、

霍夫曼編碼(Huffmancoding)、具有或不具有上下文靈敏度的算術(shù)編碼等。解析器(420)可

基于對(duì)應(yīng)于群組的至少一個(gè)參數(shù),從編碼視頻序列提取用于視頻解碼器中的像素的子組中

的至少一個(gè)子組的子組參數(shù)集。子組可以包括圖像組(G0P)、圖像、圖塊(tile)、分片

(slice)、宏塊(macroblock)、編碼單元(CU)、塊、轉(zhuǎn)換單元(TU)、預(yù)測(cè)單元(PU)等。解析器

(420)還可以從編碼視頻序列中提取出如變換系數(shù)、量化器參數(shù)值、運(yùn)動(dòng)矢量等信息。

[0051]解析器(420)可對(duì)從緩沖存儲(chǔ)器(415)接收的視頻序列執(zhí)行端解碼/解析操作，從

8

CN110719477B說(shuō)明書(shū)6/27頁(yè)

而創(chuàng)建符號(hào)(421)。

[0052]符號(hào)(421)的重構(gòu)可以包括多個(gè)不同的單元，這取決于編碼視頻圖像或其部分的

類(lèi)型(例如:幀間和幀內(nèi)圖像，幀間和幀內(nèi)塊)以及其它因素。涉及哪些單元以及涉及方式可

由解析器(420)從編碼視頻序列解析的子組控制信息控制。為了清楚起見(jiàn)，下面沒(méi)有描述解

析器(420)和多個(gè)單元之間的這種子組控制信息流。

[0053]除己經(jīng)提及的功能塊以外，視頻解碼器(410)可在概念上細(xì)分成如下文所描述的

數(shù)個(gè)功能單元。在商業(yè)受限下操作的實(shí)際具體實(shí)施中，這些單元中的許多彼此緊密地交互,

并且可以至少部分地彼此集成。然而，為了描述本申請(qǐng)的主題，以下對(duì)功能單元從概念上的

劃分是合適的。

[0054]第一單元是定標(biāo)器/逆轉(zhuǎn)換單元(451)。定標(biāo)器/逆變換單元(451)從解析器(420)

接收符號(hào)(421)形式的量化變換系數(shù)以及控制信息，包括使用哪種變換方式、塊大小、量化

因子、量化縮放矩陣等?？s放器/逆變換單元(451)可輸出包括樣本值的塊，所述樣本值可輸

入到聚合器(455)中。

[0055]在一些情況下，定標(biāo)器/逆轉(zhuǎn)換單元(451)的輸出采樣可以屬于幀內(nèi)編碼塊；即：不

使用來(lái)自先前重建圖像的預(yù)測(cè)信息，但是可以使用來(lái)自當(dāng)前圖像的先前重建部分的預(yù)測(cè)信

息的塊。這種預(yù)測(cè)信息可以由幀內(nèi)圖像預(yù)測(cè)單元(452)提供。在一些情況下，幀內(nèi)圖片預(yù)測(cè)

單元(452)使用從當(dāng)前圖像緩沖器(458)提取的周?chē)阎亟ㄐ畔⑸膳c正在重建的塊的大

小和形狀相同的塊。舉例來(lái)說(shuō)，當(dāng)前圖片緩沖器(458)緩沖部分重建的當(dāng)前圖像和/或完全

重建的當(dāng)前圖像。在一些情況下，聚合器(455)在每個(gè)采樣的基礎(chǔ)上將幀內(nèi)預(yù)測(cè)單元(452)

已經(jīng)生成的預(yù)測(cè)信息添加到由定標(biāo)器/逆轉(zhuǎn)換單元(451)提供的輸出樣本信息。

[0056]在其它情況下，定標(biāo)器/逆轉(zhuǎn)換單元(451)的輸出采樣可屬于經(jīng)幀間編碼且可能經(jīng)

運(yùn)動(dòng)補(bǔ)償?shù)膲K。在此情況下，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元(453)可訪問(wèn)參考圖片存儲(chǔ)器(457)以提取

用于預(yù)測(cè)的采樣。在根據(jù)符號(hào)(421)對(duì)提取的樣本進(jìn)行運(yùn)動(dòng)補(bǔ)償之后,這些樣本可由聚合器

(455)添加到定標(biāo)器/逆變換單元(451)的輸出(在這種情況下被稱(chēng)作殘差采樣或殘差信

號(hào))，從而生成輸出采樣信息。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元(453)獲取的預(yù)測(cè)采樣在參考圖像存儲(chǔ)器

(457)內(nèi)的地址可受運(yùn)動(dòng)矢量控制，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元(453)可以得到具有符號(hào)(421)形式

的該運(yùn)動(dòng)矢量，所述符號(hào)(421)可以具有，例如,X、Y和參考圖像分量。當(dāng)使用子采樣的精確

運(yùn)動(dòng)矢量時(shí)，矢量運(yùn)動(dòng)補(bǔ)償還可包括對(duì)從參考圖像存儲(chǔ)器(457)獲取的采樣值進(jìn)行插值、運(yùn)

動(dòng)矢量預(yù)測(cè)機(jī)制等。

[0057]聚合器(455)的輸出采樣可以在回路濾波器單元(456)中經(jīng)各種回路濾波技術(shù)處

理。視頻壓縮技術(shù)可包括環(huán)路內(nèi)濾波器技術(shù)，所述環(huán)路內(nèi)濾波器技術(shù)由編碼視頻序列(也稱(chēng)

作已編碼視頻碼流)中的參數(shù)控制，環(huán)路濾波器單元(456)可得到來(lái)自解析器(420)的符號(hào)

(421)形式的所述參數(shù)。然而，在其他實(shí)施例中，視頻壓縮技術(shù)還可響應(yīng)于在解碼已編碼圖

片或已編碼視頻序列的先前(按解碼次序)部分期間獲得的元信息，以及響應(yīng)于先前重建且

經(jīng)過(guò)環(huán)路濾波的采樣值。

[0058]回路濾波器單元(456)的輸出可以是可輸出到呈現(xiàn)設(shè)備(412)也可存儲(chǔ)在參考圖

像存儲(chǔ)器(457)中的采樣流，以用于將來(lái)的圖像間預(yù)測(cè)。

[0059]一旦被完全重建，一些編碼圖像可在后續(xù)預(yù)測(cè)中用作參考圖像。例如，一旦當(dāng)前圖

像對(duì)應(yīng)的已編碼圖像被完全重建，且已編碼圖像(通過(guò)例如解析器(420))被識(shí)別為參考圖

9

CN110719477B說(shuō)明書(shū)7/27頁(yè)

片，則當(dāng)前圖像緩沖器(458)可成為參考圖像存儲(chǔ)器(457)的一部分,且可在開(kāi)始重建后續(xù)

已編碼圖像之前重新分配新的當(dāng)前圖像緩沖器。

[0060]視頻解碼器(410)可根據(jù)例如ITU-TH.265標(biāo)準(zhǔn)中的預(yù)定視頻壓縮技術(shù)執(zhí)行解碼

操作。在已編碼視頻序列遵循視頻壓縮技術(shù)或標(biāo)準(zhǔn)的語(yǔ)法以及視頻壓縮技術(shù)或標(biāo)準(zhǔn)中記錄

的配置文件的意義上，已編碼視頻序列可符合所使用的視頻壓縮技術(shù)或標(biāo)準(zhǔn)指定的語(yǔ)法。

具體地說(shuō)，配置文件可從視頻壓縮技術(shù)或標(biāo)準(zhǔn)中可用的所有工具中選擇某些工具作為在所

述配置文件下可供使用的僅有工具。并且，為遵循一些視頻壓縮技術(shù)或標(biāo)準(zhǔn)，編碼視頻序列

的復(fù)雜度可在視頻壓縮技術(shù)或標(biāo)準(zhǔn)的等級(jí)所限定的界限之內(nèi)。在一些情況下，各等級(jí)對(duì)最

大圖像尺寸、最大幀率、最大重建采樣率(例如以每秒兆次采樣來(lái)衡量)、最大參考圖像尺寸

等進(jìn)行了限制。在一些情況下，等級(jí)設(shè)置的限制可進(jìn)一步通過(guò)假設(shè)參考解碼器

(HypotheticalReferenceDecoder,HRD)規(guī)范和編碼視頻序列中指示的HRD緩存管理的元

數(shù)據(jù)來(lái)限定。

[0061]在一個(gè)實(shí)施例中，接收器(431)可連同已編碼視頻一起接收附加(冗余)數(shù)據(jù)。附加

數(shù)據(jù)可以是編碼視頻序列的一部分。附加數(shù)據(jù)可由視頻解碼器(410)用以對(duì)數(shù)據(jù)進(jìn)行適當(dāng)

解碼和/或較準(zhǔn)確地重建原始視頻數(shù)據(jù)。附加數(shù)據(jù)可呈例如時(shí)間、空間或信噪比(signal

noiseratio,SNR)增強(qiáng)層、冗余切片、冗余圖片、前向糾錯(cuò)碼等形式。

[0062]圖5是根據(jù)本申請(qǐng)公開(kāi)的實(shí)施例的視頻編碼器(503)的框圖。視頻編碼器(503)設(shè)

置于電子設(shè)備(520)中。電子設(shè)備(520)包括傳輸器(540)(例如傳輸電路)。視頻編碼器

(503)可用于代替圖3實(shí)施例中的視頻編碼器(303)。

[0063]視頻編碼器(503)可從視頻源(501)(并非圖5實(shí)施例中的電子設(shè)備(520)的一部

分)接收視頻樣本，所述視頻源可采集將由視頻編碼器(503)編碼的視頻圖像。在另一實(shí)施

例中，視頻源(501)是電子設(shè)備(520)的一部分。

[0064]視頻源(501)可提供將由視頻編碼器(503)編碼的呈數(shù)字視頻采樣流形式的源視

頻序列，所述數(shù)字視頻樣本流可具有任何合適的位深度(例如：8位、10位、12位……)、任何

色彩空間(例如BT.601YCrCB.RGB……)和任何合適的采樣結(jié)構(gòu)(例如YCrCb4:2:0、

YCrCb4:4:4)。在媒體服務(wù)系統(tǒng)中，視頻源(501)可以是存儲(chǔ)先前已準(zhǔn)備好的視頻的存儲(chǔ)設(shè)

備。在視頻會(huì)議系統(tǒng)中，視頻源(501)可以是采集本地圖像信息作為視頻序列的相機(jī)?？商?/p>

供多個(gè)單獨(dú)的圖像作為視頻數(shù)據(jù)，當(dāng)按順序觀看時(shí)，這些圖像呈現(xiàn)出運(yùn)動(dòng)效果。圖像自身可

構(gòu)建為空間像素陣列，其中，根據(jù)所用的采樣結(jié)構(gòu)、色彩空間等，每個(gè)像素可包括一個(gè)或多

個(gè)采樣。本領(lǐng)域技術(shù)人員可以很容易理解像素和采樣之間的關(guān)系。下文側(cè)重于描述采樣。

[0065]根據(jù)實(shí)施例，視頻編碼器(503)可實(shí)時(shí)或在應(yīng)用要求的任何其它時(shí)間限制下，對(duì)源

視頻序列的圖像進(jìn)行編碼及壓縮以形成編碼視頻序列(543)。控制器(550)的一個(gè)功能是施

行適當(dāng)?shù)木幋a速度。在一些實(shí)施例中，控制器(550)控制如下文所描述的其它功能單元且在

功能上耦接到這些單元。為清楚起見(jiàn)，圖中未標(biāo)示耦接。由控制器(550)設(shè)置的參數(shù)可包括

速率控制相關(guān)參數(shù)(圖像跳過(guò)、量化器、率失真優(yōu)化技術(shù)的入值等)、圖像尺寸、圖像組(G0P)

布局、最大運(yùn)動(dòng)矢量搜索范圍等。控制器(550)可具有其它合適的功能，這些功能屬于為某

一系統(tǒng)設(shè)計(jì)優(yōu)化的視頻編碼器(503)o

[0066]在一些實(shí)施例中，視頻編碼器(503)在編碼環(huán)路中進(jìn)行操作。作為簡(jiǎn)單的描述，在

實(shí)施例中，編碼環(huán)路可包括源編碼器(530)(例如，負(fù)責(zé)基于待編碼的輸入圖像和參考圖像

10

CN110719477B說(shuō)明書(shū)8/27頁(yè)

創(chuàng)建符號(hào)，例如符號(hào)流)和嵌入視頻編碼器(503)中的(本地)解碼器(533)。解碼器(533)重

建符號(hào)以創(chuàng)建(遠(yuǎn)程)解碼器也會(huì)創(chuàng)建的采樣數(shù)據(jù)(因?yàn)樵诒旧暾?qǐng)主題中所考慮的視頻壓縮

技術(shù)中，符號(hào)與編碼視頻碼流之間的任何壓縮是無(wú)損的)。將重建的采樣流(采樣數(shù)據(jù))輸入

到參考圖片存儲(chǔ)器(534)。由于符號(hào)流的解碼產(chǎn)生與解碼器位置(本地或遠(yuǎn)程)無(wú)關(guān)的位精

確結(jié)果，因此參考圖片存儲(chǔ)器(534)中的內(nèi)容在本地編碼器與遠(yuǎn)程編碼器之間也是按比特

位精確對(duì)應(yīng)的。換句話說(shuō),編碼器的預(yù)測(cè)部分看到攝的參考圖片采樣與解碼器在解碼期間

使用預(yù)測(cè)時(shí)所看到攝的采樣值完全相同。這種參考圖片同步性基本原理(以及在例如因信

道誤差而無(wú)法維持同步性的情況下產(chǎn)生的漂移)也用于一些相關(guān)技術(shù)。

[0067]“本地”解碼器(533)的操作可以與上面已經(jīng)結(jié)合圖4詳細(xì)描述的“遠(yuǎn)程”解碼器

(410)的操作相同。然而，還是簡(jiǎn)要地參考圖4,由于符號(hào)可用，并且由端編碼器(545)和解析

器(420)對(duì)編碼視頻序列的符號(hào)的解碼可以是無(wú)損的，所以解碼器(310)的燧解碼部分，包

括信道(412)、接收器(410)、緩沖器(415)和解析器(420)，可能不能完全在本地解碼器

(533)中實(shí)現(xiàn)。

[0068]此時(shí)可以觀察到，除存在于解碼器中的解析/端解碼之外的任何解碼器技術(shù)，也必

定以基本上相同的功能形式存在于對(duì)應(yīng)的編碼器中。因此，本申請(qǐng)的主題側(cè)重于解碼器操

作。可簡(jiǎn)化編碼器技術(shù)的描述，因?yàn)榫幋a器技術(shù)與全面地描述的解碼器技術(shù)互逆。僅在某些

區(qū)域中需要更詳細(xì)的描述，并且在下文提供。僅在一些區(qū)域中需要更詳細(xì)的描述，如下文所

述。

[0069]參考來(lái)自視頻序列中被指定為參考圖像的一個(gè)或多個(gè)先前已編碼圖像，所述運(yùn)動(dòng)

補(bǔ)償預(yù)測(cè)編碼對(duì)輸入圖像進(jìn)行預(yù)測(cè)性編碼。以此方式，編碼引擎(532)對(duì)輸入圖像的像素塊

與可被選為所述輸入圖像的預(yù)測(cè)參考的參考圖像的像素塊之間的差異進(jìn)行編碼。

[0070]本地視頻解碼器(533)可基于源編碼器(530)創(chuàng)建的符號(hào)，對(duì)可指定為參考圖像的

圖像的已編碼視頻數(shù)據(jù)進(jìn)行解碼。較佳地，編碼引擎(532)的操作可以是有損過(guò)程。當(dāng)已編

碼視頻數(shù)據(jù)可在視頻解碼器(圖5中未示)處被解碼時(shí)，重建的視頻序列通?？梢允菐в幸?/p>

些誤差的源視頻序列的副本。本地視頻解碼器(533)復(fù)制解碼過(guò)程，所述解碼過(guò)程可由視頻

解碼器對(duì)參考圖像執(zhí)行，且可將重建的參考圖像存儲(chǔ)在參考圖像緩存(534)中。以此方式,

視頻編碼器(503)可在本地存儲(chǔ)重建的參考圖片的副本，所述副本與將由遠(yuǎn)端視頻解碼器

獲得的重建參考圖片具有共同內(nèi)容(不存在傳輸誤差)o

[0071]預(yù)測(cè)器(535)可針對(duì)編碼引擎(532)執(zhí)行預(yù)測(cè)搜索。即，對(duì)于將要編碼的新圖像，預(yù)

測(cè)器(535)可在參考圖像存儲(chǔ)器(534)中搜索可作為所述新圖像的合適的預(yù)測(cè)參考的采樣

數(shù)據(jù)(作為候選參考像素塊)或某些元數(shù)據(jù)，例如參考圖片運(yùn)動(dòng)矢量、塊形狀等。預(yù)測(cè)器

(535)可對(duì)采樣塊逐像素塊進(jìn)行處理，以找到合適的預(yù)測(cè)參考。在一些情況下，根據(jù)預(yù)測(cè)器

(535)獲得的搜索結(jié)果,輸入圖像可具有從存儲(chǔ)于參考圖像存儲(chǔ)器(534)中存儲(chǔ)的多個(gè)參考

圖像取得的預(yù)測(cè)參考。

[0072]控制器(550)可管理源編碼器(530)的編碼操作，包括例如設(shè)置用于對(duì)視頻數(shù)據(jù)進(jìn)

行編碼的參數(shù)和子組參數(shù)。

[0073]可在燧編碼器(545)中對(duì)所有上述功能單元的輸出進(jìn)行熠編碼。端編碼器(545)根

據(jù)例如霍夫曼編碼、可變長(zhǎng)度編碼、算術(shù)編碼等技術(shù)對(duì)各種功能單元生成的符號(hào)進(jìn)行無(wú)損

壓縮,從而將所述符號(hào)轉(zhuǎn)換成編碼視頻序列。

11

CN110719477B說(shuō)明書(shū)9/27頁(yè)

[0074]傳輸器（540）可緩沖由燧編碼器（545）創(chuàng)建的編碼視頻序列，從而為通過(guò)通信信道

（560）進(jìn)行傳輸做準(zhǔn)備，所述通信信道可以是通向?qū)⒋鎯?chǔ)已編碼的視頻數(shù)據(jù)的存儲(chǔ)裝置的

硬件/軟件鏈路。傳輸器（540）可將來(lái)自視頻編碼器（503）的編碼視頻數(shù)據(jù)與將要傳輸?shù)钠?/p>

它數(shù)據(jù)合并，其它數(shù)據(jù)可以是，例如，編碼音頻數(shù)據(jù)和/或輔助數(shù)據(jù)流（未示出來(lái)源）。

[0075]控制器（550）可管理視頻編碼器（503）的操作。在編碼期間，控制器（550）可以為每

個(gè)編碼圖像分配編碼圖像類(lèi)型，該編碼圖像類(lèi)型能夠影響可應(yīng)用于相應(yīng)圖像的編碼技術(shù)。

例如，通常可以將圖像指定為以下圖像類(lèi)型之一：

[0076]幀內(nèi)圖像Q圖像）可以是不需要利用序列中其它任何圖像作為預(yù)測(cè)源進(jìn)行編碼和

解碼的圖像。一些視頻編解碼器容許不同類(lèi)型的幀內(nèi)圖像，包括例如獨(dú)立解碼器刷新

（IndependentDecoderRefresh,IDR）圖像。本領(lǐng)域技術(shù)人員知曉I圖像的變型及其相應(yīng)應(yīng)

用和特征。

[0077]預(yù)測(cè)圖像（P圖像）可以是可以使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)來(lái)編碼和解碼的圖像，幀

內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)使用至多一個(gè)運(yùn)動(dòng)向量和參考索引來(lái)預(yù)測(cè)每個(gè)塊的采樣值。

[0078]雙向預(yù)測(cè)圖像（B圖像）可以是可以使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)來(lái)編碼和解碼的圖

像，幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)使用至多兩個(gè)運(yùn)動(dòng)向量和參考索引來(lái)預(yù)測(cè)每個(gè)塊的采樣值。類(lèi)似

地，多個(gè)預(yù)測(cè)性圖像可使用多于兩個(gè)參考圖像和相關(guān)元數(shù)據(jù)以重建單個(gè)塊。

[0079]源圖像通?？稍诳臻g上細(xì)分為多個(gè)采樣塊（例如,4X4、8X8、4X8或16X16個(gè)采

樣的塊）并逐塊進(jìn)行編碼。這些塊可參考其它（已編碼）塊進(jìn)行預(yù)測(cè)編碼，其它塊可以根據(jù)應(yīng)

用于塊的相應(yīng)圖像的編碼任務(wù)來(lái)確定。。例如，1圖像的塊可進(jìn)行非預(yù)測(cè)編碼，或可參考同一

圖像的已編碼的塊來(lái)進(jìn)行預(yù)測(cè)編碼（空間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)）。P圖片的像素塊可參考一個(gè)先

前編碼的參考圖片通過(guò)空間預(yù)測(cè)或通過(guò)時(shí)域預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼。B圖片的塊可參考一個(gè)或

兩個(gè)先前編碼的參考圖片通過(guò)空間預(yù)測(cè)或通過(guò)時(shí)域預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼。

[0080]視頻編碼器（503）可根據(jù)例如ITU-TH.265建議書(shū)的預(yù)定視頻編碼技術(shù)或標(biāo)準(zhǔn)執(zhí)

行編碼操作。在操作中，視頻編碼器（503）可執(zhí)行各種壓縮操作，包括利用輸入視頻序列中

的時(shí)間和空間冗余的預(yù)測(cè)編碼操作。因此，編碼視頻數(shù)據(jù)可符合所使用的視頻編碼技術(shù)或

標(biāo)準(zhǔn)指定的語(yǔ)法。

[0081]在實(shí)施例中，傳輸器（540）可傳輸附加數(shù)據(jù)和已編碼的視頻。源編碼器（530）可將

此類(lèi)數(shù)據(jù)作為編碼視頻序列的一部分。附加數(shù)據(jù)可包括時(shí)間/空間/SNR增強(qiáng)層、冗余圖像和

切片等其它形式的冗余數(shù)據(jù)、補(bǔ)充增強(qiáng)信息（EnhancementInformation,SEI）消息、可視可

用性信息（VisualUsabi1ityInformation,VUI）參數(shù)集片段等。

[0082]采集到的視頻可作為呈時(shí)間序列的多個(gè)源圖像（視頻圖像）。幀內(nèi)圖像預(yù)測(cè)（常簡(jiǎn)

稱(chēng)為幀內(nèi)預(yù)測(cè)）利用給定圖片中的空間相關(guān)性,而幀間圖像預(yù)測(cè)則利用圖像之間的（時(shí)間或

其它）相關(guān)性。在實(shí)施例中，將正在編碼/解碼的特定圖像（稱(chēng)作當(dāng)前圖像）分割成塊。在當(dāng)前

圖像中的塊類(lèi)似于視頻中先前已編碼且仍被緩沖的參考圖像中的參考?jí)K時(shí),可利用被稱(chēng)為

運(yùn)動(dòng)矢量的矢量對(duì)當(dāng)前圖像中的塊進(jìn)行編碼。所述運(yùn)動(dòng)矢量指向參考圖像中的參考?jí)K、且

使用多個(gè)參考圖像的情況下，所述運(yùn)動(dòng)矢量可具有用于識(shí)別參考圖像的第三維度。

[0083]在一些實(shí)施例中，雙向預(yù)測(cè)技術(shù)可用于幀間圖像預(yù)測(cè)。根據(jù)雙向預(yù)測(cè)技術(shù)，使用兩

個(gè)參考圖像,例如第一參考圖像和第二參考圖像，按解碼次序它們都在視頻中的當(dāng)前圖像

之前（但按顯示次序可能分別是過(guò)去和將來(lái)）?？赏ㄟ^(guò)指向第一參考圖像中的第一參考?jí)K的

12

CN110719477B說(shuō)明書(shū)10/27頁(yè)

第一運(yùn)動(dòng)矢量和指向第二參考圖像中的第二參考?jí)K的第二運(yùn)動(dòng)矢量對(duì)當(dāng)前圖像中的塊進(jìn)

行編碼?？赏ㄟ^(guò)第一參考?jí)K和第二參考?jí)K的組合來(lái)預(yù)測(cè)所述塊。

[0084]此外,合并模式技術(shù)可用于幀間圖像預(yù)測(cè)中以改善編碼效率。

[0085]根據(jù)本申請(qǐng)的一些實(shí)施例，幀間圖像預(yù)測(cè)和幀內(nèi)圖像預(yù)測(cè)等預(yù)測(cè)的執(zhí)行以塊為單

位。舉例來(lái)說(shuō)，根據(jù)HEVC標(biāo)準(zhǔn)，將視頻圖像序列中的圖像分割成編碼樹(shù)單元(codingtree

unit,CTU)以用于壓縮，圖片中的CTU具有相同大小,例如64X64像素、32X32像素或16X16

像素。一般來(lái)說(shuō),CTU包括三個(gè)編碼樹(shù)塊(codingtreeblock,CTB),所述三個(gè)編碼樹(shù)塊是一

個(gè)亮度CTB和兩個(gè)色度CTB。更進(jìn)一步的，還可將每個(gè)CTU以四叉樹(shù)拆分為一個(gè)或多個(gè)編碼單

元(codingunit.CU)。例如，可將64X64像素的CTU拆分為一個(gè)64X64像素的CU,或4個(gè)32X

32像素的CU,或16個(gè)16X16像素的CU。在實(shí)施例中，分析每個(gè)CU以確定用于CU的預(yù)測(cè)類(lèi)型，

例如幀間預(yù)測(cè)類(lèi)型或幀內(nèi)預(yù)測(cè)類(lèi)型。此外，取決于時(shí)間和/或空間可預(yù)測(cè)性，將CU拆分為一

個(gè)或多個(gè)預(yù)測(cè)單元(predictionunit,PU)。通常，每個(gè)PU包括亮度預(yù)測(cè)塊(prediction

block.PB)和兩個(gè)色度PB。在實(shí)施例中，編碼(編碼/解碼)中的預(yù)測(cè)操作以預(yù)測(cè)塊為單位來(lái)

執(zhí)行。以亮度預(yù)測(cè)塊作為預(yù)測(cè)塊為例，預(yù)測(cè)塊包括像素值(例如，亮度值)的矩陣，例如8X8

像素、16X16像素、8X16像素、16X8像素等等。

[0086]圖6是根據(jù)本申請(qǐng)另一實(shí)施例的視頻編碼器(603)的示意圖。視頻編碼器(603)用

于接收視頻圖像序列中的當(dāng)前視頻圖像內(nèi)的采樣值的處理塊(例如預(yù)測(cè)塊)，且將所述處理

塊編碼到的已編碼圖像中，已編碼圖像是編碼視頻序列的一部分。在本實(shí)施例中，視頻編碼

器(603)用于代替圖3實(shí)施例中的視頻編碼器(303)。

[0087]在HEVC實(shí)施例中，視頻編碼器(603)接收處理塊的采樣值的矩陣，所述處理塊為，

例如,8X8采樣的預(yù)測(cè)塊等。視頻編碼器(603)使用，例如,率失真(rate-distortion,RD)優(yōu)

化來(lái)確定處理塊的編碼采用幀內(nèi)模式、幀間模式還是雙向預(yù)測(cè)模式更好。當(dāng)采用幀內(nèi)模式

對(duì)處理塊編碼時(shí)，視頻編碼器(603)可使用幀內(nèi)預(yù)測(cè)技術(shù)將處理塊編碼到已編碼圖像中；且

當(dāng)采用幀間模式或雙向預(yù)測(cè)模式對(duì)處理塊進(jìn)行編碼時(shí)，視頻編碼器(603)可分別使用幀間

預(yù)測(cè)或雙向預(yù)測(cè)技術(shù)將處理塊編碼到已編碼圖像中。在某些視頻編碼技術(shù)中，合并模式可

以是幀間圖像預(yù)測(cè)子模式，其中，在不借助預(yù)測(cè)因子外部的已編碼運(yùn)動(dòng)矢量分量的情況下，

從一個(gè)或多個(gè)運(yùn)動(dòng)矢量預(yù)測(cè)因子導(dǎo)出運(yùn)動(dòng)矢量。在一些其它視頻編碼技術(shù)中，可存在適用

于主題塊的運(yùn)動(dòng)矢量分量。在實(shí)施例中，視頻編碼器(603)包括其它組件，例如用于確定處

理塊的模式的模式?jīng)Q策模塊(未示出)o

[0088]在圖6的實(shí)施例中，視頻編碼器(603)包括如圖6所示的耦接到一起的幀間編碼器

(630)、幀內(nèi)編碼器(622)、殘差計(jì)算器(623)、開(kāi)關(guān)(626)、殘差編碼器(624)、通用控制器

(621)和端編碼器(625)o

[0089]幀間編碼器(630)用于接收當(dāng)前塊(例如處理塊)的采樣、比較所述塊與參考圖像

中的一個(gè)或多個(gè)參考?jí)K(例如先前圖像和后續(xù)圖像中的塊)、生成幀間預(yù)測(cè)信息(例如幀間

編碼技術(shù)的冗余信息的描述、運(yùn)動(dòng)矢量、合并模式信息)、以及基于幀間預(yù)測(cè)信息使用任何

合適的技術(shù)計(jì)算幀間預(yù)測(cè)結(jié)果(例如已預(yù)測(cè)塊)。在一些實(shí)施例中，參考圖片是基于已編碼

的視頻信息解碼的已解碼參考圖片。

[0090]幀內(nèi)編碼器(622)用于接收當(dāng)前塊(例如處理塊)的采樣，在一些情況下將所述塊

與同一圖像中已編碼的塊進(jìn)行比較，在變換之后生成量化系數(shù)，以及在一些情況下還生成

13

CN110719477B說(shuō)明書(shū)11/27頁(yè)

幀內(nèi)預(yù)測(cè)信息(例如，根據(jù)一個(gè)或多個(gè)幀內(nèi)編碼技術(shù)生成幀內(nèi)預(yù)測(cè)方向信息)。在實(shí)施例中，

幀內(nèi)編碼器(622)還基于幀內(nèi)預(yù)測(cè)信息和同一圖像中的參考?jí)K計(jì)算幀內(nèi)預(yù)測(cè)結(jié)果(例如已

預(yù)測(cè)塊)。

[0091]通用控制器(621)用于確定通用控制數(shù)據(jù)，并基于所述通用控制數(shù)據(jù)控制視頻編

碼器(603)的其它組件。在實(shí)施例中，通用控制器(621)確定塊的模式，并基于所述模式將控

制信號(hào)提供給開(kāi)關(guān)(626)。例如，當(dāng)所述模式是幀內(nèi)模式時(shí)，通用控制器(621)控制開(kāi)關(guān)

(626)以選擇供殘差計(jì)算器(623)使用的幀內(nèi)模式結(jié)果，控制燧編碼器(625)選擇幀內(nèi)預(yù)測(cè)

信息并將所述幀內(nèi)預(yù)測(cè)信息添加在碼流中；以及，當(dāng)所述模式是幀間模式時(shí)，通用控制器

(621)控制開(kāi)關(guān)(626)以選擇供殘差計(jì)算器(623)使用的幀間預(yù)測(cè)結(jié)果，控制燧編碼器(625)

選擇幀間預(yù)測(cè)信息并將所述幀間預(yù)測(cè)信息添加在碼流中。

[0092]殘差計(jì)算器(623)用于計(jì)算所接收的塊與選自幀內(nèi)編碼器(622)或幀間編碼器

(630)的預(yù)測(cè)結(jié)果之間的差(殘差數(shù)據(jù))。殘差編碼器(624)用于基于殘差數(shù)據(jù)操作，以對(duì)殘

差數(shù)據(jù)進(jìn)行編碼以生成變換系數(shù)。在實(shí)施例中，殘差編碼器(624)用于將殘差數(shù)據(jù)從時(shí)域轉(zhuǎn)

換到頻域，且生成變換系數(shù)。變換系數(shù)接著經(jīng)量化處理獲得量化的變換系數(shù)。在各實(shí)施例

中，視頻編碼器(603)還包括殘差解碼器(628)。殘差解碼器(628)用于執(zhí)行逆變換,并生成

已解碼殘差數(shù)據(jù)。已解碼殘差數(shù)據(jù)適合由幀內(nèi)編碼器(622)和幀間編碼器(630)使用。例如,

幀間編碼器(630)可基于已解碼殘差數(shù)據(jù)和幀間預(yù)測(cè)信息生成已解碼塊，且?guī)瑑?nèi)編碼器

(622)可基于已解碼殘差數(shù)據(jù)和幀內(nèi)預(yù)測(cè)信息生成已解碼塊。適當(dāng)處理已解碼塊以生成已

解碼圖像，在一些實(shí)施例中，所述已解碼圖像可在存儲(chǔ)器電路(未示出)中緩存并用作參考

圖像。

[0093]熠編碼器(625)用于將碼流格式化以產(chǎn)生已編碼的塊。嫡編碼器(625)根據(jù)HEVC標(biāo)

準(zhǔn)等合適的標(biāo)準(zhǔn)產(chǎn)生各種信息。在實(shí)施例中，端編碼器(625)用于將通用控制數(shù)據(jù)、所選預(yù)

測(cè)信息(例如幀內(nèi)預(yù)測(cè)信息或幀間預(yù)測(cè)信息)、殘差信息和其它合適的信息加入碼流中。應(yīng)

注意，根據(jù)本申請(qǐng)的主題，當(dāng)在幀間模式或雙向預(yù)測(cè)模式的合并子模式中對(duì)塊進(jìn)行編碼時(shí),

不存在殘差信息。

[0094]圖7是本申請(qǐng)另一實(shí)施例的視頻解碼器(710)的示意圖。視