所公開的實(shí)施例總體上涉及圖像和視頻的編解碼和壓縮,包括但不限于用于預(yù)測殘差信息的系統(tǒng)和方法。
背景技術(shù):
1、數(shù)字視頻由多種電子設(shè)備支持,例如數(shù)字電視、筆記本電腦或臺式電腦、平板電腦、數(shù)碼相機(jī)、數(shù)字錄像設(shè)備、數(shù)字媒體播放器、視頻游戲機(jī)、智能手機(jī)、視頻電話會議設(shè)備、視頻流設(shè)備等。這些電子設(shè)備通過通信網(wǎng)絡(luò)傳輸和接收數(shù)字視頻數(shù)據(jù)或以其它方式傳送數(shù)字視頻數(shù)據(jù),和/或?qū)?shù)字視頻數(shù)據(jù)存儲在存儲設(shè)備上。由于通信網(wǎng)絡(luò)的帶寬容量和存儲設(shè)備的存儲器資源有限,視頻編碼可用于在傳送或存儲視頻數(shù)據(jù)之前根據(jù)至少一個視頻編碼標(biāo)準(zhǔn)壓縮該視頻數(shù)據(jù)。視頻編碼可以由提供云服務(wù)的電子/客戶端設(shè)備或服務(wù)器上的硬件和/或軟件來執(zhí)行。
2、視頻編碼通常使用預(yù)測方法(例如,幀間預(yù)測、幀內(nèi)預(yù)測等),這些預(yù)測方法利用視頻數(shù)據(jù)中固有的冗余。視頻編碼旨在將視頻數(shù)據(jù)壓縮成使用較低比特率的形式,同時避免或最小化視頻質(zhì)量的下降。已經(jīng)開發(fā)了多種視頻編解碼器標(biāo)準(zhǔn)。例如,高效視頻編碼(hevc/h.265)是作為mpeg-h項(xiàng)目的一部分而設(shè)計(jì)的視頻壓縮標(biāo)準(zhǔn)。itu-t和iso/iec分別于2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)發(fā)布了hevc/h.265標(biāo)準(zhǔn)。通用視頻編碼(vvc/h.266)是一種視頻壓縮標(biāo)準(zhǔn),旨在作為hevc的繼承者。itu-t和iso/iec分別于2020年(版本1)和2022年(版本2)發(fā)布了vvc/h.266標(biāo)準(zhǔn)。開放媒體聯(lián)盟視頻1(av1)是作為hevc的替代而設(shè)計(jì)的開放式視頻編碼格式。2019年1月8日,發(fā)布了具有規(guī)范勘誤表1的驗(yàn)證版本1.0.0。
技術(shù)實(shí)現(xiàn)思路
1、綜合視頻編解碼器通常包含至少兩個組件,如幀內(nèi)/幀間預(yù)測、變換編碼、量化、殘差編碼和環(huán)路濾波等。為了進(jìn)一步減少殘差信號,已經(jīng)開發(fā)了各種殘差預(yù)測技術(shù)。這些技術(shù)預(yù)測殘差信號,并將高階殘差編碼到比特流中。本公開描述了用于增強(qiáng)視頻(圖像)壓縮的方法和系統(tǒng),包括高級殘差預(yù)測技術(shù)。
2、根據(jù)一些實(shí)施例,提供了一種視頻編碼的方法。該方法包括:(i)接收包括至少兩個塊的視頻數(shù)據(jù),所述至少兩個塊包括第一塊,其中所述第一塊要以幀內(nèi)預(yù)測模式進(jìn)行編碼;(ii)通過將所述幀內(nèi)預(yù)測模式應(yīng)用于所述第一塊來生成所述第一塊的殘差塊;(iii)通過對所述殘差塊應(yīng)用短距離幀內(nèi)預(yù)測來生成所述第一塊的修正殘差塊;以及(iv)通過視頻比特流發(fā)信號通知所述修正殘差塊。
3、根據(jù)一些實(shí)施例,提供了一種視頻解碼的方法。該方法包括:(i)從視頻比特流接收包括至少兩個塊的視頻數(shù)據(jù),所述至少兩個塊包括第一塊和所述第一塊的至少兩個殘差系數(shù);(ii)根據(jù)所述至少兩個殘差系數(shù)生成所述第一塊的修正殘差塊;(iii)生成所述第一塊的重建殘差塊,其中所述重建殘差塊是使用幀內(nèi)預(yù)測塊和所述修正殘差塊生成的;以及(iv)使用所述重建殘差塊重建所述第一塊。
4、根據(jù)一些實(shí)施例,提供了一種計(jì)算系統(tǒng),例如流式傳輸系統(tǒng)、服務(wù)器系統(tǒng)、個人計(jì)算機(jī)系統(tǒng)、或其他電子設(shè)備。該計(jì)算系統(tǒng)包括控制電路和存儲至少一組指令的存儲器。所述至少一組指令包括用于執(zhí)行本文所述的任何方法的指令。在一些實(shí)施例中,該計(jì)算系統(tǒng)包括編碼器組件和解碼器組件(例如,代碼轉(zhuǎn)換器)。
5、根據(jù)一些實(shí)施例,提供了一種非易失性計(jì)算機(jī)可讀存儲介質(zhì)。該非易失性計(jì)算機(jī)可讀存儲介質(zhì)存儲由計(jì)算設(shè)備執(zhí)行的至少一組指令。所述至少一組指令包括用于執(zhí)行本文所述的任何方法的指令。
6、因此,公開了采用用于編碼和解碼視頻的方法的至少兩個設(shè)備和系統(tǒng)。這些方法、設(shè)備和系統(tǒng)可以補(bǔ)充或替代用于視頻編碼/解碼的傳統(tǒng)方法、設(shè)備和系統(tǒng)。說明書中描述的特征和優(yōu)點(diǎn)不一定是全部包括的,特別是,鑒于本公開中提供的附圖、說明書和權(quán)利要求,一些附加的特征和優(yōu)點(diǎn)對于本領(lǐng)域普通技術(shù)人員將是明顯的。此外,應(yīng)當(dāng)注意,說明書中使用的語言主要是出于可讀性和指導(dǎo)性的目的而選擇的,不一定是為了描繪或限制本文所描述的主題而被選擇。
1.一種在包括存儲器和一個或多個處理器的計(jì)算系統(tǒng)處執(zhí)行的視頻解碼的方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,將幀內(nèi)預(yù)測模式應(yīng)用于所述第一塊的m×n部分,所述m和n是正整數(shù)。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述短距離幀內(nèi)預(yù)測包括逐行預(yù)測,在所述逐行預(yù)測中,使用相鄰的前面的行或前面的列預(yù)測特定行或列中的殘差。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,將所述逐行預(yù)測應(yīng)用于所述殘差塊的除第一行或第一列之外的每一行或每一列。
5.根據(jù)權(quán)利要求3所述的方法,其特征在于,在水平方向上執(zhí)行所述逐行預(yù)測,其中將所述殘差塊的第一列的殘差設(shè)置為零,并且所述殘差塊的其它列的殘差根據(jù)前面的列進(jìn)行預(yù)測。
6.根據(jù)權(quán)利要求3所述的方法,其特征在于,在垂直方向上執(zhí)行所述逐行預(yù)測,其中將所述殘差塊的第一行的殘差設(shè)置為零,并且所述殘差塊的其它行的殘差根據(jù)前面的行進(jìn)行預(yù)測。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述短距離幀內(nèi)預(yù)測包括雙向預(yù)測,在所述雙向預(yù)測中,使用所述殘差塊的第一索引行和第二索引行中的殘差的加權(quán)平均值來預(yù)測所述殘差塊的第三索引行和第四索引行中的殘差。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述雙向預(yù)測包括將所述第一索引行和所述第二索引行中的殘差的預(yù)測殘差設(shè)置為零。
9.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述第一索引行和所述第二索引行不是相鄰的行。
10.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述殘差的加權(quán)平均值的權(quán)重是基于每個殘差和對應(yīng)預(yù)測值之間的距離確定的。
11.根據(jù)權(quán)利要求7所述的方法,其特征在于,在水平方向上執(zhí)行所述雙向預(yù)測,并且通過所述殘差塊的第一列和第四列中的殘差的加權(quán)平均值來預(yù)測所述第三索引行和/或所述第四索引行中的預(yù)測殘差。
12.根據(jù)權(quán)利要求7所述的方法,其特征在于,在垂直方向上執(zhí)行所述雙向預(yù)測,并且通過所述殘差塊的第一行和第四行中的殘差的加權(quán)平均值來預(yù)測所述第三索引行和/或所述第四索引行中的預(yù)測殘差。
13.根據(jù)權(quán)利要求1所述的方法,其特征在于:
14.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述視頻比特流包括第一標(biāo)志,以發(fā)信號通知對色度平面使用短距離幀內(nèi)預(yù)測模式,和第二標(biāo)志,以對亮度平面使用所述短距離幀內(nèi)預(yù)測模式。
15.一種計(jì)算系統(tǒng),其特征在于,包括:
16.根據(jù)權(quán)利要求15所述的計(jì)算系統(tǒng),其特征在于,將幀內(nèi)預(yù)測模式應(yīng)用于所述第一塊的m×n部分,所述m和n是正整數(shù)。
17.根據(jù)權(quán)利要求15所述的計(jì)算系統(tǒng),其特征在于,所述短距離幀內(nèi)預(yù)測包括逐行預(yù)測,在所述逐行預(yù)測中,使用相鄰的前面的行或前面的列預(yù)測特定行或列中的殘差。
18.根據(jù)權(quán)利要求15所述的計(jì)算系統(tǒng),其特征在于,所述短距離幀內(nèi)預(yù)測包括雙向預(yù)測,在所述雙向預(yù)測中,使用所述殘差塊的第一索引行和第二索引行中的殘差的加權(quán)平均值來預(yù)測所述殘差塊的第三索引行和第四索引行中的殘差。
19.一種非易失性計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,存儲被配置為由包括控制電路和存儲器的計(jì)算設(shè)備執(zhí)行的至少一組指令,所述至少一組指令包括用于以下操作的指令:
20.根據(jù)權(quán)利要求19所述的計(jì)算系統(tǒng),其特征在于,所述短距離幀內(nèi)預(yù)測包括逐行預(yù)測,在所述逐行預(yù)測中,使用相鄰的前面的行或前面的列預(yù)測特定行或列中的殘差。