所公開的實施例總體上涉及圖像和視頻編碼及壓縮，包括但不限于用于預測殘差信息的系統(tǒng)和方法。
背景技術：
1、數(shù)字視頻由各種電子設備支持，諸如數(shù)字電視、膝上型計算機或臺式計算機、平板計算機、數(shù)碼相機、數(shù)字記錄設備、數(shù)字媒體播放器、視頻游戲控制臺、智能電話、視頻電信會議設備、視頻流傳輸設備等。電子設備通過通信網(wǎng)絡傳輸和接收數(shù)字視頻數(shù)據(jù)或以其他方式傳送數(shù)字視頻數(shù)據(jù)，和/或將數(shù)字視頻數(shù)據(jù)存儲在存儲設備上。由于通信網(wǎng)絡的有限帶寬容量和存儲設備的有限存儲器資源，視頻編碼可以用于在傳送或存儲視頻數(shù)據(jù)之前根據(jù)一個或多個視頻編碼標準壓縮視頻數(shù)據(jù)。視頻編解碼可以由電子/客戶端設備或提供云服務的服務器上的硬件和/或軟件執(zhí)行。視頻編碼通常使用利用視頻數(shù)據(jù)中固有的冗余的預測方法(例如，幀間預測、幀內預測等)。視頻編碼旨在將視頻數(shù)據(jù)壓縮成使用較低比特率的形式，同時避免或最小化對視頻質量的降級。已經(jīng)開發(fā)了多種視頻編解碼器標準。
2、例如，高效視頻編碼(hevc/h.265)是設計為mpeg-h項目的一部分的視頻壓縮標準。itu-t和iso/iec在2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)中公布了hevc/h.265標準。通用視頻編碼(vvc/h.266)是旨在作為hevc的后繼者的視頻壓縮標準。itu-t和iso/iec在2020(版本1)和2022(版本2)中公布了vvc/h.266標準。aomediavideo?1(av1)是作為hevc的替代而設計的開放視頻編碼格式。2019年1月8日，發(fā)行了具有規(guī)范勘誤表1的確認版本1.0.0。
技術實現(xiàn)思路
1、全面的視頻編解碼器通常包含多個部件，諸如幀內/幀間預測、變換編碼、量化、殘差編碼和環(huán)路內濾波等。為了進一步減少殘差信號，已經(jīng)開發(fā)了各種殘差預測技術。這些技術預測殘差信號并將高階殘差編碼到碼流中。本公開描述了用于增強視頻(圖像)壓縮的方法和系統(tǒng)，包括高級殘差預測技術。
2、根據(jù)一些實施例，提供了一種視頻編碼的方法。該方法包括(i)接收包括多個塊的視頻數(shù)據(jù)，該多個塊包括第一塊，其中將以第一幀內預測模式對該第一塊進行編碼；(ii)通過沿第一方向將該第一幀內預測模式應用于第一塊來生成該第一塊的殘差塊；(iii)通過沿第二方向將第二幀內預測模式應用于該殘差塊來生成第一塊的修正殘差塊；以及(iv)經(jīng)由視頻碼流發(fā)信號通知該修正殘差塊。
3、根據(jù)一些實施例，提供了一種視頻解碼的方法。該方法包括(i)從視頻碼流接收包括多個塊的視頻數(shù)據(jù)，所述多個塊包括第一塊和所述第一塊的多個殘差系數(shù)；(ii)從所述多個殘差系數(shù)，生成所述第一塊的修正殘差塊；(iii)通過對所述修正殘差塊沿第一方向應用第一幀內預測，生成重建的殘差塊；以及(iv)通過對所述重建的殘差塊沿第二方向應用第二幀內預測，重建所述第一塊。
4、根據(jù)一些實施例，提供了一種計算系統(tǒng)，諸如流傳輸系統(tǒng)、服務器系統(tǒng)、個人計算機系統(tǒng)或其它電子設備。該計算系統(tǒng)包括控制電路和存儲一組或多組指令的存儲器。一組或多組指令包括用于執(zhí)行本文所描述的任何方法的指令。在一些實施例中，計算系統(tǒng)包括編碼器部件和/或解碼器部件。
5、根據(jù)一些實施例，提供了一種非暫時性計算機可讀存儲介質。非暫時性計算機可讀存儲介質存儲用于由計算系統(tǒng)執(zhí)行的一組或多組指令。一組或多組指令包括用于執(zhí)行本文所描述的任何方法的指令。
6、因此，公開了具有用于編碼及解碼視頻的方法的設備和系統(tǒng)。此類方法、設備和系統(tǒng)可補充或替代用于視頻編碼和/或解碼的常規(guī)方法、設備和系統(tǒng)。在說明書中描述的特征和優(yōu)點不一定是全部-包括的，并且特別地，鑒于在本公開中提供的附圖、說明書和權利要求書，一些附加的特征和優(yōu)點對于本領域普通技術人員將是顯而易見的。此外，應當注意，說明書中使用的語言主要是出于可讀性和指導性目的而選擇的，并且不一定被選擇為描繪或限制本文所描述的主題。
1.一種在具有存儲器和一個或多個處理器的計算系統(tǒng)中執(zhí)行的視頻解碼方法，其特征在于，所述方法包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述多個殘差系數(shù)與以下兩者的差值相對應：(i)所述第一塊的殘差塊的殘差，和(ii)通過對所述殘差塊應用所述第一幀內預測而獲得的預測殘差。
3.根據(jù)權利要求1所述的方法，其特征在于，所述第一方向和所述第二方向是不同的方向。
4.根據(jù)權利要求1所述的方法，其特征在于，所述第二方向被用作用于對所述第一方向進行熵編碼的上下文。
5.根據(jù)權利要求1所述的方法，其特征在于，所述視頻碼流進一步包括指示所述第二方向是否與所述第一方向相同的語法元素。
6.根據(jù)權利要求1所述的方法，其特征在于，所述第一幀內預測是短距離幀內預測。
7.根據(jù)權利要求6所述的方法，其特征在于，所述短距離幀內預測包括逐行預測，在所述逐行預測中，特定行或列中的殘差使用鄰近的前一行或列來預測。
8.根據(jù)權利要求6所述的方法，其特征在于，所述短距離幀內預測包括雙向預測，在所述雙向預測中，第三索引行和第四索引行中的殘差使用第一索引行和第二索引行中的殘差的加權平均值來預測。
9.根據(jù)權利要求1所述的方法，其特征在于，所述第一方向的角度基于所述第二方向的角度來確定。
10.根據(jù)權利要求1所述的方法，其特征在于，所述第一方向選自：用于幀內預測的n個標稱角度組成的組，n是正整數(shù)。
11.根據(jù)權利要求1所述的方法，其特征在于，所述視頻碼流包括指示所述第一幀內預測的方向和/或角度的一個或多個語法元素。
12.根據(jù)權利要求11所述的方法，其特征在于，所述一個或多個語法元素包括：指示標稱方向的第一語法、以及指示應用于所述標稱方向的角度增量的第二語法。
13.根據(jù)權利要求11所述的方法，其特征在于，所述一個或多個語法元素包括：指示標稱方向的第一語法元素、指示角度增量是否為零的第二語法元素、指示所述角度增量是正還是負的第三語法元素、以及指示絕對角度增量的第四語法元素。
14.一種計算系統(tǒng)，其特征在于，包括：
15.根據(jù)權利要求14所述的計算系統(tǒng)，其特征在于，所述多個殘差系數(shù)與以下兩者的差值相對應：(i)所述第一塊的殘差塊的殘差，和(ii)通過對所述殘差塊應用所述第一幀內預測而獲得的預測殘差。
16.根據(jù)權利要求14所述的計算系統(tǒng)，其特征在于，所述第一方向和所述第二方向是不同的方向。
17.根據(jù)權利要求14所述的計算系統(tǒng)，其特征在于，所述第二方向被用作用于對所述第一方向進行熵編碼的上下文。
18.一種非易失性計算機可讀存儲介質，其特征在于，所述非易失性計算機可讀存儲介質存儲被配置用于由具有控制電路和存儲器的計算設備執(zhí)行的一組或多組指令，所述一組或多組指令包括用于以下的指令：
19.根據(jù)權利要求18所述的非易失性計算機可讀存儲介質，其特征在于，所述多個殘差系數(shù)與以下兩者的差值相對應：(i)所述第一塊的殘差塊的殘差，和(ii)通過對所述殘差塊應用所述第一幀內預測而獲得的預測殘差。
20.根據(jù)權利要求18所述的非易失性計算機可讀存儲介質，其特征在于，所述第一方向和所述第二方向是不同的方向。