本技術(shù)涉及計算機，尤其涉及一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備以及可讀存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的材質(zhì)生成方案可以獲取用于引導pbr(physicallly-based?rendering，物理基礎(chǔ)渲染)材質(zhì)生成的紋理控制數(shù)據(jù)(例如，用于引導pbr材質(zhì)生成的文本數(shù)據(jù))，根據(jù)紋理控制數(shù)據(jù)對噪聲圖像進行去噪處理，得到三維模型(例如，空間對象)對應(yīng)的材質(zhì)圖像，根據(jù)材質(zhì)圖像對空間對象進行紋理映射，以使紋理映射后的空間對象具有紋理控制數(shù)據(jù)所指示的紋理，比如，紋理控制數(shù)據(jù)可以為“一把鮮艷的斧子”，空間對象可以為“一把斧子”，紋理映射后的空間對象可以為“一把鮮艷的斧子”。然而，紋理控制數(shù)據(jù)缺乏對空間對象的精細控制，所以根據(jù)紋理控制數(shù)據(jù)生成的材質(zhì)圖像無法完全匹配空間對象，從而降低紋理映射后的空間對象的準確性。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備以及可讀存儲介質(zhì)，可以提高多視角烘焙后的空間對象的準確性。

2、本技術(shù)實施例一方面提供了一種數(shù)據(jù)處理方法，包括：

3、獲取空間對象在s個視角中每個視角下的幾何圖像，對s個幾何圖像進行圖像拼接，得到控制圖像；s為大于1的整數(shù)；

4、獲取紋理控制數(shù)據(jù)，根據(jù)紋理控制數(shù)據(jù)和控制圖像對噪聲圖像進行去噪處理，得到空間對象對應(yīng)的預(yù)測圖像；預(yù)測圖像包括空間對象在每個視角下的子預(yù)測圖像；

5、對預(yù)測圖像進行去噪處理，得到空間對象對應(yīng)的材質(zhì)圖像；材質(zhì)圖像包括空間對象在每個視角下的子材質(zhì)圖像；

6、根據(jù)材質(zhì)圖像對空間對象進行多視角烘焙，得到多視角烘焙后的空間對象；多視角烘焙后的空間對象具有紋理控制數(shù)據(jù)所指示的紋理。

7、本技術(shù)實施例一方面提供了一種數(shù)據(jù)處理裝置，包括：

8、圖像獲取模塊，用于獲取空間對象在s個視角中每個視角下的幾何圖像，對s個幾何圖像進行圖像拼接，得到控制圖像；s為大于1的整數(shù)；

9、第一去噪模塊，用于獲取紋理控制數(shù)據(jù)，根據(jù)紋理控制數(shù)據(jù)和控制圖像對噪聲圖像進行去噪處理，得到空間對象對應(yīng)的預(yù)測圖像；預(yù)測圖像包括空間對象在每個視角下的子預(yù)測圖像；

10、第二去噪模塊，用于對預(yù)測圖像進行去噪處理，得到空間對象對應(yīng)的材質(zhì)圖像；材質(zhì)圖像包括空間對象在每個視角下的子材質(zhì)圖像；

11、多視角烘焙模塊，用于根據(jù)材質(zhì)圖像對空間對象進行多視角烘焙，得到多視角烘焙后的空間對象；多視角烘焙后的空間對象具有紋理控制數(shù)據(jù)所指示的紋理。

12、其中，第一去噪模塊，具體用于獲取紋理控制數(shù)據(jù)對應(yīng)的紋理控制特征、控制圖像對應(yīng)的控制圖像特征和噪聲圖像對應(yīng)的噪聲圖像特征；

13、第一去噪模塊，具體用于在第一擴散模型中，根據(jù)紋理控制特征和控制圖像特征，對噪聲圖像特征進行去噪處理，得到去噪圖像特征；

14、第一去噪模塊，具體用于對去噪圖像特征進行解碼處理，得到空間對象對應(yīng)的預(yù)測圖像。

15、其中，第一去噪模塊，具體用于獲取噪聲圖像特征的去噪時間步對應(yīng)的去噪時間步特征；

16、第一去噪模塊，具體用于將噪聲圖像特征、去噪時間步特征和紋理控制特征輸入至第一擴散模型的去噪網(wǎng)絡(luò)，將噪聲圖像特征、去噪時間步特征、紋理控制特征和控制圖像特征輸入至第一擴散模型的控制網(wǎng)絡(luò)，通過去噪網(wǎng)絡(luò)和控制網(wǎng)絡(luò)預(yù)測噪聲圖像特征中的噪聲；

17、第一去噪模塊，具體用于根據(jù)噪聲圖像特征中的噪聲、噪聲圖像特征和去噪網(wǎng)絡(luò)的噪聲強度系數(shù)，確定去噪圖像特征。

18、其中，第二去噪模塊，具體用于獲取預(yù)測圖像對應(yīng)的去噪圖像特征；

19、第二去噪模塊，具體用于在第二擴散模型中，對去噪圖像特征進行去噪處理，得到材質(zhì)去噪圖像特征；

20、第二去噪模塊，具體用于對材質(zhì)去噪圖像特征進行解碼處理，得到空間對象對應(yīng)的材質(zhì)圖像。

21、其中，材質(zhì)圖像的數(shù)量為k個，k為正整數(shù)，k個材質(zhì)圖像分別對應(yīng)于不同的物理材質(zhì)，每個物理材質(zhì)對應(yīng)的材質(zhì)圖像均包括空間對象在每個視角下的子材質(zhì)圖像，每個材質(zhì)圖像用于對空間對象進行多視角烘焙，得到針對每個材質(zhì)圖像對應(yīng)的物理材質(zhì)的多視角烘焙后的空間對象；k個材質(zhì)圖像包括顏色材質(zhì)圖像、金屬材質(zhì)圖像或粗糙材質(zhì)圖像中的至少一個。

22、其中，多視角烘焙模塊，具體用于對空間對象的紋理圖進行隨機初始化，得到空間對象對應(yīng)的渲染紋理圖；

23、多視角烘焙模塊，具體用于根據(jù)s個視角對渲染紋理圖進行采樣，得到每個視角下的渲染圖像；

24、多視角烘焙模塊，具體用于獲取s個視角分別對應(yīng)的視角權(quán)重，根據(jù)s個渲染圖像、材質(zhì)圖像中的s個子材質(zhì)圖像和s個視角權(quán)重，確定s個視角分別對應(yīng)的視角損失值；

25、多視角烘焙模塊，具體用于對s個視角損失值進行求和運算，得到渲染紋理圖對應(yīng)的圖像損失值；

26、多視角烘焙模塊，具體用于根據(jù)圖像損失值對渲染紋理圖進行圖像調(diào)整，得到空間對象對應(yīng)的材質(zhì)紋理圖；材質(zhì)紋理圖與材質(zhì)圖像對應(yīng)的物理材質(zhì)相匹配；

27、多視角烘焙模塊，具體用于根據(jù)材質(zhì)紋理圖對空間對象進行紋理映射，得到多視角烘焙后的空間對象。

28、其中，s個視角包括視角gi，i為小于或等于s的正整數(shù)；

29、多視角烘焙模塊，具體用于獲取空間對象的l個對象頂點；l為大于1的正整數(shù)；

30、多視角烘焙模塊，具體用于根據(jù)l個對象頂點分別對應(yīng)的頂點坐標、視角gi對應(yīng)的相機光心位置和l個對象頂點分別對應(yīng)的法線向量，確定l個對象頂點分別針對視角gi的頂點權(quán)重；

31、多視角烘焙模塊，具體用于對l個頂點權(quán)重進行求和運算，得到視角gi對應(yīng)的視角權(quán)重。

32、其中，s個視角包括視角gi，i為小于或等于s的正整數(shù)；

33、多視角烘焙模塊，具體用于對視角gi下的渲染圖像和視角gi下的子材質(zhì)圖像進行差值運算，得到視角gi對應(yīng)的差值圖像；

34、多視角烘焙模塊，具體用于對視角gi對應(yīng)的差值圖像進行絕對值運算，得到視角gi對應(yīng)的絕對值圖像；

35、多視角烘焙模塊，具體用于對視角gi對應(yīng)的視角權(quán)重和視角gi對應(yīng)的絕對值圖像進行乘法運算，得到視角gi對應(yīng)的視角損失值。

36、其中，裝置還包括：

37、第一訓練模塊，用于獲取第二初始擴散模型、樣本紋理控制數(shù)據(jù)和樣本對象在s個視角中每個視角下的樣本幾何圖像，對s個樣本幾何圖像進行圖像拼接，得到樣本控制圖像；

38、第一訓練模塊，用于根據(jù)樣本紋理控制數(shù)據(jù)和樣本控制圖像對噪聲圖像進行去噪處理，得到樣本對象對應(yīng)的樣本預(yù)測圖像；樣本預(yù)測圖像包括樣本對象在每個視角下的子樣本預(yù)測圖像；

39、第一訓練模塊，用于將樣本預(yù)測圖像對應(yīng)的樣本預(yù)測圖像特征輸入至第二初始擴散模型，通過第二初始擴散模型對樣本預(yù)測圖像進行去噪處理，得到樣本對象對應(yīng)的樣本材質(zhì)圖像；樣本材質(zhì)圖像包括樣本對象在每個視角下的子樣本材質(zhì)圖像；

40、第一訓練模塊，用于對樣本預(yù)測圖像進行光照估計，得到樣本預(yù)測圖像的圖像光照信息，對圖像光照信息和樣本材質(zhì)圖像進行圖像渲染，得到樣本對象對應(yīng)的樣本渲染圖像；樣本渲染圖像包括樣本對象在每個視角下的子樣本渲染圖像；

41、第一訓練模塊，用于根據(jù)樣本渲染圖像和樣本預(yù)測圖像，對第二初始擴散模型進行參數(shù)調(diào)整，得到第二擴散模型。

42、其中，裝置還包括：

43、第二訓練模塊，用于獲取初始去噪網(wǎng)絡(luò)、樣本紋理控制數(shù)據(jù)、樣本圖像和時間步集合；時間步集合包括至少兩個時間步；樣本圖像具有樣本紋理控制數(shù)據(jù)所指示的紋理；

44、第二訓練模塊，用于對時間步集合進行隨機均勻采樣，得到至少兩個時間步中的加噪時間步；

45、第二訓練模塊，用于根據(jù)樣本圖像對應(yīng)的樣本圖像特征、樣本圖像特征對應(yīng)的加噪高斯噪聲和加噪時間步，確定加噪時間步對應(yīng)的加噪圖像特征；加噪高斯噪聲服從正態(tài)分布；

46、第二訓練模塊，用于將加噪圖像特征、樣本紋理控制數(shù)據(jù)對應(yīng)的樣本紋理控制特征和加噪時間步對應(yīng)的加噪時間步特征輸入至初始去噪網(wǎng)絡(luò)，通過初始去噪網(wǎng)絡(luò)預(yù)測加噪圖像特征中的噪聲，將加噪圖像特征中的噪聲確定為第一噪聲；

47、第二訓練模塊，用于根據(jù)第一噪聲和加噪高斯噪聲，對初始去噪網(wǎng)絡(luò)進行參數(shù)調(diào)整，得到去噪網(wǎng)絡(luò)。

48、其中，裝置還包括：

49、第三訓練模塊，用于獲取樣本對象在s個視角中每個視角下的樣本幾何圖像，對s個樣本幾何圖像進行圖像拼接，得到樣本控制圖像；

50、第三訓練模塊，用于根據(jù)去噪網(wǎng)絡(luò)確定初始控制網(wǎng)絡(luò)，將加噪圖像特征、樣本紋理控制特征和加噪時間步特征輸入至去噪網(wǎng)絡(luò)，將加噪圖像特征、樣本紋理控制特征、加噪時間步特征和樣本控制圖像對應(yīng)的樣本控制圖像特征輸入至初始控制網(wǎng)絡(luò)，通過去噪網(wǎng)絡(luò)和初始控制網(wǎng)絡(luò)預(yù)測加噪圖像特征中的噪聲，將加噪圖像特征中的噪聲確定為第二噪聲；

51、第三訓練模塊，用于根據(jù)第二噪聲和加噪高斯噪聲，對初始控制網(wǎng)絡(luò)進行參數(shù)調(diào)整，得到控制網(wǎng)絡(luò)。

52、本技術(shù)實施例一方面提供了一種計算機設(shè)備，包括：處理器和存儲器；

53、處理器與存儲器相連，其中，存儲器用于存儲計算機程序，計算機程序被處理器執(zhí)行時，使得該計算機設(shè)備執(zhí)行本技術(shù)實施例提供的方法。

54、本技術(shù)實施例一方面提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，該計算機程序適于由處理器加載并執(zhí)行，以使得具有該處理器的計算機設(shè)備執(zhí)行本技術(shù)實施例提供的方法。

55、本技術(shù)實施例一方面提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括計算機程序，該計算機程序存儲在計算機可讀存儲介質(zhì)中。計算機設(shè)備的處理器從計算機可讀存儲介質(zhì)讀取該計算機程序，處理器執(zhí)行該計算機程序，使得該計算機設(shè)備執(zhí)行本技術(shù)實施例提供的方法。

56、本技術(shù)實施例可以針對空間對象的幾何信息生成s個視角中每個視角下的幾何圖像，將s個幾何圖像拼接為針對幾何信息的多視角圖像(即控制圖像)，根據(jù)紋理控制數(shù)據(jù)和控制圖像對噪聲圖像進行去噪處理，得到空間對象對應(yīng)的預(yù)測圖像，進而對預(yù)測圖像進行去噪處理，得到空間對象對應(yīng)的材質(zhì)圖像，根據(jù)材質(zhì)圖像對空間對象進行多視角烘焙，得到多視角烘焙后的空間對象，其中，多視角烘焙的空間對象具有紋理控制數(shù)據(jù)所指示的紋理。因此，本技術(shù)可以引入用于描述空間對象的幾何信息的幾何圖像，由于幾何信息可以實現(xiàn)對空間對象的精細控制，所以根據(jù)紋理控制數(shù)據(jù)和幾何圖像生成的材質(zhì)圖像可以完全匹配空間對象，從而提高多視角烘焙后的空間對象的準確性。此外，本技術(shù)可以同時使用s個視角中每個視角下的幾何圖像，而不是使用單一視角下的幾何圖像，每個視角下的幾何圖像可以相互學習，從而避免根據(jù)s個視角分別生成子材質(zhì)圖像時的視角不一致(例如，重疊區(qū)域的不一致)，保證材質(zhì)圖像中的每個視角下的子材質(zhì)圖像的多視角一致性。