本公開涉及人工現(xiàn)實和機(jī)器學(xué)習(xí)系統(tǒng)，其中使用自然語言命令來自動生成人工現(xiàn)實環(huán)境。

背景技術(shù)：

1、與人工現(xiàn)實(extra?reality，xr)設(shè)備交互的用戶可以觀看包括真實世界對象和/或二維(two-dimensional，2d)虛擬對象和/或三維(three-dimensional，3d)虛擬對象的人工現(xiàn)實環(huán)境中的內(nèi)容。例如，xr環(huán)境可以是由虛擬現(xiàn)實(virtual?reality，vr)設(shè)備描繪的、示出了一組虛擬對象的虛擬環(huán)境。作為另一示例，xr環(huán)境可以是混合現(xiàn)實環(huán)境，該混合現(xiàn)實環(huán)境具有真實世界對象和補(bǔ)充在這些真實世界對象之上的虛擬對象。用戶可以觀看人工現(xiàn)實環(huán)境中的對象并修改該人工現(xiàn)實環(huán)境中的內(nèi)容。

2、雖然xr系統(tǒng)可以提供直觀的方式來觀看xr環(huán)境中的對象、導(dǎo)航這些對象、以及與這些對象交互，但是設(shè)計和創(chuàng)建新的xr環(huán)境和/或在其中的對象的過程可能是挑戰(zhàn)性和耗時的。通常，創(chuàng)建者需要提供或訪問數(shù)字資產(chǎn)，這些數(shù)字資產(chǎn)限定表面紋理、構(gòu)建具有復(fù)雜幾何形狀和屬性的3d對象、以及在xr應(yīng)用內(nèi)和/或在xr應(yīng)用外使用構(gòu)建工具(例如，計算機(jī)輔助設(shè)計(computer-aided?design，cad)建模軟件、矢量繪圖軟件等)，這些構(gòu)建工具可能是昂貴的且對于非技術(shù)用戶難以學(xué)習(xí)。因此，這種典型的xr世界設(shè)計和構(gòu)建過程對于非技術(shù)用戶可能太困難，限制了許多用戶參與創(chuàng)建他們自己的虛擬世界。

技術(shù)實現(xiàn)思路

1、根據(jù)本公開的第一方面，提供了一種用于生成可導(dǎo)航的3d虛擬環(huán)境的方法，該方法包括：接收描述虛擬環(huán)境的簡明語言的命令；使用自然語言命令處理器確定該命令的(i)位置部分和(ii)體驗部分；使用包括一個或多個第一機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于該命令的位置部分生成天空盒，其中天空盒至少包括形狀和投射到該形狀上的圖像；使用包括一個或多個第二機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于該命令的位置部分和體驗部分兩者來生成一個或多個3d對象模型，其中每個3d對象模型至少包括幾何形狀和處于該可導(dǎo)航的3d虛擬環(huán)境內(nèi)的位置；創(chuàng)建3d虛擬環(huán)境模型，該3d虛擬環(huán)境模型將天空盒與該一個或多個3d對象模型相結(jié)合，其中3d虛擬環(huán)境模型是使用人工現(xiàn)實(xr)設(shè)備可導(dǎo)航的；以及將3d虛擬環(huán)境模型存儲在數(shù)據(jù)存儲設(shè)備上。

2、在一些實施例中，確定位置部分包括應(yīng)用自然語言命令處理器來識別環(huán)境的特定地理位置或類型。

3、在一些實施例中，該方法還包括確定與命令相關(guān)聯(lián)的嵌入和元數(shù)據(jù)，其中生成式虛擬環(huán)境構(gòu)建器接收這些嵌入和元數(shù)據(jù)作為其輸入的一部分，以生成天空盒和該一個或多個3d對象模型。

4、在一些實施例中，生成天空盒包括識別與所確定的位置部分語義相關(guān)的元素，并將這些元素的表示添加到天空盒。

5、在一些實施例中，確定命令的(i)位置部分和(ii)體驗部分包括：通過使用第一語言模型對命令的短語進(jìn)行分詞化并對這些短語進(jìn)行上下文化來對命令進(jìn)行預(yù)處理，該第一語言模型被預(yù)訓(xùn)練成根據(jù)位置指示符或活動指示符對短語進(jìn)行分類。

6、在一些實施例中，確定命令的(i)位置部分和(ii)體驗部分還包括：對經(jīng)分詞化且經(jīng)上下文化的短語應(yīng)用第二語言模型，并且接收來自第二語言模型的一個或多個嵌入；其中該一個或多個嵌入被提供給該一個或多個第一機(jī)器學(xué)習(xí)模型以生成天空盒，并且該一個或多個嵌入被提供給該一個或多個第二機(jī)器學(xué)習(xí)模型以生成該一個或多個3d對象模型。

7、在一些實施例中，該一個或多個第一機(jī)器學(xué)習(xí)模型和/或該一個或多個第二機(jī)器學(xué)習(xí)模型：a)包括2d建模部分，該2d建模部分在圖像和/或視頻的組合上進(jìn)行訓(xùn)練，所述圖像和/或視頻利用描述這些圖像和/或視頻的內(nèi)容或上下文的元數(shù)據(jù)來標(biāo)記；以及b)基于一個或多個輸入標(biāo)簽產(chǎn)生一個或多個2d表示，并且該一個或多個第一機(jī)器學(xué)習(xí)模型和/或該一個或多個第二機(jī)器學(xué)習(xí)模型包括生成式部分，該生成式部分被訓(xùn)練成獲取一個或多個2d表示并產(chǎn)生一個或多個3d表示。

8、在一些實施例中，確定位置部分包括識別該位置部分的語義標(biāo)識符；其中，生成天空盒包括將位置部分的語義標(biāo)識符映射到生成式虛擬環(huán)境構(gòu)建器的該一個或多個第二機(jī)器學(xué)習(xí)模型的潛在空間中。

9、在一些實施例中，該方法還包括通過以下項迭代地更新3d虛擬環(huán)境模型：接收進(jìn)一步自然語言命令；識別該進(jìn)一步自然語言命令的目標(biāo)；以及基于該進(jìn)一步自然語言命令改變該目標(biāo)的一方面。

10、在一些實施例中，該方法還包括：使用基于將該目標(biāo)與所改變的目標(biāo)的一方面進(jìn)行配對而創(chuàng)建的附加訓(xùn)練項，來更新對該一個或多個第一機(jī)器學(xué)習(xí)模型和/或該一個或多個第二機(jī)器學(xué)習(xí)模型的訓(xùn)練。

11、在一些實施例中，所生成的一個或多個3d對象模型是利用指定了該一個或多個3d對象模型中的每個3d對象模型是固定的還是可移動的屬性來生成的。

12、根據(jù)本公開的另一方面，還提供了一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲有多個指令，這些指令在由計算系統(tǒng)執(zhí)行時，使得計算系統(tǒng)執(zhí)行用于生成可導(dǎo)航的3d虛擬環(huán)境的過程，該過程包括：接收描述虛擬環(huán)境的簡明語言的命令；使用自然語言命令處理器確定命令的(i)位置部分和(ii)體驗部分；使用包括一個或多個第一機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于命令的位置部分生成天空盒，其中天空盒至少包括形狀和投射到該形狀上的圖像；使用包括一個或多個第二機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于命令的位置部分和體驗部分兩者來生成一個或多個3d對象模型，其中每個3d對象模型至少包括幾何形狀和處于可導(dǎo)航的3d虛擬環(huán)境內(nèi)的位置；創(chuàng)建3d虛擬環(huán)境模型，該3d虛擬環(huán)境模型將天空盒與該一個或多個3d對象模型相結(jié)合，其中3d虛擬環(huán)境模型是使用人工現(xiàn)實(xr)設(shè)備可導(dǎo)航的；以及將3d虛擬環(huán)境模型存儲在數(shù)據(jù)存儲設(shè)備上。

13、在一些實施例中，該過程還包括確定與命令相關(guān)聯(lián)的嵌入和元數(shù)據(jù)，其中生成式虛擬環(huán)境構(gòu)建器接收嵌入和元數(shù)據(jù)作為其輸入的一部分，以生成天空盒和一個或多個3d對象模型。

14、在一些實施例中，生成天空盒包括識別與所確定的位置部分語義相關(guān)的元素，并將這些元素的表示添加到天空盒。

15、在一些實施例中，確定命令的(i)位置部分和(ii)體驗部分包括：通過使用第一語言模型對命令的短語進(jìn)行分詞化并對這些短語進(jìn)行上下文化來對命令進(jìn)行預(yù)處理，該第一語言模型被預(yù)訓(xùn)練成根據(jù)位置指示符或活動指示符對短語進(jìn)行分類。

16、在一些實施例中，確定命令的(i)位置部分和(ii)體驗部分還包括：對經(jīng)分詞化且經(jīng)上下文化的短語應(yīng)用第二語言模型，并且接收來自第二語言模型的一個或多個嵌入；其中該一個或多個嵌入被提供給該一個或多個第一機(jī)器學(xué)習(xí)模型以生成天空盒，并且該一個或多個嵌入被提供給該一個或多個第二機(jī)器學(xué)習(xí)模型以生成該一個或多個3d對象模型。

17、在一些實施例中，該一個或多個第一機(jī)器學(xué)習(xí)模型和/或該一個或多個第二機(jī)器學(xué)習(xí)模型：a)包括2d建模部分，該2d建模部分在圖像和/或視頻的組合上進(jìn)行訓(xùn)練，所述圖像和/或視頻利用描述這些圖像和/或視頻的內(nèi)容或上下文的元數(shù)據(jù)來標(biāo)記；以及b)基于一個或多個輸入標(biāo)簽產(chǎn)生一個或多個2d表示，并且該一個或多個第一機(jī)器學(xué)習(xí)模型和/或該一個或多個第二機(jī)器學(xué)習(xí)模型包括生成式部分，該生成式部分被訓(xùn)練成獲取一個或多個2d表示并產(chǎn)生一個或多個3d表示。

18、根據(jù)本公開的另一方面，提供了一種用于生成可導(dǎo)航的3d虛擬環(huán)境的計算系統(tǒng)，該計算機(jī)系統(tǒng)包括：一個或多個處理器；以及一個或多個存儲器，該一個或多個存儲器存儲有多個指令，這些指令在由該一個或多個處理器執(zhí)行時，使得計算系統(tǒng)執(zhí)行過程，該過程包括：接收描述虛擬環(huán)境的簡明語言的命令；使用自然語言命令處理器確定命令的(i)位置部分和(ii)體驗部分；使用包括一個或多個第一機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于命令的位置部分生成天空盒，其中天空盒至少包括形狀和投射到該形狀上的圖像；使用包括一個或多個第二機(jī)器學(xué)習(xí)模型的生成式虛擬環(huán)境構(gòu)建器，基于命令的位置部分和體驗部分兩者來生成一個或多個3d對象模型，其中每個3d對象模型至少包括幾何形狀和處于可導(dǎo)航的3d虛擬環(huán)境內(nèi)的位置；創(chuàng)建3d虛擬環(huán)境模型，該3d虛擬環(huán)境模型將天空盒與該一個或多個3d對象模型相結(jié)合，其中3d虛擬環(huán)境模型是使用人工現(xiàn)實(xr)設(shè)備可導(dǎo)航的；以及將3d虛擬環(huán)境模型存儲在數(shù)據(jù)存儲設(shè)備上。

19、在一些實施例中，確定位置部分包括識別位置部分的語義標(biāo)識符；其中，生成天空盒包括將位置部分的語義標(biāo)識符映射到生成式虛擬環(huán)境構(gòu)建器的該一個或多個第二機(jī)器學(xué)習(xí)模型的潛在空間中。

20、在一些實施例中，該過程還包括通過以下項迭代地更新3d虛擬環(huán)境模型：接收進(jìn)一步自然語言命令；識別該進(jìn)一步自然語言命令的目標(biāo)；基于該進(jìn)一步自然語言命令改變目標(biāo)的一方面；以及使用基于將目標(biāo)與所改變的目標(biāo)的一方面進(jìn)行配對而創(chuàng)建的附加訓(xùn)練項，來更新對該一個或多個第一機(jī)器學(xué)習(xí)模型和/或一個或多個第二機(jī)器學(xué)習(xí)模型的訓(xùn)練。

21、將理解的是，本文描述為適合于結(jié)合到本公開的一個或多個方面或?qū)嵤├械娜魏翁卣髦荚诳赏茝V到本公開的任何和所有的方面和實施例。根據(jù)本公開的說明書、權(quán)利要求和附圖，本領(lǐng)域技術(shù)人員可以理解本公開的其它方面。上述總體描述和以下詳細(xì)描述僅是示例性和說明性的，而不是對權(quán)利要求的限制。