本技術(shù)實(shí)施例涉及虛擬顯示，尤其涉及一種虛擬現(xiàn)實(shí)語音交互方法。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)以及虛擬現(xiàn)實(shí)(vr，virtual?reality)、增強(qiáng)現(xiàn)實(shí)(ar，augmentedreality)、混合現(xiàn)實(shí)(mr，mixed?reality)、擴(kuò)展現(xiàn)實(shí)(xr，extended?reality)等虛擬顯示技術(shù)的發(fā)展，虛擬顯示設(shè)備的應(yīng)用越來越廣泛。

2、為了方便用戶對(duì)虛擬顯示設(shè)備的交互與控制，虛擬顯示設(shè)備中通常安裝有語音助手，通過語音指令實(shí)現(xiàn)對(duì)虛擬顯示設(shè)備的交互與控制。目前，對(duì)語音助手的喚醒一般是通過語音觸發(fā)的方式進(jìn)行，即通過麥克風(fēng)實(shí)時(shí)錄制聲音并進(jìn)行語音檢測(cè)，在檢測(cè)到設(shè)定的語音識(shí)別喚醒語音時(shí)，啟動(dòng)語音識(shí)別。這種通過語音喚醒語音助手的方式對(duì)語音識(shí)別的準(zhǔn)確率要求較高，容易出現(xiàn)語音識(shí)別不準(zhǔn)確的情況，導(dǎo)致語音助手啟動(dòng)準(zhǔn)確率較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種虛擬現(xiàn)實(shí)語音交互方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)中語音喚醒語音助手的方式容易出現(xiàn)語音識(shí)別不準(zhǔn)確的情況，導(dǎo)致語音助手啟動(dòng)準(zhǔn)確率較低的技術(shù)問題，有效提高語音識(shí)別喚醒準(zhǔn)確率。

2、在第一方面，本技術(shù)實(shí)施例提供了一種虛擬現(xiàn)實(shí)語音交互方法，應(yīng)用于虛擬顯示設(shè)備，包括：

3、獲取用戶注視信息及第一交互信息；

4、若用戶注視信息及第一交互信息均符合預(yù)設(shè)條件，則響應(yīng)于所述第一交互信息，啟動(dòng)語音識(shí)別；

5、其中，第一交互信息為用戶肢體動(dòng)作的圖像信息或運(yùn)動(dòng)信息。

6、本方案通過獲取用戶注視信息及第一交互信息，根據(jù)用戶注視信息及第一交互信息確定是否符合開啟語音識(shí)別的第一預(yù)設(shè)條件，并在滿足第一預(yù)設(shè)條件時(shí)啟動(dòng)語音識(shí)別，用戶通過注視和交互動(dòng)作即可準(zhǔn)確啟動(dòng)語音識(shí)別，語音識(shí)別的啟動(dòng)不需要依賴對(duì)現(xiàn)場(chǎng)錄音的語音識(shí)別準(zhǔn)確度，有效提高語音識(shí)別喚醒準(zhǔn)確率。

7、進(jìn)一步的，所述獲取用戶注視信息及第一交互信息之后，還包括：

8、根據(jù)所述用戶注視信息及所述第一交互信息確定用戶是否注視手部；

9、若確定用戶注視手部，則確定所述用戶注視信息及所述第一交互信息均符合第一預(yù)設(shè)條件。

10、上述，根據(jù)用戶注視信息及第一交互信息確定用戶是否注視手部，并在確定用戶注視手部時(shí)確定所述用戶注視信息及所述第一交互信息均符合第一預(yù)設(shè)條件，準(zhǔn)確判斷啟動(dòng)語音識(shí)別的時(shí)機(jī)，提高虛擬現(xiàn)實(shí)語音交互準(zhǔn)確度。

11、進(jìn)一步的，所述根據(jù)所述用戶注視信息及所述第一交互信息確定用戶是否注視手部，包括：

12、根據(jù)所述用戶注視信息確定注視方位；

13、根據(jù)所述第一交互信息確定手部位置；

14、根據(jù)所述注視方位和所述手部位置確定用戶是否注視手部。

15、上述，通過根據(jù)用戶注視信息確定注視方位以及根據(jù)第一交互信息確定手部位置，根據(jù)注視方位和手部位置準(zhǔn)確確定用戶是否注視手部，有效提高啟動(dòng)語音識(shí)別的準(zhǔn)確率。

16、進(jìn)一步的，所述響應(yīng)于所述第一交互信息，啟動(dòng)語音識(shí)別，包括：

17、根據(jù)所述第一交互信息確定第一手勢(shì)識(shí)別信息；

18、若所述第一手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第一設(shè)定手勢(shì)，則啟動(dòng)語音識(shí)別。

19、上述，通過根據(jù)第一交互信息確定第一手勢(shì)識(shí)別信息，并在第一手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第一設(shè)定手勢(shì)時(shí)啟動(dòng)語音識(shí)別，準(zhǔn)確判斷啟動(dòng)語音識(shí)別的時(shí)機(jī)，提高虛擬現(xiàn)實(shí)語音交互準(zhǔn)確度。

20、進(jìn)一步的，所述若所述第一手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第一設(shè)定手勢(shì)，則啟動(dòng)語音識(shí)別，包括：

21、若所述第一手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為手指并攏到手指張開的手勢(shì)，或手掌握拳到手掌張開的手勢(shì)，則啟動(dòng)語音識(shí)別。

22、上述，通過手部從手指并攏到手指張開對(duì)應(yīng)的手勢(shì)，或手部從手掌握拳到手掌張開對(duì)應(yīng)的手勢(shì)作為啟動(dòng)語音識(shí)別的第一設(shè)定手勢(shì)，對(duì)第一設(shè)定手勢(shì)識(shí)別的準(zhǔn)確度較高，用戶操作簡(jiǎn)單，用戶學(xué)習(xí)成本較低，有效提高語音助手效率與準(zhǔn)確度。

23、進(jìn)一步的，所述獲取用戶注視信息及第一交互信息之后，還包括：

24、若用戶注視信息及第一交互信息均符合第一預(yù)設(shè)條件，則根據(jù)所述第一交互信息顯示虛擬手部。

25、上述，通過在用戶注視信息及第一交互信息均符合第一預(yù)設(shè)條件時(shí)顯示用戶的虛擬手部，方便用戶了解虛擬顯示設(shè)備已識(shí)別到符合第一預(yù)設(shè)條件，提示用戶執(zhí)行第一設(shè)定手勢(shì)，同時(shí)，用戶可通過顯示的虛擬手部了解到手部的位置以及手勢(shì)的變化，方便用戶對(duì)手勢(shì)的操作，提高語音助手啟動(dòng)效率。

26、進(jìn)一步的，所述獲取用戶注視信息及第一交互信息之后，還包括：

27、若用戶注視信息及第一交互信息均符合第一預(yù)設(shè)條件，則對(duì)在所述虛擬顯示設(shè)備中顯示的虛擬手部渲染設(shè)定光效。

28、上述，通過在檢測(cè)到用戶注視手部時(shí)對(duì)虛擬手部渲染設(shè)定光效，方便用戶了解虛擬顯示設(shè)備已識(shí)別到用戶注視手部，提示用戶執(zhí)行第一設(shè)定手勢(shì)，提高語音助手啟動(dòng)效率。

29、進(jìn)一步的，所述響應(yīng)于所述第一交互信息，啟動(dòng)語音識(shí)別之后，還包括：

30、顯示語音助手交互控件，所述語音助手交互控件用于顯示所述語音助手的交互信息，所述語音助手交互控件的顯示位置根據(jù)在所述虛擬顯示設(shè)備中顯示的虛擬手部確定。

31、上述，通過語音助手交互控件更直觀的觀察與語音助手的交互情況，提高對(duì)語音助手的使用體驗(yàn)，并且語音助手交互控件可隨用戶手部同步移動(dòng)位置，語音助手的交互更靈活，提高用戶的使用體驗(yàn)。

32、進(jìn)一步的，所述響應(yīng)于所述第一交互信息，啟動(dòng)語音識(shí)別之后，還包括：

33、獲取第二交互信息，若所述第二交互信息符合第二預(yù)設(shè)條件，則關(guān)閉語音識(shí)別。

34、上述，通過在第二交互信息符合第二預(yù)設(shè)條件時(shí)關(guān)閉語音識(shí)別，語音助手的開啟和關(guān)閉均不需要依賴對(duì)現(xiàn)場(chǎng)錄音的語音識(shí)別準(zhǔn)確度，有效提高開啟與關(guān)閉語音識(shí)別的準(zhǔn)確率。

35、進(jìn)一步的，所述若所述第二交互信息符合第二預(yù)設(shè)條件，則關(guān)閉語音識(shí)別，包括：

36、根據(jù)所述第二交互信息進(jìn)行手勢(shì)識(shí)別得到第二手勢(shì)識(shí)別信息；

37、若所述第二手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第二設(shè)定手勢(shì)，則關(guān)閉語音識(shí)別。

38、上述，通過在第二手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第二設(shè)定手勢(shì)時(shí)關(guān)閉語音識(shí)別，語音助手的開啟和關(guān)閉均不需要依賴對(duì)現(xiàn)場(chǎng)錄音的語音識(shí)別準(zhǔn)確度，有效提高開啟與關(guān)閉語音識(shí)別的準(zhǔn)確率。

39、進(jìn)一步的，所述若所述第二手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為第二設(shè)定手勢(shì)，則關(guān)閉語音識(shí)別，包括：

40、若所述第二手勢(shì)識(shí)別信息對(duì)應(yīng)的手勢(shì)為手指張開到手指并攏的手勢(shì)、手掌張開到手掌握拳的手勢(shì)和手掌翻轉(zhuǎn)的手勢(shì)中的一種或多種的組合，則關(guān)閉語音識(shí)別。

41、上述，通過手部從手指張開到手指并攏的手勢(shì)、手部從手掌張開到手掌握拳的手勢(shì)和手掌翻轉(zhuǎn)的手勢(shì)中的一種或多種的組合作為關(guān)閉語音識(shí)別的第二設(shè)定手勢(shì)，對(duì)第二設(shè)定手勢(shì)識(shí)別的準(zhǔn)確度較高，用戶操作簡(jiǎn)單，用戶學(xué)習(xí)成本較低，有效提高關(guān)閉語音識(shí)別的準(zhǔn)確率。

42、進(jìn)一步的，所述用戶注視信息包括眼動(dòng)識(shí)別信息和/或設(shè)備朝向信息，所述眼動(dòng)識(shí)別信息通過所述虛擬顯示設(shè)備上的眼動(dòng)識(shí)別單元進(jìn)行眼動(dòng)識(shí)別得到，所述第一交互信息包括第一外部圖像信息和/或第一運(yùn)動(dòng)檢測(cè)信息，所述第一外部圖像信息通過所述虛擬顯示設(shè)備上的圖像獲取單元進(jìn)行圖像拍攝得到，所述第一運(yùn)動(dòng)檢測(cè)信息通過對(duì)連接的外接設(shè)備的運(yùn)動(dòng)檢測(cè)單元進(jìn)行運(yùn)動(dòng)檢測(cè)得到。

43、上述，通過第一外部圖像信息和/或第一運(yùn)動(dòng)檢測(cè)信息反映用戶的第一交互信息，準(zhǔn)確判斷用戶的肢體動(dòng)作，提高語音交互準(zhǔn)確度，并且通過眼動(dòng)識(shí)別信息和/或設(shè)備朝向信息準(zhǔn)確反映用戶注視信息，提高語音交互準(zhǔn)確度。

44、在第二方面，本技術(shù)實(shí)施例提供了一種虛擬現(xiàn)實(shí)語音交互裝置，應(yīng)用于虛擬顯示設(shè)備，包括信息獲取模塊和啟動(dòng)處理模塊，其中：

45、所述信息獲取模塊，用于獲取用戶注視信息及第一交互信息，其中，第一交互信息為用戶肢體動(dòng)作的圖像信息或運(yùn)動(dòng)信息；

46、所述啟動(dòng)處理模塊，用于若用戶注視信息及第一交互信息均符合第一預(yù)設(shè)條件，則響應(yīng)于所述第一交互信息，啟動(dòng)語音識(shí)別。

47、本技術(shù)實(shí)施例通過獲取用戶注視信息及第一交互信息，根據(jù)用戶注視信息及第一交互信息確定是否符合開啟語音識(shí)別的第一預(yù)設(shè)條件，并在滿足第一預(yù)設(shè)條件時(shí)啟動(dòng)語音識(shí)別，用戶通過注視和交互動(dòng)作即可準(zhǔn)確啟動(dòng)語音識(shí)別，語音識(shí)別的啟動(dòng)不需要依賴對(duì)現(xiàn)場(chǎng)錄音的語音識(shí)別準(zhǔn)確度，有效提高語音識(shí)別喚醒準(zhǔn)確率。

48、在第三方面，本技術(shù)實(shí)施例提供了一種虛擬現(xiàn)實(shí)語音交互設(shè)備，包括：存儲(chǔ)器以及一個(gè)或多個(gè)處理器；

49、所述存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

50、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如第一方面所述的虛擬現(xiàn)實(shí)語音交互方法。

51、在第四方面，本技術(shù)實(shí)施例提供了一種存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令在由計(jì)算機(jī)處理器執(zhí)行時(shí)用于執(zhí)行如第一方面所述的虛擬現(xiàn)實(shí)語音交互方法。