本發(fā)明涉及信息，尤其涉及一種應(yīng)用于虛擬展館展示區(qū)域的圖像處理方法及系統(tǒng)。

背景技術(shù)：

1、vr(virtual?reality，虛擬現(xiàn)實(shí)技術(shù))又稱(chēng)靈境技術(shù)，是以沉浸性、交互性和構(gòu)想性為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面。它綜合利用了計(jì)算機(jī)圖形學(xué)、仿真技術(shù)、多媒體技術(shù)、人工智能技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)和多傳感器技術(shù)，模擬人的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感覺(jué)器官功能，使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中，并能夠通過(guò)語(yǔ)言、手勢(shì)、鼠標(biāo)和鍵盤(pán)等方式與之進(jìn)行實(shí)時(shí)交互，創(chuàng)建了一種適人化的多維信息空間，是一項(xiàng)發(fā)展中的、具有深遠(yuǎn)的潛在應(yīng)用方向的新技術(shù)。

2、隨著vr的發(fā)展對(duì)于gpu(graphic?processing?unit，圖像處理器)的處理效率要求越來(lái)越高，當(dāng)gpu處理效率低時(shí)圖像的渲染速度跟不上用戶(hù)頭動(dòng)和視野的移動(dòng)速度造成圖像的延遲，研究表明，頭動(dòng)和視野的延遲不能超過(guò)20ms，否則會(huì)有很明顯的拖影感，長(zhǎng)時(shí)間的拖影感易造成頭暈現(xiàn)象。

技術(shù)實(shí)現(xiàn)思路

1、為了減低移動(dòng)帶來(lái)造成圖像的延遲和拖影感，本發(fā)明提供了一種應(yīng)用于虛擬展館展示區(qū)域的圖像處理方法，所述方法主要包括步驟：

2、?s101.獲取眼動(dòng)追蹤傳感器采集的觀看距離數(shù)據(jù)與視角偏移角度數(shù)據(jù)；

3、s102.根據(jù)所述觀看距離數(shù)據(jù)與視角偏移角度數(shù)據(jù)判斷頭部位置狀態(tài)，生成動(dòng)態(tài)感知結(jié)果；

4、s103.?采用卷積神經(jīng)網(wǎng)絡(luò)處理所述動(dòng)態(tài)感知結(jié)果對(duì)應(yīng)的原始圖像像素密度與焦點(diǎn)區(qū)域坐標(biāo)，確定分辨率閾值范圍；若所述分辨率閾值范圍超出預(yù)設(shè)標(biāo)準(zhǔn)值，則對(duì)所述原始圖像像素密度執(zhí)行雙三次插值重采樣，生成自適應(yīng)分辨率圖像；

5、s104.當(dāng)檢測(cè)到所述焦點(diǎn)區(qū)域坐標(biāo)發(fā)生位移時(shí)，對(duì)所述自適應(yīng)分辨率圖像執(zhí)行快速傅里葉變換，獲取指定窗口尺寸的頻域數(shù)據(jù)，根據(jù)預(yù)設(shè)頻域平滑系數(shù)對(duì)所述頻域數(shù)據(jù)實(shí)施高通濾波處理，得到濾波后的頻域數(shù)據(jù)；

6、s105.對(duì)所述濾波后的頻域數(shù)據(jù)執(zhí)行逆傅里葉變換精度控制處理，還原生成優(yōu)化后的焦點(diǎn)細(xì)節(jié)圖像；

7、s106.將所述焦點(diǎn)細(xì)節(jié)圖像與預(yù)先建立的低頻背景模板輸入實(shí)時(shí)渲染引擎，生成最終顯示幀數(shù)據(jù)，并將所述最終顯示幀數(shù)據(jù)至輸出虛擬展館的展示區(qū)域；

8、s107.?將所述最終顯示幀數(shù)據(jù)輸入至用戶(hù)行為分析與預(yù)測(cè)模塊，獲取網(wǎng)絡(luò)延遲時(shí)預(yù)加載的展示內(nèi)容。

9、優(yōu)選地，所述步驟102，包括：

10、通過(guò)傳感器收集所述觀看距離數(shù)據(jù)與視角偏移角度數(shù)據(jù)，并對(duì)收集到的數(shù)據(jù)進(jìn)行預(yù)處理；

11、將預(yù)處理后的數(shù)據(jù)與預(yù)定義的頭部位置狀態(tài)進(jìn)行匹配，以確定用戶(hù)的實(shí)時(shí)頭部狀態(tài)；

12、根據(jù)所述實(shí)時(shí)頭部狀態(tài)生成動(dòng)態(tài)感知結(jié)果。

13、優(yōu)選地，所述步驟s103，包括：

14、獲取原始圖像的像素密度信息以及基于動(dòng)態(tài)感知結(jié)果利用顯著性分析確定所述原始圖像中的焦點(diǎn)區(qū)域坐標(biāo)；

15、將所述像素密度信息和焦點(diǎn)區(qū)域坐標(biāo)輸入卷積神經(jīng)網(wǎng)絡(luò)，輸出分辨率閾值范圍，其中，使用卷積層提取所述焦點(diǎn)區(qū)域的局部特征，使用池化層降低所述局部特征維度，實(shí)用全連接層輸出分辨率閾值范圍；

16、將所述分辨率閾值范圍與預(yù)設(shè)標(biāo)準(zhǔn)值進(jìn)行比較，若所述分辨率閾值范圍在預(yù)設(shè)標(biāo)準(zhǔn)值內(nèi)，則直接使用原始圖像像素密度進(jìn)行處理，若所述分辨率閾值范圍超出預(yù)設(shè)標(biāo)準(zhǔn)值，則對(duì)所述原始圖像進(jìn)行雙三次插值重采樣，生成自適應(yīng)分辨率圖像。

17、優(yōu)選地，所述步驟s104，包括：

18、比較當(dāng)前焦點(diǎn)區(qū)域坐標(biāo)與上一幀焦點(diǎn)區(qū)域坐標(biāo)，判斷是否發(fā)生位移；

19、若確定發(fā)生位移，則對(duì)所述自適應(yīng)分辨率圖像執(zhí)行快速傅里葉變換，將所述自適應(yīng)分辨率圖像從空間域轉(zhuǎn)換到頻率域，在所述頻率域中，選擇一個(gè)預(yù)定大小的窗口來(lái)提取所述當(dāng)前焦點(diǎn)區(qū)域坐標(biāo)附近的頻域數(shù)據(jù)，獲取預(yù)定窗口尺寸的頻域數(shù)據(jù)；

20、通過(guò)預(yù)設(shè)的頻域平滑系數(shù)構(gòu)建高通濾波器，對(duì)頻域數(shù)據(jù)進(jìn)行濾波，得到濾波后的頻域數(shù)據(jù)，將所述濾波后的頻域數(shù)據(jù)轉(zhuǎn)換回空間域，得到頻域焦點(diǎn)圖像。

21、優(yōu)選地，所述步驟s107，包括：

22、對(duì)所述最終顯示幀數(shù)據(jù)進(jìn)行清洗、去噪、提取特征處理，獲取用戶(hù)當(dāng)前的行為軌跡；

23、通過(guò)分析用戶(hù)的歷史行為數(shù)據(jù)，識(shí)別出用戶(hù)的典型行為模式；

24、根據(jù)用戶(hù)的歷史操作頻率和歷史停留時(shí)間，提取用戶(hù)感興趣的區(qū)域，基于所述用戶(hù)當(dāng)前的行為軌跡結(jié)合用戶(hù)的典型行為模式和所述用戶(hù)感興趣的區(qū)域，獲取預(yù)加載的內(nèi)容，結(jié)合當(dāng)前的網(wǎng)絡(luò)狀態(tài)，動(dòng)態(tài)調(diào)整預(yù)加載的內(nèi)容。

25、優(yōu)選地，所述結(jié)合當(dāng)前的網(wǎng)絡(luò)狀態(tài)，動(dòng)態(tài)調(diào)整預(yù)加載的內(nèi)容，包括：

26、根據(jù)歷史網(wǎng)絡(luò)延遲數(shù)據(jù)，構(gòu)建延遲預(yù)測(cè)模型，預(yù)測(cè)在當(dāng)前網(wǎng)絡(luò)條件下可能出現(xiàn)的延遲情況；

27、根據(jù)用戶(hù)行為預(yù)測(cè)結(jié)果，對(duì)需要展示的內(nèi)容進(jìn)行優(yōu)先級(jí)排序；結(jié)合預(yù)測(cè)的網(wǎng)絡(luò)延遲，動(dòng)態(tài)調(diào)整預(yù)加載的內(nèi)容。

28、第二方面，本發(fā)明提供了一種應(yīng)用于虛擬展館展示區(qū)域的圖像處理系統(tǒng)，所述系統(tǒng)包括：

29、數(shù)據(jù)采集模塊，獲取眼動(dòng)追蹤傳感器采集的觀看距離數(shù)據(jù)與視角偏移角度數(shù)據(jù)；

30、動(dòng)態(tài)感知結(jié)果生成模塊，根據(jù)所述觀看距離數(shù)據(jù)與視角偏移角度數(shù)據(jù)判斷頭部位置狀態(tài)，生成動(dòng)態(tài)感知結(jié)果；

31、自適應(yīng)分辨率圖像生成模塊，采用卷積神經(jīng)網(wǎng)絡(luò)處理所述動(dòng)態(tài)感知結(jié)果對(duì)應(yīng)的原始圖像像素密度與焦點(diǎn)區(qū)域坐標(biāo)，確定分辨率閾值范圍；若所述分辨率閾值范圍超出預(yù)設(shè)標(biāo)準(zhǔn)值，則對(duì)所述原始圖像像素密度執(zhí)行雙三次插值重采樣，生成自適應(yīng)分辨率圖像；

32、頻域焦點(diǎn)圖像生成模塊，當(dāng)檢測(cè)到所述焦點(diǎn)區(qū)域坐標(biāo)發(fā)生位移時(shí)，對(duì)所述自適應(yīng)分辨率圖像執(zhí)行快速傅里葉變換，獲取指定窗口尺寸的頻域數(shù)據(jù)，根據(jù)預(yù)設(shè)頻域平滑系數(shù)對(duì)所述頻域數(shù)據(jù)實(shí)施高通濾波處理，得到頻域焦點(diǎn)圖像；

33、焦點(diǎn)細(xì)節(jié)圖像生成模塊，對(duì)所述頻域焦點(diǎn)圖像執(zhí)行逆傅里葉變換精度控制處理，還原生成優(yōu)化后的焦點(diǎn)細(xì)節(jié)圖像；

34、展示模塊，將所述焦點(diǎn)細(xì)節(jié)圖像與預(yù)先建立的低頻背景模板輸入實(shí)時(shí)渲染引擎，生成最終顯示幀數(shù)據(jù)，并將所述最終顯示幀數(shù)據(jù)至輸出虛擬展館的展示區(qū)域；

35、展示內(nèi)容預(yù)測(cè)模塊，將所述最終顯示幀數(shù)據(jù)輸入至用戶(hù)行為分析與預(yù)測(cè)模塊，獲取網(wǎng)絡(luò)延遲時(shí)預(yù)加載的展示內(nèi)容。

36、第三方面，本發(fā)明提供了一種電子設(shè)備，包括存儲(chǔ)器、圖像處理器及存儲(chǔ)在存儲(chǔ)器上并可在圖像處理器上運(yùn)行的計(jì)算機(jī)程序，圖像處理器執(zhí)行程序時(shí)實(shí)現(xiàn)所述的應(yīng)用于虛擬展館展示區(qū)域的圖像處理方法。

37、第四方面，本方面提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被圖像處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的應(yīng)用于虛擬展館展示區(qū)域的圖像處理方法。

38、本發(fā)明實(shí)施例提供的技術(shù)方案可以包括以下有益效果：通過(guò)開(kāi)發(fā)自適應(yīng)清晰度增強(qiáng)算法，根據(jù)用戶(hù)的觀看距離和角度自動(dòng)調(diào)整展示對(duì)象的清晰度。當(dāng)用戶(hù)靠近某個(gè)展品時(shí)，系統(tǒng)能夠自動(dòng)提高該區(qū)域的分辨率和細(xì)節(jié)；當(dāng)用戶(hù)從不同角度查看展品時(shí)，系統(tǒng)能夠根據(jù)視角變化實(shí)時(shí)調(diào)整圖像的清晰度和焦點(diǎn)，確保用戶(hù)在任何位置都能獲得最佳的觀看體驗(yàn)。還可以根據(jù)用戶(hù)的瀏覽軌跡和興趣偏好，預(yù)測(cè)用戶(hù)接下來(lái)可能查看的展品，提前緩存相關(guān)內(nèi)容，即使在網(wǎng)絡(luò)延遲時(shí)都可減少等待時(shí)間。同時(shí)，通過(guò)漸進(jìn)式圖像加載技術(shù)，使用戶(hù)在等待高清圖像的同時(shí)也能獲得基本的視覺(jué)體驗(yàn)。