本發(fā)明涉及視覺慣性里程計(jì)，尤其是一種基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計(jì)方法及設(shè)備。

背景技術(shù)：

1、現(xiàn)有的視覺慣性里程計(jì)方法主要通過融合相機(jī)獲取的視覺信息與慣性測(cè)量單元imu采集的運(yùn)動(dòng)數(shù)據(jù)來估計(jì)設(shè)備的六自由度位姿。傳統(tǒng)基于幾何方法的vio方法，如基于關(guān)鍵幀優(yōu)化或?yàn)V波的算法，依賴于手工提取的特征及嚴(yán)格的模型假設(shè)，容易在低紋理或動(dòng)態(tài)環(huán)境中出現(xiàn)漂移或估計(jì)精度下降的問題。

2、近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的vio方法逐漸成為研究熱點(diǎn)，其通過端到端的網(wǎng)絡(luò)訓(xùn)練來自動(dòng)學(xué)習(xí)魯棒的特征表示，并在一定程度上提高了位姿估計(jì)的精度和魯棒性。然而，現(xiàn)有深度學(xué)習(xí)方法仍存在兩大不足：一方面，高維卷積特征中往往蘊(yùn)含大量冗余信息，直接壓縮或融合可能會(huì)丟失關(guān)鍵細(xì)節(jié)；另一方面，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，如lstm，在捕捉復(fù)雜非線性運(yùn)動(dòng)動(dòng)態(tài)時(shí)存在局限性，無法充分表達(dá)運(yùn)動(dòng)中的突變和非高斯特性。尤其是在實(shí)際應(yīng)用中，由于視覺數(shù)據(jù)質(zhì)量受到光照變化、運(yùn)動(dòng)模糊等因素的影響，如何自適應(yīng)調(diào)控視覺與慣性數(shù)據(jù)的貢獻(xiàn)，從而實(shí)現(xiàn)更為精確和穩(wěn)定的位姿估計(jì)，仍然是一項(xiàng)亟待解決的關(guān)鍵技術(shù)問題。

3、因此需要一種能夠有效融合視覺和慣性信息、并通過自適應(yīng)機(jī)制強(qiáng)化對(duì)復(fù)雜運(yùn)動(dòng)動(dòng)態(tài)捕捉能力的視覺慣性里程計(jì)方法，以滿足高精度和魯棒性要求。

技術(shù)實(shí)現(xiàn)思路

1、為解決傳統(tǒng)視覺慣性里程計(jì)在特征提取、數(shù)據(jù)融合及非線性運(yùn)動(dòng)建模方面不足的問題，本發(fā)明的首要目的在于提供一種提升特征判別能力與非線性運(yùn)動(dòng)建模效果，實(shí)現(xiàn)復(fù)雜運(yùn)動(dòng)場(chǎng)景下高魯棒性與高精度位姿估計(jì)的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計(jì)方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：一種基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計(jì)方法，該方法包括下列順序的步驟：

3、(1)采集與預(yù)處理：利用搭載單目相機(jī)及慣性測(cè)量單元的裝置，在目標(biāo)運(yùn)動(dòng)環(huán)境中采集視覺圖像數(shù)據(jù)與慣性數(shù)據(jù)，并對(duì)視覺圖像數(shù)據(jù)與慣性數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的視覺圖像數(shù)據(jù)和預(yù)處理后的慣性數(shù)據(jù)；

4、(2)視覺特征提取：采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后的視覺圖像數(shù)據(jù)進(jìn)行多尺度特征提取，并引入雙重注意力模塊，通過融合局部細(xì)節(jié)與全局上下文信息獲得視覺特征向量vt；

5、(3)慣性特征提取：對(duì)預(yù)處理后的慣性數(shù)據(jù)采用一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)序建模，提取慣性特征向量it；

6、(4)自適應(yīng)數(shù)據(jù)融合：利用策略網(wǎng)絡(luò)，將慣性特征向量it與前一時(shí)刻lstm隱藏狀態(tài)作為策略網(wǎng)絡(luò)的輸入，對(duì)視覺特征向量vt進(jìn)行自適應(yīng)門控和動(dòng)態(tài)融合，生成最終融合特征ft；

7、(5)時(shí)序建模與位姿估計(jì)：將最終融合特征ft輸入長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行時(shí)序建模，并利用結(jié)合混合基函數(shù)的中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)對(duì)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的輸出進(jìn)行非線性特征增強(qiáng)，經(jīng)全連接回歸層輸出目標(biāo)環(huán)境中的六自由度位姿估計(jì)。

8、步驟(1)具體是指：所述視覺圖像數(shù)據(jù)由高分辨率的單目相機(jī)采集，圖像幀率不低于10hz，對(duì)視覺圖像數(shù)據(jù)進(jìn)行預(yù)處理，即經(jīng)過灰度化、去噪和幾何校正，以增強(qiáng)圖像質(zhì)量，得到預(yù)處理后的視覺圖像數(shù)據(jù)；所述慣性數(shù)據(jù)由慣性測(cè)量單元以固定采樣頻率采集，對(duì)慣性數(shù)據(jù)進(jìn)行預(yù)處理，即進(jìn)行低通濾波、時(shí)間同步處理，再根據(jù)運(yùn)動(dòng)旋轉(zhuǎn)信息的統(tǒng)計(jì)分布進(jìn)行加權(quán)，得到預(yù)處理后的慣性數(shù)據(jù)。

9、步驟(2)具體包括以下步驟：

10、(2a)將連續(xù)采集的兩幀預(yù)處理后的視覺圖像it和it+1沿通道維度進(jìn)行拼接，得到復(fù)合圖像vt：

11、

12、其中，cat表示圖像拼接操作，h和w分別為圖像的高度和寬度；

13、(2b)將復(fù)合圖像vt輸入由多層卷積、批量歸一化及l(fā)eakyrelu激活函數(shù)構(gòu)成的深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行視覺特征提取，第l層輸出特征圖滿足：

14、

15、其中，初始特征為復(fù)合圖像vt，conv(l)表示第l層卷積操作，bn表示批量歸一化操作，σ(·)為leakyrelu激活函數(shù)；經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)處理后，得到最終的輸出特征圖記為其中，c表示通道數(shù)，h'和w'分別表示最終的輸出特征圖的高度和寬度；

16、(2c)在深度卷積神經(jīng)網(wǎng)絡(luò)中集成雙重注意力模塊以提升視覺特征的表達(dá)能力，雙重注意力模塊包括局部-全局信息融合模塊和通道重校準(zhǔn)模塊；

17、將最終的輸出特征圖ft輸入局部-全局信息融合模塊，局部-全局信息融合模塊采用三條并行分支對(duì)ft進(jìn)行處理：

18、第一條分支利用1×1卷積實(shí)現(xiàn)通道重映射，輸出特征記為

19、第二條分支利用3×3卷積捕獲局部空間信息，輸出特征記為

20、第三條分支進(jìn)行自適應(yīng)平均池化后，再經(jīng)1×1卷積與sigmoid激活生成全局注意圖aglobal：

21、

22、其中，wg為可學(xué)習(xí)參數(shù)矩陣，|ω|表示特征圖的空間區(qū)域面積，x為空間坐標(biāo)；

23、隨后，將aglobal與ft逐元素相乘，再將輸出特征輸出特征aglobal⊙ft相加，并對(duì)其結(jié)果施加silu激活函數(shù)，得到融合特征圖f't：

24、

25、其中，⊙表示逐元素乘法；

26、通道重校準(zhǔn)模塊的處理如下：

27、對(duì)融合特征圖f't進(jìn)行全局平均池化，再經(jīng)過一維卷積與sigmoid激活生成通道權(quán)重記為achannel；

28、將achannel與f't逐元素相乘，得到重校準(zhǔn)特征圖

29、

30、最后，將展平并經(jīng)全連接層映射，輸出經(jīng)雙重注意力模塊增強(qiáng)的視覺特征向量dv表示視覺特征向量vt的維度。

31、步驟(3)具體包括以下步驟：

32、(3a)將預(yù)處理后的慣性數(shù)據(jù)重構(gòu)為適用于一維卷積處理的格式；

33、(3b)對(duì)重構(gòu)后的慣性數(shù)據(jù)采用多層一維卷積操作，每層卷積均結(jié)合批量歸一化及l(fā)eakyrelu激活函數(shù)，以充分捕捉慣性信號(hào)中的時(shí)間動(dòng)態(tài)特性；

34、(3c)將經(jīng)多層卷積層處理后的特征序列展平，并通過全連接層進(jìn)行映射，得到慣性特征向量di表示慣性特征向量it的維度。

35、步驟(4)具體包括以下步驟：

36、(4a)構(gòu)造復(fù)合向量xt以引導(dǎo)策略網(wǎng)絡(luò)的自適應(yīng)調(diào)控，復(fù)合向量xt由慣性特征向量it與前一時(shí)刻lstm隱藏狀態(tài)組合而成，dr表示lstm隱藏狀態(tài)的維度，復(fù)合向量xt的表達(dá)式為：

37、

38、(4b)利用策略網(wǎng)絡(luò)對(duì)xt進(jìn)行處理，輸出決策向量dt，決策向量采用gumbel-softmax方法實(shí)現(xiàn)離散化，以便動(dòng)態(tài)調(diào)控視覺特征向量vt的權(quán)重；隨后，將調(diào)控后的視覺特征向量與慣性特征向量it進(jìn)行拼接，形成最終融合特征ft。

39、步驟(5)具體包括以下步驟：

40、(5a)將最終融合特征輸入長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，以捕捉時(shí)序相關(guān)性，從而得到lstm隱藏狀態(tài)ht：

41、ht＝lstm(ft,ht-1)

42、其中，為前一時(shí)刻的隱藏狀態(tài)；df為最終融合特征ft的維度；

43、(5b)對(duì)lstm隱藏狀態(tài)ht應(yīng)用中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)即mkan網(wǎng)絡(luò)以實(shí)現(xiàn)非線性特征擴(kuò)展，mkan網(wǎng)絡(luò)由對(duì)科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)改進(jìn)得到，具體為：將高斯徑向基函數(shù)和洛倫茲函數(shù)混合，得到混合基函數(shù)，將混合基函數(shù)替換科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)的高斯徑向基函數(shù)；混合基函數(shù)為：

44、

45、其中，g為核中心；δ為尺度參數(shù)；ɑ∈[0,1]為可學(xué)習(xí)權(quán)重，并在訓(xùn)練初期設(shè)定α＝1后逐步自適應(yīng)調(diào)整；對(duì)ht的每個(gè)分量應(yīng)用混合基函數(shù)，并通過基于樣條函數(shù)的線性映射，堆疊l層mkan后形成深層非線性映射，輸出增強(qiáng)隱藏狀態(tài)

46、

47、其中，表示第l層mkan的轉(zhuǎn)換操作；

48、(5c)將經(jīng)過堆疊的mkan層生成的增強(qiáng)隱藏狀態(tài)經(jīng)全連接回歸層映射得到最終的六自由度位姿估計(jì)

49、

50、其中，和分別為回歸層的權(quán)重矩陣和偏置參數(shù)，dm為mkan輸出的維數(shù)。

51、本發(fā)明的另一目的在于提供一種電子設(shè)備，包括：

52、處理器；以及

53、存儲(chǔ)器，在所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時(shí)使得所述處理器執(zhí)行如上所述的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計(jì)方法。

54、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行如上所述的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計(jì)方法。

55、由上述技術(shù)方案可知，本發(fā)明的有益效果為：第一，本發(fā)明提出了一種基于深度學(xué)習(xí)的視覺慣性里程計(jì)框架，通過自適應(yīng)平衡視覺數(shù)據(jù)與慣性數(shù)據(jù)的貢獻(xiàn)，實(shí)現(xiàn)在復(fù)雜運(yùn)動(dòng)場(chǎng)景下的高精度、魯棒六自由度位姿估計(jì)，同時(shí)在運(yùn)動(dòng)平緩時(shí)降低計(jì)算負(fù)擔(dān)；第二，本發(fā)明提出的雙重注意力模塊通過自適應(yīng)地重新校準(zhǔn)通道響應(yīng)，增強(qiáng)了特征提取過程，該模塊在抑制冗余的同時(shí)提高了特征可判別性，克服了傳統(tǒng)通道壓縮技術(shù)在深度網(wǎng)絡(luò)中的局限性；第三，通過將中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)集成到位姿估計(jì)環(huán)節(jié)中，對(duì)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)輸出進(jìn)行非線性擴(kuò)展，從而增強(qiáng)了對(duì)復(fù)雜非線性運(yùn)動(dòng)動(dòng)態(tài)的捕捉能力。