本公開涉及圖像處理，尤其涉及一種基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤方法。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的發(fā)展，視頻單目標(biāo)追蹤作為計(jì)算機(jī)視覺領(lǐng)域中的一個基礎(chǔ)研究課題，是導(dǎo)航和制導(dǎo)、視頻監(jiān)控、場景理解等任務(wù)的基礎(chǔ)，可以廣泛應(yīng)用于各種領(lǐng)域。其中，例如可以采用孿生網(wǎng)絡(luò)目標(biāo)追蹤算法進(jìn)行目標(biāo)搜索，但是進(jìn)行特征融合時(shí)僅從空間維度進(jìn)行融合，使得模板圖像特征和搜索圖像特征融合后的特征有效激活的通道較少，對物體邊界的分辨能力較弱，從而影響了追蹤目標(biāo)的背景存在干擾時(shí)追蹤器的魯棒性，目標(biāo)追蹤效果較差。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供一種基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤方法，可以提高該孿生網(wǎng)絡(luò)針對待追蹤目標(biāo)的分辨能力，可以實(shí)現(xiàn)背景干擾下跟蹤器的魯棒跟蹤，提高追蹤目標(biāo)識別的準(zhǔn)確性，提高目標(biāo)追蹤的準(zhǔn)確性。本公開的技術(shù)方案如下：

2、根據(jù)本公開實(shí)施例的第一方面，提供一種基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤方法，包括：

3、采用目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)骨干網(wǎng)絡(luò)，獲取第一模板圖像對應(yīng)的第一模板圖像特征和單目標(biāo)追蹤數(shù)據(jù)集合中各搜索圖像的搜索圖像特征；

4、采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的特征融合網(wǎng)絡(luò)，對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行空間特征融合處理和通道特征融合處理，獲取融合特征；

5、將所述融合特征輸入至所述目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)追蹤頭網(wǎng)絡(luò)，獲取所述第一模板圖像中第一待追蹤目標(biāo)對應(yīng)的第一追蹤結(jié)果，其中，所述第一追蹤結(jié)果包括所述第一待追蹤目標(biāo)對應(yīng)的第一分類結(jié)果和所述第一待追蹤目標(biāo)對應(yīng)的第一回歸結(jié)果。

6、根據(jù)一些實(shí)施例，所述采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的特征融合網(wǎng)絡(luò)，對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行空間特征融合處理和通道特征融合處理，獲取融合特征，包括：

7、采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的目標(biāo)空間特征融合網(wǎng)絡(luò)，對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行融合處理，獲取第一空間融合特征；

8、采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的目標(biāo)通道特征融合網(wǎng)絡(luò)，對所述第一空間融合特征進(jìn)行增強(qiáng)處理和融合處理，獲取第一通道融合特征，并將所述第一通道融合特征作為融合特征。

9、根據(jù)一些實(shí)施例，所述對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行融合處理，獲取第一空間融合特征，包括：

10、獲取所述第一模板圖像特征對應(yīng)的第一節(jié)點(diǎn)集合，其中，所述第一模板圖像特征的每個像素為一個節(jié)點(diǎn)；

11、獲取所述各搜索圖像的搜索圖像特征對應(yīng)的第二節(jié)點(diǎn)集合，其中，所述各搜索圖像的搜索圖像特征的每個像素為一個節(jié)點(diǎn)；

12、根據(jù)所述第一節(jié)點(diǎn)集合和所述第二節(jié)點(diǎn)集合構(gòu)建二分圖，其中，所述二分圖用于指示所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征之間的對應(yīng)關(guān)系；

13、根據(jù)所述二分圖、所述第一節(jié)點(diǎn)集合中第一節(jié)點(diǎn)對應(yīng)的第一特征向量和所述第二節(jié)點(diǎn)集合中的第二節(jié)點(diǎn)對應(yīng)的第二特征向量，獲取所述第一節(jié)點(diǎn)和所述第二節(jié)點(diǎn)之間的評分，并采用softmax函數(shù)對所述評分進(jìn)行正則化，獲取權(quán)重信息，其中，所述第一節(jié)點(diǎn)為所述第一節(jié)點(diǎn)集合中任一節(jié)點(diǎn)，所述第二節(jié)點(diǎn)為所述第二節(jié)點(diǎn)集合中任一節(jié)點(diǎn)；

14、根據(jù)所述二分圖的第一子圖中所有節(jié)點(diǎn)傳遞到所述第一節(jié)點(diǎn)的至少一個權(quán)重信息、所述第二節(jié)點(diǎn)集合中各節(jié)點(diǎn)對應(yīng)的第二特征向量和線性變換矩陣，獲取所述第一節(jié)點(diǎn)對應(yīng)的聚合特征；

15、將所述聚合特征和所述第一節(jié)點(diǎn)的第一節(jié)點(diǎn)特征進(jìn)行融合，獲取拼接特征；

16、對所述第一節(jié)點(diǎn)集合對應(yīng)的至少一個拼接特征進(jìn)行空間特征融合，獲取第一空間融合特征。

17、根據(jù)一些實(shí)施例，所述對所述第一空間融合特征進(jìn)行增強(qiáng)處理和融合處理，獲取第一通道融合特征，包括：

18、采用小世界模型生成一張隨機(jī)圖；

19、對所述第一空間融合特征對應(yīng)的通道特征進(jìn)行編碼，獲取第二節(jié)點(diǎn)特征；

20、按照通道維度信息，對所述第二節(jié)點(diǎn)特征進(jìn)行拆解，獲取拆解后的節(jié)點(diǎn)特征；

21、對所述拆解后的節(jié)點(diǎn)特征按照預(yù)設(shè)順序進(jìn)行排序處理，獲取所述隨機(jī)圖的第三節(jié)點(diǎn)特征；

22、對所述第三節(jié)點(diǎn)特征進(jìn)行圖注意力卷積運(yùn)算，獲取第四節(jié)點(diǎn)特征；

23、將所述第四節(jié)點(diǎn)特征進(jìn)行特征提取處理和賦值處理，并按照所述通道維度對應(yīng)的順序進(jìn)行拼接處理，獲取通道融合后的特征；

24、對所述通道融合后的特征進(jìn)行解碼處理，獲取第一通道融合特征。

25、根據(jù)一些實(shí)施例，其中，初始孿生網(wǎng)絡(luò)包括初始骨干網(wǎng)絡(luò)、基于圖注意力網(wǎng)絡(luò)的初始空間特征融合網(wǎng)絡(luò)、基于圖注意力網(wǎng)絡(luò)的初始通道特征融合網(wǎng)絡(luò)和初始追蹤頭網(wǎng)絡(luò)，所述方法還包括：

26、獲取訓(xùn)練數(shù)據(jù)集合，其中，所述訓(xùn)練數(shù)據(jù)集合中包括至少一個訓(xùn)練樣本圖像；

27、采用所述初始骨干網(wǎng)絡(luò)，初始獲取第二搜索圖像對應(yīng)的第二搜索圖像特征和所述訓(xùn)練數(shù)據(jù)集合中各訓(xùn)練樣本圖像對應(yīng)的訓(xùn)練樣本圖像特征；

28、采用所述基于圖注意力網(wǎng)絡(luò)的初始空間特征融合網(wǎng)絡(luò)對所述第二搜索圖像特征和所述訓(xùn)練樣本圖像進(jìn)行融合處理，獲取第一空間融合特征；

29、采用所述基于圖注意力網(wǎng)絡(luò)的初始通道特征融合網(wǎng)絡(luò)對所述第一空間融合特征進(jìn)行增強(qiáng)和融合，獲取第二通道融合特征；

30、將所述第二通道融合特征輸入至所述初始追蹤頭網(wǎng)絡(luò)，獲取所述第二搜索圖像中第二待追蹤目標(biāo)對應(yīng)的第二追蹤結(jié)果，其中，所述第二追蹤結(jié)果包括所述第二待追蹤目標(biāo)對應(yīng)的第二分類結(jié)果和第二回歸結(jié)果；

31、獲取所述第二分類結(jié)果和第三分類結(jié)果之間的第一誤差和所述第二回歸結(jié)果和第三回歸結(jié)果之間的第二誤差，其中，所述第三分類結(jié)果為所述第二待追蹤目標(biāo)進(jìn)行標(biāo)注得到的分類結(jié)果，所述第三回歸結(jié)果為所述第二待追蹤目標(biāo)進(jìn)行標(biāo)注得到的回歸結(jié)果；

32、根據(jù)所述第一誤差和所述第二誤差對所述初始孿生網(wǎng)絡(luò)的模型參數(shù)進(jìn)行調(diào)整，直至所述初始孿生網(wǎng)絡(luò)滿足網(wǎng)絡(luò)訓(xùn)練要求，獲取到所述目標(biāo)孿生網(wǎng)絡(luò)。

33、根據(jù)一些實(shí)施例，所述獲取所述第二分類結(jié)果和第三分類結(jié)果之間的第一誤差和所述第二回歸結(jié)果和第三回歸結(jié)果之間的第二誤差，包括：

34、采用二值交叉熵?fù)p失函數(shù)獲取所述第二分類結(jié)果和第三分類結(jié)果之間的第一誤差；

35、采用交并比損失函數(shù)獲取所述第二回歸結(jié)果和第三回歸結(jié)果之間的第二誤差。

36、根據(jù)一些實(shí)施例，所述根據(jù)所述第一誤差和所述第二誤差對所述初始孿生網(wǎng)絡(luò)的模型參數(shù)進(jìn)行調(diào)整，直至所述初始孿生網(wǎng)絡(luò)滿足網(wǎng)絡(luò)訓(xùn)練要求，獲取到所述目標(biāo)孿生網(wǎng)絡(luò)，包括：

37、根據(jù)所述第一誤差對應(yīng)的第一權(quán)重、所述第一誤差、所述第二誤差對應(yīng)的第二權(quán)重和所述第二誤差，獲取總誤差；

38、采用隨機(jī)梯度下降法將所述總誤差進(jìn)行反向傳播，并對所述初始孿生網(wǎng)絡(luò)的模型參數(shù)進(jìn)行調(diào)整，直至所述初始孿生網(wǎng)絡(luò)滿足網(wǎng)絡(luò)訓(xùn)練要求，獲取到所述目標(biāo)孿生網(wǎng)絡(luò)。

39、根據(jù)本公開實(shí)施例的第二方面，提供一種基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤裝置，包括：

40、圖像獲取單元，用于采用目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)骨干網(wǎng)絡(luò)，獲取第一模板圖像對應(yīng)的第一模板圖像特征和單目標(biāo)追蹤數(shù)據(jù)集合中各搜索圖像的搜索圖像特征；

41、特征融合單元，用于采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的特征融合網(wǎng)絡(luò)，對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行空間特征融合處理和通道特征融合處理，獲取融合特征；

42、目標(biāo)追蹤單元，用于將所述融合特征輸入至所述目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)追蹤頭網(wǎng)絡(luò)，獲取所述第一模板圖像中第一待追蹤目標(biāo)對應(yīng)的第一追蹤結(jié)果，其中，所述第一追蹤結(jié)果包括所述第一待追蹤目標(biāo)對應(yīng)的第一分類結(jié)果和所述第一待追蹤目標(biāo)對應(yīng)的第一回歸結(jié)果。

43、根據(jù)本公開實(shí)施例的第三方面，提供一種電子設(shè)備，包括：

44、處理器；

45、用于存儲所述處理器可執(zhí)行指令的存儲器；

46、其中，所述處理器被配置為執(zhí)行所述指令，以實(shí)現(xiàn)前述一方面中任一項(xiàng)所述的基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤方法。

47、根據(jù)本公開實(shí)施例的第四方面，提供了一種存儲介質(zhì)，當(dāng)所述存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行前述一方面中任一項(xiàng)所述的基于圖注意力融合網(wǎng)絡(luò)的目標(biāo)追蹤方法。

48、根據(jù)本公開實(shí)施例的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述一方面中任一項(xiàng)所述的方法。

49、本公開的實(shí)施例提供的技術(shù)方案至少帶來以下有益效果：

50、在一些或者相關(guān)實(shí)施例中，通過采用目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)骨干網(wǎng)絡(luò)，獲取第一模板圖像對應(yīng)的第一模板圖像特征和單目標(biāo)追蹤數(shù)據(jù)集合中各搜索圖像的搜索圖像特征；采用所述目標(biāo)孿生網(wǎng)絡(luò)中的基于圖注意力網(wǎng)絡(luò)的特征融合網(wǎng)絡(luò)，對所述第一模板圖像特征和所述各搜索圖像的搜索圖像特征進(jìn)行空間特征融合處理和通道特征融合處理，獲取融合特征；將所述融合特征輸入至所述目標(biāo)孿生網(wǎng)絡(luò)中的目標(biāo)追蹤頭網(wǎng)絡(luò)，獲取所述第一模板圖像中第一待追蹤目標(biāo)對應(yīng)的第一追蹤結(jié)果，其中，所述第一追蹤結(jié)果包括所述第一待追蹤目標(biāo)對應(yīng)的第一分類結(jié)果和所述第一待追蹤目標(biāo)對應(yīng)的第一回歸結(jié)果。因此，可以增加通道維度的拓?fù)潢P(guān)系，可以在空間特征融合的基礎(chǔ)上添加通道特征融合，有效地將模板圖像特征和搜索圖像特征在通道維度進(jìn)行增強(qiáng)與融合，可以減少僅在空間維度進(jìn)行特征融合導(dǎo)致模板圖像特征和搜索圖像特征融合后的特征有效激活的通道較少，對物體邊界的分辨能力較弱的情況，提高該孿生網(wǎng)絡(luò)針對待追蹤目標(biāo)的分辨能力，可以實(shí)現(xiàn)背景干擾下跟蹤器的魯棒跟蹤，提高追蹤目標(biāo)識別的準(zhǔn)確性，提高目標(biāo)追蹤的準(zhǔn)確性。

51、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。