本發(fā)明涉及小目標檢測定位，尤其是涉及一種局部對比度結(jié)合長短時記憶的紅外目標檢測方法。

背景技術(shù)：

1、在復(fù)雜背景下實現(xiàn)魯棒的紅外小目標快速精準檢測對紅外搜索與跟蹤（irst）應(yīng)用具有重要意義。一些小目標總是沉浸在低信雜比（scr）的復(fù)雜背景中，這類背景通常由高強度區(qū)域、類目標干擾（碎云）、尖銳邊緣和幾個像素大小的高亮度噪聲（pnhb）組成，這會導(dǎo)致目標檢測過程中產(chǎn)生大量的假警報，給紅外小目標的快速精準檢測帶來了挑戰(zhàn)。

2、基于hvs的方法通過測量目標和局部背景之間的差異來實現(xiàn)檢測。一方面，對目標和背景信息的綜合考慮確保了它們在復(fù)雜場景中的高水平檢測性能。其中，徐云凱等人提出了一種小目標檢測方法（徐云凱等人，infrared?small?target?detection?based?onlocal?contrast-weighted?multidirectional?derivative，ieee?transactions?ongeoscience?and?remote?sensing，61，2023:?art.?no.?5000816），使用基于facet帶懲罰因子的多向?qū)?shù)模型和雙局部對比度模型降低了小目標檢測的虛警率。但這種方法只針對單幀圖像的小目標檢測，沒有充分利用多幀圖像之間的目標位置相對關(guān)系，且計算量較大，導(dǎo)致在進行目標跟蹤等實際應(yīng)用中缺乏精確實時目標跟蹤的能力。因此，亟需一種局部對比度結(jié)合長短時記憶的紅外目標檢測方法克服上述技術(shù)中存在的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種局部對比度結(jié)合長短時記憶的紅外目標檢測方法，解決現(xiàn)有技術(shù)存在的單幀圖像在復(fù)雜背景下虛警率高、計算量大的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種局部對比度結(jié)合長短時記憶的紅外目標檢測方法，包括以下步驟：

3、步驟1、輸入灰度圖像；

4、步驟2、基于facet模型計算灰度圖像的方向?qū)?shù)；

5、步驟3、利用方向?qū)?shù)計算懲罰因子；

6、步驟4、構(gòu)建三層雙局部對比度模型；

7、步驟5、根據(jù)懲罰因子和三層雙局部對比度模型構(gòu)建lcwmd模型，捕獲目標初始位置；

8、步驟6、提取目標和背景的灰度特征，訓(xùn)練長時卷積神經(jīng)網(wǎng)絡(luò)；

9、步驟7、將構(gòu)建好的lcwmd模型與長時網(wǎng)絡(luò)結(jié)合進行紅外目標長時跟蹤檢測，并判斷目標是否被遮擋，如果被遮擋則繼續(xù)進行長時跟蹤檢測，否則執(zhí)行下一步；

10、步驟8、再次判斷目標是否被檢測到，若沒有被檢測到，則對遮擋物體邊界局部進行檢測；若檢測到目標，則執(zhí)行下一步；其中，在對遮擋物體邊界局部進行檢測時，需要判斷目標是否重新出現(xiàn)，若重新出現(xiàn)了則進行長時跟蹤檢測，否則繼續(xù)進行局部檢測；

11、步驟9、提取目標特征訓(xùn)練短時卷積神經(jīng)網(wǎng)絡(luò)；

12、步驟10、將構(gòu)建好的lcwmd模型與短時網(wǎng)絡(luò)結(jié)合進行紅外目標短時跟蹤檢測，并判斷目標是否離開遮擋區(qū)域，如果沒有離開則繼續(xù)進行短時跟蹤檢測，否則返回步驟7進行順次執(zhí)行，直至目標丟失。

13、優(yōu)選的，步驟2中基于facet模型計算灰度圖像的方向?qū)?shù)的過程如下：

14、s21、對鄰域中的像素通過二元三次函數(shù)進行表示，表達式如下：

15、；

16、；

17、式中，和是以(0,0)為中心的5×5大小鄰域的行索引集和列索引集，是已知的離散正交多項式基；表示擬合系數(shù)，通過最小化擬合灰度值與實際灰度值距離進行求解，表達式如下：

18、；

19、式中，表示原始灰度值；

20、s22、基于多項式的正交性質(zhì)，計算擬合系數(shù)，計算表達式如下：

21、；

22、；

23、式中，表示固定卷積核；

24、s23、計算灰度圖像的方向?qū)?shù)，表達式如下：

25、；

26、；

27、式中，表示方向的一階方向?qū)?shù)，表示擬合系數(shù)，，表示矢量與軸的夾角，表示方向的二階方向?qū)?shù)。

28、優(yōu)選的，步驟3中利用方向?qū)?shù)計算懲罰因子的過程如下：

29、設(shè)計改進的多向?qū)?shù)特征為：

30、；

31、其中，是對應(yīng)每一對不同方向上的懲罰因子，表示方向的二階方向?qū)?shù)，表示方向的二階方向?qū)?shù)；

32、基于以下公式進行計算：

33、；

34、；

35、；

36、其中，表示兩個不同方向上的導(dǎo)數(shù)圖相互點除后的對應(yīng)最大值，表示兩個不同方向上的導(dǎo)數(shù)圖的差的絕對值，表示一個非常小的偏移量，和分別表示兩個不同方向上的導(dǎo)數(shù)圖濾波后的結(jié)果；其濾波的原因是防止目標信息在求導(dǎo)后收縮，設(shè)計四個對應(yīng)于每個方向的簡單濾波器進行濾波可以在不破壞方向?qū)?shù)圖的信息的情況下擴大重疊區(qū)域；懲罰因子能夠?qū)Ρ尘斑M行抑制的原因在于：紅外弱小目標一般具有近似的各項同性，而復(fù)雜背景各項同性較弱，設(shè)計的懲罰因子在各向同性弱時，懲罰很強，因此可以相對抑制背景；

37、綜上，具有懲罰因子的多向?qū)?shù)的表達式如下：

38、。

39、優(yōu)選的，步驟4中構(gòu)建三層雙局部對比度模型的過程如下：

40、s41、根據(jù)目標灰度強度在中心保持穩(wěn)定，向外圍衰減的特征，使用三層滑動窗口結(jié)構(gòu)的局部對比度模型表示目標與背景之間的關(guān)系，分別為tc核心層、ta衰減層和lb背景層，獲得平均灰度值關(guān)系，表達式如下：

41、；

42、；

43、；

44、其中，表示相應(yīng)層的平均灰度值，表示8個背景塊的平均灰度值中的最大值，表示相應(yīng)層的像素數(shù)量，表示層的平均灰度值，表示層的平均灰度值，表示層第個背景塊的平均灰度值；

45、s42、使用比率和差異聯(lián)合的方法計算局部對比度，計算表達式如下：

46、；

47、；

48、；

49、式中，表示tc層與ta層之間的局部對比度，表示tc層與lb層之間的局部對比度，表示tb層與lb層之間的局部對比度；

50、s43、通過非負約束去除背景雜波，表達式如下：

51、；

52、；

53、式中，表示層第個背景塊中灰度值的最大值與平均值的差，表示之間的標準差，表示求標準差，表示層第個背景塊中灰度值的最大值；顯然，背景層越平滑，的值就越?。?/p>

54、s44、構(gòu)建最終的三層雙局部對比度模型，表達式如下：

55、；

56、式中，是設(shè)置為1的偏移量，作用是避免分母過小，從而消除平滑背景區(qū)域的值非常小的影響。

57、優(yōu)選的，步驟5中根據(jù)懲罰因子和三層雙局部對比度模型構(gòu)建lcwmd模型，并使用自適應(yīng)閾值分割的操作便實現(xiàn)檢測，捕獲目標初始位置，模型和自適應(yīng)閾值的表達式如下：

58、；

59、；

60、式中，和表示的平均值和方差，是給定的常數(shù)，最佳范圍為0.6至0.8。

61、優(yōu)選的，步驟6中提取目標和背景的灰度特征，訓(xùn)練長時卷積神經(jīng)網(wǎng)絡(luò)的過程如下：

62、s61、先對第一幀圖像進行處理，若找到疑似目標，則在第二、三幀圖像的對應(yīng)區(qū)域確認目標位置，并通過sam分割模型生成適應(yīng)目標大小的邊框；將目標區(qū)域插值縮放至5×5大小，作為正例樣本（標簽+1）；同時從目標周圍背景等間距采集背景樣本，縮放至相同大小，作為負例樣本（標簽0）；正負樣本混合后，構(gòu)成初始樣本空間；若正例樣本不足，采用smote過采樣方法生成額外正例；

63、s62、計算卷積層大??；卷積層的輸入通道為1，輸出通道為16，卷積核大小為3×3，步長（stride）為1，填充（padding）為1，計算表達式如下：

64、；

65、其中，表示輸出通道上的位置的特征值；表示輸入圖像中對應(yīng)的像素值；表示卷積核的權(quán)重參數(shù)；表示第個卷積核的偏置；

66、s63、使用最大池化層（max?pooling?layer）對卷積后的特征圖進行下采樣，池化核大小為2×2，步長為2，池化計算表達式如下：

67、；

68、其中，表示池化后的特征圖在第個通道中位置的值；

69、s64、將經(jīng)過卷積和池化后得到的特征圖作為第一層全連接層的輸入；全連接層的計算表達式如下：

70、；

71、其中，是輸入向量；是第一層全連接層的權(quán)重矩陣；是偏置項；是第一層層的輸出；

72、s65、然后將第一層全連接層輸出的向量傳遞到第二層全連接層，該層輸出一個節(jié)點用于二分類，計算表達式如下：

73、；

74、其中，是第二層全連接層的權(quán)重矩陣；是偏置項；是第二層的輸出；

75、s66、網(wǎng)絡(luò)在輸出上使用sigmoid激活函數(shù)進行二分類，sigmoid函數(shù)的計算表達式如下：

76、；

77、其中，是模型的最終輸出，取值范圍在[0,1]之間，可以理解為樣本屬于某一類別的概率，根據(jù)的值可以決定樣本的類別；這里選擇將大于0.5的樣本判斷為疑似的正例，輸出的值表示樣本為目標的置信度。

78、優(yōu)選的，步驟7中將構(gòu)建好的lcwmd模型與長時網(wǎng)絡(luò)結(jié)合進行紅外目標長時跟蹤檢測，并判斷目標是否被遮擋，如果被遮擋則繼續(xù)進行長時跟蹤檢測，否則執(zhí)行下一步的過程如下：

79、首先根據(jù)連續(xù)幀之間的關(guān)系，在下一幀的圖像局部區(qū)域內(nèi)，使用訓(xùn)練好的長時卷積神經(jīng)網(wǎng)絡(luò)進行掃描，得到多個疑似目標的樣本，選擇置信度最大的樣本作為神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果，接著計算置信度大的所有樣本的lcwmd值，根據(jù)該值判斷目標是否被遮擋，由于目標被遮擋時，目標樣本的lcwmd值會快速下降，因此將目標樣本未被遮擋時的最大lcwmd值作為基準，計算檢測第幀時的基準，表達式如下：

80、；

81、其中，表示第幀圖像的lcwmd值；當目標樣本的lcwmd值下降到基準的80%以下時，滿足時，認為目標開始進入復(fù)雜背景區(qū)域而被遮擋，此時對局部區(qū)域進行檢測，根據(jù)檢測結(jié)果分情況處理。

82、優(yōu)選的，步驟8中在對遮擋物體邊界局部進行檢測時，判斷目標是否重新出現(xiàn)的表達式如下：

83、如果連續(xù)3幀檢測到的目標的lcwmd值在基準的30%-80%之間，則認為檢測到目標在復(fù)雜背景區(qū)域中的位置，表達式如下：

84、；

85、其中，表示第幀圖像的lcwmd值，表示第幀圖像的lcwmd值，表示第幀圖像的lcwmd值；如果目標的lcwmd值在基準的30%以下，系統(tǒng)判定為目標跟蹤失效并觸發(fā)暫時性丟失標記，表達式如下：

86、。

87、優(yōu)選的，步驟9中提取目標特征訓(xùn)練短時卷積神經(jīng)網(wǎng)絡(luò)的過程如下：

88、s91、計算卷積層大??；卷積層的輸入通道為1，輸出通道為8，卷積核大小為3×3，步長（stride）為1，填充（padding）為1，計算表達式如下：

89、；

90、其中，表示輸出通道上的位置的特征值；表示輸入圖像中對應(yīng)的像素值；表示卷積核的權(quán)重參數(shù)；表示第個卷積核的偏置；

91、s92、使用最大池化層（max?pooling?layer）對卷積后的特征圖進行下采樣，池化核大小為2×2，步長為2，池化計算表達式如下：

92、；

93、其中，表示池化后的特征圖在第個通道中位置的值；

94、s93、將經(jīng)過卷積和池化后得到的特征圖作為第一層全連接層的輸入；全連接層的計算表達式如下：

95、；

96、其中，是輸入向量；是第一層全連接層的權(quán)重矩陣；是偏置項；是第一層層的輸出；

97、s94、然后將第一層全連接層輸出的向量傳遞到第二層全連接層，該層輸出一個節(jié)點用于二分類，計算表達式如下：

98、；

99、其中，是第二層全連接層的權(quán)重矩陣；是偏置項；是第二層的輸出；

100、s95、網(wǎng)絡(luò)在輸出上使用sigmoid激活函數(shù)進行二分類，sigmoid函數(shù)的計算表達式如下：

101、；

102、其中，是模型的最終輸出，取值范圍在[0,1]之間。

103、優(yōu)選的，步驟10中判斷目標是否離開遮擋區(qū)域的標準如下：若目標樣本的lcwmd值連續(xù)三幀均恢復(fù)到基準的80%以上，則認為目標逐漸離開復(fù)雜背景區(qū)域，表達式如下：

104、。

105、因此，本發(fā)明采用上述一種局部對比度結(jié)合長短時記憶的紅外目標檢測方法，具有以下有益效果：

106、（1）通過使用lcwmd模型與長短時網(wǎng)絡(luò)結(jié)合結(jié)合的方法，能夠準確定位小目標并有效抑制高強度背景中的干擾，減少虛警率，顯著提高了檢測精度；

107、（2）采用長短時記憶網(wǎng)絡(luò)處理多幀圖像的時序關(guān)系，使得目標在連續(xù)幀中的檢測更加準確，從而降低了傳統(tǒng)方法在連續(xù)幀檢測中計算量大，反應(yīng)慢的問題；

108、（3）本發(fā)明引入短時卷積神經(jīng)網(wǎng)絡(luò)（cnn）學(xué)習遮擋目標的特性，在目標被復(fù)雜背景（如高強度區(qū)域、類目標干擾等）遮擋時依然能夠準確跟蹤，保證了目標在不同背景下的魯棒性。隨著多幀圖像的逐步增加，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果逐漸增強，提高了檢測精度和效率。而且使用了sam分割模型，得到目標的精確尺寸，從而避免了目標尺寸大小變化對檢測和網(wǎng)絡(luò)學(xué)習的影響；

109、（4）本發(fā)明提出的方法不僅能夠自適應(yīng)不同背景下的不同尺寸的小目標檢測任務(wù)，還通過不斷的訓(xùn)練優(yōu)化，確保了目標跟蹤的實時性和高效性。

110、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。