本發(fā)明涉及跨數(shù)據(jù)集換裝行人重識(shí)別，尤其涉及基于測(cè)試時(shí)自適應(yīng)匹配的跨數(shù)據(jù)集換裝行人重識(shí)別方法和系統(tǒng)。

背景技術(shù)：

1、隨著視頻監(jiān)控技術(shù)的快速發(fā)展，行人重識(shí)別已成為智能安防、智慧城市建設(shè)中的關(guān)鍵技術(shù)之一。行人重識(shí)別旨在確定不同攝像頭捕獲的圖像中的人物是否為同一身份，這對(duì)于追蹤、定位和識(shí)別個(gè)體在多攝像頭系統(tǒng)中具有重要意義。然而，實(shí)際應(yīng)用中，由于個(gè)體衣物變化、攝像頭視角差異、光照條件變化等因素，使得跨攝像頭的行人重識(shí)別面臨巨大挑戰(zhàn)。尤其是在跨數(shù)據(jù)集的場(chǎng)景下，由于訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布的差異，導(dǎo)致現(xiàn)有行人重識(shí)別方法的性能顯著下降。因此，研究一種能夠有效處理衣物變化并適應(yīng)不同數(shù)據(jù)集分布的行人重識(shí)別方法，對(duì)于提高監(jiān)控系統(tǒng)的準(zhǔn)確性和實(shí)用性具有重要的現(xiàn)實(shí)意義。

2、在行人重識(shí)別領(lǐng)域，現(xiàn)有技術(shù)面臨一系列挑戰(zhàn)，其中最突出的是數(shù)據(jù)分布差異和衣物變化的影響。大多數(shù)現(xiàn)有方法都是在訓(xùn)練和測(cè)試數(shù)據(jù)來(lái)自同一分布的假設(shè)下設(shè)計(jì)的，但現(xiàn)實(shí)應(yīng)用中這種假設(shè)往往不成立。不同攝像頭捕捉到的圖像可能因?yàn)榄h(huán)境、光照、季節(jié)等因素而具有不同的特征分布，這對(duì)于依賴于源數(shù)據(jù)集特征的模型來(lái)說(shuō)是一個(gè)巨大的挑戰(zhàn)。此外，個(gè)體的外觀會(huì)因?yàn)榇┲煌囊挛锒l(fā)生顯著變化，這對(duì)于基于視覺(jué)特征的重識(shí)別系統(tǒng)來(lái)說(shuō)是一個(gè)難題?，F(xiàn)有的方法往往無(wú)法有效區(qū)分由于衣物變化引起的特征變化和個(gè)體身份之間的真實(shí)差異，導(dǎo)致識(shí)別準(zhǔn)確性下降。

3、另一方面，現(xiàn)有方法在測(cè)試時(shí)缺乏適應(yīng)性調(diào)整的能力，特征表示存在局限性，并且存在過(guò)擬合風(fēng)險(xiǎn)。當(dāng)模型被應(yīng)用于一個(gè)新的、未見(jiàn)過(guò)的數(shù)據(jù)集時(shí)，它們需要能夠適應(yīng)新數(shù)據(jù)集的特征分布，但許多現(xiàn)有模型在設(shè)計(jì)時(shí)并未考慮到這一點(diǎn)。同時(shí)，特征表示的局限性也是一個(gè)問(wèn)題，現(xiàn)有方法提取的特征往往與衣物信息高度相關(guān)，這限制了模型在衣物變化條件下的識(shí)別性能。由于依賴大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，現(xiàn)有模型可能過(guò)度擬合訓(xùn)練數(shù)據(jù)集的特定特征，導(dǎo)致在未見(jiàn)過(guò)的數(shù)據(jù)集上性能下降。此外，許多基于深度學(xué)習(xí)的行人重識(shí)別方法缺乏可解釋性，被視為“黑箱”，難以向用戶清晰地展示模型的決策過(guò)程和依據(jù)，這在需要高透明度的應(yīng)用場(chǎng)景中是一個(gè)明顯的缺陷。

技術(shù)實(shí)現(xiàn)思路

1、為了至少能夠部分地解決現(xiàn)有行人重識(shí)別方法不能適應(yīng)不同數(shù)據(jù)分布、對(duì)衣物變化敏感性、識(shí)別準(zhǔn)確性低并且缺乏可解釋性的問(wèn)題，本發(fā)明提供基于測(cè)試時(shí)自適應(yīng)匹配的跨數(shù)據(jù)集換裝行人重識(shí)別方法和系統(tǒng)，本發(fā)明通過(guò)構(gòu)建主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊作為整體模型實(shí)現(xiàn)了行人重識(shí)別。將主干網(wǎng)絡(luò)中的最后兩個(gè)resnet?block中的最后一層替換為衣物弱化模塊，通過(guò)衣物弱化模塊專門(mén)用于減輕衣物變化對(duì)特征提取的影響，增強(qiáng)了特征的泛化能力，使其可以適應(yīng)不同數(shù)據(jù)分布、提高模型對(duì)衣物變化敏感性、提高識(shí)別準(zhǔn)確性。本發(fā)明通過(guò)測(cè)試時(shí)自適應(yīng)匹配模塊自適應(yīng)地調(diào)整匹配模型，以應(yīng)對(duì)待匹配行人圖像的變化，提高了模型在未見(jiàn)數(shù)據(jù)集上的性能，使其具有良好可解釋性。本發(fā)明可以在源數(shù)據(jù)集上學(xué)習(xí)訓(xùn)練，并能夠有效提取與衣物無(wú)關(guān)的通用特征，使其在未見(jiàn)過(guò)的目標(biāo)數(shù)據(jù)集上表現(xiàn)良好，對(duì)于提高監(jiān)控系統(tǒng)的效率和可靠性起到了至關(guān)重要的作用。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：

3、本發(fā)明第一方面提出了基于測(cè)試時(shí)自適應(yīng)匹配的跨數(shù)據(jù)集換裝行人重識(shí)別方法，包括：

4、步驟一：將給定的多個(gè)行人圖像分別進(jìn)行預(yù)處理，得到多個(gè)行人圖像對(duì)應(yīng)的預(yù)處理后的圖像集，便于訓(xùn)練模型；

5、步驟二：將多個(gè)預(yù)處理后的圖像集中的圖像輸入到主干網(wǎng)絡(luò)中，得到輸入圖像對(duì)應(yīng)的特征圖，用于提取圖像特征；

6、步驟三：將輸入圖像對(duì)應(yīng)的特征圖輸入到測(cè)試時(shí)自適應(yīng)匹配模塊中，得到預(yù)測(cè)匹配分?jǐn)?shù)；

7、步驟四：基于預(yù)測(cè)匹配分?jǐn)?shù)和預(yù)設(shè)的總損失函數(shù)對(duì)主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊進(jìn)行訓(xùn)練，得到最優(yōu)的主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊，便于提高識(shí)別準(zhǔn)確性；

8、步驟五：根據(jù)最優(yōu)的主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊對(duì)多個(gè)目標(biāo)圖像進(jìn)行識(shí)別，完成跨集換裝行人重識(shí)別。

9、進(jìn)一步地，所述預(yù)處理包括將圖像進(jìn)行裁切至一定大小、隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)擦除和隨機(jī)顏色抖動(dòng)，便于得到圖像集。

10、進(jìn)一步地，所述主干網(wǎng)絡(luò)包括五個(gè)依次連接resnet?block；其中，第四個(gè)resnetblock和第五個(gè)resnet?block中最后一層的激活函數(shù)層替換為衣物弱化模塊；

11、所述衣物弱化模塊包括通道特征放大器、空間特征放大器和連接層，用于提取衣物特征；

12、所述通道特征放大器用于將不同圖像的特征轉(zhuǎn)換到一個(gè)分布中，便于適應(yīng)不同數(shù)據(jù)分布；

13、所述空間特征放大器用于生成空間特征圖；

14、所述連接層用于將通道特征放大器的輸出、空間特征放大器的輸出和衣物弱化模塊的輸入特征進(jìn)行連接。

15、進(jìn)一步地，所述通道特征放大器按以下公式表示：

16、

17、其中，σ為sigmoid函數(shù)，mlp為多層感知機(jī)，avgpool為平均池化，maxpool為最大池化，q為衣物弱化模塊的輸入，w1和w0均為多層感知機(jī)的權(quán)重，為通道特征放大器中平均池化后的特征，為通道特征放大器中最大池化后的特征。

18、進(jìn)一步地，所述空間特征放大器按以下公式表示：

19、fs(q)＝σ(f7×7(avgpool(q)；maxpool(q)))＝σ(f7×7([qavg；qmax]))

20、其中，fs(q)為空間特征放大器的輸出，f7×7為卷積操作，其濾波器大小為7×7，qavg為空間特征放大器中跨通道的平均池化后的特征，qmax為空間特征放大器中跨通道的最大池化后的特征。

21、進(jìn)一步地，所述連接層用于將通道特征放大器的輸出、空間特征放大器的輸出和衣物弱化模塊的輸入進(jìn)行連接具體包括：

22、將衣物弱化模塊的輸入與通道特征放大器的輸出進(jìn)行矩陣乘法操作，得到第一處理特征；

23、將衣物弱化模塊的輸入與空間特征放大器的輸出進(jìn)行矩陣乘法操作，得到第二處理特征；

24、將第一處理特征和第二處理特征進(jìn)行逐元素相加，得到第三處理特征；

25、將衣物弱化模塊的輸入與第三處理特征進(jìn)行逐元素相加，得到輸入圖像對(duì)應(yīng)的特征圖。

26、進(jìn)一步地，所述測(cè)試時(shí)自適應(yīng)匹配模塊包括匹配部分、部分感知相似性適應(yīng)子模塊、最相似部分選擇子模塊和得分子模塊，便于自適應(yīng)地調(diào)整匹配模型，以應(yīng)對(duì)待匹配圖像的變化；

27、所述匹配部分用于在預(yù)設(shè)的高度的水平條帶內(nèi)搜索兩個(gè)輸入圖像對(duì)應(yīng)的特征圖的匹配對(duì)應(yīng)塊，根據(jù)匹配對(duì)應(yīng)塊得到兩個(gè)輸入圖像對(duì)應(yīng)的特征圖的匹配區(qū)域，便于進(jìn)行后續(xù)的圖像匹配；

28、所述部分感知相似性適應(yīng)子模塊用于分別將兩個(gè)輸入圖像對(duì)應(yīng)的特征圖的匹配區(qū)域的對(duì)應(yīng)一個(gè)塊重塑為列向量，并對(duì)兩個(gè)列向量進(jìn)行卷積計(jì)算，最后對(duì)匹配區(qū)域內(nèi)的所有塊進(jìn)行重復(fù)操作，得到兩個(gè)相似性矩陣；

29、所述最相似部分選擇子模塊用于根據(jù)最大相似性值確定每個(gè)塊的最相似區(qū)域，生成兩個(gè)相似性向量；

30、所述得分子模塊用于根據(jù)兩個(gè)相似性向量計(jì)算得到預(yù)測(cè)匹配分?jǐn)?shù)；其中，得分子模塊包括依次連接的拼接層、第一批量歸一化層、全連接層、求和層、第二批量歸一化層和激活函數(shù)層，便于根據(jù)預(yù)測(cè)匹配分?jǐn)?shù)完成行人重識(shí)別。

31、進(jìn)一步地，所述總損失函數(shù)按以下公式表示：

32、ltotal＝lid+lc+λlver+γlca

33、

34、

35、其中，ltotal為總損失函數(shù)，lid為識(shí)別損失，lc為衣物分類損失，lver為預(yù)測(cè)匹配分?jǐn)?shù)損失，lca為服裝無(wú)關(guān)對(duì)抗損失，λ為學(xué)習(xí)領(lǐng)域不變表示的驗(yàn)證損失的權(quán)重，γ為學(xué)習(xí)未見(jiàn)目標(biāo)領(lǐng)域中與衣物無(wú)關(guān)特征的權(quán)重，yi為身份標(biāo)簽，n為批量大小，p(yi|zi)為身份分類器對(duì)第i張圖像從特征圖zi預(yù)測(cè)的概率，b為圖像數(shù)量，qij為判斷參數(shù)，sij為第i張圖像和第j張圖像之間的預(yù)測(cè)匹配分?jǐn)?shù)，nc為訓(xùn)練集中衣物類別的數(shù)量，為征圖zi屬于第i個(gè)衣物的預(yù)測(cè)概率，為衣物標(biāo)簽，fi為樣本的歸一化特征向量，為第c類服裝的歸一化權(quán)重向量，τ為平滑分布的溫度參數(shù)，q(c)為權(quán)重函數(shù)。

36、本發(fā)明第二方面提出了基于測(cè)試時(shí)自適應(yīng)匹配的跨數(shù)據(jù)集換裝行人重識(shí)別系統(tǒng)，包括：

37、預(yù)處理模塊，用于將給定的多個(gè)行人圖像分別進(jìn)行預(yù)處理，得到多個(gè)行人圖像對(duì)應(yīng)的預(yù)處理后的圖像集，便于訓(xùn)練模型；

38、特征提取模塊，用于將多個(gè)預(yù)處理后的圖像集中的圖像輸入到主干網(wǎng)絡(luò)中，得到輸入圖像對(duì)應(yīng)的特征圖，用于提取圖像特征；

39、得分模塊，用于將輸入圖像對(duì)應(yīng)的特征圖輸入到測(cè)試時(shí)自適應(yīng)匹配模塊中，得到預(yù)測(cè)匹配分?jǐn)?shù)；

40、訓(xùn)練模塊，用于基于預(yù)測(cè)匹配分?jǐn)?shù)和預(yù)設(shè)的總損失函數(shù)對(duì)主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊進(jìn)行訓(xùn)練，得到最優(yōu)的主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊，便于提高識(shí)別準(zhǔn)確性；

41、識(shí)別模塊，用于根據(jù)最優(yōu)的主干網(wǎng)絡(luò)和測(cè)試時(shí)自適應(yīng)匹配模塊對(duì)多個(gè)目標(biāo)圖像進(jìn)行識(shí)別，完成跨集換裝行人重識(shí)別。

42、本發(fā)明的有益效果：

43、(1)本發(fā)明通過(guò)引入自適應(yīng)匹配(team)模塊和衣物弱化模塊(cva)模塊，顯著提升了跨數(shù)據(jù)集的泛化能力，使得行人重識(shí)別模型不僅在訓(xùn)練集上表現(xiàn)優(yōu)異，還能在未見(jiàn)過(guò)的目標(biāo)數(shù)據(jù)集上保持高準(zhǔn)確率。這種跨數(shù)據(jù)集的適應(yīng)性對(duì)于實(shí)際的監(jiān)控和安全應(yīng)用至關(guān)重要，因?yàn)樗试S模型在不同環(huán)境和條件下都能穩(wěn)定地識(shí)別個(gè)體，即使在衣物變化較大的情況下也能保持識(shí)別的準(zhǔn)確性。本發(fā)明夠適應(yīng)不同數(shù)據(jù)分布、減少對(duì)衣物變化敏感性、提高識(shí)別準(zhǔn)確性并且具有良好可解釋性，對(duì)于提高監(jiān)控系統(tǒng)的效率和可靠性至關(guān)重要。

44、(2)本發(fā)明簡(jiǎn)化了部署流程。由于不依賴于步態(tài)、體型或輪廓草圖等額外輔助信息，僅使用rgb模態(tài)即可實(shí)現(xiàn)高效的行人重識(shí)別，這降低了技術(shù)門(mén)檻和成本，使得系統(tǒng)更容易在各種場(chǎng)景中部署和應(yīng)用。這種簡(jiǎn)化不僅提高了系統(tǒng)的可用性，還為智能監(jiān)控系統(tǒng)的發(fā)展提供了新的可能性。

45、(3)本發(fā)明在多個(gè)公開(kāi)的換裝數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證，結(jié)果表明其在跨數(shù)據(jù)集任務(wù)上的性能顯著優(yōu)于現(xiàn)有的換裝行人重識(shí)別方法。這些實(shí)驗(yàn)結(jié)果不僅證明了本發(fā)明方法的有效性，還展示了其在實(shí)際應(yīng)用中的潛力和價(jià)值，特別是在需要處理長(zhǎng)時(shí)間跨度和多變環(huán)境條件的復(fù)雜場(chǎng)景中，本發(fā)明能夠提供更為可靠和穩(wěn)健的解決方案。