本發(fā)明涉及圖像處理，特別涉及一種圖像標(biāo)簽的生成方法、系統(tǒng)、設(shè)備和介質(zhì)。
背景技術(shù)：
1、目前深度學(xué)習(xí)技術(shù)在圖像分類(lèi)、目標(biāo)檢測(cè)等領(lǐng)域取得了顯著進(jìn)展，但在進(jìn)行圖像處理時(shí)仍面臨著一些關(guān)鍵挑戰(zhàn)：一方面高度依賴(lài)大規(guī)模標(biāo)注數(shù)據(jù)和高算力設(shè)備，導(dǎo)致模型訓(xùn)練成本高昂。另一方面，現(xiàn)有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制通常依賴(lài)于反復(fù)調(diào)整淺層特征，缺乏對(duì)高層語(yǔ)義信息的快速提取能力，這與人類(lèi)學(xué)習(xí)方式存在本質(zhì)差異。此外，對(duì)于每個(gè)輸入樣本會(huì)無(wú)差別地分配相同計(jì)算資源，忽略了對(duì)關(guān)鍵區(qū)域的聚焦能力。且現(xiàn)有特征融合方法主要依賴(lài)于數(shù)據(jù)驅(qū)動(dòng)的權(quán)重優(yōu)化，忽視了生物學(xué)啟發(fā)的選擇性注意機(jī)制，導(dǎo)致模型對(duì)顯著區(qū)域的捕捉能力不足。因此，需要提供一種圖像標(biāo)簽的生成方法、系統(tǒng)、設(shè)備和介質(zhì)。
技術(shù)實(shí)現(xiàn)思路
1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種圖像標(biāo)簽的生成方法、系統(tǒng)、設(shè)備和介質(zhì)，改善了現(xiàn)有技術(shù)往往依賴(lài)淺層特征提取和復(fù)雜的特征融合，但缺乏像人類(lèi)一樣高效的特征總結(jié)與推理能力的問(wèn)題。
2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種圖像標(biāo)簽的生成方法，包括：獲取待分析的圖像；將所述圖像輸入至圖像識(shí)別模型的特征提取網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行多次特征提取，得到多個(gè)全局特征；將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，確定各個(gè)全局特征的高斯權(quán)重，并基于高斯權(quán)重將對(duì)應(yīng)的全局特征進(jìn)行高斯加權(quán)融合，得到融合特征；將所述融合特征輸入至所述圖像識(shí)別模型的相似度計(jì)算網(wǎng)絡(luò)，計(jì)算融合特征與特征庫(kù)中各個(gè)特征的相似度，并將相似度大于預(yù)設(shè)的特征閾值的特征的標(biāo)簽作為所述圖像的標(biāo)簽；其中，所述特征庫(kù)中的每一個(gè)特征和一個(gè)預(yù)設(shè)的標(biāo)簽相對(duì)應(yīng)。
3、于本發(fā)明一實(shí)施例中，所述將所述圖像輸入至圖像識(shí)別模型的特征提取網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行多次特征提取，得到多個(gè)全局特征，包括：將所述圖像作為初始的待分析區(qū)域；基于所述特征提取網(wǎng)絡(luò)的第一尺度的濾波器對(duì)待分析區(qū)域進(jìn)行特征提取，得到并保存待分析區(qū)域的全局特征；基于所述特征提取網(wǎng)絡(luò)的第二尺度的濾波器對(duì)所述待分析區(qū)域進(jìn)行特征提取，得到并保存待分析區(qū)域的局部特征；檢測(cè)局部特征中是否存在大于預(yù)設(shè)特征閾值的特征值，并在存在時(shí)以該特征值對(duì)應(yīng)的所述圖像中的區(qū)域作為新的待分析區(qū)域，再次提取待分析區(qū)域的全局特征和局部特征，直至得到的局部特征中不存在大于所述特征閾值的特征值。
4、于本發(fā)明一實(shí)施例中，所述將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，確定各個(gè)全局特征的高斯權(quán)重，并基于高斯權(quán)重將對(duì)應(yīng)的全局特征進(jìn)行高斯加權(quán)融合，得到融合特征，包括：針對(duì)每一個(gè)全局特征：基于全局特征中攜帶的每一個(gè)特征，動(dòng)態(tài)識(shí)別出高斯函數(shù)在該全局特征的中心點(diǎn)；基于高斯函數(shù)的中心點(diǎn)以及對(duì)應(yīng)的全局特征在所述圖像中的位置，確定各個(gè)全局特征對(duì)應(yīng)的高斯權(quán)重；基于各個(gè)全局特征的高斯權(quán)重，將對(duì)應(yīng)的全局特征進(jìn)行加權(quán)融合，得到融合特征。
5、于本發(fā)明一實(shí)施例中，所述將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，確定各個(gè)全局特征的高斯權(quán)重，并基于高斯權(quán)重將對(duì)應(yīng)的全局特征進(jìn)行高斯加權(quán)融合，得到融合特征，包括：針對(duì)每一個(gè)全局特征：基于全局特征在所述圖像中的位置，確定與該位置對(duì)應(yīng)的高斯函數(shù)的中心點(diǎn)；其中，所述高斯函數(shù)的中心點(diǎn)是預(yù)先設(shè)置的；基于高斯函數(shù)的中心點(diǎn)以及對(duì)應(yīng)的全局特征在所述圖像中的位置，確定各個(gè)全局特征對(duì)應(yīng)的高斯權(quán)重；基于各個(gè)全局特征的高斯權(quán)重，將對(duì)應(yīng)的全局特征進(jìn)行加權(quán)融合，得到融合特征。
6、于本發(fā)明一實(shí)施例中，所述將所述融合特征輸入至所述圖像識(shí)別模型的相似度計(jì)算網(wǎng)絡(luò)，計(jì)算融合特征與特征庫(kù)中各個(gè)特征的相似度，并將相似度大于預(yù)設(shè)的特征閾值的特征的標(biāo)簽作為所述圖像的標(biāo)簽，包括：計(jì)算所述融合特征與所述特征庫(kù)中各個(gè)特征的相似度；針對(duì)每一個(gè)相似度：判斷相似度是否大于預(yù)設(shè)的相似度閾值：若是，則將對(duì)應(yīng)特征的標(biāo)簽作為所述圖像的標(biāo)簽；若否，則繼續(xù)比較下一個(gè)相似度，直至所有相似度比較完畢，生成更新信息。
7、于本發(fā)明一實(shí)施例中，所述生成更新信息之后，還包括：將所述圖像的真實(shí)標(biāo)簽和所述圖像的融合特征保存至所述特征庫(kù)中，更新所述特征庫(kù)。
8、于本發(fā)明一實(shí)施例中，所述圖像識(shí)別模型是訓(xùn)練得到的，訓(xùn)練所述圖像識(shí)別模型時(shí)，所述特征提取網(wǎng)絡(luò)的參數(shù)保持不變。
9、于本發(fā)明一實(shí)施例中，還提供了一種圖像標(biāo)簽的生成系統(tǒng)，所述系統(tǒng)包括：圖像獲取模塊，用于獲取待分析的圖像；特征提取模塊，用于將所述圖像輸入至圖像識(shí)別模型的特征提取網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行多次特征提取，得到多個(gè)全局特征；特征融合模塊，用于將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，將多個(gè)全局特征進(jìn)行高斯加權(quán)融合，得到融合特征；標(biāo)簽生成模塊，用于將所述融合特征輸入至所述圖像識(shí)別模型的相似度計(jì)算網(wǎng)絡(luò)，計(jì)算融合特征與特征庫(kù)中各個(gè)特征的相似度，并將相似度大于預(yù)設(shè)的特征閾值的特征的標(biāo)簽作為所述圖像的標(biāo)簽；其中，所述特征庫(kù)中的每一個(gè)特征和一個(gè)預(yù)設(shè)的標(biāo)簽相對(duì)應(yīng)。
10、于本發(fā)明一實(shí)施例中，還提供一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述電子設(shè)備實(shí)現(xiàn)上述任一項(xiàng)所述的圖像標(biāo)簽的生成方法。
11、于本發(fā)明一實(shí)施例中，還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被計(jì)算機(jī)的處理器執(zhí)行時(shí)，使計(jì)算機(jī)執(zhí)行上述任一項(xiàng)所述的圖像標(biāo)簽的生成方法。
12、如上所述，本發(fā)明的一種圖像標(biāo)簽的生成方法、系統(tǒng)、設(shè)備及介質(zhì)，具有以下有益效果：對(duì)圖像進(jìn)行多次特征提取，生成的全局特征包含有圖像的整體語(yǔ)義信息，使得圖像的信息表達(dá)更為豐富。由于高斯權(quán)重是根據(jù)特征強(qiáng)度或特征在圖像的空間位置計(jì)算得到，因此通過(guò)高斯權(quán)重可以強(qiáng)調(diào)圖像中更為顯著或關(guān)鍵的區(qū)域，從而模擬人類(lèi)對(duì)顯著區(qū)域的關(guān)注。通過(guò)加權(quán)融合，不僅提升了圖像的特征表達(dá)效果，還使得融合特征在多樣化的任務(wù)中具有更強(qiáng)的適應(yīng)性。通過(guò)相似度計(jì)算，確保了融合特征與特征庫(kù)中已知特征的精確匹配，模擬人類(lèi)在推理過(guò)程中基于已有知識(shí)快速歸納新信息的能力，提高了標(biāo)簽生成的準(zhǔn)確性，降低了錯(cuò)誤標(biāo)簽生成的概率。改善了現(xiàn)有技術(shù)往往依賴(lài)淺層特征提取和復(fù)雜的特征融合，但缺乏像人類(lèi)一樣高效的特征總結(jié)與推理能力的問(wèn)題。
1.一種圖像標(biāo)簽的生成方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的圖像標(biāo)簽的生成方法，其特征在于，所述將所述圖像輸入至圖像識(shí)別模型的特征提取網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行多次特征提取，得到多個(gè)全局特征，包括：
3.根據(jù)權(quán)利要求1所述的圖像標(biāo)簽的生成方法，其特征在于，所述將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，確定各個(gè)全局特征的高斯權(quán)重，并基于高斯權(quán)重將對(duì)應(yīng)的全局特征進(jìn)行高斯加權(quán)融合，得到融合特征，包括：
4.根據(jù)權(quán)利要求1所述的圖像標(biāo)簽的生成方法，其特征在于，所述將多個(gè)全局特征輸入至所述圖像識(shí)別模型的融合網(wǎng)絡(luò)，確定各個(gè)全局特征的高斯權(quán)重，并基于高斯權(quán)重將對(duì)應(yīng)的全局特征進(jìn)行高斯加權(quán)融合，得到融合特征，包括：
5.根據(jù)權(quán)利要求1所述的圖像標(biāo)簽的生成方法，其特征在于，所述將所述融合特征輸入至所述圖像識(shí)別模型的相似度計(jì)算網(wǎng)絡(luò)，計(jì)算融合特征與特征庫(kù)中各個(gè)特征的相似度，并將相似度大于預(yù)設(shè)的特征閾值的特征的標(biāo)簽作為所述圖像的標(biāo)簽，包括：
6.根據(jù)權(quán)利要求5所述的圖像標(biāo)簽的生成方法，其特征在于，所述生成更新信息之后，還包括：將所述圖像的真實(shí)標(biāo)簽和所述圖像的融合特征保存至所述特征庫(kù)中，更新所述特征庫(kù)。
7.根據(jù)權(quán)利要求1所述的圖像標(biāo)簽的生成方法，其特征在于，所述圖像識(shí)別模型是訓(xùn)練得到的，訓(xùn)練所述圖像識(shí)別模型時(shí)，所述特征提取網(wǎng)絡(luò)的參數(shù)保持不變。
8.一種圖像標(biāo)簽的生成系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被計(jì)算機(jī)的處理器執(zhí)行時(shí)，使計(jì)算機(jī)執(zhí)行權(quán)利要求1至7中任一項(xiàng)所述圖像標(biāo)簽的生成方法。