所屬的技術(shù)人員能夠理解，本公開的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本公開的各個方面可以具體實現(xiàn)為以下形式，即：完全的硬件實施例、完全的軟件實施例（包括固件、微代碼等），或硬件和軟件方面結(jié)合的實施例，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。下面參照圖7來描述根據(jù)本公開實施例的電子設(shè)備700。圖7所示的電子設(shè)備700僅僅是一個示例，不應對本公開實施例的功能和使用范圍帶來任何限制。如圖7所示，電子設(shè)備700以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備700的組件可以包括但不限于：上述至少一個處理單元710、上述至少一個存儲單元720、連接不同系統(tǒng)組件（包括存儲單元720和處理單元710）的總線730、顯示單元740。其中，所述存儲單元存儲有程序代碼，所述程序代碼可以被所述處理單元710執(zhí)行，使得所述處理單元710執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施例的步驟。存儲單元720可以包括易失性存儲單元形式的可讀介質(zhì)，例如隨機存取存儲單元（ram）721和/或高速緩存存儲單元722，還可以進一步包括只讀存儲單元（rom）723。存儲單元720還可以包括具有一組（至少一個）程序模塊725的程序/實用工具724，這樣的程序模塊725包括但不限于：操作系統(tǒng)、一個或者多個應用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)。總線730可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備700也可以與一個或多個外部設(shè)備770（例如鍵盤、指向設(shè)備、藍牙設(shè)備等）通信，還可與一個或者多個使得用戶能與該電子設(shè)備700交互的設(shè)備通信，和/或與使得該電子設(shè)備700能與一個或多個其它計算設(shè)備進行通信的任何設(shè)備（例如路由器、調(diào)制解調(diào)器等等）通信。這種通信可以通過輸入/輸出（i/o）接口750進行。并且，電子設(shè)備700還可以通過網(wǎng)絡(luò)適配器760與一個或者多個網(wǎng)絡(luò)（例如局域網(wǎng)（lan），廣域網(wǎng)（wan）和/或公共網(wǎng)絡(luò)，例如因特網(wǎng)）通信。如圖所示，網(wǎng)絡(luò)適配器760通過總線730與電子設(shè)備700的其它模塊通信。應當明白，盡管圖中未示出，可以結(jié)合電子設(shè)備700使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。通過以上的實施例的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實施例可以通過軟件實現(xiàn)，也可以通過軟件結(jié)合必要的硬件的方式來實現(xiàn)。因此，根據(jù)本公開實施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)（可以是cd-rom，u盤，移動硬盤等）中或網(wǎng)絡(luò)上，包括若干指令以使得一臺計算設(shè)備（可以是個人計算機、服務(wù)器、終端裝置、或者網(wǎng)絡(luò)設(shè)備等）執(zhí)行根據(jù)本公開實施例的方法。在本公開的示例性實施例中，還提供了一種計算機可讀存儲介質(zhì)，其上存儲有能夠?qū)崿F(xiàn)本說明書上述方法的程序產(chǎn)品。在一些可能的實施例中，本公開的各個方面還可以實現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當所述程序產(chǎn)品在終端設(shè)備上運行時，所述程序代碼用于使所述終端設(shè)備執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施例的步驟。參考圖8所示，描述了根據(jù)本公開的實施例的用于實現(xiàn)上述基于多模態(tài)特征分析的水域安全巡查方法的程序產(chǎn)品800，其可以采用便攜式緊湊盤只讀存儲器并包括程序代碼，并可以在終端設(shè)備，例如個人電腦上運行。然而，本公開的程序產(chǎn)品不限于此，在本文件中，可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。所述程序產(chǎn)品可以采用一個或多個可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)?？勺x存儲介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導體的系統(tǒng)、裝置或器件，或者任意以上的組合。可讀存儲介質(zhì)的更具體的例子（非窮舉的列表）包括：具有一個或多個導線的電連接、便攜式盤、硬盤、隨機存取存儲器、只讀存儲器、可擦式可編程只讀存儲器、光纖、便攜式緊湊盤只讀存儲器、光存儲器件、磁存儲器件、或者上述的任意合適的組合。計算機可讀信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括但不限于電磁信號、光信號或上述的任意合適的組合?？勺x信號介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x介質(zhì)上包含的程序代碼可以用任何適當?shù)慕橘|(zhì)傳輸，包括但不限于無線、有線、光纜、rf等等，或者上述的任意合適的組合?？梢砸砸环N或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本公開操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠程計算設(shè)備上執(zhí)行、或者完全在遠程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠程計算設(shè)備的情形中，遠程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò)，包括局域網(wǎng)（lan）或廣域網(wǎng)（wan），連接到用戶計算設(shè)備，或者，可以連接到外部計算設(shè)備（例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接）。此外，上述附圖僅是根據(jù)本公開示例性實施例的方法所包括的處理的示意性說明，而不是限制目的。易于理解，上述附圖所示的處理并不表明或限制這些處理的時間順序。另外，也易于理解，這些處理可以是例如在多個模塊中同步或異步執(zhí)行的。通過以上的實施例的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實施例可以通過軟件實現(xiàn)，也可以通過軟件結(jié)合必要的硬件的方式來實現(xiàn)。因此，根據(jù)本公開實施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)（可以是cd-rom，u盤，移動硬盤等）中或網(wǎng)絡(luò)上，包括若干指令以使得一臺計算設(shè)備（可以是個人計算機、服務(wù)器、觸控終端、或者網(wǎng)絡(luò)設(shè)備等）執(zhí)行根據(jù)本公開實施例的方法。本領(lǐng)域技術(shù)人員在考慮說明書及實踐這里公開的發(fā)明后，將容易想到本公開的其它實施例。本技術(shù)旨在涵蓋本公開的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本公開的一般性原理并包括本公開未公開的本中的公知常識或慣用技術(shù)手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由權(quán)利要求指出。應當理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。

背景技術(shù)：

1、目前，針對水庫水域的安全巡查，相關(guān)技術(shù)中主要依賴于在水庫周邊部署固定式監(jiān)控設(shè)備，并結(jié)合人工巡檢的方式進行現(xiàn)場巡查。在實際應用中，通常由后臺監(jiān)控人員通過遠程觀看監(jiān)控畫面對水域情況進行觀察，并在重點區(qū)域如泄洪通道周邊，通過安排人工巡查人員進行實地巡視和異常排查。

2、然而，由于水庫環(huán)境廣闊且水面狀況隨環(huán)境變化頻繁波動，固定式監(jiān)控設(shè)備受限于安裝位置、監(jiān)測角度及覆蓋范圍，存在監(jiān)控盲區(qū)，難以及時覆蓋所有關(guān)鍵區(qū)域；同時，后臺人員通過畫面監(jiān)控的方式，受限于圖像清晰度、環(huán)境能見度變化等因素，容易出現(xiàn)目標識別滯后或誤判的情況。人工巡查雖然能在一定程度上補充固定監(jiān)控的不足，但受限于人力資源、巡查頻率及應急響應速度，難以實現(xiàn)對大范圍水域的連續(xù)動態(tài)監(jiān)測。

3、尤其在泄洪期間或復雜天氣條件下，傳統(tǒng)依靠固定監(jiān)控與人工巡查的方式，存在異常目標發(fā)現(xiàn)延遲、響應不及時以及水域安全隱患漏檢的風險。因此，如何提升在復雜水域環(huán)境下的巡查覆蓋率以及異常發(fā)現(xiàn)準確率，成為當前水域安全巡查技術(shù)亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本公開實施例的目的在于提供一種基于多模態(tài)特征分析的水域安全巡查方法、基于多模態(tài)特征分析的水域安全巡查系統(tǒng)、電子設(shè)備以及計算機可讀存儲介質(zhì)，能夠基于多源數(shù)據(jù)采集與同步處理，結(jié)合目標輪廓提取、熱異常篩選及三維動態(tài)特征分析，提升在復雜水域環(huán)境下的巡查覆蓋率以及異常發(fā)現(xiàn)準確率。

2、本公開的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

3、根據(jù)本公開實施例的第一方面，提供了一種基于多模態(tài)特征分析的水域安全巡查方法，包括：控制無人機基于預設(shè)的數(shù)據(jù)采集策略，采集目標水域?qū)目梢姽鈭D像、紅外圖像和激光雷達數(shù)據(jù)；對所述可見光圖像、紅外圖像和激光雷達數(shù)據(jù)進行時間同步和空間對齊，得到可見光對齊數(shù)據(jù)、紅外對齊數(shù)據(jù)和激光雷達對齊數(shù)據(jù)；響應于所述可見光圖像的清晰度高于質(zhì)量參考值，對所述可見光對齊數(shù)據(jù)進行邊緣檢測與區(qū)域分割處理，生成包含目標輪廓的候選區(qū)域集合；對所述候選區(qū)域集合對應的所述紅外對齊數(shù)據(jù)，進行熱源特征提取與熱異常篩選處理，從所述候選區(qū)域集合中篩選出熱異常區(qū)域；對所述熱異常區(qū)域?qū)募す饫走_對齊數(shù)據(jù)進行三維空間特征提取和運動狀態(tài)特征提取，基于所述三維空間特征和所述運動狀態(tài)特征對所述熱異常區(qū)域進行異常識別。

4、在本公開的一些示例實施例中，基于前述方案，所述基于多模態(tài)特征分析的水域安全巡查方法還包括：從所述候選區(qū)域集合中篩選出熱正常區(qū)域，將所述熱正常區(qū)域?qū)哪繕溯喞c參考輪廓進行匹配；響應于匹配結(jié)果為人體，根據(jù)所述目標輪廓對應的激光雷達對齊數(shù)據(jù)確定所述目標輪廓對應的三維空間特征；基于所述三維空間特征對所述熱正常區(qū)域進行異常識別。

5、在本公開的一些示例實施例中，基于前述方案，所述基于多模態(tài)特征分析的水域安全巡查方法還包括：確定所述可見光圖像對應的清晰度；響應于所述清晰度低于所述質(zhì)量參考值，對所述可見光對齊數(shù)據(jù)、紅外對齊數(shù)據(jù)和激光雷達對齊數(shù)據(jù)分別進行特征提取，得到第一圖像特征、第二圖像特征以及第三圖像特征；對所述第一圖像特征、第二圖像特征以及第三圖像特征進行特征融合，得到多模態(tài)融合特征；基于所述多模態(tài)融合特征進行異常識別。

6、在本公開的一些示例實施例中，基于前述方案，所述確定所述可見光圖像對應的清晰度，包括：對所述可見光圖像進行紋理分析，獲取所述可見光圖像的紋理信息；對所述可見光圖像進行灰度直方圖統(tǒng)計處理，獲取所述可見光圖像的對比度信息；基于所述紋理信息與所述對比度信息，確定所述可見光圖像對應的清晰度。

7、在本公開的一些示例實施例中，基于前述方案，所述確定所述可見光圖像對應的清晰度，包括：對所述可見光圖像進行區(qū)域劃分，得到多個局部圖像區(qū)域；確定每個所述局部圖像區(qū)域?qū)木植刻荻染担瑢λ鼍植刻荻染颠M行加權(quán)融合，并基于融合結(jié)果確定所述可見光圖像對應的清晰度。

8、在本公開的一些示例實施例中，基于前述方案，所述對所述第一圖像特征、第二圖像特征以及第三圖像特征進行特征融合，得到多模態(tài)融合特征，包括：根據(jù)所述可見光圖像對應的環(huán)境信息，確定所述第一圖像特征、第二圖像特征以及第三圖像特征對應的融合權(quán)重；基于所述融合權(quán)重對所述第一圖像特征、第二圖像特征以及第三圖像特征進行加權(quán)融合處理，得到所述多模態(tài)融合特征。

9、在本公開的一些示例實施例中，基于前述方案，所述控制所述無人機基于預設(shè)的數(shù)據(jù)采集策略之前，還包括：根據(jù)所述目標水域的當前環(huán)境信息，確定所述無人機對應的數(shù)據(jù)采集策略。

10、在本公開的一些示例實施例中，基于前述方案，所述根據(jù)所述目標水域的當前環(huán)境信息，確定所述無人機對應的數(shù)據(jù)采集策略，包括：獲取所述目標水域當前的光照強度信息、能見度信息與風速信息；基于所述光照強度信息、能見度信息與風速信息確定無人機對應的所述數(shù)據(jù)采集策略；其中，所述數(shù)據(jù)采集策略包括每種數(shù)據(jù)對應的采集頻率和采集范圍。

11、在本公開的一些示例實施例中，基于前述方案，所述對所述候選區(qū)域集合對應的所述紅外對齊數(shù)據(jù)，進行熱源特征提取與熱異常篩選處理，從所述候選區(qū)域集合中篩選出熱異常區(qū)域，包括：在多個尺度下提取所述候選區(qū)域集合對應的所述紅外對齊數(shù)據(jù)的多尺度熱源特征；基于所述多尺度熱源特征，確定各候選區(qū)域?qū)臏囟确植继卣?；基于所述溫度分布特征，提取各所述候選區(qū)域?qū)臒嵩葱螒B(tài)特征；基于所述熱源形態(tài)特征，從所述候選區(qū)域集合中篩選出具有非規(guī)則邊緣特性或集中熱源特性的所述熱異常區(qū)域。

12、在本公開的一些示例實施例中，基于前述方案，所述對所述熱異常區(qū)域?qū)募す饫走_對齊數(shù)據(jù)進行三維空間特征提取和運動狀態(tài)特征提取，包括：基于所述激光雷達對齊數(shù)據(jù)，提取所述熱異常區(qū)域?qū)娜S結(jié)構(gòu)特征和表面曲率特征，其中，所述三維結(jié)構(gòu)特征包括尺寸信息、體積信息、邊界框緊湊度以及空間信息中的一種或多種；基于不同時刻采集的所述激光雷達對齊數(shù)據(jù)，提取所述熱異常區(qū)域中目標輪廓對應的多時刻軌跡點集合；基于所述目標輪廓對應的多時刻軌跡點集合，擬合運動軌跡曲線，并基于所述運動軌跡曲線提取所述運動狀態(tài)特征。

13、在本公開的一些示例實施例中，基于前述方案，所述基于所述三維空間特征和所述運動狀態(tài)特征對所述熱異常區(qū)域進行異常識別，包括：將所述三維結(jié)構(gòu)特征、所述表面曲率特征以及所述運動狀態(tài)特征輸入異常識別模型，得到異常識別結(jié)果；響應于所述異常識別結(jié)果為預設(shè)目標類別，根據(jù)所述多時刻軌跡點集合對所述目標輪廓的運動軌跡進行預測。

14、在本公開的一些示例實施例中，基于前述方案，上述基于多模態(tài)特征分析的水域安全巡查方法，還包括：根據(jù)異常識別結(jié)果提取異常區(qū)域?qū)目梢姽鈭D像；對所述可見光圖像、所述異常識別結(jié)果以及所述異常區(qū)域的位置信息進行可視化展示；根據(jù)所述異常識別結(jié)果對應的異常類型，生成對應的預警響應指令。

15、在本公開的一些示例實施例中，基于前述方案，上述基于多模態(tài)特征分析的水域安全巡查方法，還包括：基于所述異常識別結(jié)果，確定異常目標對應的空間位置信息；基于所述空間位置信息與所述無人機當前位置，生成航跡調(diào)整指令；基于所述航跡調(diào)整指令，調(diào)整所述無人機的飛行路徑，使所述無人機靠近所述異常目標；基于所述異常目標與所述無人機之間的實時空間關(guān)系，更新所述航跡調(diào)整指令以優(yōu)化所述無人機的觀測角度與巡航半徑。

16、根據(jù)本公開實施例的第二方面，提供了一種基于多模態(tài)特征分析的水域安全巡查系統(tǒng)，包括：數(shù)據(jù)采集模塊，用于控制無人機基于預設(shè)的數(shù)據(jù)采集策略，采集目標水域?qū)目梢姽鈭D像、紅外圖像和激光雷達數(shù)據(jù)；數(shù)據(jù)對齊模塊，用于對所述可見光圖像、紅外圖像和激光雷達數(shù)據(jù)進行時間同步和空間對齊，得到可見光對齊數(shù)據(jù)、紅外對齊數(shù)據(jù)和激光雷達對齊數(shù)據(jù)；輪廓提取模塊，用于響應于所述可見光圖像的清晰度高于質(zhì)量參考值，對所述可見光對齊數(shù)據(jù)進行邊緣檢測與區(qū)域分割處理，生成包含目標輪廓的候選區(qū)域集合；熱異常篩選模塊，用于對所述候選區(qū)域集合對應的所述紅外對齊數(shù)據(jù)，進行熱源特征提取與熱異常篩選處理，從所述候選區(qū)域集合中篩選出熱異常區(qū)域；異常識別模塊，用于對所述熱異常區(qū)域?qū)募す饫走_對齊數(shù)據(jù)進行三維空間特征提取和運動狀態(tài)特征提取，基于所述三維空間特征和所述運動狀態(tài)特征對所述熱異常區(qū)域進行異常識別。

17、根據(jù)本公開實施例的第三方面，提供了一種電子設(shè)備，包括：處理器；以及存儲器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執(zhí)行時實現(xiàn)如第一方面中的基于多模態(tài)特征分析的水域安全巡查方法。

18、根據(jù)本公開實施例的第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中的基于多模態(tài)特征分析的水域安全巡查方法。

19、本公開實施例提供的技術(shù)方案可以包括以下有益效果：

20、本公開的示例實施例中的基于多模態(tài)特征分析的水域安全巡查方法中，首先，通過無人機采集目標水域?qū)目梢姽鈭D像、紅外圖像和激光雷達數(shù)據(jù)，提升了巡檢覆蓋率，并通過對不同來源數(shù)據(jù)進行時間同步和空間對齊處理，在保證各類感知數(shù)據(jù)具有統(tǒng)一時空參考系的基礎(chǔ)上，提升了后續(xù)特征分析的一致性和準確性。

21、一方面，通過對可見光圖像的清晰度進行判斷，當清晰度高于質(zhì)量參考值時，對可見光對齊數(shù)據(jù)進行邊緣檢測與區(qū)域分割處理，能夠在圖像質(zhì)量良好時提取清晰的目標輪廓，降低由環(huán)境光照變化引起的誤檢漏檢風險，增強候選區(qū)域集合的可靠性。另一方面，基于候選區(qū)域集合對應的紅外對齊數(shù)據(jù)進行熱源特征提取與熱異常篩選處理，能夠有效利用紅外感知在弱光或復雜氣象條件下對熱源異常的突出響應特性，從而補償單一可見光圖像在能見度降低時的識別局限，進一步確保在不同環(huán)境條件下對熱異常區(qū)域的準確篩選。再一方面，對熱異常區(qū)域?qū)募す饫走_對齊數(shù)據(jù)進行三維空間特征提取和運動狀態(tài)特征提取，能夠通過三維結(jié)構(gòu)特征和軌跡變化特征進一步確定異常目標的動態(tài)行為，有效識別漂浮物、落水人員等不同異常類別，提升在復雜水域環(huán)境下對異常目標識別的準確性。

22、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本公開。