本技術(shù)涉及社區(qū)管理，尤其涉及基于多模態(tài)融合的社區(qū)巡檢管理方法及系統(tǒng)。

背景技術(shù)：

1、隨著社區(qū)、園區(qū)、城市等各類區(qū)域規(guī)模的不斷擴(kuò)大以及安全管理、運(yùn)營維護(hù)等需求的日益提升，監(jiān)控系統(tǒng)在其中發(fā)揮著愈發(fā)關(guān)鍵的作用。傳統(tǒng)的監(jiān)控方式往往依賴于單一模態(tài)的數(shù)據(jù)，且在異常分析及巡檢策略制定等方面存在諸多不足，難以滿足當(dāng)下復(fù)雜且高效的監(jiān)控應(yīng)用場景需求。

2、在傳統(tǒng)監(jiān)控技術(shù)中，大多僅關(guān)注單一模態(tài)的數(shù)據(jù)，例如僅采集視頻圖像數(shù)據(jù)或者簡單的傳感器數(shù)值數(shù)據(jù)等，缺乏對多模態(tài)數(shù)據(jù)(如視頻、音頻、環(huán)境傳感器數(shù)據(jù)等多類型數(shù)據(jù)綜合)的有效利用。而在制定社區(qū)巡檢策略時，往往缺乏與實(shí)時、全面的監(jiān)控數(shù)據(jù)相結(jié)合，通常采用固定的周期性巡檢路線和任務(wù)安排，沒有充分考慮到當(dāng)前實(shí)際的監(jiān)控數(shù)據(jù)所反映出的潛在異常風(fēng)險以及異常分析模型所提供的各區(qū)域關(guān)聯(lián)情況和異常發(fā)生概率等重要信息。

3、而相關(guān)技術(shù)中，對監(jiān)控點(diǎn)是否存在異常的判斷僅基于監(jiān)控點(diǎn)自身傳達(dá)的信息，將各個監(jiān)控點(diǎn)孤立看待，從而造成一旦單個監(jiān)控點(diǎn)傳達(dá)信息不夠全面時造成異常分析的誤差，影響到巡檢路線的規(guī)劃準(zhǔn)確性。

4、專利《基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法、系統(tǒng)及終端設(shè)備》，公開號：cn119203042a，公開日：2024年12月27日，具體公開了對體素空間內(nèi)的各體素組塊進(jìn)行數(shù)據(jù)一致性判斷分析，獲取巡檢目標(biāo)在預(yù)設(shè)時間內(nèi)的各項(xiàng)多模態(tài)數(shù)據(jù)組；獲取各多模態(tài)數(shù)據(jù)組的模態(tài)特征，將各多模態(tài)數(shù)據(jù)組的模態(tài)特征按預(yù)設(shè)映射和權(quán)重機(jī)制處理，得到巡檢目標(biāo)的多模態(tài)融合特征向量融合模型；根據(jù)所述多模態(tài)融合特征向量融合模型與多模態(tài)融合特征向量基準(zhǔn)模型對巡檢目標(biāo)進(jìn)行分析，獲取巡檢目標(biāo)的工作狀態(tài)。該方案將所有數(shù)據(jù)統(tǒng)一融合處理，對單個處理單元的要求較高，計(jì)算壓力大，效率較低。

5、專利《一種基于人工智能的監(jiān)控視頻智能巡檢管理方法及系統(tǒng)》，公開號：cn119131702a，公開日：2024年12月13日，具體公開了通過收集歷史視頻監(jiān)控數(shù)據(jù)，建立樣本集，并對樣本集中的歷史視頻監(jiān)控數(shù)據(jù)進(jìn)行預(yù)處理，同時基于得到預(yù)處理后的歷史視頻監(jiān)控數(shù)據(jù)，通過機(jī)器學(xué)習(xí)方式提取歷史視頻監(jiān)控數(shù)據(jù)中的異常行為特征和時空特征；同時基于提取歷史視頻監(jiān)控數(shù)據(jù)中時空特征設(shè)置監(jiān)控攝像頭提醒頻率，并通過設(shè)定一個視頻監(jiān)控事件，當(dāng)管理員選取對應(yīng)時間段的一幀視頻監(jiān)控數(shù)據(jù)后，基于機(jī)器學(xué)習(xí)方式和數(shù)據(jù)匹配方式對選取的視頻畫面進(jìn)行識別和生成巡檢記錄，最后通過設(shè)定巡檢評估管理標(biāo)準(zhǔn)并對管理員生成的巡檢記錄進(jìn)行評估和優(yōu)化。同樣該方案將所有數(shù)據(jù)統(tǒng)一融合處理，對單個處理單元的要求較高，計(jì)算壓力大，效率較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)針對現(xiàn)有技術(shù)中社區(qū)巡檢管理存在效率低且分析片面的問題，提供基于多模態(tài)融合的社區(qū)巡檢管理方法及系統(tǒng)，通過多模態(tài)融合提取監(jiān)控點(diǎn)特征數(shù)據(jù)以構(gòu)建邊緣計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)分布式計(jì)算，分擔(dān)計(jì)算壓力提高計(jì)算效率，同時利用邊緣聯(lián)絡(luò)線體現(xiàn)各個邊緣計(jì)算節(jié)點(diǎn)之間的相關(guān)性，以整體考量異?？赡?，提高分析的準(zhǔn)確性，并根據(jù)監(jiān)控點(diǎn)狀態(tài)變化用增量聚類算法動態(tài)調(diào)整，提高異常分析模型的適配性，在提高巡檢分析效率的同時提高巡檢規(guī)劃的準(zhǔn)確性。

2、為實(shí)現(xiàn)上述技術(shù)目的，本技術(shù)提供的一種技術(shù)方案是，基于多模態(tài)融合的社區(qū)巡檢管理方法，包括如下步驟：s1：獲取監(jiān)控點(diǎn)模態(tài)數(shù)據(jù)，基于多模態(tài)融合對監(jiān)控點(diǎn)模態(tài)數(shù)據(jù)進(jìn)行特征提取獲取監(jiān)控點(diǎn)特征數(shù)據(jù)，利用聚類算法基于監(jiān)控點(diǎn)特征數(shù)據(jù)獲取聚類結(jié)果，根據(jù)聚類結(jié)果構(gòu)建邊緣計(jì)算節(jié)點(diǎn)；s2：獲取各個邊緣計(jì)算節(jié)點(diǎn)對應(yīng)的歷史監(jiān)控數(shù)據(jù)，根據(jù)歷史監(jiān)控數(shù)據(jù)基于巡檢異常結(jié)果構(gòu)建邊緣異常篩選模型；s3：基于監(jiān)控區(qū)域相關(guān)性構(gòu)建邊緣聯(lián)絡(luò)線，以邊緣異常篩選模型以及邊緣聯(lián)絡(luò)線構(gòu)建異常分析模型；s4：實(shí)時獲取監(jiān)控點(diǎn)狀態(tài)，基于監(jiān)控點(diǎn)狀態(tài)變化利用增量聚類算法動態(tài)調(diào)整異常分析模型；s5：獲取當(dāng)前監(jiān)控數(shù)據(jù)，根據(jù)異常分析模型以及當(dāng)前監(jiān)控數(shù)據(jù)輸出社區(qū)巡檢策略。

3、進(jìn)一步的，所述s1還包括：獲取監(jiān)控點(diǎn)圖像數(shù)據(jù)、傳感器數(shù)據(jù)以及文本描述數(shù)據(jù)，對監(jiān)控點(diǎn)圖像數(shù)據(jù)、傳感器數(shù)據(jù)以及文本描述數(shù)據(jù)進(jìn)行特征提取，獲取提取特征集合；利用主成分分析法結(jié)合特征拼接對提取特征集合進(jìn)行特征融合，獲取監(jiān)控點(diǎn)特征數(shù)據(jù)；利用dbscan聚類算法對監(jiān)控點(diǎn)特征數(shù)據(jù)進(jìn)行聚類，獲取聚類結(jié)果；根據(jù)聚類結(jié)果匹配邊緣計(jì)算節(jié)點(diǎn)。

4、進(jìn)一步的，所述對監(jiān)控點(diǎn)圖像數(shù)據(jù)、傳感器數(shù)據(jù)以及文本描述數(shù)據(jù)進(jìn)行特征提取，獲取提取特征集合包括：根據(jù)監(jiān)控點(diǎn)圖像數(shù)據(jù)的圖像復(fù)雜度匹配圖像分割分辨率，基于圖像分割分辨率對圖像進(jìn)行分割，獲得分割圖像集，利用卷積神經(jīng)網(wǎng)絡(luò)對分割圖像集進(jìn)行特征提取，獲取圖像特征；根據(jù)時間序列以及感測關(guān)聯(lián)性對傳感器數(shù)據(jù)進(jìn)行特征提取，獲取感測特征；利用語義識別對文本描述數(shù)據(jù)進(jìn)行特征提取，獲取語義特征；以圖像特征、感測特征以及語義特征獲取提取特征集合。

5、進(jìn)一步的，所述根據(jù)監(jiān)控點(diǎn)圖像數(shù)據(jù)的圖像復(fù)雜度匹配圖像分割分辨率，基于圖像分割分辨率對圖像進(jìn)行分割，獲得分割圖像集包括：計(jì)算監(jiān)控點(diǎn)圖像數(shù)據(jù)的信息熵，根據(jù)信息熵獲取圖像復(fù)雜度；基于預(yù)設(shè)復(fù)雜度與分割相關(guān)性匹配對應(yīng)于圖像復(fù)雜度的圖像分割分辨率；基于圖像分割分辨率對圖像進(jìn)行分割，獲得分割圖像集。

6、進(jìn)一步的，所述利用卷積神經(jīng)網(wǎng)絡(luò)對分割圖像集進(jìn)行特征提取，獲取圖像特征包括：基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)分割分辨率構(gòu)建并行的特征識別流，以特征識別流以及分辨率判斷層構(gòu)建多流并行卷積神經(jīng)網(wǎng)絡(luò)；以分割圖像集作為多流并行卷積神經(jīng)網(wǎng)絡(luò)的輸入，輸出圖像特征。

7、進(jìn)一步的，所述根據(jù)時間序列以及感測關(guān)聯(lián)性對傳感器數(shù)據(jù)進(jìn)行特征提取，獲取感測特征包括：根據(jù)時間序列下傳感器數(shù)據(jù)趨勢變化以及周期變化執(zhí)行趨勢特征以及周期性特征提取；利用相關(guān)性分析獲取傳感器之間的感測關(guān)聯(lián)特征，以感測關(guān)聯(lián)特征、趨勢特征以及周期性特征獲取感測特征。

8、進(jìn)一步的，所述s3還包括：基于監(jiān)控點(diǎn)地理位置相關(guān)性以及監(jiān)控區(qū)域功能相關(guān)性構(gòu)建監(jiān)控區(qū)域相關(guān)性；根據(jù)監(jiān)控區(qū)域相關(guān)性獲取監(jiān)控點(diǎn)之間的關(guān)聯(lián)性，以監(jiān)控點(diǎn)之間的關(guān)聯(lián)性構(gòu)建邊緣聯(lián)絡(luò)線；以邊緣異常篩選模型以及邊緣聯(lián)絡(luò)線構(gòu)建異常分析模型。

9、進(jìn)一步的，所述s4還包括：實(shí)時獲取監(jiān)控點(diǎn)狀態(tài)，當(dāng)監(jiān)控點(diǎn)狀態(tài)發(fā)生變化時，獲取狀態(tài)發(fā)生改變的監(jiān)控點(diǎn)；利用基于密度的增量聚類算法根據(jù)狀態(tài)發(fā)生改變的監(jiān)控點(diǎn)更新聚類結(jié)果；以更新后的聚類結(jié)果以及預(yù)設(shè)節(jié)點(diǎn)負(fù)載閾值動態(tài)更新邊緣聯(lián)絡(luò)線以及邊緣計(jì)算節(jié)點(diǎn)覆蓋范圍。

10、進(jìn)一步的，所述s5還包括：獲取當(dāng)前監(jiān)控數(shù)據(jù)，根據(jù)異常分析模型基于當(dāng)前監(jiān)控數(shù)據(jù)獲取異常監(jiān)控位置以及異常因素；基于社區(qū)道路數(shù)據(jù)、異常監(jiān)控位置、異常因素根據(jù)路徑以及緊急性構(gòu)建社區(qū)巡檢路線。

11、本技術(shù)提供的另一種技術(shù)方案是，基于多模態(tài)融合的社區(qū)巡檢管理系統(tǒng)，用于實(shí)現(xiàn)如上述的方法，包括：數(shù)據(jù)處理單元，用于基于多模態(tài)融合對監(jiān)控點(diǎn)模態(tài)數(shù)據(jù)進(jìn)行特征提取獲取監(jiān)控點(diǎn)特征數(shù)據(jù)；邊緣計(jì)算節(jié)點(diǎn)，根據(jù)監(jiān)控點(diǎn)特征數(shù)據(jù)的聚類結(jié)果進(jìn)行構(gòu)建，用于根據(jù)歷史監(jiān)控數(shù)據(jù)構(gòu)建邊緣異常篩選模型；整體分析單元，用于根據(jù)監(jiān)控區(qū)域相關(guān)性構(gòu)建邊緣聯(lián)絡(luò)線，基于邊緣異常篩選模型輸出值以及邊緣聯(lián)絡(luò)線輸出異常分析結(jié)果；巡檢規(guī)劃單元，用于根據(jù)異常分析結(jié)果輸出社區(qū)巡檢策略。

12、本技術(shù)的有益效果：1.基于監(jiān)控點(diǎn)模態(tài)數(shù)據(jù)融合得到監(jiān)控點(diǎn)特征數(shù)據(jù)，以監(jiān)控點(diǎn)特征數(shù)據(jù)聚類結(jié)果構(gòu)建邊緣計(jì)算節(jié)點(diǎn)，再根據(jù)每個邊緣計(jì)算節(jié)點(diǎn)的歷史監(jiān)控數(shù)據(jù)構(gòu)建針對各個邊緣計(jì)算節(jié)點(diǎn)的邊緣異常篩選模型，通過邊緣計(jì)算節(jié)點(diǎn)的部署與模型構(gòu)建降低單個計(jì)算單元的計(jì)算壓力，提高異常篩選效率，并利用監(jiān)控區(qū)域相關(guān)性構(gòu)建邊緣計(jì)算節(jié)點(diǎn)之間的邊緣聯(lián)絡(luò)線，從而以整體相關(guān)性再次評估異?？赡?，減少整體評估時的計(jì)算數(shù)據(jù)，提高效率的同時確保異常分析的準(zhǔn)確性，進(jìn)而根據(jù)異常分析結(jié)果輸出社區(qū)巡檢策略，提高巡檢效率。

13、2.對于簡單圖像，由于采用了較低的分割分辨率，避免了因過度分割而引入不必要的噪聲和干擾信息，使得卷積神經(jīng)網(wǎng)絡(luò)聚焦于圖像中關(guān)鍵的、具有代表性的特征進(jìn)行提??；而對于復(fù)雜圖像，較高的分割分辨率確保了圖像中的豐富細(xì)節(jié)不會在分割過程中丟失。從而卷積神經(jīng)網(wǎng)絡(luò)無需對過多的、內(nèi)容相對單一的圖像塊進(jìn)行重復(fù)且不必要的運(yùn)算，節(jié)省了計(jì)算資源和時間成本，同時，不同復(fù)雜度的圖像按照各自匹配的分割分辨率進(jìn)行處理，使得整個圖像特征提取過程充分利用計(jì)算資源進(jìn)行并行處理，進(jìn)一步提高特征提取效率。