本發(fā)明涉及地質(zhì)勘察與測(cè)量，具體涉及一種基于振動(dòng)與視覺(jué)數(shù)據(jù)多模態(tài)融合的巖體異常檢測(cè)方法。
背景技術(shù)：
1、傳統(tǒng)的巖體監(jiān)測(cè)方法主要依賴振動(dòng)監(jiān)測(cè)、位移監(jiān)測(cè)以及光學(xué)成像等手段，這些技術(shù)為巖體異常檢測(cè)提供了基礎(chǔ)數(shù)據(jù)。然而，現(xiàn)有的檢測(cè)系統(tǒng)在實(shí)際應(yīng)用中仍存在一系列亟待解決的問(wèn)題，影響了異常檢測(cè)的精度、實(shí)時(shí)性和可靠性。
2、振動(dòng)監(jiān)測(cè)技術(shù)被廣泛應(yīng)用于巖體異常檢測(cè)中，通過(guò)振動(dòng)傳感器(如加速度計(jì)、地震儀)收集巖體振動(dòng)數(shù)據(jù)。振動(dòng)信號(hào)能夠反映巖體的動(dòng)態(tài)變化，特別是巖體在失穩(wěn)前的微小震動(dòng)，通常是巖體異常的重要先兆。因此，振動(dòng)監(jiān)測(cè)在巖體異常檢測(cè)中具有重要的地位。然而，振動(dòng)數(shù)據(jù)受環(huán)境噪聲的干擾較大，且?guī)r體內(nèi)部的復(fù)雜變化往往導(dǎo)致振動(dòng)信號(hào)呈現(xiàn)出非線性和多樣性，傳統(tǒng)的信號(hào)處理和分析方法往往難以有效識(shí)別這些復(fù)雜的異常模式，導(dǎo)致誤報(bào)或漏報(bào)現(xiàn)象時(shí)有發(fā)生。
3、位移監(jiān)測(cè)技術(shù)也常用于巖體的異常檢測(cè)，尤其是通過(guò)激光掃描、全站儀或gps等設(shè)備獲取巖體表面的位移信息。位移的變化直接反映了巖體的穩(wěn)定性，裂縫的擴(kuò)展、沉降和滑動(dòng)等異?，F(xiàn)象通常伴隨著明顯的位移變化。然而，位移監(jiān)測(cè)方法在動(dòng)態(tài)環(huán)境中的反應(yīng)較為緩慢，無(wú)法及時(shí)捕捉到巖體微小的動(dòng)態(tài)變化，尤其是在振動(dòng)和位移變化的耦合情況下，傳統(tǒng)的位移監(jiān)測(cè)方法常常無(wú)法獨(dú)立判斷巖體的異常狀態(tài)。
4、光學(xué)成像和紅外熱成像技術(shù)提供了另一種方式，通過(guò)圖像數(shù)據(jù)來(lái)監(jiān)測(cè)巖體的表面狀況。光學(xué)成像技術(shù)能夠?qū)崟r(shí)捕捉巖體表面裂縫、變形、裂隙等異常，而紅外成像則可以識(shí)別由于內(nèi)部變形或溫度變化所引發(fā)的異常。然而，圖像數(shù)據(jù)受環(huán)境因素影響較大，例如天氣、光照等因素可能導(dǎo)致圖像質(zhì)量降低，進(jìn)而影響檢測(cè)效果。此外，現(xiàn)有的圖像處理方法大多依賴傳統(tǒng)的圖像分析技術(shù)，缺乏針對(duì)巖體異常變化的深度學(xué)習(xí)模型，導(dǎo)致系統(tǒng)的精度和魯棒性無(wú)法滿足復(fù)雜環(huán)境下的需求。
5、盡管當(dāng)前的巖體監(jiān)測(cè)系統(tǒng)采用了振動(dòng)、位移、圖像等多種監(jiān)測(cè)手段，但其主要問(wèn)題集中在數(shù)據(jù)融合和異常檢測(cè)能力的不足上。大多數(shù)現(xiàn)有的系統(tǒng)采用的仍是傳統(tǒng)的信號(hào)處理和簡(jiǎn)單的融合方法，如加權(quán)平均、閾值判定等，這些方法無(wú)法充分考慮不同數(shù)據(jù)模態(tài)之間的復(fù)雜關(guān)系和時(shí)空特性。尤其在振動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)的結(jié)合方面，現(xiàn)有的系統(tǒng)未能深入挖掘其潛在的相互作用，導(dǎo)致巖體異常的準(zhǔn)確識(shí)別和預(yù)警能力受到限制。因此，盡管傳統(tǒng)方法在一定程度上提高了巖體監(jiān)測(cè)的準(zhǔn)確性，但對(duì)于復(fù)雜環(huán)境下的巖體異常檢測(cè)仍顯得力不從心。
6、在此背景下，現(xiàn)有巖體異常檢測(cè)系統(tǒng)面臨著以下問(wèn)題：
7、1.數(shù)據(jù)源單一，無(wú)法全面反映巖體變化。當(dāng)前的大多數(shù)巖體監(jiān)測(cè)系統(tǒng)通常依賴單一的數(shù)據(jù)源(如僅使用振動(dòng)或位移數(shù)據(jù))來(lái)進(jìn)行異常檢測(cè)。這種單一的數(shù)據(jù)源無(wú)法全面揭示巖體的變化，特別是在復(fù)雜和動(dòng)態(tài)變化的環(huán)境中，單一的數(shù)據(jù)源可能無(wú)法及時(shí)捕捉到巖體的微小變化或復(fù)雜的異常模式。
8、2.多模態(tài)數(shù)據(jù)融合能力不足。雖然現(xiàn)代巖體監(jiān)測(cè)系統(tǒng)已經(jīng)具備了多個(gè)傳感器的數(shù)據(jù)采集能力，但在數(shù)據(jù)融合和智能分析方面的研究仍較為薄弱。大多數(shù)系統(tǒng)僅依賴簡(jiǎn)單的加權(quán)平均或閾值法進(jìn)行數(shù)據(jù)融合，無(wú)法充分挖掘不同模態(tài)數(shù)據(jù)之間的潛在關(guān)聯(lián)性。尤其是在復(fù)雜環(huán)境下，振動(dòng)數(shù)據(jù)與圖像數(shù)據(jù)之間的時(shí)空關(guān)系可能未得到充分考慮，導(dǎo)致系統(tǒng)難以準(zhǔn)確判斷巖體的異常狀態(tài)。
9、3.檢測(cè)精度和實(shí)時(shí)性不足?，F(xiàn)有的巖體異常檢測(cè)方法普遍采用固定的閾值和簡(jiǎn)單的信號(hào)處理技術(shù)，這使得系統(tǒng)的檢測(cè)精度和實(shí)時(shí)性受到限制。巖體的穩(wěn)定性變化往往具有復(fù)雜的非線性特征，傳統(tǒng)的異常檢測(cè)方法無(wú)法有效識(shí)別這些復(fù)雜變化。此外，現(xiàn)有方法對(duì)于環(huán)境噪聲和數(shù)據(jù)丟失的魯棒性較差，導(dǎo)致異常檢測(cè)結(jié)果的可靠性不足。
10、4.高誤報(bào)和漏報(bào)率。由于巖體異常通常表現(xiàn)為較為微弱的動(dòng)態(tài)變化，現(xiàn)有的檢測(cè)方法容易受噪聲干擾，導(dǎo)致誤報(bào)和漏報(bào)現(xiàn)象頻發(fā)。誤報(bào)不僅會(huì)浪費(fèi)系統(tǒng)資源，還可能引發(fā)過(guò)度反應(yīng)，而漏報(bào)則會(huì)導(dǎo)致潛在風(fēng)險(xiǎn)未能及時(shí)預(yù)警，增加事故發(fā)生的風(fēng)險(xiǎn)。
11、5.人工干預(yù)依賴大，響應(yīng)慢?，F(xiàn)有的巖體監(jiān)測(cè)系統(tǒng)在分析和決策過(guò)程中，仍然依賴人工判斷或簡(jiǎn)單的規(guī)則引擎，導(dǎo)致系統(tǒng)對(duì)突發(fā)事件的響應(yīng)速度較慢。尤其是在高風(fēng)險(xiǎn)區(qū)域，人工干預(yù)的依賴性較強(qiáng)，可能會(huì)錯(cuò)失預(yù)警時(shí)機(jī)，導(dǎo)致災(zāi)害發(fā)生。
12、6.設(shè)備和技術(shù)成本高。盡管巖體監(jiān)測(cè)技術(shù)逐漸發(fā)展，但高精度的振動(dòng)傳感器、激光掃描儀、紅外成像設(shè)備等監(jiān)測(cè)設(shè)備成本較高，同時(shí)設(shè)備的安裝、維護(hù)和數(shù)據(jù)處理也需要大量的資金和人力支持。這樣的高成本使得巖體監(jiān)測(cè)技術(shù)在一些小規(guī)模項(xiàng)目或高風(fēng)險(xiǎn)地區(qū)的應(yīng)用受到限制。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于振動(dòng)與視覺(jué)數(shù)據(jù)多模態(tài)融合的巖體異常檢測(cè)方法，結(jié)合深度學(xué)習(xí)模型，通過(guò)融合振動(dòng)信號(hào)與圖像數(shù)據(jù)的特征來(lái)提高巖體異常檢測(cè)的精度和實(shí)時(shí)性。
2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于振動(dòng)與視覺(jué)數(shù)據(jù)多模態(tài)融合的巖體異常檢測(cè)方法，包括下列步驟：
3、步驟1：采集振動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)，分別形成數(shù)據(jù)集；
4、步驟2：數(shù)據(jù)預(yù)處理后，使用長(zhǎng)短期記憶網(wǎng)絡(luò)lstm和卷積神經(jīng)網(wǎng)絡(luò)cnn的組合模型來(lái)提取振動(dòng)數(shù)據(jù)的特征，使用swin-t模型提取圖像數(shù)據(jù)中的空間特征；
5、步驟3：使用共享的transformer編碼器對(duì)齊網(wǎng)絡(luò)對(duì)提取特征進(jìn)行對(duì)齊，采用交叉注意力機(jī)制來(lái)進(jìn)一步融合；
6、步驟4：將融合后的特征輸入異常檢測(cè)模型訓(xùn)練調(diào)優(yōu)；
7、步驟5：評(píng)估訓(xùn)練過(guò)程，將訓(xùn)練好的模型部署到邊緣設(shè)備上進(jìn)行應(yīng)用。
8、可選的，步驟1中的振動(dòng)數(shù)據(jù)通過(guò)安裝在巖體關(guān)鍵部位的振動(dòng)傳感器實(shí)時(shí)采集獲得，表現(xiàn)為時(shí)序數(shù)據(jù)，包含加速度、位移和頻率多個(gè)振動(dòng)特征；圖像數(shù)據(jù)通過(guò)巖體周圍的高清攝像頭或無(wú)人機(jī)拍攝獲取，所述圖像數(shù)據(jù)為二維空間數(shù)據(jù)。
9、可選的，在步驟2中，所述組合模型中的長(zhǎng)短期記憶網(wǎng)絡(luò)lstm用于捕捉振動(dòng)信號(hào)的時(shí)序特性，卷積神經(jīng)網(wǎng)絡(luò)cnn用于從長(zhǎng)短期記憶網(wǎng)絡(luò)lstm輸出的特征中提取局部特征和頻率信息，所述組合模型提取獲得具有時(shí)序依賴和頻率信息的振動(dòng)特征表示。
10、可選的，所述swin-t模型通過(guò)局部窗口的自注意力機(jī)制，首先在局部區(qū)域內(nèi)學(xué)習(xí)圖像的細(xì)粒度信息，進(jìn)一步隨著網(wǎng)絡(luò)深度的增加逐步拓展感受野，學(xué)習(xí)巖體表面各個(gè)區(qū)域之間的空間關(guān)聯(lián)性。
11、可選的，步驟3中共享的transformer編碼器對(duì)齊網(wǎng)絡(luò)通過(guò)學(xué)習(xí)振動(dòng)數(shù)據(jù)與圖像數(shù)據(jù)之間的時(shí)空關(guān)系，確保來(lái)自不同模態(tài)的數(shù)據(jù)能夠在同一時(shí)間尺度上對(duì)齊，得到新的全局聯(lián)合特征。
12、可選的，所述交叉注意力機(jī)制的融合過(guò)程，具體為將全局聯(lián)合特征作為查詢(q)，圖像特征作為鍵(k)和值(v)進(jìn)行計(jì)算，得到注意力輸出；振動(dòng)特征作為鍵(k)和值(v)，全局聯(lián)合特征作為查詢(q)進(jìn)行計(jì)算，得到注意力輸出；最終將兩個(gè)注意力輸出進(jìn)行拼接，得到融合后的特征。
13、可選的，步驟4中將融合后的特征輸入到mlp中進(jìn)行訓(xùn)練，并采用交叉熵?fù)p失函數(shù)來(lái)衡量預(yù)測(cè)值與實(shí)際標(biāo)簽之間的差異；在調(diào)優(yōu)過(guò)程中使用早停法避免過(guò)擬合。
14、本發(fā)明提供了一種基于振動(dòng)與視覺(jué)數(shù)據(jù)多模態(tài)融合的巖體異常檢測(cè)方法，首先分別采集振動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)，再通過(guò)深度學(xué)習(xí)模型進(jìn)行數(shù)據(jù)特征提取與融合，具體使用長(zhǎng)短期記憶網(wǎng)絡(luò)lstm和卷積神經(jīng)網(wǎng)絡(luò)cnn的組合模型提取振動(dòng)數(shù)據(jù)的時(shí)序特征和頻率信息，通過(guò)swin-t模型提取圖像數(shù)據(jù)的空間特征，然后使用共享transformer編碼器與交叉注意力機(jī)制實(shí)現(xiàn)多模態(tài)數(shù)據(jù)對(duì)齊和融合，再將融合后的特征輸入異常檢測(cè)模塊進(jìn)行訓(xùn)練調(diào)優(yōu)，最后將訓(xùn)練好的模型部署到邊緣設(shè)備上用于巖體的異常檢測(cè)。本發(fā)明通過(guò)多模態(tài)數(shù)據(jù)融合，在各類復(fù)雜環(huán)境下準(zhǔn)確識(shí)別異常，從而減少誤報(bào)和漏報(bào)的概率，同時(shí)結(jié)合邊緣計(jì)算架構(gòu)還便于現(xiàn)場(chǎng)部署和實(shí)時(shí)監(jiān)測(cè)，適應(yīng)多種應(yīng)用場(chǎng)景。