本發(fā)明涉及裝備故障診斷，尤其是涉及一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法及系統(tǒng)。

背景技術(shù)：

1、為了保障電力系統(tǒng)的安全穩(wěn)定運(yùn)行，如何對(duì)變壓器繞組局部放電、發(fā)電機(jī)振動(dòng)異常、斷路器觸點(diǎn)磨損或輸電線路導(dǎo)線螺栓松動(dòng)等潛在故障進(jìn)行早期發(fā)現(xiàn)與精準(zhǔn)預(yù)警，已成為研究的熱點(diǎn)與難點(diǎn)。傳統(tǒng)的定期檢修和事后維護(hù)模式由于周期固定、響應(yīng)滯后，已難以兼顧高可靠性與低運(yùn)維成本兩大需求。基于此，預(yù)測(cè)性故障診斷（predictive?maintenance）應(yīng)運(yùn)而生，實(shí)現(xiàn)從“被動(dòng)維修”向“主動(dòng)預(yù)防”的轉(zhuǎn)變，顯著提升設(shè)備可用性和維護(hù)效率。

2、現(xiàn)有的預(yù)測(cè)性故障診斷方法主要可分為三類：一是基于閾值與規(guī)則的診斷，通過(guò)人為設(shè)定振動(dòng)、溫度、電流等指標(biāo)的上下限實(shí)現(xiàn)實(shí)時(shí)報(bào)警，雖簡(jiǎn)單高效，卻難以應(yīng)對(duì)工況變化和新型故障；二是基于物理模型的診斷，通過(guò)數(shù)學(xué)或仿真模型對(duì)比殘差或參數(shù)估計(jì)來(lái)識(shí)別異常，雖具備機(jī)理解釋性，卻易受模型偏差和參數(shù)不準(zhǔn)的影響；三是基于數(shù)據(jù)驅(qū)動(dòng)的診斷，利用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)對(duì)大規(guī)模歷史數(shù)據(jù)進(jìn)行訓(xùn)練，能夠挖掘復(fù)雜特征但依賴大量標(biāo)注樣本，對(duì)新故障和小樣本場(chǎng)景的泛化能力不足，且振動(dòng)、圖像、文本等多模態(tài)數(shù)據(jù)往往被割裂處理，無(wú)法充分利用潛在因果鏈條和跨模態(tài)關(guān)聯(lián)。上述方法在實(shí)際應(yīng)用中既難以動(dòng)態(tài)刻畫設(shè)備多變量之間的因果關(guān)系，也易在樣本極度稀缺或新故障出現(xiàn)時(shí)陷入過(guò)擬合或失效，同時(shí)單一模態(tài)分析手段也難滿足電力設(shè)備“環(huán)境—運(yùn)行—故障”全景感知的需求。

3、此外，當(dāng)前復(fù)雜裝備的故障診斷方法主要依賴于單一數(shù)據(jù)源建模、特征工程或基于大規(guī)模樣本訓(xùn)練的深度學(xué)習(xí)技術(shù)，存在以下顯著缺陷：（1）數(shù)據(jù)異構(gòu)性處理不足，難以融合傳感器數(shù)據(jù)、文本記錄、運(yùn)維知識(shí)等多模態(tài)信息，導(dǎo)致診斷結(jié)果片面、準(zhǔn)確率有限；（2）知識(shí)表達(dá)與推理能力弱，現(xiàn)有方法難以有效建模裝備內(nèi)部結(jié)構(gòu)、功能關(guān)系與故障演變機(jī)理，缺乏可解釋性與推理深度；（3）對(duì)小樣本、早期故障識(shí)別能力不足，尤其在實(shí)際應(yīng)用中，少量、噪聲樣本常導(dǎo)致模型性能大幅下降，影響系統(tǒng)穩(wěn)定性和可靠性。因此，亟需研發(fā)一種基于多模態(tài)知識(shí)圖譜的小樣本復(fù)雜裝備故障診斷系統(tǒng)，充分融合多源異構(gòu)數(shù)據(jù)，構(gòu)建裝備機(jī)理知識(shí)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合的智能診斷體系，實(shí)現(xiàn)對(duì)復(fù)雜裝備的高精度、可解釋的預(yù)測(cè)性故障診斷。

技術(shù)實(shí)現(xiàn)思路

1、為了解決復(fù)雜裝備在預(yù)測(cè)性故障診斷過(guò)程中存在的多源異構(gòu)數(shù)據(jù)融合不足、故障機(jī)理知識(shí)建模與推理能力弱、小樣本故障識(shí)別困難的問(wèn)題，本發(fā)明提供一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法及系統(tǒng)。以振動(dòng)信號(hào)、運(yùn)維文本、圖像等多源異構(gòu)數(shù)據(jù)為支撐，通過(guò)統(tǒng)一的語(yǔ)義本體將多模態(tài)特征映射為實(shí)體—關(guān)系—屬性三元組，構(gòu)建設(shè)備健康知識(shí)圖譜；并引入圖神經(jīng)網(wǎng)絡(luò)編碼與小樣本學(xué)習(xí)策略，在知識(shí)圖譜結(jié)構(gòu)化語(yǔ)義的指導(dǎo)下，生成語(yǔ)義增強(qiáng)的故障原型，實(shí)現(xiàn)對(duì)新故障類型的高效識(shí)別與定位。

2、第一方面，本發(fā)明提供的一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法，采用如下的技術(shù)方案：

3、一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法，包括：

4、獲取裝備運(yùn)行數(shù)據(jù)；

5、分別對(duì)獲取的裝備運(yùn)行數(shù)據(jù)進(jìn)行多模態(tài)特征提取；

6、基于提取的多模態(tài)特征進(jìn)行知識(shí)圖譜構(gòu)建；

7、通過(guò)跨模態(tài)對(duì)比學(xué)習(xí)對(duì)知識(shí)圖譜進(jìn)行多模態(tài)特征增強(qiáng)；

8、定義小樣本任務(wù)，對(duì)增強(qiáng)后的知識(shí)圖譜進(jìn)行特征初始化；

9、對(duì)特征初始化后的知識(shí)圖譜進(jìn)行子圖提取和mamba增強(qiáng)；

10、利用圖神經(jīng)網(wǎng)絡(luò)基于知識(shí)圖譜進(jìn)行故障分類。

11、進(jìn)一步地，所述分別對(duì)獲取的裝備運(yùn)行數(shù)據(jù)進(jìn)行多模態(tài)特征提取，包括通過(guò)布設(shè)高精度傳感器采集到的原始振動(dòng)信號(hào)數(shù)據(jù)，設(shè)定傳感器收集到的振動(dòng)信號(hào)數(shù)據(jù)為xv，采用1d-cnn提取局部特征；采用bert預(yù)訓(xùn)練語(yǔ)言模型對(duì)運(yùn)維日志、操作記錄做實(shí)體識(shí)別，完成故障實(shí)體的識(shí)別，并輸出相應(yīng)的語(yǔ)義嵌入向量；以及采用奇異值分解svd方法對(duì)圖像矩陣進(jìn)行降維處理，將降維后的圖像輸入標(biāo)準(zhǔn)cnn網(wǎng)絡(luò)，獲得圖像特征表示 hi。

12、進(jìn)一步地，所述基于提取的多模態(tài)特征進(jìn)行知識(shí)圖譜構(gòu)建，包括針對(duì)振動(dòng)信號(hào)特征，構(gòu)造特征–故障模板字典，采用模板匹配方法和頻譜分析法對(duì)提取到的信號(hào)特征進(jìn)行識(shí)別與分類；針對(duì)文本數(shù)據(jù)特征，對(duì)于運(yùn)維日志、操作信息中通過(guò)bert模型提取的語(yǔ)義嵌入向量及實(shí)體識(shí)別結(jié)果，進(jìn)一步引入自然語(yǔ)言生成nlg，對(duì)句子級(jí)別信息進(jìn)行摘要?dú)w納，提取與診斷相關(guān)的關(guān)鍵語(yǔ)義內(nèi)容；針對(duì)圖像數(shù)據(jù)特征，通過(guò)cnn提取的高維圖像特征需結(jié)合計(jì)算機(jī)視覺(jué)進(jìn)行語(yǔ)義化注釋。

13、進(jìn)一步地，所述通過(guò)跨模態(tài)對(duì)比學(xué)習(xí)對(duì)知識(shí)圖譜進(jìn)行多模態(tài)特征增強(qiáng)，包括模態(tài)間對(duì)比學(xué)習(xí)，對(duì)不同模態(tài)的樣本對(duì)進(jìn)行正負(fù)對(duì)比，完成跨模態(tài)特征對(duì)齊，其中，針對(duì)三種模態(tài)特征維度不同，將其投影映射到一個(gè)統(tǒng)一維度的對(duì)比學(xué)習(xí)空間中，在模態(tài)間對(duì)比學(xué)習(xí)中，在每個(gè)單獨(dú)模態(tài)內(nèi)部進(jìn)一步強(qiáng)化區(qū)分性，量化各個(gè)樣本在同一模態(tài)內(nèi)的屬性相似性，以此為依據(jù)生成正負(fù)對(duì)；針對(duì)文本數(shù)據(jù)特征進(jìn)行上下文mask填空；對(duì)于圖像特征加入高斯模糊，將圖像與二維高斯核卷積，得到模糊增強(qiáng)圖像。

14、進(jìn)一步地，所述通過(guò)跨模態(tài)對(duì)比學(xué)習(xí)對(duì)知識(shí)圖譜進(jìn)行多模態(tài)特征增強(qiáng)，還包括以樣本增強(qiáng)后的視圖為對(duì)比基礎(chǔ)，構(gòu)建模態(tài)內(nèi)的正負(fù)樣本對(duì)，優(yōu)化模態(tài)內(nèi)的特征分布結(jié)構(gòu)，定義正樣本對(duì)為同一樣本的兩個(gè)視圖之間的配對(duì)，負(fù)樣本對(duì)為該樣本視圖與其他樣本視圖之間的配對(duì)，為優(yōu)化模態(tài)內(nèi)特征的聚合與分離效果，模態(tài)內(nèi)對(duì)比學(xué)習(xí)使用改進(jìn)的infonce?損失函數(shù)，以最大化正樣本對(duì)的相似度并最小化負(fù)樣本對(duì)的相似度，對(duì)于模態(tài)m，其損失形式表示為：

15、

16、其中，代表第 j個(gè)樣本在增強(qiáng)操作下，通過(guò)投影網(wǎng)絡(luò)后的表征向量，代表第 j個(gè)樣本未經(jīng)過(guò)增強(qiáng)操作下，通過(guò)投影網(wǎng)絡(luò)后的表征向量，τ是溫度超參數(shù)，控制對(duì)比分布的平滑程度。

17、進(jìn)一步地，所述定義小樣本任務(wù)，對(duì)增強(qiáng)后的知識(shí)圖譜進(jìn)行特征初始化，包括構(gòu)建支持集s作為當(dāng)前任務(wù)中每類故障的少量樣本，用于模型學(xué)習(xí)當(dāng)前任務(wù)；查詢集q用于評(píng)估模型在該任務(wù)上的學(xué)習(xí)效果；利用知識(shí)圖譜對(duì)故障類別進(jìn)行結(jié)構(gòu)化篩選，其中，采用圖論中的圖結(jié)構(gòu)度量指標(biāo)、特征向量中心性和路徑長(zhǎng)度對(duì)圖譜中的故障節(jié)點(diǎn)進(jìn)行評(píng)估，針對(duì)每個(gè)故障類別，從知識(shí)圖譜中執(zhí)行三階鄰居采樣策略，即從當(dāng)前節(jié)點(diǎn)出發(fā)，向外遍歷圖譜至第三跳，選取與該類別緊密相關(guān)的實(shí)體節(jié)點(diǎn)，形成包含語(yǔ)義鄰居的子圖結(jié)構(gòu)。

18、進(jìn)一步地，所述對(duì)特征初始化后的知識(shí)圖譜進(jìn)行子圖提取和mamba增強(qiáng)，包括引入結(jié)構(gòu)指標(biāo)動(dòng)態(tài)控制采樣跳數(shù)s hop，針對(duì)每個(gè)樣本對(duì)應(yīng)的知識(shí)圖譜實(shí)體 ei，根據(jù)節(jié)點(diǎn)的拓?fù)渲匾詣?dòng)態(tài)調(diào)整鄰域采樣跳數(shù)s hop，提取其局部鄰域子圖 gi：

19、

20、其中，betweeness代表節(jié)點(diǎn)的中介中心性，degree代表節(jié)點(diǎn)的度，參數(shù)α，β用于權(quán)衡中介中心性和節(jié)點(diǎn)的度的影響，dist代表路徑跳數(shù)， v i代表節(jié)點(diǎn)集合， e i代表邊集合。

21、進(jìn)一步地，所述對(duì)特征初始化后的知識(shí)圖譜進(jìn)行子圖提取和mamba增強(qiáng)，還包括引入選擇性狀態(tài)空間模型mamba，構(gòu)建多層次、自適應(yīng)的特征交互架構(gòu)，實(shí)現(xiàn)輸入依賴的動(dòng)態(tài)參數(shù)調(diào)整，其中，mambablock的核心公式為：

22、

23、其中，代表時(shí)間步t的隱藏狀態(tài)向量，代表門控函數(shù)，代表矩陣指數(shù)函數(shù)，a是可學(xué)習(xí)的狀態(tài)轉(zhuǎn)移矩陣，b是輸入投影矩陣，i是單位矩陣，代表輸入的節(jié)點(diǎn)特征，代表節(jié)點(diǎn)v的高階鄰居節(jié)點(diǎn)特征。

24、進(jìn)一步地，所述利用圖神經(jīng)網(wǎng)絡(luò)基于知識(shí)圖譜進(jìn)行故障分類，包括在小樣本場(chǎng)景下，將同一類別的支持樣本向量壓縮為一個(gè)原型向量，并通過(guò)距離度量方式，比較查詢樣本與各類別原型之間的相似度，從而判斷其所屬類別，其中，將查詢測(cè)試樣本xq與各類別原型之間的距離，映射成一個(gè)概率分布，量化該樣本屬于每個(gè)故障類別的概率：

25、

26、其中，k為故障類別，hq代表查詢測(cè)試樣本的向量表示，d代表余弦相似度度量。

27、第二方面，一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷系統(tǒng)，包括：

28、數(shù)據(jù)獲取模塊，被配置為，獲取裝備運(yùn)行數(shù)據(jù)；

29、特征模塊，被配置為，分別對(duì)獲取的裝備運(yùn)行數(shù)據(jù)進(jìn)行多模態(tài)特征提??；

30、圖譜模塊，被配置為，基于提取的多模態(tài)特征進(jìn)行知識(shí)圖譜構(gòu)建；

31、增強(qiáng)模塊，被配置為，通過(guò)跨模態(tài)對(duì)比學(xué)習(xí)對(duì)知識(shí)圖譜進(jìn)行多模態(tài)特征增強(qiáng)；

32、小樣本模塊，被配置為，定義小樣本任務(wù)，對(duì)增強(qiáng)后的知識(shí)圖譜進(jìn)行特征初始化；

33、分類模塊，被配置為，對(duì)特征初始化后的知識(shí)圖譜進(jìn)行子圖提取和mamba增強(qiáng)；利用圖神經(jīng)網(wǎng)絡(luò)基于知識(shí)圖譜進(jìn)行故障分類。

34、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有多條指令，所述指令適于由終端設(shè)備的處理器加載并執(zhí)行所述的一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法。

35、第四方面，本發(fā)明提供一種終端設(shè)備，包括處理器和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，處理器用于實(shí)現(xiàn)各指令；計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)多條指令，所述指令適于由處理器加載并執(zhí)行所述的一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備故障診斷方法。

36、綜上所述，本發(fā)明具有如下的有益技術(shù)效果：

37、與現(xiàn)有技術(shù)相比，本發(fā)明一種基于多模態(tài)知識(shí)圖譜的復(fù)雜裝備預(yù)測(cè)性故障診斷方法及系統(tǒng)具有以下有益效果：通過(guò)構(gòu)建多模態(tài)知識(shí)圖譜并融合振動(dòng)信號(hào)、設(shè)備日志與圖像特征，實(shí)現(xiàn)故障信息的統(tǒng)一語(yǔ)義化表征，顯著提升了復(fù)雜裝備故障特征抽取的全面性與準(zhǔn)確性；利用知識(shí)圖譜引導(dǎo)的小樣本任務(wù)構(gòu)造與原型網(wǎng)絡(luò)度量學(xué)習(xí)，使系統(tǒng)在極少標(biāo)注樣本條件下仍能快速適應(yīng)新故障類別，有效克服了數(shù)據(jù)稀缺與類別不平衡問(wèn)題；同時(shí)，結(jié)合知識(shí)圖譜中蘊(yùn)含的因果關(guān)聯(lián)關(guān)系，系統(tǒng)能夠?qū)崿F(xiàn)對(duì)裝備健康狀態(tài)的動(dòng)態(tài)感知與趨勢(shì)預(yù)測(cè)，提前預(yù)警潛在故障風(fēng)險(xiǎn)。