本發(fā)明屬于工業(yè)控制網(wǎng)絡(luò)安全，具體涉及一種基于知識蒸餾的工控網(wǎng)絡(luò)時空特征輕量化異常檢測方法。

背景技術(shù)：

1、工控網(wǎng)絡(luò)作為工業(yè)生產(chǎn)的神經(jīng)系統(tǒng)，其安全性直接關(guān)系到國民經(jīng)濟和社會生產(chǎn)的穩(wěn)定運行。傳統(tǒng)的工控網(wǎng)絡(luò)安全防護(hù)主要依賴防火墻、入侵檢測等邊界防護(hù)手段，但面對日益復(fù)雜的網(wǎng)絡(luò)攻擊形式，這些方法已難以滿足實際需求。

2、目前，工控網(wǎng)絡(luò)流量異常檢測主要存在以下幾個問題：首先，現(xiàn)有檢測方法往往將時間特征和空間特征割裂開來單獨處理，忽視了兩者之間的內(nèi)在關(guān)聯(lián)性，導(dǎo)致檢測精度受限。其中，時間特征主要反映設(shè)備通信的周期性、時序性等動態(tài)行為特征，而空間特征則體現(xiàn)了設(shè)備間的拓?fù)潢P(guān)系、通信模式等靜態(tài)結(jié)構(gòu)特征。其次，主流的深度學(xué)習(xí)模型(如cnn、rnn等)在工控網(wǎng)絡(luò)異常檢測中普遍存在計算復(fù)雜度高、資源消耗大的問題，難以滿足工控環(huán)境對實時性的嚴(yán)格要求。

3、近年來，研究人員提出了多種改進(jìn)方案。有學(xué)者使用lstm網(wǎng)絡(luò)提取時序特征，但其難以處理長期依賴關(guān)系；也有研究采用圖神經(jīng)網(wǎng)絡(luò)建模設(shè)備間的空間關(guān)系，但計算開銷較大。在模型輕量化方面，知識蒸餾技術(shù)展現(xiàn)出良好的應(yīng)用前景，然而由于工控網(wǎng)絡(luò)同時包含空間特征和時序特征，其特征表示較為復(fù)雜，傳統(tǒng)知識蒸餾難以同時保持這兩種特征的結(jié)構(gòu)信息，此外由于工控系統(tǒng)具有特殊的專業(yè)知識和特殊條件，普通知識蒸餾方法無法有效傳遞這些領(lǐng)域特定知識，因此目前在工控網(wǎng)絡(luò)異常檢測領(lǐng)域知識蒸餾相關(guān)研究還較為缺乏。如何有效融合時空特征并保持檢測模型的輕量化特性，仍是該領(lǐng)域亟待解決的關(guān)鍵技術(shù)問題。

4、因此，一種計算效率高且具備良好泛化能力的工控網(wǎng)絡(luò)異常檢測方法具有重要的理論價值和實踐意義。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明擬解決的技術(shù)問題是，提供一種基于知識蒸餾的工控網(wǎng)絡(luò)時空特征輕量化異常檢測方法，該檢測方法分別對空間和時間特征進(jìn)行提取并融合，利用多層次知識蒸餾技術(shù)，在保證檢測精度的同時顯著降低模型計算復(fù)雜度，使其更適合工控網(wǎng)絡(luò)環(huán)境的實際部署需求。

2、本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案如下：

3、一種基于知識蒸餾的工控網(wǎng)絡(luò)時空特征輕量化異常檢測方法，所述方法包括以下內(nèi)容：

4、獲取工控網(wǎng)絡(luò)流量數(shù)據(jù)，并進(jìn)行預(yù)處理獲得預(yù)處理后的網(wǎng)絡(luò)流量特征，包括預(yù)處理后的頻域特征ffreq、預(yù)處理后的統(tǒng)計特征fstat和預(yù)處理后的時序特征ftemp；

5、構(gòu)建時空特征輕量化異常檢測模型，包括空間特征提取模塊、時序特征提取模塊、融合模塊、知識蒸餾模塊、異常檢測模塊；

6、所述時序特征提取模塊用于對預(yù)處理后的時序特征ftemp和統(tǒng)計特征fstat進(jìn)行處理，獲得時序特征表示ft；

7、所述空間特征提取模塊用于對預(yù)處理后的頻域特征ffreq和統(tǒng)計特征fstat進(jìn)行處理，獲得空間特征表示fs；

8、所述融合模塊，用于對所述時序特征表示ft和空間特征表示fs進(jìn)行融合獲得歸一化后的融合特征fnorm；

9、所述知識蒸餾模塊包括教師模型和學(xué)生模型，教師模型以歸一化后的融合特征fnorm作為輸入，訓(xùn)練學(xué)生模型，訓(xùn)練時設(shè)置空間知識蒸餾、時序知識蒸餾和任務(wù)特定知識蒸餾三個層次的損失約束，綜合損失函數(shù)ltotal為；

10、ltotal＝αs(lfeature+lrelation+ltopo)+αt(lhidden+ltemporal+lperiodic)+αa(lanomaly+lboundary)

11、其中，αs、αt、αa為各層次損失的權(quán)重系數(shù)，三者用αm統(tǒng)一表示，m∈{s,t,a}，通過驗證集根據(jù)αm＝softmax(vm·performancem)動態(tài)調(diào)整，performancem表示各層次知識遷移的效果度量，vm為權(quán)重向量參數(shù)，用于調(diào)節(jié)不同層次知識遷移的重要性；lfeature為特征級別的蒸餾損失；lrelation為關(guān)系一致性損失；ltopo為拓?fù)浔３謸p失；lhidden為隱層狀態(tài)蒸餾損失；ltemporal為時序關(guān)系損失；lperiodic為周期性保持損失；lanomaly為異常判別知識蒸餾損失；lboundary為邊界感知損失；

12、以訓(xùn)練好的學(xué)生模型作為異常檢測模塊的輕量化學(xué)生模型，所述輕量化學(xué)生模型用于對實時工控網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行異常檢測。

13、進(jìn)一步地，空間知識蒸餾主要關(guān)注設(shè)備間交互關(guān)系和拓?fù)浣Y(jié)構(gòu)信息的遷移，包括特征級別的蒸餾損失、關(guān)系一致性損失、拓?fù)浔３謸p失，所述特征級別的蒸餾損失為：

14、

15、其中，ts和ss分別表示教師模型和學(xué)生模型的空間特征表示；

16、所述關(guān)系一致性損失為：

17、lrelation＝∥gt(ts)-gs(ss)∥1

18、其中，gt(·)和gs(·)表示教師模型和學(xué)生模型的特征關(guān)系圖的構(gòu)建函數(shù)，通過計算特征向量間的相似度矩陣得到；

19、所述拓?fù)浔３謸p失為：

20、ltopo＝kl(pt∥ps)+λt·rtopo(ss)

21、其中，pt和ps分別是教師模型和學(xué)生模型的拓?fù)漕A(yù)測分布，rtopo為拓?fù)湔齽t化項，kl為kullback-leibler散度，λt是權(quán)重系數(shù)；

22、時序知識蒸餾著重于傳遞時間序列模式和動態(tài)行為特征，包括隱層狀態(tài)蒸餾損失、時序關(guān)系損失、周期性保持損失，

23、所述隱層狀態(tài)蒸餾損失為：

24、lhidden＝mse(ht,hs)+λh·kl(p(ht)∥p(hs))

25、其中，ht和hs分別是教師模型和學(xué)生模型的隱層狀態(tài)，p(·)表示狀態(tài)分布，mse為均方誤差，λh為權(quán)重系數(shù)；

26、所述時序關(guān)系損失為：

27、ltemporal＝∑|rt(i,j)-rs(i,j)|

28、其中，rt(i,j)和rs(i,j)表示教師模型和學(xué)生模型的時間步i和j之間的關(guān)系強度；

29、所述周期性保持損失為：

30、

31、其中，tseq和sseq代表教師和學(xué)生模型的時序特征，fft(·)表示快速傅里葉變換，用于捕捉信號的周期特征；

32、任務(wù)特定知識蒸餾包括異常判別知識蒸餾損失和邊界感知損失，

33、所述異常判別知識蒸餾損失為：

34、lanomaly＝ce(yt,ys)+λa·kl(qt∥qs)

35、其中，yt、ys為異常判別結(jié)果，qt、qs為異常概率分布，ce為交叉熵，λa為權(quán)重系數(shù)；

36、所述邊界感知損失為：

37、

38、其中，wi為樣本權(quán)重，對于邊界樣本賦予更高的權(quán)重，ft(.)和fs(.)分別表示教師模型和學(xué)生模型的特定任務(wù)的特征提取函數(shù)，ft(xi)和fs(xi)為教師模型和學(xué)生模型對邊界樣本xi提取的特定任務(wù)的特征表示。

39、進(jìn)一步地，所述預(yù)處理包括數(shù)據(jù)清洗、標(biāo)準(zhǔn)化和初步特征提取，采用改進(jìn)的z-score進(jìn)行初步清洗，具體過程是：

40、z(x)＝(x-μrolling)/σrolling

41、其中，x為原始數(shù)據(jù)，μrolling和σrolling為滑動窗口內(nèi)的均值和標(biāo)準(zhǔn)差，z(x)為清洗后的數(shù)據(jù)值，窗口大小根據(jù)數(shù)據(jù)的時序特性動態(tài)調(diào)整：

42、w＝min(wmax,max(wmin,tcycle))

43、其中，w為最終窗口的大小，wmax為允許的最大窗口大小，wmin為允許的最小窗口大小，tcycle為數(shù)據(jù)的周期估計值，通過自相關(guān)分析獲得；

44、清洗后，對不同數(shù)據(jù)類型進(jìn)行標(biāo)準(zhǔn)化：

45、對于連續(xù)型數(shù)據(jù)，使用改進(jìn)的minmax標(biāo)準(zhǔn)化：

46、x′＝(x-xmin)/(xmax-xmin+ε)

47、其中，ε為平滑因子，用于處理極端值的影響，x為原始數(shù)據(jù)，xmin、xmax為數(shù)據(jù)集中的最小、最大值，x'為標(biāo)準(zhǔn)化后的數(shù)據(jù)值；

48、對于周期型數(shù)據(jù)，采用相位標(biāo)準(zhǔn)化；對于離散型數(shù)據(jù)，使用獨熱編碼轉(zhuǎn)換；標(biāo)準(zhǔn)化參數(shù)通過在線方式更新；

49、標(biāo)準(zhǔn)化后，進(jìn)行初步的特征提?。航y(tǒng)計特征包括數(shù)據(jù)值均值、數(shù)據(jù)值方差、偏度、封度；時序特征包括數(shù)據(jù)的差分、滑動窗口的均值和標(biāo)準(zhǔn)差；頻域特征取前top-k個頻率分量；

50、通過特征重要性評分分別進(jìn)行篩選，獲得預(yù)處理后的統(tǒng)計特征、時序特征、頻域特征。

51、進(jìn)一步地，空間特征提取模塊采用transformer架構(gòu)、cnn架構(gòu)或者混合架構(gòu)。

52、進(jìn)一步地，所述時序特征提取模塊，采用bi-lstm架構(gòu)、lstm架構(gòu)、gru架構(gòu)、rnn架構(gòu)。

53、進(jìn)一步地，實時工控網(wǎng)絡(luò)流量數(shù)據(jù)預(yù)處理后，再經(jīng)過輕量化學(xué)生模型處理后獲得空間特征、時序特征和特定任務(wù)特征，所述異常檢測模塊中采用多維度評分機制，綜合考慮空間特征、時序特征和特定任務(wù)特征的異常程度，總異常分?jǐn)?shù)score(x)的計算公式為：

54、score(x)＝β1ss(x)+β2st(x)+β3sa(x)

55、其中，ss、st和sa分別表示空間特征表示、時序特征和特定任務(wù)特征的異常分?jǐn)?shù)；β1、β2、β3為自適應(yīng)權(quán)重系數(shù)，通過動態(tài)更新，m、i∈{s,t,a},vs代表空間特征的重要性得分，vt代表時序特征的重要性得分，va代表特定任務(wù)特征的重要性得分，根據(jù)歷史檢測效果動態(tài)調(diào)整；

56、空間特征表示、時序特征和特定任務(wù)特征的異常分?jǐn)?shù)的計算均采用基于馬氏距離的評分法，

57、

58、其中，m∈{s,t,a}，μm和σm分別為對應(yīng)特征的均值向量和協(xié)方差矩陣，x表示輸入；

59、協(xié)方差矩陣σm通過增量更新方式維護(hù)：

60、

61、其中，η為學(xué)習(xí)率，為更新后的協(xié)方差矩陣；

62、檢測決策規(guī)則為：

63、如果

64、score(x)>θdynamic

65、返回異常

66、否則:

67、返回正常

68、動態(tài)閾值θdynamic通過以下方式更新：

69、θdynamic＝μscore+r·σscore

70、其中，μscore和σscore分別為歷史分?jǐn)?shù)的均值和標(biāo)準(zhǔn)差，r為可調(diào)節(jié)的敏感度參數(shù)。

71、進(jìn)一步地，采用滑動窗口機制平滑決策結(jié)果，僅當(dāng)連續(xù)q個樣本都超過動態(tài)閾值時才觸發(fā)異常告警，同時，引入指數(shù)衰減因子來更新歷史統(tǒng)計量：

72、

73、其中α為平滑系數(shù)，用于控制歷史信息的影響程度，和表示更新后的均值和標(biāo)準(zhǔn)差，scorecurrent為當(dāng)前樣本的總異常分?jǐn)?shù)；

74、以更新后的均值和標(biāo)準(zhǔn)差更新動態(tài)閾值。

75、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

76、本發(fā)明創(chuàng)新性地提出分層次的知識蒸餾框架(空間知識蒸餾、時序知識蒸餾和任務(wù)特定知識蒸餾)并采用了動態(tài)權(quán)重調(diào)節(jié)機制(使用softmax函數(shù)動態(tài)調(diào)整各層次知識蒸餾的權(quán)重)確?？臻g、時間和任務(wù)三個維度的知識都能有效遷移，提取綜合的蒸餾損失函數(shù)，平衡三個層次知識的重要性，采用自適應(yīng)權(quán)重機制，動態(tài)調(diào)整不同層次蒸餾的比重，實現(xiàn)了知識蒸餾在工控網(wǎng)絡(luò)異常檢測領(lǐng)域的有效應(yīng)用。

77、本發(fā)明利用空間特征提取模塊捕捉設(shè)備間的交互模式，采用時間特征提取模塊分析時序依賴關(guān)系，通過特征融合模塊實現(xiàn)時空特征的自適應(yīng)融合，再利用知識蒸餾技術(shù)將復(fù)雜模型的知識遷移到輕量級模型中，最后，基于多維度評分機制實現(xiàn)異常檢測，并通過動態(tài)閾值更新確保檢測的準(zhǔn)確性，充分考慮了工控網(wǎng)絡(luò)的特點，實現(xiàn)了高效、可靠的異常檢測。