本發(fā)明涉及智能巡檢，更具體地說，它涉及一種基于ai多源融合的智能巡檢方法及系統(tǒng)。

背景技術(shù)：

1、在飛機(jī)等高精密設(shè)備的巡檢過程中，檢查人員需要同時(shí)關(guān)注設(shè)備部件狀態(tài)和參考技術(shù)文檔，通過“敲、摸、撥”等觸覺操作檢測(cè)部件狀態(tài)。這些觸覺檢查操作高度依賴檢查人員的個(gè)人經(jīng)驗(yàn)，對(duì)檢測(cè)某些隱蔽缺陷（如內(nèi)部分層、結(jié)構(gòu)松動(dòng)）至關(guān)重要。

2、然而，現(xiàn)有技術(shù)存在以下問題：觸覺檢查技能具有高度個(gè)人化和隱性特征，難以通過傳統(tǒng)文檔或口頭方式有效傳遞；缺乏將專家的觸覺經(jīng)驗(yàn)數(shù)字化和參數(shù)化的技術(shù)手段；現(xiàn)有ar輔助系統(tǒng)忽略巡檢中觸覺檢查的重要性，缺乏對(duì)檢查人員觸覺操作的正確性評(píng)估；不同材質(zhì)和部件結(jié)構(gòu)需要不同的觸覺檢查技巧，增加了技能表達(dá)和學(xué)習(xí)的復(fù)雜性；檢查人員需要頻繁查閱工卡和技術(shù)手冊(cè)，導(dǎo)致工作流中斷和注意力分散。

3、上述問題導(dǎo)致巡檢質(zhì)量難以保證，檢測(cè)結(jié)果一致性差，專家退休后經(jīng)驗(yàn)流失嚴(yán)重，制約了設(shè)備檢測(cè)技術(shù)的進(jìn)步。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于ai多源融合的智能巡檢方法及系統(tǒng)，解決相關(guān)技術(shù)中的觸覺檢查技能難以傳遞、缺乏客觀評(píng)估和經(jīng)驗(yàn)流失的技術(shù)問題。

2、本發(fā)明提供了一種基于ai多源融合的智能巡檢方法，包括以下步驟：

3、采集專家執(zhí)行觸覺檢查操作時(shí)的多模態(tài)感知數(shù)據(jù)，多模態(tài)感知數(shù)據(jù)包括觸覺參數(shù)、聲學(xué)信號(hào)和動(dòng)作軌跡；

4、分析多模態(tài)感知數(shù)據(jù)，構(gòu)建生物力學(xué)模型和觸覺知識(shí)映射模型；

5、基于生物力學(xué)模型和觸覺知識(shí)映射模型，建立標(biāo)準(zhǔn)觸覺操作模型和聲學(xué)特征映射關(guān)系數(shù)據(jù)庫；

6、將標(biāo)準(zhǔn)觸覺操作模型轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)界面中的動(dòng)畫指導(dǎo)和觸覺反饋；

7、采集檢查人員的實(shí)際操作數(shù)據(jù)并與標(biāo)準(zhǔn)觸覺操作模型進(jìn)行比對(duì)，生成操作改進(jìn)建議；

8、基于操作改進(jìn)建議和檢查人員的實(shí)際操作數(shù)據(jù)，融合觸覺檢查結(jié)果、聲學(xué)檢測(cè)結(jié)果與視覺檢查結(jié)果，生成綜合評(píng)估報(bào)告。

9、在一個(gè)優(yōu)選實(shí)施方式中，所述采集專家執(zhí)行觸覺檢查操作時(shí)的多模態(tài)感知數(shù)據(jù)的步驟包括：

10、通過配備壓力傳感器、加速度傳感器和位置傳感器的智能手套，采集專家執(zhí)行觸覺檢查時(shí)的接觸力曲線、動(dòng)作軌跡和振動(dòng)響應(yīng)數(shù)據(jù)；

11、通過定向麥克風(fēng)陣列，采集敲擊聲波和結(jié)構(gòu)振動(dòng)信號(hào)；

12、通過運(yùn)動(dòng)捕捉系統(tǒng)，記錄整體操作姿態(tài)和動(dòng)作軌跡數(shù)據(jù)。

13、在一個(gè)優(yōu)選實(shí)施方式中，所述分析多模態(tài)感知數(shù)據(jù)，構(gòu)建生物力學(xué)模型和觸覺知識(shí)映射模型的步驟包括：

14、應(yīng)用生物力學(xué)分析算法分析專家觸覺動(dòng)作的生物力學(xué)特性，構(gòu)建包含關(guān)節(jié)角度變化、肌肉力矩分布和能量效率的生物力學(xué)數(shù)學(xué)模型；

15、應(yīng)用特征提取算法分析專家對(duì)不同狀態(tài)部件的觸覺反饋差異，建立狀態(tài)反饋映射模型；

16、對(duì)多名專家的操作數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，提取最佳實(shí)踐的運(yùn)動(dòng)學(xué)特征，形成標(biāo)準(zhǔn)化的觸覺檢查參數(shù)庫。

17、在一個(gè)優(yōu)選實(shí)施方式中，所述基于生物力學(xué)模型和觸覺知識(shí)映射模型，建立標(biāo)準(zhǔn)觸覺操作模型和聲學(xué)特征映射關(guān)系數(shù)據(jù)庫的步驟包括：

18、應(yīng)用多變量時(shí)間序列分析算法分析專家的觸覺檢查動(dòng)作，提取關(guān)鍵參數(shù)，建立標(biāo)準(zhǔn)操作模型；

19、利用聲學(xué)信號(hào)處理算法，分析敲擊聲波數(shù)據(jù)，提取頻譜特征、時(shí)域特征和時(shí)頻特征，構(gòu)建缺陷類型聲學(xué)特征的映射關(guān)系數(shù)據(jù)庫；

20、應(yīng)用分類算法構(gòu)建聲學(xué)特征判別模型，實(shí)現(xiàn)敲擊檢測(cè)的客觀判斷。

21、在一個(gè)優(yōu)選實(shí)施方式中，所述將標(biāo)準(zhǔn)觸覺操作模型轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)界面中的動(dòng)畫指導(dǎo)和觸覺反饋的步驟包括：

22、應(yīng)用三維可視化算法，將技能特征轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)界面中的動(dòng)畫指導(dǎo)和定量參數(shù)；

23、構(gòu)建基于部件識(shí)別的上下文感知系統(tǒng)，根據(jù)識(shí)別的部件和當(dāng)前任務(wù)要求，從標(biāo)準(zhǔn)操作模型庫中檢索相應(yīng)的操作指南；

24、構(gòu)建觸覺反饋系統(tǒng)，通過智能手套中的微型振動(dòng)元件提供觸覺反饋，引導(dǎo)正確操作。

25、在一個(gè)優(yōu)選實(shí)施方式中，所述采集檢查人員的實(shí)際操作數(shù)據(jù)并與標(biāo)準(zhǔn)觸覺操作模型進(jìn)行比對(duì)，生成操作改進(jìn)建議的步驟包括：

26、采用實(shí)時(shí)傳感數(shù)據(jù)分析算法，利用智能手套集成的慣性傳感器和壓力傳感器，采集檢查人員的實(shí)際操作數(shù)據(jù)；

27、基于相似度計(jì)算算法，將采集的實(shí)際操作數(shù)據(jù)與標(biāo)準(zhǔn)操作模型進(jìn)行比對(duì)，計(jì)算操作相似度；

28、應(yīng)用個(gè)性化學(xué)習(xí)模型，基于檢查人員的生物力學(xué)特性和技能掌握情況，生成定制化的技能調(diào)整建議。

29、在一個(gè)優(yōu)選實(shí)施方式中，所述融合觸覺檢查結(jié)果、聲學(xué)檢測(cè)結(jié)果與視覺檢查結(jié)果，生成綜合評(píng)估報(bào)告的步驟包括：

30、應(yīng)用多模態(tài)數(shù)據(jù)融合算法，將觸覺操作結(jié)果與視覺檢查結(jié)果和聲學(xué)檢測(cè)結(jié)果進(jìn)行融合；

31、構(gòu)建觸覺知識(shí)庫系統(tǒng)，收集和分析不同檢查人員的觸覺操作數(shù)據(jù)；

32、應(yīng)用增量學(xué)習(xí)算法，基于持續(xù)積累的操作數(shù)據(jù)和反饋，不斷更新和優(yōu)化標(biāo)準(zhǔn)操作模型和決策規(guī)則。

33、在一個(gè)優(yōu)選實(shí)施方式中，所述多模態(tài)數(shù)據(jù)融合算法包括特征級(jí)融合和決策級(jí)融合，其中特征級(jí)融合將不同模態(tài)的特征向量歸一化處理后連接形成聯(lián)合特征表示，決策級(jí)融合基于dempster-shafer證據(jù)理論計(jì)算各模態(tài)檢測(cè)結(jié)果的可信度和不確定度。

34、在一個(gè)優(yōu)選實(shí)施方式中，所述觸覺知識(shí)庫系統(tǒng)包括：

35、數(shù)據(jù)采集模塊，用于持續(xù)收集和存儲(chǔ)不同檢查人員的觸覺操作數(shù)據(jù)；

36、分析優(yōu)化模塊，用于應(yīng)用統(tǒng)計(jì)分析算法分析操作數(shù)據(jù)，提煉最佳實(shí)踐；

37、知識(shí)表示模塊，用于將提煉的最佳實(shí)踐轉(zhuǎn)換為結(jié)構(gòu)化的知識(shí)表示形式；

38、知識(shí)應(yīng)用模塊，用于將知識(shí)庫中的經(jīng)驗(yàn)用于培訓(xùn)新人和輔助決策。

39、在一個(gè)優(yōu)選實(shí)施方式中，一種基于ai多源融合的智能巡檢系統(tǒng)，用于執(zhí)行一種基于ai多源融合的智能巡檢方法，包括：

40、多模態(tài)感知數(shù)據(jù)采集模塊，用于采集專家執(zhí)行觸覺檢查操作時(shí)的多模態(tài)感知數(shù)據(jù)，多模態(tài)感知數(shù)據(jù)包括觸覺參數(shù)、聲學(xué)信號(hào)和動(dòng)作軌跡；

41、數(shù)據(jù)分析處理模塊，用于分析多模態(tài)感知數(shù)據(jù)，構(gòu)建生物力學(xué)模型和觸覺知識(shí)映射模型；

42、模型建立模塊，基于生物力學(xué)模型和觸覺知識(shí)映射模型，建立標(biāo)準(zhǔn)觸覺操作模型和聲學(xué)特征映射關(guān)系數(shù)據(jù)庫；

43、交互反饋模塊，用于將標(biāo)準(zhǔn)觸覺操作模型轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)界面中的動(dòng)畫指導(dǎo)和觸覺反饋；

44、操作評(píng)估模塊，用于采集檢查人員的實(shí)際操作數(shù)據(jù)并與標(biāo)準(zhǔn)觸覺操作模型進(jìn)行比對(duì)，生成操作改進(jìn)建議；

45、結(jié)果融合模塊，用于基于操作改進(jìn)建議和檢查人員的實(shí)際操作數(shù)據(jù)，融合觸覺檢查結(jié)果、聲學(xué)檢測(cè)結(jié)果與視覺檢查結(jié)果，生成綜合評(píng)估報(bào)告。

46、本發(fā)明的有益效果在于：

47、將以往隱性、難以傳遞的觸覺檢查技能轉(zhuǎn)化為顯性、可數(shù)字化的參數(shù)模型，實(shí)現(xiàn)了觸覺經(jīng)驗(yàn)的客觀量化和標(biāo)準(zhǔn)化，使檢查一致性提高，檢測(cè)正確率提升；

48、通過生物力學(xué)模型與觸覺知識(shí)提取，建立了部件狀態(tài)與觸覺反饋的精確映射關(guān)系，使敲擊檢測(cè)等主觀操作轉(zhuǎn)變?yōu)榛跀?shù)據(jù)的客觀評(píng)估；

49、借助標(biāo)準(zhǔn)觸覺操作建模和ar技術(shù)輔助實(shí)現(xiàn)了“手到”指導(dǎo)，使新手技能掌握時(shí)間縮短，大幅降低了技能學(xué)習(xí)門檻；

50、基于聲學(xué)信號(hào)處理技術(shù)的客觀判斷系統(tǒng)，降低了環(huán)境噪聲對(duì)敲擊檢測(cè)的影響，在標(biāo)準(zhǔn)機(jī)場(chǎng)噪聲環(huán)境下信噪比提升，顯著提高了檢測(cè)可靠性；

51、通過建立觸覺知識(shí)庫系統(tǒng)，實(shí)現(xiàn)了組織級(jí)觸覺技能知識(shí)的沉淀和傳承，解決了專家退休后經(jīng)驗(yàn)流失問題，為企業(yè)提供了可持續(xù)的技能傳承解決方案。