本發(fā)明屬于圖像復原,具體涉及一種基于多尺度門控模塊的非均勻運動圖像去模糊方法。
背景技術:
1、在圖像采集過程中,由于相機抖動和物體運動等因素,容易產生運動模糊,導致圖像質量下降?,F(xiàn)有的圖像去模糊技術多依賴基于統(tǒng)計的先驗知識和手工設計的正則化項,通過估計模糊核并迭代重建清晰圖像。然而,這些方法在處理真實場景圖像時效果有限。隨著深度學習的發(fā)展,基于卷積神經網絡(cnn)的去模糊方法取得了顯著進展。這些方法通常利用u-net架構捕獲局部特征并估計殘差信息,但受限于卷積操作的局部特性,難以全面捕獲圖像的全局特征。為解決這一問題,研究者開發(fā)了基于transformer的去模糊方法,通過自注意力機制捕獲全局關系。然而,自注意力機制的高計算復雜度限制了其在實際應用中的效率和性能平衡。此外,近年來基于多層感知機(mlp)和門控機制的去模糊方法逐漸興起,重點提升網絡模塊的性能,同時降低了模型復雜性,但仍面臨如何高效建模全局與局部特征的挑戰(zhàn)。
技術實現(xiàn)思路
1、為解決上述技術問題,本發(fā)明提供一種基于多尺度門控模塊的非均勻運動圖像去模糊方法,包括:
2、構建多尺度門控網絡msgn,通過構建的多尺度門控網絡msgn進行圖像去模糊;
3、所述多尺度門控網絡msgn,包括:兩個3×3卷積層,三層若干基礎塊組成的編碼器eb1、eb2、eb3,三層若干基礎塊組成的解碼器db1、db2、db3,結構化融合策略模塊sfs以及一個附加基礎塊;
4、所述基礎塊依次集成多尺度門控模塊mgb、結構化前饋網絡sffn;
5、所述解碼器db1、db2、db3的結構與編碼器eb1、eb2、eb3鏡像對稱;
6、通過構建的多尺度門控網絡msgn進行圖像去模糊,包括:
7、對于輸入圖像多尺度門控網絡msgn通過一個3×3卷積層提取淺層特征其中h,w,和c分別表示高度、寬度和通道維度;
8、將提取的淺層特征傳遞到三層編碼器eb1、eb2、eb3中,編碼器逐步降低空間分辨率并增加通道深度;
9、最后一層解碼器db3的輸出特征通過三層解碼器db3、db2、db1逐步上采樣低分辨率特征,同時在每一層減少通道數量;其中,在解碼器逐步上采樣過程中,解碼器db3和解碼器db2輸出特征分別通過結構化融合策略模塊sfs將其鏡像對稱的解碼器的輸出特征進行融合后再輸入下一層解碼器;下采樣和上采樣均使用雙線性插值;
10、基于解碼器db1的輸出特征,附加的基礎塊進一步細化高分辨率特征;
11、基于附加的基礎塊的輸出特征,通過一個3×3卷積層調整通道數量并生成殘差圖像通過將殘差圖像r加回輸入圖像,得到恢復的圖像ir=i+r。
12、本發(fā)明的有益效果:
13、1、本發(fā)明所設計的多尺度門控模塊mgb利用塊平均操作提取多尺度信息,并通過門控機制將像素級別和結構級別的信息有效融合,這種方法使得圖像恢復過程中不僅能夠保留局部細節(jié),還能夠將全局結構信息結合,提供更加全面的恢復效果;這種多尺度融合的策略能有效處理不同尺度的模糊特征,提升去模糊結果的質量。
14、2、本發(fā)明所設計的結構化前饋網絡sffn能夠在圖像復原過程中同時考慮局部信息和全局結構信息,使得去模糊效果更加精確,從而更好地重建圖像的細節(jié)和全局結構,相比于傳統(tǒng)的僅依賴像素信息的前饋網絡,sffn通過塊平均操作引入圖像的結構信息,使模型在處理復雜模糊圖像時能更好地理解圖像的結構關系,從而在去模糊過程中有效提升細節(jié)的還原度和全局的一致性。
15、3、本發(fā)明所設計的結構化融合策略模塊sfs在結合編碼器和解碼器的特征時,同時考慮像素級和結構級信息,優(yōu)化了特征融合過程。這一策略可以增強不同特征提取階段的信息融合程度,從而提高去模糊質量。
1.一種基于多尺度門控模塊的非均勻運動圖像去模糊方法,其特征在于,包括:
2.根據權利要求1所述的一種基于多尺度門控模塊的非均勻運動圖像去模糊方法,其特征在于,所述多尺度門控模塊mgb,包括:
3.根據權利要求1所述的一種基于多尺度門控模塊的非均勻運動圖像去模糊方法,其特征在于,所述結構化前饋網絡sffn,包括:
4.根據權利要求1所述的一種基于多尺度門控模塊的非均勻運動圖像去模糊方法,其特征在于,結構化融合策略模塊sfs的數據融合過程,包括: