本發(fā)明涉及醫(yī)學(xué)圖像處理，特別是一種基于cnn和vit混合架構(gòu)的醫(yī)學(xué)圖像分割方法及系統(tǒng)。

背景技術(shù)：

1、醫(yī)學(xué)圖像分割作為計算機視覺領(lǐng)域的關(guān)鍵技術(shù)，核心目標(biāo)是從醫(yī)學(xué)影像里精準(zhǔn)劃分出病灶或感興趣區(qū)域，為定量與定性分析提供支持。這項技術(shù)在醫(yī)療輔助診斷、治療方案規(guī)劃以及預(yù)后判斷等方面，發(fā)揮著極為重要的作用。雖然基于深度學(xué)習(xí)的方法已取得顯著成果，但醫(yī)學(xué)圖像自身的特性，如形態(tài)學(xué)上的復(fù)雜性（像浸潤性腫瘤呈現(xiàn)出的不規(guī)則分形結(jié)構(gòu)）、低信噪比干擾（例如超聲影像中病灶與背景灰度高度重疊），以及微小病灶存在多尺度特征失配等問題，依舊是當(dāng)前技術(shù)發(fā)展面臨的主要障礙。

2、隨著深度學(xué)習(xí)技術(shù)持續(xù)革新，卷積神經(jīng)網(wǎng)絡(luò)（cnn）憑借卓越的局部特征提取能力，成為醫(yī)學(xué)圖像分割領(lǐng)域的主流架構(gòu)。它能夠自動從圖像中挖掘深層特征，無需人工手動設(shè)計特征或進行額外干預(yù)。然而，cnn也存在明顯局限性。其固定的卷積核和有限的感受野，致使全局上下文建模能力欠佳，在分割過程中，小目標(biāo)病灶極易出現(xiàn)漏檢情況。具體而言，主要體現(xiàn)在兩方面：其一，卷積核參數(shù)在訓(xùn)練階段就已確定，面對不同輸入圖像時，缺乏自適應(yīng)調(diào)整的能力；其二，卷積核僅能對局部區(qū)域內(nèi)像素關(guān)系進行建模，無法感知全局信息，這嚴(yán)重制約了對病灶形狀以及邊界像素（比如皮膚病灶、肝臟腫瘤的邊界）的精準(zhǔn)識別與分割。所以，在醫(yī)學(xué)圖像分割任務(wù)里，挖掘圖像像素間的長程依賴關(guān)系，對提升分割精度至關(guān)重要。

3、為了克服cnn的這些缺陷，眾多基于視覺transformer（vit）的醫(yī)學(xué)圖像分割方法相繼涌現(xiàn)。vit能夠獲取較大感受野，有效捕捉不同圖像補丁間的長程依賴關(guān)系。但vit中的自注意力機制存在顯著弊端，通常需要大量數(shù)據(jù)進行訓(xùn)練，才能達到理想性能，而且其計算復(fù)雜度會隨著輸入序列長度呈二次方增長，這與臨床應(yīng)用所要求的實時性相悖。此外，相較于cnn，vit?對局部位置的敏感度較低，在處理小目標(biāo)區(qū)域以及形態(tài)復(fù)雜多變的醫(yī)學(xué)圖像時，分割質(zhì)量會受到嚴(yán)重影響。

4、盡管近期提出的基于cnn和vit混合架構(gòu)的方法，在基準(zhǔn)測試中獲得了領(lǐng)先成果，但在應(yīng)對模糊邊緣和低對比度區(qū)域時，依然困難重重，并且往往伴隨著高昂的計算成本，難以在高精度分割與模型復(fù)雜度之間找到理想的平衡點。因此，迫切需要一種創(chuàng)新性的網(wǎng)絡(luò)架構(gòu)及實現(xiàn)方法，來攻克上述難題，推動醫(yī)學(xué)圖像分割性能進一步提升。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提出一種基于cnn和vit混合架構(gòu)的醫(yī)學(xué)圖像分割方法及系統(tǒng)，結(jié)合cnn和vit的優(yōu)勢，有效緩解cnn感受野受限和vit計算成本昂貴的問題，在捕獲局部空間信息和全局上下文信息的同時，緊密結(jié)合通道信息建模能力，更高效地提取醫(yī)學(xué)圖像特征，增強不同語義層次間的關(guān)聯(lián)性，提升病灶區(qū)域的分割精度，在醫(yī)學(xué)圖像分割領(lǐng)域提供更精準(zhǔn)、可靠的解決方案。

2、為實現(xiàn)上述目的，本發(fā)明提出了一種基于cnn和vit混合架構(gòu)的醫(yī)學(xué)圖像分割方法，具體步驟如下：

3、步驟s1、獲取多個種類的醫(yī)學(xué)圖像數(shù)據(jù)集，對原始數(shù)據(jù)進行預(yù)處理，生成預(yù)處理圖像；將處理完的數(shù)據(jù)按比例劃分為訓(xùn)練集、驗證集與測試集；

4、步驟s2、構(gòu)建基于cnn和vit混合架構(gòu)的分割模型，所述分割模型以u-net網(wǎng)絡(luò)為基礎(chǔ)框架，包括編碼器、解碼器和邊緣優(yōu)化模塊；

5、步驟s3、基于劃分的訓(xùn)練數(shù)據(jù)集進行分割模型訓(xùn)練；

6、步驟s4、計算醫(yī)學(xué)圖像分割模型的損失函數(shù)，使用adam優(yōu)化器更新參數(shù)，并在訓(xùn)練過程中保存最優(yōu)模型權(quán)重；

7、步驟s5、使用訓(xùn)練好的分割模型對測試集數(shù)據(jù)進行測試。

8、優(yōu)選的，步驟s2中，所述編碼器包括四層編碼層，每層包括多尺度特征提取模塊和語義增強模塊；所述解碼器包括四層解碼層，每層同樣包括多尺度特征提取模塊和語義增強模塊；位于同一層的編碼層和解碼層之間采用跳躍連接，在瓶頸層處引入頻域信息；所述多尺度特征提取模塊對輸入圖像進行多尺度的特征語義信息提取，所述語義增強模塊增強不同語義信息之間的相關(guān)性；最后一個解碼層輸出經(jīng)上采樣得到粗分割結(jié)果，再通過邊緣不確定引導(dǎo)模塊進行細化，得出最終輸出預(yù)測結(jié)果；

9、編碼器階段，將輸入的特征圖通過多尺度特征提取模塊和語義增強模塊進行下采樣處理后輸入至下一層編碼層，經(jīng)特征圖的逐層下采樣，空間分辨率逐層減小，通道數(shù)逐層增大，編碼器階段的下采樣公式如下：

10、；

11、；

12、；

13、；

14、其中，為3×3卷積操作，為語義增強模塊，為多尺度特征提取模塊，為第一層編碼層的輸出，為第二層編碼層的輸出，為第三層編碼層的輸出，為第四層編碼層的輸出。

15、優(yōu)選的，步驟s2中，在瓶頸層處引入額外的頻域特征，采用小波變換wt將輸入分解為低頻和高頻分量，并在深度卷積提取特征后，通過逆小波變換iwt進行重構(gòu)，公式如下：

16、；

17、其中，為逆小波變換后的輸出結(jié)果，為經(jīng)過大小為k×k的卷積核后的權(quán)重向量。

18、優(yōu)選的，步驟s2中，解碼器階段，每一層解碼層的輸入為上一層解碼層的輸出特征圖經(jīng)上采樣處理結(jié)果與同一層編碼層的輸出特征圖采用元素點求和進行特征融合，經(jīng)特征圖的逐層上采樣，空間分辨率逐層恢復(fù)，通道數(shù)逐層減小，最終分割模型生成粗分割結(jié)果。

19、優(yōu)選的，步驟s2中，所述邊緣不確定引導(dǎo)模塊優(yōu)化和重塑粗分割結(jié)果中邊界模糊區(qū)域的不確定性像素，具體是通過結(jié)合淺層特征、不確定映射和局部特征匹配生成細化掩碼，對粗分割結(jié)果進行優(yōu)化，得出最終的預(yù)測分割結(jié)果。

20、優(yōu)選的，所述淺層特征是第一層編碼層的輸出；

21、所述不確定映射根據(jù)粗分割結(jié)果的概率圖計算得出，公式如下：

22、；

23、其中，為不確定映射，取值范圍為；、分別表示像素的最大概率值和最小概率值，為指數(shù)函數(shù)計算；

24、所述局部特征是不確定映射經(jīng)加權(quán)局部平均生成，公式如下：

25、；

26、；

27、其中，為局部特征，表示歸一化因子，是防止分母為零的小值，為像素點，為細化后的像素點，為該像素屬于目標(biāo)類別的概率，為淺層特征，為像素的鄰域區(qū)域；

28、通過結(jié)合淺層特征、不確定映射和局部特征匹配生成細化掩碼，計算公式如下：

29、；

30、；

31、其中，為在像素處的置信度分數(shù)，為置信模塊；

32、對粗分割結(jié)果進行優(yōu)化，得出最終的預(yù)測分割結(jié)果，公式如下：

33、；

34、其中，為預(yù)測分割結(jié)果。

35、優(yōu)選的，所述置信模塊包括3×3卷積、relu激活函數(shù)和殘差連接；其中，在主分支上應(yīng)用3×3卷積進行特征提取，在殘差分支上同樣應(yīng)用3×3卷積進行特征提取，最后將主分支輸出和殘差分支輸出逐元素相加；在進行卷積操作前應(yīng)用relu激活函數(shù)。

36、優(yōu)選的，步驟s4中，計算分割模型的損失函數(shù)，公式如下：

37、；

38、；

39、；

40、其中，是輸入圖像所有像素之和，、分別表示預(yù)測值和目標(biāo)值，為總損失，為二進制交叉熵損失，為骰子損失，、為分配給每個損失的權(quán)重。

41、本發(fā)明還提供了一種基于cnn和vit混合架構(gòu)的醫(yī)學(xué)圖像分割系統(tǒng)，包括：

42、數(shù)據(jù)獲取與預(yù)處理模塊，用于獲取多個種類的醫(yī)學(xué)圖像數(shù)據(jù)集，對原始數(shù)據(jù)進行預(yù)處理，生成預(yù)處理圖像，并將處理完的數(shù)據(jù)按比例劃分為訓(xùn)練集、驗證集與測試集；

43、模型構(gòu)建模塊，用于構(gòu)建基于cnn和vit混合架構(gòu)的分割模型，所述模型以u-net網(wǎng)絡(luò)為基礎(chǔ)框架，包括編碼器、解碼器和邊緣優(yōu)化模塊；

44、模型訓(xùn)練模塊，用于基于劃分的訓(xùn)練數(shù)據(jù)集進行模型訓(xùn)練，計算醫(yī)學(xué)圖像分割模型的損失函數(shù)，使用adam優(yōu)化器更新參數(shù)，并在訓(xùn)練過程中保存最優(yōu)模型權(quán)重；

45、模型測試與評估模塊，用于使用訓(xùn)練好的分割模型對測試集數(shù)據(jù)進行測試，并評估模型性能；

46、存儲模塊，用于存儲醫(yī)學(xué)圖像數(shù)據(jù)、模型參數(shù)和中間計算結(jié)果。

47、優(yōu)選的，所述模型構(gòu)建模塊構(gòu)建的編碼器包括四層編碼層，每層包括多尺度特征提取模塊和語義增強模塊；解碼器包括四層解碼層，每層同樣包括多尺度特征提取模塊和語義增強模塊；位于同一層的編碼層和解碼層之間采用跳躍連接，在瓶頸層處引入頻域信息。

48、因此，本發(fā)明提出了一種基于cnn和vit混合架構(gòu)的醫(yī)學(xué)圖像分割方法及系統(tǒng)，其有益效果如下：

49、（1）分割精度顯著提升：結(jié)合cnn與vit的混合架構(gòu)，能同時捕獲局部空間信息和全局上下文信息，在微小病灶、低對比度區(qū)域及邊界模糊區(qū)域的分割精度上有顯著提升。

50、（2）長程依賴關(guān)系建模能力增強：引入vit的自注意力機制，有效彌補傳統(tǒng)cnn在全局信息建模上的不足，提高對復(fù)雜形狀和邊界的識別能力。

51、（3）邊緣細化效果好：設(shè)計的邊緣增強感知模塊，能針對分割結(jié)果中的邊界模糊區(qū)域優(yōu)化，在處理邊界不清晰或小目標(biāo)時，顯著提升分割質(zhì)量。

52、（4）計算效率優(yōu)化：結(jié)合cnn的局部特征提取和vit的全局建模能力，相比純vit方法，計算效率更高，避免高計算成本，更適合臨床實時性要求較高的場景。

53、（5）適用性廣泛：混合架構(gòu)通用性強，可應(yīng)用于多種醫(yī)學(xué)圖像分割任務(wù)，如肝臟腫瘤分割、細胞分割和皮膚病灶分割等，能在不同種類醫(yī)學(xué)圖像中實現(xiàn)高精度分割。

54、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。