本發(fā)明涉及舌象分割，特別涉及一種舌象分割方法、裝置、介質和設備。
背景技術：
1、舌診是中醫(yī)的核心方法，實踐證明舌的狀態(tài)可以直接反映一個人的健康狀況。為了通過計算機視覺技術自動識別人的潛在疾病，從舌象圖像中高精度地分割舌頭部分非常重要。
2、當前醫(yī)療影像分割多依賴單一幀舌象或基本的序列處理技術，而動態(tài)變化的生物結構特征在單幀舌象中難以準確捕捉，且常規(guī)方法在整合多幀信息時效率低下，準確性有限。盡管一些系統(tǒng)嘗試通過簡單的幀疊加或平均方法整合多幀信息，但這種方法常常無法正確表達時間序列中的舌象生物結構變化，導致分割準確性不足。
技術實現(xiàn)思路
1、基于此，為了解決現(xiàn)有技術中的技術問題，本發(fā)明提供一種舌象分割方法、裝置、介質和設備。
2、本發(fā)明提供了一種舌象分割方法，包括：
3、通過在雙u-net網絡其中一個u-net分支的編碼器添加局部時空卷積模塊，并在該u-net分支的解碼器添加全局時序注意力機制模塊，以獲得改進的u-net分支；以雙u-net網絡中未改進的u-net分支作為第一分支、以雙u-net網絡中改進的u-net分支作為第二分支，構建包括第一分支、第二分支和分割層的改進雙u-net網絡。
4、采集舌象影像數(shù)據集對改進雙u-net網絡進行訓練，獲得舌象分割模型；包括：
5、采集舌象影像數(shù)據集，舌象影像數(shù)據集包括連續(xù)幀舌象圖像和每幀舌象圖像對應的真實分割標簽；將屬于同一個樣本的各個幀舌象圖像堆疊，以形成一個多維張量；
6、初始化改進雙u-net網絡的權重系數(shù)；
7、將多維張量輸入到改進雙u-net網絡的第一分支中，輸出初始舌象空間特征；將多維張量和初始舌象空間特征輸入到改進雙u-net網絡的第二分支中，輸出舌象時序全局解碼特征；將舌象時序全局解碼特征輸入到分割層中，輸出每幀舌象圖像對應的預測分割標簽；
8、通過損失函數(shù)計算真實分割標簽和預測分割標簽的損失值；根據損失值迭代改進雙u-net網絡中的權重系數(shù)，根據迭代后的權重系數(shù)對新樣本重新進行分割；損失函數(shù)為：
9、
10、
11、
12、其中，是總損失函數(shù)；是第一分支對應的空間損失函數(shù)，n是待分割舌象影像數(shù)據幀數(shù)，是第t幀舌象圖像的預測分割標簽，是第t幀舌象圖像的真實分割標簽；是調節(jié)參數(shù)；是第二分支對應的時間損失函數(shù)，是第二分支預測的第n+1幀舌象圖像的預測分割標簽，是第n+1幀舌象圖像的真實分割標簽；
13、重復迭代步驟，直至損失函數(shù)收斂或者到達預設的迭代次數(shù)，以獲得訓練完的改進雙u-net網絡。
14、將待分割舌象影像數(shù)據輸入到舌象分割模型中，通過第一分支對待分割舌象影像數(shù)據中的每一幀舌象圖像進行空間特征提取，獲得每一幀舌象圖像包含有舌象生理結構形態(tài)和大小信息的初始舌象空間特征，并將初始舌象空間特征輸入到第二分支中；通過第二分支編碼器的局部時空卷積模塊通過對初始舌象空間特征進行局部時空卷積操作：
15、
16、
17、其中，是待分割舌象影像數(shù)據中的n+1幀舌象圖像； stcm是時空卷積操作，是時空卷積操作的輸出； conv3d是3d局部卷積操作；是局部時空卷積操作的輸出；該操作以沿時間維度對初始舌象空間特征進行局部編碼，獲得舌象時序局部編碼特征。
18、通過第二分支解碼器的全局時序注意力機制模塊對舌象時序局部編碼特征進行解碼：
19、
20、其中， selfattention是卷積長短期神經網絡或者 transformer中的注意力操作，是注意力操作的輸出，是注意力操作的輸入；該操作捕捉舌象空間特征在時間維度的全局時序相關性，獲得舌象時序全局解碼特征；通過分割層對舌象時序全局解碼特征進行分割，獲得待分割舌象影像數(shù)據的分割結果。
21、本發(fā)明提供了一種舌象分割裝置，包括：
22、模型構建模塊，用于通過在雙u-net網絡其中一個u-net分支的編碼器添加局部時空卷積模塊，并在該u-net分支的解碼器添加全局時序注意力機制模塊，以獲得改進的u-net分支；以雙u-net網絡中未改進的u-net分支作為第一分支、以雙u-net網絡中改進的u-net分支作為第二分支，構建包括第一分支、第二分支和分割層的改進雙u-net網絡；
23、模型訓練模塊，用于采集舌象影像數(shù)據集對改進雙u-net網絡進行訓練，獲得舌象分割模型；
24、舌象分割模塊，用于將待分割舌象影像數(shù)據輸入到舌象分割模型中，通過第一分支對待分割舌象影像數(shù)據中的每一幀舌象圖像進行空間特征提取，獲得每一幀舌象圖像包含有舌象生理結構形態(tài)和大小信息的初始舌象空間特征，并將初始舌象空間特征輸入到第二分支中；通過第二分支編碼器的局部時空卷積模塊通過對初始舌象空間特征進行局部時空卷積操作，以沿時間維度對初始舌象空間特征進行局部編碼，獲得舌象時序局部編碼特征；通過第二分支解碼器的全局時序注意力機制模塊對舌象時序局部編碼特征進行解碼，以捕捉舌象空間特征在時間維度的全局時序相關性，獲得舌象時序全局解碼特征；通過分割層對舌象時序全局解碼特征進行分割，獲得待分割舌象影像數(shù)據的分割結果。
25、本發(fā)明提供了一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述舌象分割方法。
26、本發(fā)明提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述舌象分割方法。
27、本發(fā)明采用的上述至少一個技術方案能夠達到以下有益效果：
28、在本發(fā)明提供的舌象分割方法中，在雙unet網絡其中一個分支的編碼器和解碼器結構中分別引入局部時空卷積和全局時序注意力機制，以捕捉更準確的舌象在連續(xù)幀中的動態(tài)變化。具體而言，局部時空卷積模塊的作用是在網絡較低層次上提取局部區(qū)域的時空特征，從而捕捉到舌象在連續(xù)幀中的動態(tài)變化。而全局時序注意力機制則在高層次網絡上發(fā)揮作用，它能夠關注整個序列中各幀之間的時序依賴性，并強化這種依賴關系。通過這種時空卷積的設計，unet網絡可以直接處理連續(xù)的多幀圖像輸入，并提取出聯(lián)合時空特征；這不僅使得模型能夠有效地完成當前幀的分割任務，還能借助歷史幀的分割信息來優(yōu)化當前幀的分割結果，從而在時間序列上實現(xiàn)更加連貫和平滑的分割效果。
1.一種舌象分割方法，其特征在于，包括：
2.如權利要求1所述的舌象分割方法，其特征在于，所述通過第二分支編碼器的局部時空卷積模塊通過對初始舌象空間特征進行局部時空卷積操作，具體包括：
3.如權利要求2所述的舌象分割方法，其特征在于，所述通過第二分支解碼器的全局時序注意力機制模塊對舌象時序局部編碼特征進行解碼，具體包括：
4.如權利要求1所述的舌象分割方法，其特征在于，所述采集舌象影像數(shù)據集對改進雙u-net網絡進行訓練，具體包括：
5.如權利要求4所述的舌象分割方法，其特征在于，所述損失函數(shù)，具體包括：
6.一種舌象分割裝置，其特征在于，包括：
7.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述權利要求1～5任一項所述的方法。
8.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述權利要求1～5任一所述的方法。