本技術(shù)涉及醫(yī)學(xué)圖像處理，特別是涉及一種醫(yī)學(xué)圖像分類方法及相關(guān)設(shè)備。

背景技術(shù)：

1、醫(yī)學(xué)圖像的特征提取是計(jì)算機(jī)輔助診斷和智能病理分析的核心技術(shù)之一，其目標(biāo)是從醫(yī)學(xué)影像數(shù)據(jù)中提取具有判別性的特征，以支持疾病分類、病灶檢測(cè)及預(yù)后預(yù)測(cè)等任務(wù)。然而，現(xiàn)有的醫(yī)學(xué)圖像特征提取方法仍存在一些不足。例如，基于cnn（convolutionalneural?network，卷積神經(jīng)網(wǎng)絡(luò)）的resnet(residualnetwork，殘差網(wǎng)絡(luò))或基于vit（vision?transformer，一種基于transformer架構(gòu)的深度學(xué)習(xí)模型）架構(gòu)的dinov2（指meta公司發(fā)布的計(jì)算機(jī)視覺自監(jiān)督模型）等特征提取方法通常依賴單一層級(jí)的特征提取（如全局平均池化或固定尺寸的patch劃分），難以同時(shí)捕捉醫(yī)學(xué)圖像中從宏觀組織分布到微觀細(xì)胞結(jié)構(gòu)的跨尺度信息。并且，現(xiàn)有方法多依賴監(jiān)督學(xué)習(xí)，需大量標(biāo)注數(shù)據(jù)以提升泛化性，但在標(biāo)注稀缺的醫(yī)療場(chǎng)景中，模型易受圖像質(zhì)量波動(dòng)影響，導(dǎo)致特征一致性下降。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)針對(duì)上述不足或缺點(diǎn)，提供了一種醫(yī)學(xué)圖像分類方法及相關(guān)設(shè)備，本技術(shù)實(shí)施例采用自監(jiān)督學(xué)習(xí)方法，可在無標(biāo)注數(shù)據(jù)的情況下完成醫(yī)學(xué)圖像基礎(chǔ)模型編碼器的構(gòu)建；通過圖像級(jí)、圖像塊級(jí)和像素級(jí)的多層級(jí)特征聯(lián)合優(yōu)化，實(shí)現(xiàn)從宏觀組織分布到微觀細(xì)胞結(jié)構(gòu)的跨尺度特征捕捉；結(jié)合師生模型的對(duì)比學(xué)習(xí)與掩碼機(jī)制，增強(qiáng)模型對(duì)局部病變的敏感性及跨設(shè)備數(shù)據(jù)的泛化能力，最終提升編碼器對(duì)病理特征的表征精度。

2、本技術(shù)根據(jù)第一方面提供了一種基于自監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像基礎(chǔ)模型編碼器構(gòu)建方法，在一些實(shí)施例中，該方法包括：

3、基于樣本醫(yī)學(xué)圖像生成圖像塊；樣本醫(yī)學(xué)圖像是經(jīng)過一系列處理的原始醫(yī)學(xué)圖像；一系列處理包括預(yù)處理；

4、將圖像塊分別輸入基于vision?transformer架構(gòu)的學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)；

5、根據(jù)學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)輸出的全局特征計(jì)算圖像級(jí)損失；

6、根據(jù)學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)輸出的局部特征計(jì)算圖像塊級(jí)損失；

7、根據(jù)學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)輸出的局部特征進(jìn)行像素級(jí)特征映射，基于映射結(jié)果計(jì)算像素級(jí)損失；

8、聯(lián)合圖像級(jí)損失、圖像塊級(jí)損失和像素級(jí)損失對(duì)學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進(jìn)行協(xié)同訓(xùn)練；

9、基于訓(xùn)練好的學(xué)生網(wǎng)絡(luò)獲得醫(yī)學(xué)圖像基礎(chǔ)模型編碼器。

10、本技術(shù)提供的基于自監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像基礎(chǔ)模型編碼器構(gòu)建方法，通過采用自監(jiān)督學(xué)習(xí)方法，可在無標(biāo)注數(shù)據(jù)的情況下完成醫(yī)學(xué)圖像基礎(chǔ)模型編碼器的構(gòu)建，還通過圖像級(jí)、圖像塊級(jí)和像素級(jí)的多層級(jí)特征聯(lián)合優(yōu)化，實(shí)現(xiàn)從宏觀組織分布到微觀細(xì)胞結(jié)構(gòu)的跨尺度特征捕捉，以及結(jié)合師生模型的對(duì)比學(xué)習(xí)與掩碼機(jī)制，增強(qiáng)模型對(duì)局部病變的敏感性及跨設(shè)備數(shù)據(jù)的泛化能力，最終提升編碼器對(duì)病理特征的表征精度。

11、本技術(shù)根據(jù)第二方面提供了一種基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分類模型構(gòu)建方法，在一些實(shí)施例中，該方法包括：

12、將樣本醫(yī)學(xué)全片分割為多個(gè)圖像塊，將該多個(gè)圖像塊輸入特征提取模型，得到每個(gè)圖像塊的特征向量；

13、將所有圖像塊的特征向量輸入基于注意力機(jī)制的多實(shí)例學(xué)習(xí)模型，該多實(shí)例學(xué)習(xí)模型包括注意力模塊和實(shí)例聚類模塊；注意力模塊用于根據(jù)每個(gè)圖像塊的特征向量為每個(gè)圖像塊分配多類注意力分?jǐn)?shù)；實(shí)例聚類模塊用于根據(jù)每個(gè)圖像塊的多類注意力分?jǐn)?shù)確定各個(gè)類對(duì)應(yīng)的多個(gè)高分圖像塊和多個(gè)低分圖像塊，為各個(gè)高分圖像塊和低分圖像塊設(shè)置偽標(biāo)簽；

14、根據(jù)每個(gè)圖像塊的多類注意力分?jǐn)?shù)確定分類損失，根據(jù)各個(gè)高分圖像塊和低分圖像塊的特征映射和偽標(biāo)簽計(jì)算聚類損失，根據(jù)分類損失和聚類損失計(jì)算模型損失，根據(jù)模型損失反向更新該多實(shí)例學(xué)習(xí)模型；

15、基于訓(xùn)練好的多實(shí)例學(xué)習(xí)模型獲得醫(yī)學(xué)圖像分類模型。

16、本技術(shù)提供的基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分類模型構(gòu)建方法，采用弱監(jiān)督學(xué)習(xí)，使用海量醫(yī)學(xué)圖像配合少量個(gè)體水平標(biāo)注信息就能完成醫(yī)學(xué)圖像分類模型的構(gòu)建。特征提取模型可以是采用第一方面提供的方法訓(xùn)練好的醫(yī)學(xué)圖像基礎(chǔ)模型編碼器，如此可以綜合使用自監(jiān)督學(xué)習(xí)方法和弱監(jiān)督學(xué)習(xí)方法，以分步驟的形式構(gòu)建醫(yī)學(xué)圖像分類模型，可以降低對(duì)大量精細(xì)標(biāo)注數(shù)據(jù)的需求，進(jìn)而降低了用于模型訓(xùn)練的醫(yī)學(xué)圖像集的構(gòu)建成本，提升了醫(yī)學(xué)圖像分類模型的構(gòu)建效率。

17、本技術(shù)根據(jù)第三方面提供了一種醫(yī)學(xué)圖像分類模型構(gòu)建方法，在一些實(shí)施例中，該方法包括：

18、獲取樣本醫(yī)學(xué)圖像集；

19、為樣本醫(yī)學(xué)圖像集中的每張樣本醫(yī)學(xué)圖像生成綜合注意力分?jǐn)?shù)，得到注意力分?jǐn)?shù)集；為樣本醫(yī)學(xué)圖像生成綜合注意力分?jǐn)?shù)的操作，包括：將樣本醫(yī)學(xué)圖像劃分為多個(gè)圖像塊，使用多個(gè)人工智能基礎(chǔ)模型編碼器從各個(gè)圖像塊中提取特征，得到對(duì)應(yīng)不同人工智能基礎(chǔ)模型編碼器的多組圖像塊特征，為各組圖像塊特征中的圖像塊特征生成注意力分?jǐn)?shù)，得到對(duì)應(yīng)不同人工智能基礎(chǔ)模型編碼器的多組注意力分?jǐn)?shù)，對(duì)該多組注意力分?jǐn)?shù)進(jìn)行融合，得到綜合注意力分?jǐn)?shù)；

20、以注意力分?jǐn)?shù)集為訓(xùn)練數(shù)據(jù)對(duì)指定的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到醫(yī)學(xué)圖像分類模型。

21、本技術(shù)提供的醫(yī)學(xué)圖像分類模型構(gòu)建方法，采用分階段處理的方式來訓(xùn)練模型，先為醫(yī)學(xué)圖像生成綜合注意力分?jǐn)?shù)，再用醫(yī)學(xué)圖像的綜合注意力分?jǐn)?shù)來訓(xùn)練模型，其中，用醫(yī)學(xué)圖像的注意力分?jǐn)?shù)來訓(xùn)練模型，能使模型直接利用預(yù)計(jì)算的綜合注意力分?jǐn)?shù)而無需在訓(xùn)練過程中動(dòng)態(tài)學(xué)習(xí)重要區(qū)域，從而加速收斂并降低計(jì)算開銷，提升了模型訓(xùn)練效率。而在為醫(yī)學(xué)圖像生成綜合注意力分?jǐn)?shù)的階段中，通過集成多個(gè)不同的人工智能基礎(chǔ)模型編碼器，實(shí)現(xiàn)了跨模型的特征互補(bǔ)，不同架構(gòu)對(duì)圖像紋理、邊緣、空間關(guān)系的捕捉能力差異形成特征多樣性，有效避免了單一模型的表征偏差，有助于提供最終模型的分類準(zhǔn)確性。此外，不同于模型內(nèi)部動(dòng)態(tài)生成的注意力，本方法通過外部預(yù)計(jì)算分?jǐn)?shù)提供穩(wěn)定指導(dǎo)，可能減少訓(xùn)練中的隨機(jī)性。

22、在一些實(shí)施例中，該多個(gè)人工智能基礎(chǔ)模型編碼器包括基于上述第一方面的任一實(shí)施例提供的基于自監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像基礎(chǔ)模型編碼器構(gòu)建方法構(gòu)建的醫(yī)學(xué)圖像基礎(chǔ)模型編碼器。

23、在一些實(shí)施例中，使用基于上述第二方面的任一實(shí)施例提供的基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分類模型構(gòu)建方法構(gòu)建的醫(yī)學(xué)圖像分類模型為各組圖像塊特征中的圖像塊特征生成注意力分?jǐn)?shù)。

24、本技術(shù)根據(jù)第四方面提供了一種基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分類方法，在一些實(shí)施例中，方法包括：

25、獲取待分類的目標(biāo)醫(yī)學(xué)圖像；

26、使用基于上述第二方面提供的任一實(shí)施例的基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分類模型構(gòu)建方法構(gòu)建的醫(yī)學(xué)圖像分類模型，或者上述第三方面提供的任一實(shí)施例的醫(yī)學(xué)圖像分類模型構(gòu)建方法對(duì)目標(biāo)醫(yī)學(xué)圖像進(jìn)行處理；

27、基于醫(yī)學(xué)圖像分類模型的輸出數(shù)據(jù)確定目標(biāo)醫(yī)學(xué)圖像的分類結(jié)果。

28、本技術(shù)根據(jù)第五方面提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面至第四方面中任一方面提供的任一實(shí)施例里的方法。

29、本技術(shù)根據(jù)第六方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面至第四方面中任一方面提供的任一實(shí)施例里的方法。