本發(fā)明屬于放療，具體涉及一種基于多模態(tài)智能體的放療報告生成方法、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、放射治療(radiotherapy)是癌癥治療的常見方法，利用高能輻射破壞腫瘤細(xì)胞，同時盡可能減少對周圍正常組織的傷害。放射治療的核心包括精準(zhǔn)的患者擺位、劑量分布控制、以及治療后的效果評估。其中，患者的擺位精確度直接影響治療效果，而治療劑量的分布則決定了腫瘤區(qū)域的照射強(qiáng)度，錯誤的劑量分布可能導(dǎo)致治療失敗或副作用。治療后的影像學(xué)評估(例如軟組織變化)也是治療效果監(jiān)測的重要環(huán)節(jié)。

2、目前，放射治療過程中，醫(yī)生會通過影像數(shù)據(jù)(如ct、cbct等)、劑量分布數(shù)據(jù)以及治療后影像數(shù)據(jù)(如軟組織變化)來評估治療效果。這些數(shù)據(jù)的處理通常是手動進(jìn)行的，涉及大量繁瑣的計算和圖像分析，工作量大、時間消耗長，并且容易出現(xiàn)人為錯誤，影響診療效率和治療的精準(zhǔn)性。

3、隨著技術(shù)的不斷進(jìn)步，放射治療過程中大量的數(shù)據(jù)積累亟待自動化處理和報告生成。傳統(tǒng)的治療過程記錄和報告生成方法通常依賴人工干預(yù)，不僅效率低下，且容易出現(xiàn)主觀差異和錯誤。因此，自動化的放射治療過程記錄與報告生成系統(tǒng)成為放射科醫(yī)生和治療計劃師的迫切需求。

4、隨著深度學(xué)習(xí)和人工智能技術(shù)的快速發(fā)展，尤其是多模態(tài)學(xué)習(xí)和自然語言處理技術(shù)的成熟，自動生成精準(zhǔn)、規(guī)范化的治療報告變得更加可行。

5、在醫(yī)學(xué)影像分析領(lǐng)域，多模態(tài)學(xué)習(xí)是指從多種不同模態(tài)的數(shù)據(jù)(如影像、劑量、文本等)中提取信息，并進(jìn)行聯(lián)合分析。多模態(tài)數(shù)據(jù)包含了不同來源的信息，能夠為放射治療過程提供全面的評估。然而，如何有效地整合這些多模態(tài)數(shù)據(jù)，尤其是如何在保證精度的前提下減少人為干預(yù)，仍然是一個技術(shù)難題。傳統(tǒng)的深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)(cnn)和遞歸神經(jīng)網(wǎng)絡(luò)(rnn)，雖然能夠處理單一模態(tài)數(shù)據(jù)(如影像或文本)，但在處理多個模態(tài)(如同時包含影像和劑量信息)時仍存在諸多挑戰(zhàn)。

6、綜上述，現(xiàn)有的放療報告在生成時，存在以下問題。

7、第一，信息孤島問題。當(dāng)前放射治療數(shù)據(jù)包括患者影像數(shù)據(jù)(ct、cbct、平片)和治療劑量數(shù)據(jù)，這些數(shù)據(jù)通常分別存儲和處理，缺乏統(tǒng)一的分析框架?，F(xiàn)有系統(tǒng)難以有效整合多模態(tài)數(shù)據(jù)，導(dǎo)致重要信息無法充分利用。

8、第二，自動化程度低。傳統(tǒng)的報告生成主要依賴人工操作，包括影像對比分析、劑量評估和軟組織變化描述等，耗時耗力且易受主觀因素影響。這不僅增加了臨床醫(yī)生的工作負(fù)擔(dān)，還可能導(dǎo)致人為疏漏。

9、第三，缺乏智能分析能力。目前部分自動化工具僅限于單一任務(wù)，如影像配準(zhǔn)或劑量分布分析，無法實現(xiàn)跨模態(tài)數(shù)據(jù)的綜合處理。由于缺乏全局視角，系統(tǒng)在生成報告時往往難以準(zhǔn)確描述治療過程的整體情況。

10、第四，實時性和靈活性不足?，F(xiàn)有的單一任務(wù)工具或模型缺乏實時反饋和動態(tài)調(diào)整的能力，無法適應(yīng)不同治療方案或數(shù)據(jù)特性的變化。同時，模型的通用性較差，針對特定任務(wù)往往需要重新訓(xùn)練，增加了臨床應(yīng)用的難度。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提出了一種基于多模態(tài)智能體的放療報告生成方法、設(shè)備及存儲介質(zhì)。

2、為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：

3、第一方面，本發(fā)明公開一種基于多模態(tài)智能體的放療報告生成方法，包括：

4、步驟s1：輸入患者的影像數(shù)據(jù)和劑量數(shù)據(jù)；

5、步驟s2：根據(jù)輸入數(shù)據(jù)的類型及任務(wù)描述，將任務(wù)分解為多個子任務(wù)，并將其分配給對應(yīng)影像智能體、劑量智能體、融合智能體及報告生成智能體；

6、步驟s3：影像智能體、劑量智能體、融合智能體及報告生成智能體相互協(xié)作；

7、步驟s4：影像智能體處理影像數(shù)據(jù)，提取影像特征；

8、劑量智能體處理劑量數(shù)據(jù)，提取劑量特征；

9、融合智能體整合影像特征和劑量特征，建立多模態(tài)表示的整合數(shù)據(jù)；

10、報告生成智能體將整合數(shù)據(jù)轉(zhuǎn)化為自然語言報告，生成放療報告，放療報告包括患者擺位信息、劑量分布分析以及軟組織變化的描述。

11、在上述技術(shù)方案的基礎(chǔ)上，還可做如下改進(jìn)：

12、作為優(yōu)選的方案，步驟s2包括：

13、步驟s2.1：根據(jù)輸入數(shù)據(jù)的類型和任務(wù)描述，將任務(wù)分解為多個子任務(wù)；

14、步驟s2.2：通過下式計算每個子任務(wù)的優(yōu)先級p(ti)；

15、p(ti)＝w1*criticality(ti)+w2*datasize(ti)-w3*processingtime(ti)；

16、其中：

17、w1、w2、w3均為權(quán)重系數(shù)；

18、criticality(ti)為第i個子任務(wù)ti的重要性；

19、datasize(ti)為第i個子任務(wù)ti輸入數(shù)據(jù)的大小；

20、processingtime(ti)為第i個子任務(wù)ti預(yù)計處理時間；

21、步驟s2.3：將每個子任務(wù)攜帶其優(yōu)先級分配給對應(yīng)的影像智能體、劑量智能體、融合智能體或報告生成智能體的基礎(chǔ)模型。

22、作為優(yōu)選的方案，利用元學(xué)習(xí)機(jī)制對選擇的基礎(chǔ)模型進(jìn)行自適應(yīng)動態(tài)調(diào)整與優(yōu)化，具體優(yōu)化目標(biāo)函數(shù)如下：

23、

24、其中：

25、為在第i個子任務(wù)ti基礎(chǔ)上微調(diào)后的模型；

26、為第i個子任務(wù)ti的損失函數(shù)；

27、t為任務(wù)集合。

28、作為優(yōu)選的方案，各智能體具有模型緩存池，模型緩存池用于緩存基于子任務(wù)微調(diào)后多個模型。

29、作為優(yōu)選的方案，利用如下模型性能評估函數(shù)選擇評分最高的微調(diào)模型執(zhí)行對應(yīng)子任務(wù)；

30、s(mj)＝α·accuracy(mj)-β·latency(mj)；

31、其中：

32、α和β均為權(quán)重參數(shù)；

33、s(mj)為第j個微調(diào)模型mj的綜合評分；

34、accuracy(mj)為第j個微調(diào)模型mj的精度評分；

35、latency(mj)第j個微調(diào)模型mj的執(zhí)行延遲評分。

36、作為優(yōu)選的方案，影像智能體、劑量智能體、融合智能體及報告生成智能體之間能夠通過以下三種方式進(jìn)行通信協(xié)作；

37、方式一：所有智能體均能夠基于黑板模型進(jìn)行數(shù)據(jù)共享的讀取和寫入；

38、方式二：所有智能體之間能夠通過消息傳遞協(xié)議交換數(shù)據(jù)；

39、方式三：使用中心控制器動態(tài)分配任務(wù)給不同的智能體。

40、作為優(yōu)選的方案，當(dāng)影像智能體和劑量智能體生成的數(shù)據(jù)不符合要求，則融合智能體將會發(fā)送調(diào)整信號給影像智能體或劑量智能體。

41、作為優(yōu)選的方案，影像智能體的基礎(chǔ)模型為圖像模型，用于提取影像數(shù)據(jù)的圖像語義特征；

42、劑量智能體的基礎(chǔ)模型為物理模擬模型和深度學(xué)習(xí)回歸模型，用于分析劑量分布、生成劑量強(qiáng)度圖、比較計劃劑量與實際劑量；

43、融合智能體的基礎(chǔ)模型為多模態(tài)融合模型，用于實現(xiàn)多模態(tài)數(shù)據(jù)的整合；

44、報告生成智能體的基礎(chǔ)模型為gpt-based自然語言生成模型，用于將整合數(shù)據(jù)轉(zhuǎn)換為規(guī)范化報告。

45、第二方面，本發(fā)明公開一種計算設(shè)備，包括：

46、一個或多個處理器；

47、存儲器；

48、以及一個或多個程序，其中一個或多個程序存儲在存儲器中并被配置為由一個或多個處理器執(zhí)行，一個或多個程序包括上述任一基于多模態(tài)智能體的放療報告生成方法的指令。

49、第三方面，本發(fā)明公開一種存儲介質(zhì)，存儲介質(zhì)存儲有一個或多個計算機(jī)可讀的程序，一個或多個程序包括指令，指令適于由存儲器加載并執(zhí)行上述任一基于多模態(tài)智能體的放療報告生成方法。

50、本發(fā)明公開一種基于多模態(tài)智能體的放療報告生成方法、設(shè)備及存儲介質(zhì)，具有以下有益效果：

51、第一，本發(fā)明能夠?qū)崿F(xiàn)多模態(tài)數(shù)據(jù)融合與分析。本發(fā)明采用影像智能體、劑量智能體、融合智能體分別負(fù)責(zé)影像特征提取、劑量分析和特征融合，克服了傳統(tǒng)系統(tǒng)中信息孤立的問題，生成更為全面和精確的治療報告。

52、第二，本發(fā)明能夠?qū)崿F(xiàn)放療報告的自動生成。本發(fā)明利用多智能體(影像智能體、劑量智能體、融合智能體、報告生成智能體)協(xié)作，實現(xiàn)放射治療全流程的自動記錄與報告生成，包括擺位信息的提取、劑量分布分析以及軟組織變化的描述，大幅減少人工干預(yù)，解決了單一基礎(chǔ)模型處理多模態(tài)數(shù)據(jù)的局限性。

53、第三，本發(fā)明能夠?qū)崿F(xiàn)智能動態(tài)模型選擇。本發(fā)明引入動態(tài)模型選擇機(jī)制，根據(jù)輸入數(shù)據(jù)特性自動調(diào)用最適配的基礎(chǔ)模型，兼顧效率與準(zhǔn)確性并利用元學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)調(diào)整與優(yōu)化。同時，通過強(qiáng)化學(xué)習(xí)優(yōu)化智能體的任務(wù)分配與通信策略，提高實時性和靈活性。

54、第四，本發(fā)明臨床適用性強(qiáng)。本發(fā)明可靈活擴(kuò)展不同類型的基礎(chǔ)模型，適應(yīng)多種放射治療方案。同時，自動生成規(guī)范化的醫(yī)學(xué)報告，便于醫(yī)生快速了解患者治療情況，輔助臨床決策，減少了人工參與，提升了工作效率和報告質(zhì)量。