本發(fā)明涉及智能計(jì)算中心、智算中心及算力基礎(chǔ)設(shè)施，具體涉及基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，“智能計(jì)算中心”和“智算中心”應(yīng)運(yùn)而生。

2、“智能計(jì)算中心”是指通過使用大規(guī)模異構(gòu)算力資源，包括通用算力和智能算力，主要為人工智能應(yīng)用(如人工智能深度學(xué)習(xí)模型開發(fā)、模型訓(xùn)練和模型推理等場(chǎng)景)提供所需算力、數(shù)據(jù)和算法的設(shè)施。智能計(jì)算中心涵蓋設(shè)施、硬件、軟件，并可提供從底層算力到頂層應(yīng)用使能的全棧能力。

3、“智能計(jì)算中心”包括但不限于“智算中心”。

4、“智算中心”即人工智能計(jì)算中心，是基于人工智能理論，采用人工智能計(jì)算架構(gòu)，提供人工智能應(yīng)用所需算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)的一類算力基礎(chǔ)設(shè)施。

5、“算力”是“智能計(jì)算中心”和“智算中心”的核心，是計(jì)算機(jī)設(shè)備或計(jì)算/數(shù)據(jù)中心處理信息的能力，是計(jì)算機(jī)硬件和軟件配合共同執(zhí)行某種計(jì)算需求的能力，是通過對(duì)信息數(shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)目標(biāo)結(jié)果輸出的計(jì)算能力，是集信息計(jì)算力、網(wǎng)絡(luò)運(yùn)載力、數(shù)據(jù)存儲(chǔ)力于一體的新型生產(chǎn)力，主要通過算力基礎(chǔ)設(shè)施向社會(huì)提供服務(wù)。

6、隨著人工智能技術(shù)的迅猛發(fā)展，大模型在自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別等多個(gè)領(lǐng)域取得了顯著的進(jìn)展。大模型包括：“大語言模型(large?language?model，llm)”和“多模態(tài)大模型(multimodal?large?models，mlm)”。這些模型通過深度學(xué)習(xí)算法，能夠從海量數(shù)據(jù)中學(xué)習(xí)到豐富的知識(shí)和模式，從而在特定任務(wù)上表現(xiàn)出較高的準(zhǔn)確性和效率。然而，當(dāng)前大模型在實(shí)際應(yīng)用中仍面臨一些技術(shù)挑戰(zhàn)，尤其是在推理過程中的顯性思考方面。

7、具體地，顯性思考過程雖然可以提高輸出結(jié)果的可靠性，但其推理過程往往耗時(shí)較長，導(dǎo)致用戶在實(shí)際應(yīng)用中體驗(yàn)不佳。例如，在需要實(shí)時(shí)響應(yīng)的場(chǎng)景中，較長的推理時(shí)間可能無法滿足用戶的需求，從而影響大模型的實(shí)用性和用戶滿意度。尤其是在復(fù)雜問題的處理上，顯性思考所需的時(shí)間可能顯著增加，造成用戶等待時(shí)間過長，降低了大模型的交互效率。

8、另外，顯性思考過程通常伴隨著大量的計(jì)算資源消耗。大模型在推理過程中需要進(jìn)行復(fù)雜的矩陣運(yùn)算和大量的內(nèi)存訪問，這不僅增加了計(jì)算成本，還可能導(dǎo)致其在資源受限的環(huán)境中無法有效運(yùn)行。

9、綜上所述，盡管大模型在多個(gè)領(lǐng)域展現(xiàn)了強(qiáng)大的能力，但其顯性思考存在思考耗時(shí)較長和輸出思考過程耗費(fèi)過多資源的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法，以解決現(xiàn)有技術(shù)中的盡管大模型在多個(gè)領(lǐng)域展現(xiàn)了強(qiáng)大的能力，但其顯性思考存在思考耗時(shí)較長和輸出思考過程耗費(fèi)過多資源的問題。

2、為了解決上述技術(shù)問題，本發(fā)明是這樣實(shí)現(xiàn)的：

3、第一方面，本發(fā)明提供一種基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法，所述方法包括：

4、步驟s1：接收用戶輸入的待分析數(shù)據(jù)和與所述待分析數(shù)據(jù)相關(guān)的問題；

5、步驟s2：基于所述待分析數(shù)據(jù)和所述問題，對(duì)待微調(diào)大模型進(jìn)行微調(diào)，得到目標(biāo)大模型；其中，所述待微調(diào)大模型基于思維鏈的深度思考方式對(duì)所述待分析數(shù)據(jù)和所述問題進(jìn)行推理，得到輸出結(jié)果，所述待微調(diào)大模型中設(shè)置有循環(huán)隱思考模塊，所述循環(huán)隱思考模塊用于在所述待微調(diào)大模型的隱空間中，執(zhí)行基于思維鏈的深度思考過程。

6、可選的，所述步驟s2包括：

7、步驟s21：將所述待分析數(shù)據(jù)、所述問題以及所述待微調(diào)大模型的輸出格式輸入至所述待微調(diào)大模型中，得到所述待微調(diào)大模型的輸出結(jié)果；

8、其中，所述輸出格式包括：所述待微調(diào)大模型所輸出步驟的序號(hào)、所述待微調(diào)大模型所輸出步驟的類型、所述待微調(diào)大模型所輸出步驟的描述信息以及所述待微調(diào)大模型所輸出步驟所指示的執(zhí)行動(dòng)作；

9、所述類型為代碼類型或答案類型，在所述類型為所述代碼類型時(shí)，所述執(zhí)行動(dòng)作為代碼；在所述類型為答案類型時(shí)，所述執(zhí)行動(dòng)作為針對(duì)于所述待分析數(shù)據(jù)和所述問題而生成的答案；

10、步驟s22：基于所述輸出結(jié)果確定待評(píng)估項(xiàng)，所述待評(píng)估項(xiàng)包括以下至少之一：所述答案、所述輸出結(jié)果的格式、所有的所述代碼；

11、步驟s23：基于所述待評(píng)估項(xiàng)和對(duì)應(yīng)的評(píng)估標(biāo)準(zhǔn)進(jìn)行打分，得到分值；

12、步驟s24：基于所述分值，對(duì)所述循環(huán)隱思考模塊中的參數(shù)進(jìn)行微調(diào)，在微調(diào)后，判斷微調(diào)是否結(jié)束，如果微調(diào)未結(jié)束，則繼續(xù)執(zhí)行所述步驟s21至所述步驟s24，直至微調(diào)結(jié)束后，得到所述目標(biāo)大模型。

13、可選的，所述待微調(diào)大模型的架構(gòu)為transformer架構(gòu)，所述步驟s2包括：

14、步驟s25：基于lora技術(shù)，凍結(jié)所述待微調(diào)大模型的預(yù)訓(xùn)練參數(shù)，對(duì)所述待微調(diào)大模型中的所述循環(huán)隱思考模塊中的參數(shù)進(jìn)行微調(diào)，其中，所述循環(huán)隱思考模塊中的參數(shù)為與所述深度思考過程相關(guān)的參數(shù)。

15、可選的，所述循環(huán)隱思考模塊中的參數(shù)包括低秩矩陣a的參數(shù)和低秩矩陣b的參數(shù)，所述步驟s25包括：

16、步驟s251：在所述transformer架構(gòu)的所述待微調(diào)大模型的每一層的至少一個(gè)原始權(quán)重矩陣旁，分別引入所述循環(huán)隱思考模塊，其中，所述原始權(quán)重矩陣包括以下至少一項(xiàng)：wq,wk,wv,wd,wf；

17、步驟s252：對(duì)每個(gè)所述循環(huán)隱思考模塊中的低秩矩陣a的參數(shù)和所述低秩矩陣b的參數(shù)進(jìn)行微調(diào)。

18、可選的，所述待微調(diào)大模型的架構(gòu)為transformer架構(gòu)，所述transformer架構(gòu)的待微調(diào)大模型包括多個(gè)層，每一層均包括自注意力子層和前饋網(wǎng)絡(luò)子層；

19、所述自注意力子層和所述前饋網(wǎng)絡(luò)子層中的任一個(gè)原始權(quán)重矩陣旁，均引入一個(gè)循環(huán)隱思考模塊；

20、所述循環(huán)隱思考模塊包括：低秩矩陣a、低秩矩陣b、適配器和門控模塊；

21、所述循環(huán)隱思考模塊用于執(zhí)行以下步驟：

22、步驟sa：將對(duì)應(yīng)的原始權(quán)重矩陣的輸入信息和初始狀態(tài)s0作為所述適配器的輸入，得到與所述輸入信息同維度的適配器當(dāng)前輸出結(jié)果；

23、步驟sb：將所述適配器當(dāng)前輸出結(jié)果作為所述低秩矩陣a的輸入，得到所述低秩矩陣a當(dāng)前輸出結(jié)果；

24、步驟sc：將所述低秩矩陣a當(dāng)前輸出結(jié)果作為所述低秩矩陣b的輸入，得到所述低秩矩陣b當(dāng)前輸出結(jié)果；

25、步驟sd：將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息作為所述門控模塊的輸入，得到所述門控模塊當(dāng)前輸出結(jié)果；

26、步驟se：判斷所述門控模塊當(dāng)前輸出結(jié)果是否小于或等于預(yù)設(shè)閾值；

27、如果是，則將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息經(jīng)所述待微調(diào)大模型的預(yù)訓(xùn)練參數(shù)矩陣處理后的輸出結(jié)果作為所述循環(huán)隱思考模塊所對(duì)應(yīng)的原始權(quán)重矩陣的輸出結(jié)果；

28、如果否，則將所述門控模塊當(dāng)前輸出結(jié)果和所述輸入信息作為所述適配器的輸入，得到所述適配器當(dāng)前輸出結(jié)果，并重復(fù)執(zhí)行所述步驟sb到所述步驟se，直至所述門控模塊當(dāng)前輸出結(jié)果小于或等于所述預(yù)設(shè)閾值，則將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息經(jīng)所述預(yù)訓(xùn)練參數(shù)矩陣處理后的輸出結(jié)果作為所述循環(huán)隱思考模塊所對(duì)應(yīng)的原始權(quán)重矩陣的輸出結(jié)果；

29、其中，所述步驟sa到所述步驟sc對(duì)應(yīng)于所述循環(huán)隱思考模塊在所述待微調(diào)大模型的隱空間中，執(zhí)行基于思維鏈的深度思考過程中的一次深度思考。

30、可選的，所述步驟s23包括：

31、步驟s231：在所述待評(píng)估項(xiàng)為所述答案時(shí)，將預(yù)設(shè)答案和所述答案輸入至預(yù)設(shè)獎(jiǎng)勵(lì)函數(shù)中，進(jìn)行評(píng)分，得到所述答案對(duì)應(yīng)的分值；

32、步驟s232：在所述待評(píng)估項(xiàng)為所述輸出結(jié)果的格式時(shí)，將所述輸出結(jié)果送入格式評(píng)判執(zhí)行器中執(zhí)行，得到第一執(zhí)行結(jié)果，并對(duì)所述第一執(zhí)行結(jié)果進(jìn)行評(píng)分，得到所述輸出結(jié)果的格式對(duì)應(yīng)的分值；

33、步驟s233：在所述待評(píng)估項(xiàng)為所有的所述代碼時(shí)，將所有的所述代碼在代碼沙箱環(huán)境中順序執(zhí)行，得到第二執(zhí)行結(jié)果，并對(duì)所述第二執(zhí)行結(jié)果進(jìn)行評(píng)分，得到所有的所述代碼對(duì)應(yīng)的分值。

34、第二方面，本發(fā)明提供一種基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)裝置，所述裝置包括：

35、接收模塊，用于執(zhí)行步驟s1：接收用戶輸入的待分析數(shù)據(jù)和與所述待分析數(shù)據(jù)相關(guān)的問題；

36、執(zhí)行模塊，用于執(zhí)行步驟s2：基于所述待分析數(shù)據(jù)和所述問題，對(duì)待微調(diào)大模型進(jìn)行微調(diào)，得到目標(biāo)大模型；其中，所述待微調(diào)大模型基于思維鏈的深度思考方式對(duì)所述待分析數(shù)據(jù)和所述問題進(jìn)行推理，得到輸出結(jié)果，所述待微調(diào)大模型中設(shè)置有循環(huán)隱思考模塊，所述循環(huán)隱思考模塊用于在所述待微調(diào)大模型的隱空間中，執(zhí)行基于思維鏈的深度思考過程。

37、可選的，所述執(zhí)行模塊，還用于執(zhí)行步驟s21：將所述待分析數(shù)據(jù)、所述問題以及所述待微調(diào)大模型的輸出格式輸入至所述待微調(diào)大模型中，得到所述待微調(diào)大模型的輸出結(jié)果；

38、其中，所述輸出格式包括：所述待微調(diào)大模型所輸出步驟的序號(hào)、所述待微調(diào)大模型所輸出步驟的類型、所述待微調(diào)大模型所輸出步驟的描述信息以及所述待微調(diào)大模型所輸出步驟所指示的執(zhí)行動(dòng)作；

39、所述類型為代碼類型或答案類型，在所述類型為所述代碼類型時(shí)，所述執(zhí)行動(dòng)作為代碼；在所述類型為答案類型時(shí)，所述執(zhí)行動(dòng)作為針對(duì)于所述待分析數(shù)據(jù)和所述問題而生成的答案；

40、步驟s22：基于所述輸出結(jié)果確定待評(píng)估項(xiàng)，所述待評(píng)估項(xiàng)包括以下至少之一：所述答案、所述輸出結(jié)果的格式、所有的所述代碼；

41、步驟s23：基于所述待評(píng)估項(xiàng)和對(duì)應(yīng)的評(píng)估標(biāo)準(zhǔn)進(jìn)行打分，得到分值；

42、步驟s24：基于所述分值，對(duì)所述循環(huán)隱思考模塊中的參數(shù)進(jìn)行微調(diào)，在微調(diào)后，判斷微調(diào)是否結(jié)束，如果微調(diào)未結(jié)束，則繼續(xù)執(zhí)行所述步驟s21至所述步驟s24，直至微調(diào)結(jié)束后，得到所述目標(biāo)大模型。

43、可選的，所述待微調(diào)大模型的架構(gòu)為transformer架構(gòu)，所述執(zhí)行模塊，還用于執(zhí)行步驟s25：基于lora技術(shù)，凍結(jié)所述待微調(diào)大模型的預(yù)訓(xùn)練參數(shù)，對(duì)所述待微調(diào)大模型中的所述循環(huán)隱思考模塊中的參數(shù)進(jìn)行微調(diào)，其中，所述循環(huán)隱思考模塊中的參數(shù)為與所述深度思考過程相關(guān)的參數(shù)。

44、可選的，所述循環(huán)隱思考模塊中的參數(shù)包括低秩矩陣a的參數(shù)和低秩矩陣b的參數(shù)，所述執(zhí)行模塊，還用于執(zhí)行步驟s251：在所述transformer架構(gòu)的所述待微調(diào)大模型的每一層的至少一個(gè)原始權(quán)重矩陣旁，分別引入所述循環(huán)隱思考模塊，其中，所述原始權(quán)重矩陣包括以下至少一項(xiàng)：wq,wk,wv,wd,wf；

45、步驟s252：對(duì)每個(gè)所述循環(huán)隱思考模塊中的低秩矩陣a的參數(shù)和所述低秩矩陣b的參數(shù)進(jìn)行微調(diào)。

46、可選的，所述待微調(diào)大模型的架構(gòu)為transformer架構(gòu)，所述transformer架構(gòu)的待微調(diào)大模型包括多個(gè)層，每一層均包括自注意力子層和前饋網(wǎng)絡(luò)子層；

47、所述自注意力子層和所述前饋網(wǎng)絡(luò)子層中的任一個(gè)原始權(quán)重矩陣旁，均引入一個(gè)循環(huán)隱思考模塊；

48、所述循環(huán)隱思考模塊包括：低秩矩陣a、低秩矩陣b、適配器和門控模塊；

49、所述循環(huán)隱思考模塊用于執(zhí)行以下步驟：

50、步驟sa：將對(duì)應(yīng)的原始權(quán)重矩陣的輸入信息和初始狀態(tài)s0作為所述適配器的輸入，得到與所述輸入信息同維度的適配器當(dāng)前輸出結(jié)果；

51、步驟sb：將所述適配器當(dāng)前輸出結(jié)果作為所述低秩矩陣a的輸入，得到所述低秩矩陣a當(dāng)前輸出結(jié)果；

52、步驟sc：將所述低秩矩陣a當(dāng)前輸出結(jié)果作為所述低秩矩陣b的輸入，得到所述低秩矩陣b當(dāng)前輸出結(jié)果；

53、步驟sd：將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息作為所述門控模塊的輸入，得到所述門控模塊當(dāng)前輸出結(jié)果；

54、步驟se：判斷所述門控模塊當(dāng)前輸出結(jié)果是否小于或等于預(yù)設(shè)閾值；

55、如果是，則將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息經(jīng)所述待微調(diào)大模型的預(yù)訓(xùn)練參數(shù)矩陣處理后的輸出結(jié)果作為所述循環(huán)隱思考模塊所對(duì)應(yīng)的原始權(quán)重矩陣的輸出結(jié)果；

56、如果否，則將所述門控模塊當(dāng)前輸出結(jié)果和所述輸入信息作為所述適配器的輸入，得到所述適配器當(dāng)前輸出結(jié)果，并重復(fù)執(zhí)行所述步驟sb到所述步驟se，直至所述門控模塊當(dāng)前輸出結(jié)果小于或等于所述預(yù)設(shè)閾值，則將所述低秩矩陣b當(dāng)前輸出結(jié)果和所述輸入信息經(jīng)所述預(yù)訓(xùn)練參數(shù)矩陣處理后的輸出結(jié)果作為所述循環(huán)隱思考模塊所對(duì)應(yīng)的原始權(quán)重矩陣的輸出結(jié)果；

57、其中，所述步驟sa到所述步驟sc對(duì)應(yīng)于所述循環(huán)隱思考模塊在所述待微調(diào)大模型的隱空間中，執(zhí)行基于思維鏈的深度思考過程中的一次深度思考。

58、可選的，所述執(zhí)行模塊，還用于執(zhí)行步驟s231：在所述待評(píng)估項(xiàng)為所述答案時(shí)，將預(yù)設(shè)答案和所述答案輸入至預(yù)設(shè)獎(jiǎng)勵(lì)函數(shù)中，進(jìn)行評(píng)分，得到所述答案對(duì)應(yīng)的分值；

59、步驟s232：在所述待評(píng)估項(xiàng)為所述輸出結(jié)果的格式時(shí)，將所述輸出結(jié)果送入格式評(píng)判執(zhí)行器中執(zhí)行，得到第一執(zhí)行結(jié)果，并對(duì)所述第一執(zhí)行結(jié)果進(jìn)行評(píng)分，得到所述輸出結(jié)果的格式對(duì)應(yīng)的分值；

60、步驟s233：在所述待評(píng)估項(xiàng)為所有的所述代碼時(shí)，將所有的所述代碼在代碼沙箱環(huán)境中順序執(zhí)行，得到第二執(zhí)行結(jié)果，并對(duì)所述第二執(zhí)行結(jié)果進(jìn)行評(píng)分，得到所有的所述代碼對(duì)應(yīng)的分值。

61、第三方面，本發(fā)明提供了一種服務(wù)器，包括：處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序，所述程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法的步驟。

62、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法的步驟。

63、第五方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于智能計(jì)算中心算力實(shí)現(xiàn)隱空間思考的大模型微調(diào)方法的步驟。

64、本發(fā)明中，通過加持智能計(jì)算中心的算力，大模型可以在隱空間中進(jìn)行高效的深度思考與推理。具體地，智能計(jì)算中心利用先進(jìn)的硬件設(shè)施和優(yōu)化的計(jì)算架構(gòu)，能夠支持并行處理和高效的算力資源調(diào)度，使得大模型的深度思考和推理過程在隱空間中得以快速進(jìn)行；且隱空間推理的方式不僅可以降低資源消耗，還可以顯著提高思考的效率，并加深思考的深度，從而在更短的時(shí)間內(nèi)輸出更為準(zhǔn)確的答案。

65、綜上，基于智能計(jì)算中心的算力，大模型可以在隱空間中進(jìn)行高效的深度思考與推理，相較于現(xiàn)有的大模型的顯性思考來說，可以在降低資源消耗的前提下，顯著提高思考效率和思考深度，從而用更少的時(shí)間輸出更為準(zhǔn)確的答案，提升用戶的使用體驗(yàn)。