本公開的示例實(shí)施例總體涉及計(jì)算機(jī)領(lǐng)域，特別地涉及信息處理的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，殘差連接(residual?connection)技術(shù)的出現(xiàn)具有重要意義。殘差連接的基本思想是通過(guò)在神經(jīng)網(wǎng)絡(luò)的某些層之間添加捷徑連接，使得網(wǎng)絡(luò)可以直接學(xué)習(xí)輸入輸出之間的殘差映射，而不是直接學(xué)習(xí)目標(biāo)函數(shù)。這種結(jié)構(gòu)有助于緩解梯度消失問(wèn)題，使得深層網(wǎng)絡(luò)的訓(xùn)練更加容易和有效。

技術(shù)實(shí)現(xiàn)思路

1、在本公開的第一方面，提供了一種信息處理的方法。該方法包括：向目標(biāo)模型提供輸入信息，目標(biāo)模型包括多個(gè)處理層，多個(gè)處理層至少包括相鄰的第一處理層和第二處理層；將第一處理層的第一輸入特征分割為第一組特征分量，第一輸入特征是基于輸入信息所確定的；將第一組權(quán)重參數(shù)應(yīng)用于第一組特征分量，以確定中間輸入特征；確定第一處理層基于中間輸入特征所生成的中間輸出特征；基于中間輸出特征和第一組特征分量，確定第二組特征分量，以作為針對(duì)第二處理層的第二輸入特征；以及至少基于第二輸入特征，生成目標(biāo)模型的輸出結(jié)果。

2、在本公開的第二方面，提供了一種用于信息處理的裝置。該裝置包括：輸入提供模塊，被配置為向目標(biāo)模型提供輸入信息，目標(biāo)模型包括多個(gè)處理層，多個(gè)處理層至少包括相鄰的第一處理層和第二處理層；特征分割模塊，被配置為將第一處理層的第一輸入特征分割為第一組特征分量，第一輸入特征是基于輸入信息所確定的；第一加權(quán)模塊，被配置為將第一組權(quán)重參數(shù)應(yīng)用于第一組特征分量，以確定中間輸入特征；特征處理模塊，被配置為確定第一處理層基于中間輸入特征所生成的中間輸出特征；第二加權(quán)模塊，被配置為基于中間輸出特征和第一組特征分量，確定第二組特征分量，以作為針對(duì)第二處理層的第二輸入特征；以及結(jié)果輸出模塊，被配置為至少基于第二輸入特征，生成目標(biāo)模型的輸出結(jié)果。

3、在本公開的第三方面，提供了一種電子設(shè)備。該設(shè)備包括至少一個(gè)處理單元；以及至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器被耦合到至少一個(gè)處理單元并且存儲(chǔ)用于由至少一個(gè)處理單元執(zhí)行的指令。指令在由至少一個(gè)處理單元執(zhí)行時(shí)使設(shè)備執(zhí)行第一方面的方法。

4、在本公開的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序可由處理器執(zhí)行以實(shí)現(xiàn)第一方面的方法。

5、在本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可執(zhí)行指令，這些指令在被處理器執(zhí)行時(shí)，實(shí)現(xiàn)根據(jù)本公開的第一方面的方法。

6、應(yīng)當(dāng)理解，本內(nèi)容部分中所描述的內(nèi)容并非旨在限定本公開的實(shí)施例的關(guān)鍵特征或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過(guò)以下的描述而變得容易理解。

技術(shù)特征：

1.一種信息處理的方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中將所述第一處理層的第一輸入特征分割為第一組特征分量包括：

3.根據(jù)權(quán)利要求1所述的方法，還包括：

4.根據(jù)權(quán)利要求1所述的方法，其中所述第二組特征分量的各特征分量是通過(guò)將對(duì)應(yīng)的第二組權(quán)重參數(shù)應(yīng)用于所述中間輸出特征和所述第一組特征分量所確定的。

5.根據(jù)權(quán)利要求4所述的方法，其中所述第一組權(quán)重參數(shù)和/或所述第二組權(quán)重參數(shù)是通過(guò)訓(xùn)練所述目標(biāo)模型所確定的靜態(tài)參數(shù)。

6.根據(jù)權(quán)利要求4所述的方法，其中所述第一組權(quán)重參數(shù)和/或所述第二組權(quán)重參數(shù)是基于所述第一輸入特征所確定的動(dòng)態(tài)參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其中所述第一組權(quán)重參數(shù)和/或所述第二組權(quán)重參數(shù)是基于以下過(guò)程被確定：

8.根據(jù)權(quán)利要求1所述的方法，其中所述目標(biāo)模型是通過(guò)利用所述多個(gè)處理層來(lái)替換變換器單元中經(jīng)殘差連接的一組處理層所構(gòu)建。

9.根據(jù)權(quán)利要求1所述的方法，其中所述目標(biāo)模型為生成式模型，并且所述輸入信息至少包括文本內(nèi)容，所述文本內(nèi)容被提供作為所述生成式模型的提示詞，所述輸出結(jié)果包括以下中的至少一項(xiàng)：文本內(nèi)容、圖像內(nèi)容、音頻內(nèi)容。

10.根據(jù)權(quán)利要求1所述的方法，其中所述處理層為前饋層或者注意力層。

11.一種用于信息處理的裝置，包括：

12.一種電子設(shè)備，包括：

13.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序可由處理器執(zhí)行以實(shí)現(xiàn)根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法。

14.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可執(zhí)行指令，其中所述計(jì)算機(jī)可執(zhí)行指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開的實(shí)施例涉及信息處理的方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。在此提出的方法包括：向目標(biāo)模型提供輸入信息，目標(biāo)模型包括多個(gè)處理層；將第一處理層的第一輸入特征分割為第一組特征分量；將第一組權(quán)重參數(shù)應(yīng)用于第一組特征分量，以確定中間輸入特征；確定第一處理層基于中間輸入特征所生成的中間輸出特征；基于中間輸出特征和第一組特征分量，確定第二組特征分量；以及至少基于第二輸入特征，生成目標(biāo)模型的輸出結(jié)果。通過(guò)將第一輸入特征分割成第一組特征分量，本公開的實(shí)施例可以避免由于特征寬度增加導(dǎo)致的額外內(nèi)存開銷，從而減少內(nèi)存使用，并降低計(jì)算成本。

技術(shù)研發(fā)人員：朱德發(fā),黃宏志,周君棟,黃梓浩,曾宇濤,伍邦谷,閔啟陽(yáng),周珣
受保護(hù)的技術(shù)使用者：北京青陽(yáng)智維科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/30