本發(fā)明涉及人工智能，特別是涉及脈沖神經(jīng)網(wǎng)絡。
背景技術：
1、脈沖神經(jīng)網(wǎng)絡(snns)是一種模仿生物神經(jīng)系統(tǒng)工作原理的神經(jīng)網(wǎng)絡類型，它們在信息處理中采用時間編碼的脈沖列。這種獨特的信息處理方式使得snns在能效、數(shù)據(jù)處理和生物真實性方面具有獨特優(yōu)勢。相比傳統(tǒng)的人工神經(jīng)網(wǎng)絡(anns)，snns通過模擬生物神經(jīng)元的脈沖發(fā)放行為，在處理時間序列數(shù)據(jù)、進行時空分析以及復雜模式識別任務方面表現(xiàn)出色。在神經(jīng)形態(tài)硬件中，snns通過使用簡單的加法運算代替乘法運算，實現(xiàn)了低功耗計算，這使得它們特別適用于語音識別、機器視覺和機器人控制等領域。
2、脈沖神經(jīng)網(wǎng)絡(spiking?neural?network,snns)可以根據(jù)信息表示方式的不同分為兩類：snn-r和snn-t。在snn-r中，信息的表示是通過每個時間步中的脈沖計數(shù)來實現(xiàn)的，其中脈沖的數(shù)量越多，表達的信息量就越大。換句話說，每層的信息強度與其脈沖數(shù)成正比。相反，在snn-t中，信息是通過每個時間步中首個脈沖出現(xiàn)的時間來表示的。在這種類型的網(wǎng)絡中，脈沖出現(xiàn)得越早，代表的信息量就越大。這兩種snns各自獨特的信息表示方式，使得它們在處理不同類型數(shù)據(jù)時具有不同的優(yōu)勢和特性。
3、盡管脈沖神經(jīng)網(wǎng)絡在某些方面表現(xiàn)出色，但它們也面臨一些關鍵的性能瓶頸：
4、1、時間步長(time?step)固定：在推理過程中，現(xiàn)有的snn方法通常無法動態(tài)調(diào)整時間維度，使網(wǎng)絡在不同層之間的時間窗口適應性上受限，其中，神經(jīng)元接收輸入脈沖的時間窗口大小等于時間步長的數(shù)量。
5、2、信息傳遞不靈活：目前snns缺乏高效在層間不同的時間步長間實現(xiàn)信息轉(zhuǎn)換的方法，這可能導致信息損失或計算冗余，影響模型性能和精度。
6、3、應用局限性：由于上述限制，snns在實際應用中的性能可能不如預期，尤其是在需要低功耗和低延遲的任務中。
技術實現(xiàn)思路
1、鑒于以上所述現(xiàn)有技術的缺點，本發(fā)明的目的在于提供一種時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法、介質(zhì)及設備，用于提升神經(jīng)網(wǎng)絡加速器的計算效率和能源效率。
2、為實現(xiàn)上述目的及其他相關目的，本發(fā)明提供一種時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，所述方法包括：計算脈沖神經(jīng)網(wǎng)絡加速器中脈沖神經(jīng)網(wǎng)絡模型的脈沖活躍度，以衡量所述脈沖神經(jīng)網(wǎng)絡模型中各層對所述脈沖神經(jīng)網(wǎng)絡模型的貢獻度；基于所述脈沖活躍度確定所述脈沖神經(jīng)網(wǎng)絡模型的損失函數(shù)；基于數(shù)據(jù)集和損失函數(shù)對所述脈沖神經(jīng)網(wǎng)絡模型進行迭代訓練，以為所述脈沖神經(jīng)網(wǎng)絡模型的各層確定對應的時間步長；脈沖神經(jīng)網(wǎng)絡加速器基于訓練后的所述脈沖神經(jīng)網(wǎng)絡模型執(zhí)行應用程序任務。
3、于本發(fā)明的一實施例中，所述脈沖活躍度為當前神經(jīng)元在內(nèi)激發(fā)與其時間步長長度的比值。
4、于本發(fā)明的一實施例中，還包括：基于激發(fā)脈沖的電位閾值和脈沖的激發(fā)電位確定每一層傳遞脈沖序列。
5、于本發(fā)明的一實施例中，對于snn-t類型的脈沖神經(jīng)網(wǎng)絡模型，傳遞給下一層的信息是在時間點處有單個脈沖的序列，其中，為snn中補償更新的產(chǎn)生脈沖的時間，x′t＝xt+vth/vfire，xt是snn-t中產(chǎn)生脈沖的時間，vth是snn中激發(fā)脈沖的電位閾值，vfire是snn-t中所有脈沖的平均激發(fā)電位；tl為當前層的時間步長，tl+1為下一層的時間步長。
6、于本發(fā)明的一實施例中，對于snn-r類型的脈沖神經(jīng)網(wǎng)絡模型，傳遞給下一層的信息是在前個時間點有脈沖的序列，其中，x′r為snn中補償更新的產(chǎn)生脈沖的時間，x′r＝xr+1-vth/v′fire，xr是snn-r中的脈沖計數(shù)，vth是snn中激發(fā)脈沖的電位閾值，v′fire是snn-r中唯一脈沖的激發(fā)電位。
7、于本發(fā)明的一實施例中，所述脈沖神經(jīng)網(wǎng)絡模型的損失函數(shù)l為：l＝lce+τlr；其中，act(l)表示第l層的脈沖活躍度，反映該層對網(wǎng)絡精度的影響，para(l)表示l層的參數(shù)總數(shù)，反映這層的計算負載，lce是原本snn訓練的交叉熵損失函數(shù)，τ是平衡交叉熵損失和正則項損失的懲罰因子，lr是正則項損失函數(shù)。
8、于本發(fā)明的一實施例中，所述為所述脈沖神經(jīng)網(wǎng)絡模型的各層確定對應的時間步長包括：在每個訓練周期中，對每層及其各個時間步長進行迭代處理，并基于輸入的脈沖序列和累積輸入電流更新神經(jīng)元的膜電位；更新?lián)p失函數(shù)和網(wǎng)絡權(quán)重；更新各層的時間步長。
9、于本發(fā)明的一實施例中，所述訓練過程開始于對每層時間步長的初始化，基于每層的脈沖活躍度動態(tài)設定。
10、為實現(xiàn)上述目的及其他相關目的，本發(fā)明還提供一種計算機存儲介質(zhì)，存儲有程序指令，所述程序指令被執(zhí)行時實現(xiàn)如上所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法的步驟。
11、為實現(xiàn)上述目的及其他相關目的，本發(fā)明還提供一種電子設備，包括存儲器，用于存儲計算機程序；處理器，用于運行所述計算機程序以實現(xiàn)如上所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法的步驟。
12、如上所述，本發(fā)明的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法、介質(zhì)及設備具有以下有益效果：
13、本發(fā)明通過計算網(wǎng)絡每層的脈沖活躍度，有效評估了snn網(wǎng)絡中各層的關鍵性，幫助確定每層在整體網(wǎng)絡性能中的貢獻，從而指導時間步長的優(yōu)化，并實現(xiàn)在不同時間步長的snn層之間傳遞完整信息，有效提升神經(jīng)網(wǎng)絡加速器的計算效率和能源效率。
1.一種時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：所述方法包括：
2.根據(jù)權(quán)利要求1所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：所述脈沖活躍度為當前神經(jīng)元在內(nèi)激發(fā)與其時間步長長度的比值。
3.根據(jù)權(quán)利要求1所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：還包括：基于激發(fā)脈沖的電位閾值和脈沖的激發(fā)電位確定每一層傳遞脈沖序列。
4.根據(jù)權(quán)利要求3所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：對于snn-t類型的脈沖神經(jīng)網(wǎng)絡模型，傳遞給下一層的信息是在時間點處有單個脈沖的序列，其中，x′t為snn中補償更新的產(chǎn)生脈沖的時間，x′t＝xt+vth/vfire，xt是snn-t中產(chǎn)生脈沖的時間，vth是snn中激發(fā)脈沖的電位閾值，vfire是snn-t中所有脈沖的平均激發(fā)電位；tl為當前層的時間步長，tl+1為下一層的時間步長。
5.根據(jù)權(quán)利要求3所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：對于對于snn-r類型的脈沖神經(jīng)網(wǎng)絡模型，傳遞給下一層的信息是在前個時間點有脈沖的序列，其中，x′r為snn中補償更新的產(chǎn)生脈沖的時間，x′r＝xr+1-vth/v′fire，xr是snn-r中的脈沖計數(shù)，vth是snn中激發(fā)脈沖的電位閾值，v′fire是snn-r中唯一脈沖的激發(fā)電位。
6.根據(jù)權(quán)利要求1所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：所述脈沖神經(jīng)網(wǎng)絡模型的損失函數(shù)l為：
7.根據(jù)權(quán)利要求1所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：所述為所述脈沖神經(jīng)網(wǎng)絡模型的各層確定對應的時間步長包括：
8.根據(jù)權(quán)利要求1或7所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法，其特征在于：所述訓練過程開始于對每層時間步長的初始化，基于每層的脈沖活躍度動態(tài)設定。
9.一種計算機存儲介質(zhì)，存儲有程序指令，其特征在于：所述程序指令被執(zhí)行時實現(xiàn)如權(quán)利要求1至權(quán)利要求8任一項所述的時間自適應脈沖神經(jīng)網(wǎng)絡加速器優(yōu)化方法的步驟。
10.一種電子設備，其特征在于，所述電子設備包括：