本發(fā)明實施例涉及數(shù)據(jù)處理,尤其涉及一種數(shù)據(jù)處理方法及模塊、設(shè)備以及存儲介質(zhì)。
背景技術(shù):
1、神經(jīng)網(wǎng)絡(luò)是一種大規(guī)模、多參數(shù)優(yōu)化的工具。依靠大量的訓(xùn)練數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)出數(shù)據(jù)中難以總結(jié)的隱藏特征,從而完成多項復(fù)雜的任務(wù),如人臉檢測、圖像語義分割、物體檢測、動作追蹤、自然語言翻譯等。神經(jīng)網(wǎng)絡(luò)已被人工智能界廣泛應(yīng)用。
2、在現(xiàn)代深度視覺識別等數(shù)據(jù)處理應(yīng)用中,卷積神經(jīng)網(wǎng)絡(luò)(cnn)模型處于核心地位。然而,現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型通常具有數(shù)百層和數(shù)千通道,因而伴隨著巨大的計算復(fù)雜度,如每秒數(shù)十億次浮點運算(flops)甚至更多。
3、然而,目前的卷積神經(jīng)網(wǎng)絡(luò)在執(zhí)行通道混洗操作時存在數(shù)據(jù)處理效率低下的問題,提高了數(shù)據(jù)處理的成本。
技術(shù)實現(xiàn)思路
1、本發(fā)明實施例解決的問題是提供一種數(shù)據(jù)處理方法及模塊、設(shè)備以及存儲介質(zhì),提高數(shù)據(jù)處理的效率,降低數(shù)據(jù)處理的成本。
2、為解決上述問題,本發(fā)明實施例提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法,所述卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、中間層和輸出層,所述數(shù)據(jù)處理方法包括:
3、經(jīng)由所述輸入層接收輸入數(shù)據(jù);
4、經(jīng)由所述中間層提取所述輸入數(shù)據(jù)的數(shù)據(jù)特征;
5、以及經(jīng)由所述輸出層輸出對于所述輸入數(shù)據(jù)的處理結(jié)果;
6、所述中間層包括至少一個網(wǎng)絡(luò)塊,所述至少一個網(wǎng)絡(luò)塊中的每個網(wǎng)絡(luò)塊包括級聯(lián)的第一分組卷積層和深度可分離卷積層,所述第一分組卷積層包括n個第一濾波器組,n個第一濾波器組包括m個第一濾波器,所述深度可分離卷積層包括m個第二濾波器;
7、所述第一分組卷積層接收n個第一特征數(shù)據(jù)組,n個第一特征數(shù)據(jù)組包括p個第一特征數(shù)據(jù),所述n個第一濾波器組與所述n個第一特征數(shù)據(jù)組一一對應(yīng),所述第一濾波器組中每個第一濾波器對相應(yīng)的所述第一特征數(shù)據(jù)組中的每個第一特征數(shù)據(jù)執(zhí)行卷積,所述第一分組卷積層生成n個第二特征數(shù)據(jù)組,n個第二特征數(shù)據(jù)組包括m個通道的第二特征數(shù)據(jù);
8、所述深度可分離卷積層接收所述n個第二特征數(shù)據(jù)組,所述n個第二特征數(shù)據(jù)組的m個通道的第二特征數(shù)據(jù)與所述m個第二濾波器一一對應(yīng),所述m個第二濾波器中每個第二濾波器分別對所述m個通道的第二特征數(shù)據(jù)中具有相應(yīng)偏移位序的一個通道的第二特征數(shù)據(jù)執(zhí)行深度可分離卷積,所述深度可分離卷積層生成n個第三特征數(shù)據(jù)組,所述n個第三特征數(shù)據(jù)組包括m個通道的第三特征數(shù)據(jù)。
9、可選地,在所述m個第二濾波器中每個第二濾波器分別對所述m個通道的第二特征數(shù)據(jù)中具有相應(yīng)偏移位序的一個通道的第二特征數(shù)據(jù)執(zhí)行深度可分離卷積的步驟中,所述第二濾波器在所述m個第二濾波器中的位序與第二特征數(shù)據(jù)在所述m個通道的第二特征數(shù)據(jù)中的位序之間滿足:
10、q=n*r+s;
11、其中,q表示所述第二濾波器在所述m個第二濾波器中的位序,r表示第二特征數(shù)據(jù)在所述m個通道的第二特征數(shù)據(jù)中的通道位序除以第一濾波器組中第一濾波器的數(shù)量得到的除法運算結(jié)果中的余數(shù),s表示第二特征數(shù)據(jù)在所述m個通道的第二特征數(shù)據(jù)中的通道位序除以第一濾波器組中第一濾波器的數(shù)量得到的除法運算結(jié)果中的整數(shù)。
12、可選地,所述至少一個網(wǎng)絡(luò)塊中的每個網(wǎng)絡(luò)塊還包括第二分組卷積層;
13、所述第二分組卷積層包括n個第三濾波器組,n個第三濾波器組包括m個第三濾波器;
14、所述第二分組卷積層接收n個第三特征數(shù)據(jù)組,所述n個第三濾波器組與所述n個第三特征數(shù)據(jù)組一一對應(yīng),所述第三濾波器組中每個第三濾波器對相應(yīng)的所述第三特征數(shù)據(jù)組中的每個第三特征數(shù)據(jù)執(zhí)行卷積,所述第二分組卷積層生成n個第四特征數(shù)據(jù)組,n個第四特征數(shù)據(jù)組包括l個通道的第四特征數(shù)據(jù)。
15、可選地,所述每個網(wǎng)絡(luò)塊包括第一通路和第二通路;
16、所述第一通路包括級聯(lián)的所述第一分組卷積層、所述深度可分離卷積層和所述第二分組卷積層,所述第二通路為用于連接所述第一通路的第一個卷積層的輸入特征和所述第一通路的最后一個卷積層的輸出特征的通路。
17、可選地,所述輸入特征和所述第一通路的輸出特征相加為所述每個網(wǎng)絡(luò)塊的輸出特征。
18、可選地,所述輸入特征為所述n個第一特征數(shù)據(jù)組,所述第一分組卷積層中每個第一濾波器的卷積核大小為1*1,所述深度可分離卷積層中每個第二濾波器的卷積核大小為3*3,所述第二分組卷積層中每個第三濾波器的卷積核大小為1*1。
19、可選地,所述數(shù)據(jù)處理方法包括圖像處理方法。
20、相應(yīng)地,本發(fā)明實施例還提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理模塊,所述卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、中間層和輸出層,所述數(shù)據(jù)處理模塊包括:
21、數(shù)據(jù)輸入單元,適于經(jīng)由所述輸入層接收輸入數(shù)據(jù);
22、特征提取單元,適于經(jīng)由所述中間層提取所述輸入數(shù)據(jù)的數(shù)據(jù)特征;以及
23、結(jié)果輸出單元,適于經(jīng)由所述輸出層輸出對于所述輸入數(shù)據(jù)的處理結(jié)果,
24、所述中間層包括至少一個網(wǎng)絡(luò)塊,所述至少一個網(wǎng)絡(luò)塊中的每個網(wǎng)絡(luò)塊包括級聯(lián)的第一分組卷積層和深度可分離卷積層,所述第一分組卷積層包括n個第一濾波器組,n個第一濾波器組包括m個第一濾波器,所述深度可分離卷積層包括m個第二濾波器;
25、所述第一分組卷積層接收n個第一特征數(shù)據(jù)組,n個第一特征數(shù)據(jù)組包括p個第一特征數(shù)據(jù),所述n個第一濾波器組與所述n個第一特征數(shù)據(jù)組一一對應(yīng),所述第一濾波器組中每個第一濾波器對相應(yīng)的所述第一特征數(shù)據(jù)組中的每個第一特征數(shù)據(jù)執(zhí)行卷積,所述第一分組卷積層生成n個第二特征數(shù)據(jù)組,n個第二特征數(shù)據(jù)組包括m個通道的第二特征數(shù)據(jù);
26、所述深度可分離卷積層接收所述n個第二特征數(shù)據(jù)組,所述n個第二特征數(shù)據(jù)組的m個通道的第二特征數(shù)據(jù)與所述m個第二濾波器一一對應(yīng),所述m個第二濾波器中每個第二濾波器分別對所述m個通道的第二特征數(shù)據(jù)中具有相應(yīng)偏移位序的一個通道的第二特征數(shù)據(jù)執(zhí)行深度可分離卷積,所述深度可分離卷積層生成n個第三特征數(shù)據(jù)組,所述n個第三特征數(shù)據(jù)組包括m個通道的第三特征數(shù)據(jù)。
27、相應(yīng)地,本發(fā)明實施例還提供一種設(shè)備,包括至少一個存儲器和至少一個處理器,所述存儲器存儲有一條或多條計算機指令,其中,所述一條或多條計算機指令被所述處理器執(zhí)行以實現(xiàn)如上述任一項所述的基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法。
28、相應(yīng)地,本發(fā)明實施例還提供一種存儲介質(zhì),所述存儲介質(zhì)存儲有一條或多條計算機指令,所述一條或多條計算機指令用于實現(xiàn)如上述任一項所述的基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法。
29、與現(xiàn)有技術(shù)相比,本發(fā)明實施例的技術(shù)方案具有以下優(yōu)點:
30、本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法,所述卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、中間層和輸出層,所述數(shù)據(jù)處理方法包括:經(jīng)由所述輸入層接收輸入數(shù)據(jù);經(jīng)由所述中間層提取所述輸入數(shù)據(jù)的數(shù)據(jù)特征;以及經(jīng)由所述輸出層輸出對于所述輸入數(shù)據(jù)的處理結(jié)果;所述中間層包括至少一個網(wǎng)絡(luò)塊,所述至少一個網(wǎng)絡(luò)塊中的每個網(wǎng)絡(luò)塊包括級聯(lián)的第一分組卷積層和深度可分離卷積層,所述第一分組卷積層包括n個第一濾波器組,n個第一濾波器組包括m個第一濾波器,所述深度可分離卷積層包括m個第二濾波器;所述第一分組卷積層接收n個第一特征數(shù)據(jù)組,n個第一特征數(shù)據(jù)組包括p個第一特征數(shù)據(jù),所述n個第一濾波器組與所述n個第一特征數(shù)據(jù)組一一對應(yīng),所述第一濾波器組中每個第一濾波器對相應(yīng)的所述第一特征數(shù)據(jù)組中的每個第一特征數(shù)據(jù)執(zhí)行卷積,所述第一分組卷積層生成n個第二特征數(shù)據(jù)組,n個第二特征數(shù)據(jù)組包括m個通道的第二特征數(shù)據(jù);所述深度可分離卷積層接收所述n個第二特征數(shù)據(jù)組,所述n個第二特征數(shù)據(jù)組的m個通道的第二特征數(shù)據(jù)與所述m個第二濾波器一一對應(yīng),所述m個第二濾波器中每個第二濾波器分別對所述m個通道的第二特征數(shù)據(jù)中具有相應(yīng)偏移位序的一個通道的第二特征數(shù)據(jù)執(zhí)行深度可分離卷積,所述深度可分離卷積層生成n個第三特征數(shù)據(jù)組,所述n個第三特征數(shù)據(jù)組包括m個通道的第三特征數(shù)據(jù)。
31、本發(fā)明實施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法中,所述深度可分離卷積層的所述m個第二濾波器中每個第二濾波器分別對第一分組卷積層的輸出結(jié)果的n個第二特征數(shù)據(jù)組的m個通道的第二特征數(shù)據(jù)中具有相應(yīng)偏移位序的一個通道的第二特征數(shù)據(jù)執(zhí)行深度可分離卷積,在進行深度可分離卷積操作的同時實現(xiàn)組間的通道混洗,相應(yīng)有助于提高數(shù)據(jù)處理的效率、節(jié)約數(shù)據(jù)處理的成本。