本發(fā)明涉及智能路由算法，更具體地，涉及一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置。
背景技術(shù)：
1、時(shí)變網(wǎng)絡(luò)具有網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)動(dòng)態(tài)可變、節(jié)點(diǎn)鏈路異質(zhì)異構(gòu)、網(wǎng)絡(luò)流量突發(fā)等特性，因此，根據(jù)網(wǎng)絡(luò)鏈路狀態(tài)的意圖進(jìn)行感知、生成路由并實(shí)現(xiàn)數(shù)據(jù)的及時(shí)、有效、可靠傳輸是十分重要的。傳統(tǒng)的路由算法通常根據(jù)有限的鏈路狀態(tài)信息，進(jìn)行最短路徑的選擇從而實(shí)現(xiàn)業(yè)務(wù)傳輸，這會(huì)導(dǎo)致對(duì)于復(fù)雜場(chǎng)景下的網(wǎng)絡(luò)拓?fù)渥兓y以快速響應(yīng)，因此無(wú)法滿足業(yè)務(wù)服務(wù)質(zhì)量的需求。為了滿足時(shí)變網(wǎng)絡(luò)的需求，現(xiàn)有的智能化路由算法在近幾年得到了飛速的發(fā)展，其中，基于強(qiáng)化學(xué)習(xí)的智能路由算法受到研究人員的廣泛關(guān)注。不同于其他深度學(xué)習(xí)算法，強(qiáng)化學(xué)習(xí)可以在不需要先驗(yàn)環(huán)境知識(shí)的情況下保持自學(xué)習(xí)的優(yōu)勢(shì)，同時(shí)能夠解決高維狀態(tài)空間的優(yōu)化問(wèn)題，因此，以強(qiáng)化學(xué)習(xí)為基礎(chǔ)的智能路由算法成為主流趨勢(shì)。
2、然而，現(xiàn)有以強(qiáng)化學(xué)習(xí)為基礎(chǔ)的智能路由算法存在實(shí)際場(chǎng)景自適應(yīng)差、收斂速度慢等問(wèn)題，且大多數(shù)算法只考慮帶寬、傳輸速率等因素的影響而忽略了地形環(huán)境、節(jié)點(diǎn)運(yùn)動(dòng)預(yù)測(cè)等情況對(duì)路由生成的影響，導(dǎo)致不能自適應(yīng)地根據(jù)末端網(wǎng)絡(luò)狀態(tài)進(jìn)行路由生成。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本發(fā)明提供了一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，旨在解決現(xiàn)有智能路由算法存在實(shí)際場(chǎng)景自適應(yīng)性差、收斂速度慢的技術(shù)問(wèn)題。
2、本發(fā)明的一個(gè)方面提供了一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法，包括：獲取業(yè)務(wù)請(qǐng)求信息，并對(duì)業(yè)務(wù)請(qǐng)求信息進(jìn)行解析，得到業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)，其中，業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)表征本次業(yè)務(wù)請(qǐng)求的意圖；根據(jù)意圖，從時(shí)變網(wǎng)絡(luò)的源節(jié)點(diǎn)出發(fā)，搜索出能夠到達(dá)目標(biāo)節(jié)點(diǎn)的可行路徑矩陣；基于可行路徑矩陣，計(jì)算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣；根據(jù)鏈路狀態(tài)矩陣和可行路徑矩陣對(duì)應(yīng)的地形特征，生成網(wǎng)絡(luò)狀態(tài)空間特征；將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強(qiáng)化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標(biāo)路由。
3、根據(jù)本發(fā)明的實(shí)施例，根據(jù)意圖，從時(shí)變網(wǎng)絡(luò)的源節(jié)點(diǎn)出發(fā)，搜索出能夠到達(dá)目標(biāo)節(jié)點(diǎn)的可行路徑矩陣包括：獲取時(shí)變網(wǎng)絡(luò)中的路由節(jié)點(diǎn)集合，以及路由節(jié)點(diǎn)之間的鏈路集合；根據(jù)所述路由節(jié)點(diǎn)集合和所述鏈路集合，生成時(shí)變網(wǎng)絡(luò)末端節(jié)點(diǎn)的網(wǎng)絡(luò)拓?fù)洌桓鶕?jù)所述網(wǎng)絡(luò)拓?fù)?，利用所述意圖生成源節(jié)點(diǎn)到達(dá)目標(biāo)節(jié)點(diǎn)的可行路徑矩陣。
4、根據(jù)本發(fā)明的實(shí)施例，基于可行路徑矩陣，計(jì)算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：計(jì)算可行路徑矩陣中每條鏈路的時(shí)延參數(shù)；計(jì)算可行路徑矩陣中每條鏈路的剩余寬帶參數(shù)；計(jì)算可行路徑矩陣中每條鏈路的丟包率；計(jì)算可行路徑矩陣中每條鏈路的地形影響率；根據(jù)時(shí)延參數(shù)、剩余寬帶參數(shù)、丟包率和地形影響率，生成可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣。
5、根據(jù)本發(fā)明的實(shí)施例，計(jì)算可行路徑矩陣中每條鏈路的地形影響率包括：根據(jù)每條鏈路中兩個(gè)節(jié)點(diǎn)之間的移動(dòng)距離通過(guò)蒙特卡洛方法計(jì)算得到每條鏈路受地形影響的概率。
6、根據(jù)本發(fā)明的實(shí)施例，根據(jù)每條鏈路中兩個(gè)節(jié)點(diǎn)之間的移動(dòng)距離通過(guò)蒙特卡洛方法計(jì)算得到每條鏈路受地形的影響概率包括：響應(yīng)于經(jīng)過(guò)隨機(jī)采樣，確定每條鏈路中兩個(gè)節(jié)點(diǎn)的坐標(biāo)；響應(yīng)于經(jīng)過(guò)重復(fù)采樣n次，其中有n次的鏈路與障礙物相交，則鏈路受地形的影響概率f?(ei,j)為：
7、
8、其中，ei,j表示節(jié)點(diǎn)vi和vj之間的鏈路。
9、根據(jù)本發(fā)明的實(shí)施例，根據(jù)時(shí)延參數(shù)、剩余寬帶參數(shù)、丟包率和地形影響率，生成可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
10、
11、其中，mp表示鏈路狀態(tài)矩陣，d表示時(shí)延參數(shù)、b表示剩余帶寬參數(shù)、l表示丟包率、f表示地形影響率。
12、根據(jù)本發(fā)明的實(shí)施例，將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強(qiáng)化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標(biāo)路由包括：根據(jù)路徑?jīng)Q策策略，確定出可行路徑矩陣中預(yù)期價(jià)值最大的路徑，其中，路徑?jīng)Q策策略被配置為貪心策略；根據(jù)可行路徑矩陣中預(yù)期價(jià)值最大的路徑，生成目標(biāo)路由。
13、本發(fā)明的另一個(gè)方面提供了一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成裝置，包括：獲取模塊，用于獲取業(yè)務(wù)請(qǐng)求信息，并對(duì)業(yè)務(wù)請(qǐng)求信息進(jìn)行解析，得到業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)，其中，業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)表征本次業(yè)務(wù)請(qǐng)求的意圖；搜索模塊，用于根據(jù)意圖，從時(shí)變網(wǎng)絡(luò)的源節(jié)點(diǎn)出發(fā)，搜索出能夠到達(dá)目標(biāo)節(jié)點(diǎn)的可行路徑矩陣；計(jì)算模塊，用于基于可行路徑矩陣，計(jì)算得到可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣；生成模塊，用于根據(jù)鏈路狀態(tài)矩陣和可行路徑矩陣對(duì)應(yīng)的地形特征，生成網(wǎng)絡(luò)狀態(tài)空間特征；決策模塊，用于將網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強(qiáng)化學(xué)習(xí)模型，決策出能夠滿足業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標(biāo)路由。
14、本發(fā)明的另一個(gè)方面提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上的方法。
15、本發(fā)明的另一方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上的方法。
16、本發(fā)明的另一方面提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可執(zhí)行指令，指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上的方法。
17、與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例提供的面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，至少具有以下有益效果：
18、（1）本發(fā)明實(shí)施例提供的面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，利用了基于業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求與網(wǎng)絡(luò)鏈路資源、地理環(huán)境信息的動(dòng)態(tài)路由選擇機(jī)制，增強(qiáng)了路由生成方法對(duì)于復(fù)雜環(huán)境的自適應(yīng)性，因此解決了現(xiàn)有智能路由算法存在實(shí)際場(chǎng)景自適應(yīng)性差的技術(shù)問(wèn)題。
19、（2）本發(fā)明實(shí)施例提供的面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，通過(guò)蒙特卡洛方法隨機(jī)取樣計(jì)算鏈路受地形的影響概率，并將該數(shù)據(jù)作為時(shí)變網(wǎng)絡(luò)狀態(tài)空間特征之一，同時(shí)考慮通信服務(wù)質(zhì)量、地理環(huán)境和網(wǎng)絡(luò)終端節(jié)點(diǎn)變換對(duì)路由生成的影響，提高了智能路由生成算法的自適應(yīng)性。
20、（3）本發(fā)明實(shí)施例提供的面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，使用了強(qiáng)化學(xué)習(xí)模型而非其他深度模型，這是因?yàn)闀r(shí)變網(wǎng)絡(luò)的末端網(wǎng)絡(luò)節(jié)點(diǎn)自由度較大，難以獲得可用于訓(xùn)練的大量樣本集，導(dǎo)致通過(guò)監(jiān)督學(xué)習(xí)等對(duì)樣本敏感的智能路由算法不適用復(fù)雜通信網(wǎng)絡(luò)環(huán)境，而強(qiáng)化學(xué)習(xí)的無(wú)監(jiān)督學(xué)習(xí)機(jī)制非常適合于時(shí)變網(wǎng)絡(luò)的場(chǎng)景。
21、（4）本發(fā)明實(shí)施例提供的面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法及裝置，使用dueling?dqn強(qiáng)化學(xué)習(xí)模型（改進(jìn)后的deep?q-network模型），而非常用的single?dqn（傳統(tǒng)的deep?q-network模型），這是因?yàn)閐ueling?dqn強(qiáng)化學(xué)習(xí)模型算法收斂速度更快，更適用于時(shí)變網(wǎng)絡(luò)頻繁發(fā)生的情況。
1.一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述意圖，從時(shí)變網(wǎng)絡(luò)的源節(jié)點(diǎn)出發(fā)，搜索出能夠到達(dá)目標(biāo)節(jié)點(diǎn)的可行路徑矩陣包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述可行路徑矩陣，計(jì)算得到所述可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述計(jì)算所述可行路徑矩陣中每條鏈路的地形影響率包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)每條鏈路中兩個(gè)節(jié)點(diǎn)之間的移動(dòng)距離通過(guò)蒙特卡洛方法計(jì)算得到每條鏈路受地形的影響概率包括：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述時(shí)延參數(shù)、所述剩余寬帶參數(shù)、所述丟包率和所述地形影響率，生成所述可行路徑矩陣中每條鏈路的鏈路狀態(tài)矩陣包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述網(wǎng)絡(luò)狀態(tài)空間特征輸入預(yù)先訓(xùn)練的強(qiáng)化學(xué)習(xí)模型，決策出能夠滿足所述業(yè)務(wù)狀態(tài)服務(wù)質(zhì)量需求參數(shù)的路徑作為目標(biāo)路由包括：
8.一種面向時(shí)變網(wǎng)絡(luò)的意圖感知路由生成裝置，其特征在于，所述裝置包括：
9.一種電子設(shè)備，其特征在于，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，其特征在于，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)權(quán)利要求1~7中任一項(xiàng)所述的方法。