本發(fā)明屬于多目標(biāo)優(yōu)化問(wèn)題，具體涉及一種多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法和應(yīng)用方法。
背景技術(shù)：
1、在現(xiàn)實(shí)世界中，優(yōu)化問(wèn)題存在于生產(chǎn)生活的方方面面，尤其是多目標(biāo)優(yōu)化問(wèn)題，例如在進(jìn)行芯片設(shè)計(jì)時(shí)，需要同時(shí)考慮芯片的性能與功耗等，并且這些優(yōu)化問(wèn)題普遍是黑盒的，即無(wú)法訪問(wèn)問(wèn)題的其他信息，諸如梯度等，因此需要科研人員針對(duì)面對(duì)的優(yōu)化問(wèn)題設(shè)計(jì)特定的算法才能達(dá)到令人滿意的性能，但是這樣也費(fèi)時(shí)費(fèi)力，且科研人員設(shè)計(jì)的算法具有主觀性，泛化能力差。近年來(lái)預(yù)訓(xùn)練模型一直是科研人員追求算法自動(dòng)化，克服手工設(shè)計(jì)的算法局限性的一個(gè)重要研究方向。目前已有一些關(guān)于預(yù)訓(xùn)練模型的研究，但是都只能解決單目標(biāo)優(yōu)化問(wèn)題，還是缺少對(duì)于解決多目標(biāo)優(yōu)化問(wèn)題的預(yù)訓(xùn)練模型。
2、目前已有解決單目標(biāo)優(yōu)化問(wèn)題的預(yù)訓(xùn)練模型，例如可學(xué)習(xí)的進(jìn)化策略(les)和可學(xué)習(xí)的遺傳算法(lga)等，但是這些預(yù)訓(xùn)練模型都只能解決單目標(biāo)優(yōu)化問(wèn)題，面對(duì)種類(lèi)繁多，且在工業(yè)工程設(shè)計(jì)中普遍存在、不能忽視的多目標(biāo)優(yōu)化問(wèn)題上，無(wú)法直接應(yīng)用到這些多目標(biāo)優(yōu)化問(wèn)題上。目前解決多目標(biāo)優(yōu)化問(wèn)題的方法是以多目標(biāo)進(jìn)化算法為主，大體上分為三類(lèi)：第一類(lèi)是基于支配關(guān)系的多目標(biāo)進(jìn)化算法，例如非支配排序遺傳算法(nsga-ii)，第二類(lèi)是基于指標(biāo)的多目標(biāo)進(jìn)化算法，第三類(lèi)是基于分解的多目標(biāo)算法(moea/d)。
3、目前所面對(duì)的工業(yè)工程設(shè)計(jì)上的多目標(biāo)優(yōu)化問(wèn)題之間存在著較大差異，例如進(jìn)行人力資源優(yōu)化時(shí)要考慮工作效率和用人成本之間進(jìn)行權(quán)衡，在進(jìn)行電力調(diào)度時(shí)，需要權(quán)衡發(fā)電成本和碳排放，這些不同的多目標(biāo)優(yōu)化問(wèn)題幾乎不可以通過(guò)同一種優(yōu)化方法進(jìn)行優(yōu)化。現(xiàn)有的解決多目標(biāo)優(yōu)化問(wèn)題的方法，大多是研究人員手工設(shè)計(jì)的，只能針對(duì)某些特定的多目標(biāo)優(yōu)化問(wèn)題，并且還需要研究人員針對(duì)所要面對(duì)的問(wèn)題花費(fèi)額外的時(shí)間和精力調(diào)整算法中的參數(shù)。
4、此外，現(xiàn)有的預(yù)訓(xùn)練模型算法只能解決單目標(biāo)優(yōu)化問(wèn)題，不能直接運(yùn)用到多目標(biāo)優(yōu)化問(wèn)題上，且現(xiàn)有的針對(duì)預(yù)訓(xùn)練模型的訓(xùn)練方法比較依賴提取面臨的問(wèn)題的梯度信息，多目標(biāo)優(yōu)化問(wèn)題難以提取有效的梯度信息。
技術(shù)實(shí)現(xiàn)思路
1、為了解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法和應(yīng)用方法。本發(fā)明要解決的技術(shù)問(wèn)題通過(guò)以下技術(shù)方案實(shí)現(xiàn)：
2、本發(fā)明的一個(gè)方面提供了一種多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，所述多目標(biāo)預(yù)訓(xùn)練模型用于獲取多目標(biāo)優(yōu)化問(wèn)題的解，所述訓(xùn)練方法包括：
3、s1：根據(jù)訓(xùn)練所使用的多目標(biāo)優(yōu)化問(wèn)題的數(shù)量|ts|以及問(wèn)題信息，初始化|ts|個(gè)種群；
4、s2：初始化所述多目標(biāo)預(yù)訓(xùn)練模型的網(wǎng)絡(luò)參數(shù)，將所述多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化為多個(gè)單目標(biāo)優(yōu)化子問(wèn)題；
5、s3：利用所述多目標(biāo)預(yù)訓(xùn)練模型和所述多個(gè)單目標(biāo)優(yōu)化子問(wèn)題對(duì)種群進(jìn)行進(jìn)化和更新，并利用損失函數(shù)對(duì)所述多目標(biāo)預(yù)訓(xùn)練模型的網(wǎng)絡(luò)參數(shù)進(jìn)行更新；
6、s4：在完成t代的網(wǎng)絡(luò)更新后，獲得訓(xùn)練好的多目標(biāo)預(yù)訓(xùn)練模型。
7、本發(fā)明的另一方面提供了一種多目標(biāo)預(yù)訓(xùn)練模型的應(yīng)用方法，包括：
8、步驟1：利用上述實(shí)施例所述的訓(xùn)練方法對(duì)所述預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，獲得訓(xùn)練后的預(yù)訓(xùn)練模型；
9、步驟2：利用所述訓(xùn)練后的預(yù)訓(xùn)練模型獲得多目標(biāo)優(yōu)化問(wèn)題的最優(yōu)解。
10、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果有：
11、1、在面對(duì)各種工業(yè)工程設(shè)計(jì)中存在的多目標(biāo)優(yōu)化問(wèn)題，本發(fā)明提出一種多目標(biāo)預(yù)訓(xùn)練模型，與已有的解決單目標(biāo)優(yōu)化問(wèn)題的預(yù)訓(xùn)練模型，例如可學(xué)習(xí)的進(jìn)化策略(les)和可學(xué)習(xí)的遺傳算法(lga)等相比，本發(fā)明通過(guò)融入多目標(biāo)進(jìn)化優(yōu)化算法中基于分解的方法，將多目標(biāo)優(yōu)化問(wèn)題分解為多個(gè)單目標(biāo)優(yōu)化子問(wèn)題，使多目標(biāo)預(yù)訓(xùn)練模型可以解決多目標(biāo)優(yōu)化問(wèn)題。
12、2、本發(fā)明的多目標(biāo)預(yù)訓(xùn)練模型在傳統(tǒng)多目標(biāo)進(jìn)化優(yōu)化算法的基礎(chǔ)上，引入了可學(xué)習(xí)的變異模塊和可學(xué)習(xí)的交叉模塊，使得算法可以根據(jù)訓(xùn)練中學(xué)到的種群信息以及從不同多目標(biāo)優(yōu)化問(wèn)題中學(xué)到知識(shí)，讓多目標(biāo)預(yù)訓(xùn)練模型在迭代進(jìn)化中更好的搜索最優(yōu)解，而且還可以減少研究人員手工設(shè)計(jì)算子，以及需要大量時(shí)間精力針對(duì)不同問(wèn)題進(jìn)行參數(shù)調(diào)整。本發(fā)明在訓(xùn)練階段采用將基于分解的多目標(biāo)優(yōu)化方法和基于元梯度的訓(xùn)練方法相結(jié)合的處理方法，解決了多目標(biāo)預(yù)訓(xùn)練模型無(wú)法利用梯度進(jìn)行訓(xùn)練的問(wèn)題，并且避免了順序訓(xùn)練帶來(lái)的過(guò)擬合以及泛化能力差等問(wèn)題。
13、以下將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。
1.一種多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述多目標(biāo)預(yù)訓(xùn)練模型用于獲取多目標(biāo)優(yōu)化問(wèn)題的最優(yōu)解，所述訓(xùn)練方法包括：
2.根據(jù)權(quán)利要求1所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述多目標(biāo)預(yù)訓(xùn)練模型包括可學(xué)習(xí)的交叉模塊、可學(xué)習(xí)的變異模塊和選擇模塊，其中，
3.根據(jù)權(quán)利要求2所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，將所述多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化為多個(gè)單目標(biāo)優(yōu)化子問(wèn)題，包括：
4.根據(jù)權(quán)利要求3所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述可學(xué)習(xí)的交叉模塊具體用于：
5.根據(jù)權(quán)利要求4所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述可學(xué)習(xí)的交叉模塊具體用于：
6.根據(jù)權(quán)利要求5所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述位置前饋網(wǎng)絡(luò)的輸入向量為：
7.根據(jù)權(quán)利要求6所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述選擇模塊具體用于：
8.根據(jù)權(quán)利要求6所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，利用損失函數(shù)對(duì)所述多目標(biāo)預(yù)訓(xùn)練模型的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，包括：
9.一種多目標(biāo)預(yù)訓(xùn)練模型的應(yīng)用方法，其特征在于，包括：
10.根據(jù)權(quán)利要求9所述的多目標(biāo)預(yù)訓(xùn)練模型的訓(xùn)練方法，其特征在于，所述步驟2包括：