本發(fā)明涉及建筑能源系統(tǒng)優(yōu)化控制，具體涉及一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法及裝置。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速及居民生活水平的不斷提高，建筑能耗已成為全球能源消耗的重要組成部分。根據(jù)統(tǒng)計(jì)數(shù)據(jù)，我國(guó)建筑運(yùn)行能耗目前約占社會(huì)總能耗的21％，其中空調(diào)系統(tǒng)能耗約占建筑運(yùn)行能耗的50％。隨著可再生能源廣泛的接入和新型電力系統(tǒng)的發(fā)展，如何在保障室內(nèi)環(huán)境舒適度的前提下，提高建筑柔性供能系統(tǒng)的運(yùn)行經(jīng)濟(jì)效益，已成為亟待解決的核心問(wèn)題。將空調(diào)設(shè)備與電儲(chǔ)能系統(tǒng)相結(jié)合并進(jìn)行優(yōu)化控制，已成為實(shí)現(xiàn)建筑經(jīng)濟(jì)運(yùn)行的可行方法之一。盡管電儲(chǔ)能系統(tǒng)對(duì)建筑柔性供能系統(tǒng)至關(guān)重要，但其高昂的安裝與維護(hù)成本、大量占用的空間以及安全性方面的問(wèn)題，嚴(yán)重限制了其在該領(lǐng)域的應(yīng)用。建筑虛擬儲(chǔ)能系統(tǒng)(virtual?energy?storage?system,vess)作為一種創(chuàng)新的靈活性量化技術(shù)，已成為建筑能源管理領(lǐng)域的研究熱點(diǎn)。該技術(shù)利用了圍護(hù)結(jié)構(gòu)的熱慣性特性導(dǎo)致的室內(nèi)溫度的相位滯后響應(yīng)，結(jié)合分時(shí)電價(jià)機(jī)制后，建筑柔性供能系統(tǒng)可在谷價(jià)時(shí)段將光伏電能轉(zhuǎn)化為熱能并儲(chǔ)存于建筑圍護(hù)結(jié)構(gòu)中，并在峰價(jià)時(shí)段釋放蓄存熱能，在維持熱舒適度的同時(shí)優(yōu)化建筑柔性供能系統(tǒng)電熱負(fù)荷分布，有效提升建筑柔性供能系統(tǒng)經(jīng)濟(jì)運(yùn)行效益。將vess與建筑柔性供能系統(tǒng)控制策略的結(jié)合，可顯著改善建筑柔性供能系統(tǒng)能源供需匹配度，增強(qiáng)其靈活性與運(yùn)行效率。

2、目前，大量研究通過(guò)量化vess的充電/放電功率、熱容量和荷電狀態(tài)(stateofcharge,soc)等關(guān)鍵參數(shù)，實(shí)現(xiàn)vess的多維度量化評(píng)估，并結(jié)合模型預(yù)測(cè)控制等優(yōu)化控制方法對(duì)結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制策略進(jìn)行了探索。但現(xiàn)有方法存在兩個(gè)顯著局限性：首先，建筑柔性供能系統(tǒng)優(yōu)化控制問(wèn)題涉及購(gòu)電功率、vess充放電功率等多維度控制變量，以及熱舒適度、電平衡等復(fù)雜約束條件，傳統(tǒng)優(yōu)化控制方法在處理此類(lèi)多變量、非線(xiàn)性的優(yōu)化問(wèn)題時(shí)，普遍存在計(jì)算效率低、策略調(diào)整滯后的問(wèn)題，難以平衡優(yōu)化模型的復(fù)雜度與精度；同時(shí)，建筑柔性供能系統(tǒng)的實(shí)際運(yùn)行狀態(tài)受室外氣象環(huán)境變化的顯著影響，傳統(tǒng)優(yōu)化控制策略的準(zhǔn)確性受氣象參數(shù)預(yù)測(cè)準(zhǔn)確性的制約，難以實(shí)現(xiàn)動(dòng)態(tài)氣象環(huán)境下的最優(yōu)經(jīng)濟(jì)運(yùn)行。

3、隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，大量傳感器和邊緣設(shè)備能夠提供充足且可靠的數(shù)據(jù)，從而為深度強(qiáng)化學(xué)習(xí)算法在建筑柔性供能系統(tǒng)中的應(yīng)用提供了可行性。大量研究采用深度q學(xué)習(xí)(deep?q-learning,dqn)和深度確定性策略梯度(deep?deterministic?policygradient，ddpg)算法構(gòu)建建筑柔性供能系統(tǒng)的優(yōu)化控制框架，然而，dqn和ddpg算法在處理多變量、非線(xiàn)性?xún)?yōu)化控制問(wèn)題時(shí)，其狀態(tài)空間的維度擴(kuò)展會(huì)顯著降低模型收斂效率，且對(duì)多約束的耦合建模能力不足，軟約束處理機(jī)制可能導(dǎo)致約束違反問(wèn)題，進(jìn)而影響算法的收斂速度和魯棒性。近端策略?xún)?yōu)化(proximal?policy?optimization,ppo)遵循策略梯度理論框架，在連續(xù)控制域內(nèi)實(shí)現(xiàn)策略更新穩(wěn)定性與探索效率的平衡，采用自適應(yīng)kl散度約束，構(gòu)建動(dòng)態(tài)懲罰函數(shù)精確滿(mǎn)足多類(lèi)型約束條件，引入優(yōu)勢(shì)函數(shù)方差縮減技術(shù)，可顯著提升策略梯度估計(jì)的穩(wěn)定性，同時(shí)具有計(jì)算效率高、收斂性能穩(wěn)定等優(yōu)點(diǎn)，可有效克服dqn和ddpg算法的不足之處。

4、因此，如何發(fā)明一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法，實(shí)現(xiàn)建筑柔性供能系統(tǒng)環(huán)境長(zhǎng)時(shí)間動(dòng)態(tài)變化下的實(shí)時(shí)高效優(yōu)化控制，降低用電成本并可確保室內(nèi)熱舒適度的約束，成為亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明提供一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法及裝置，構(gòu)建了結(jié)合vess的建筑柔性供能系統(tǒng)馬爾可夫決策過(guò)程(markov?decisionprocess，mdp)，并進(jìn)一步采用ppo算法對(duì)結(jié)合vess的建筑柔性供能系統(tǒng)進(jìn)行優(yōu)化控制，可實(shí)現(xiàn)建筑柔性供能系統(tǒng)環(huán)境長(zhǎng)時(shí)間動(dòng)態(tài)變化下的實(shí)時(shí)高效優(yōu)化控制，降低了用電成本并可確保室內(nèi)熱舒適度的約束。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：第一方面，提供一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法，包括：

3、基于建筑圍護(hù)結(jié)構(gòu)的熱惰性特性，構(gòu)建建筑虛擬儲(chǔ)能系統(tǒng)vess模型，通過(guò)建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入時(shí)變參數(shù)；

4、根據(jù)設(shè)定控制目標(biāo)，利用建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入的時(shí)變參數(shù)，構(gòu)建結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型；

5、將所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型轉(zhuǎn)化為馬爾可夫決策過(guò)程模型；

6、通過(guò)近端策略?xún)?yōu)化算法對(duì)所述馬爾可夫決策過(guò)程模型進(jìn)行優(yōu)化，輸出控制策略。

7、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的優(yōu)選方案，在構(gòu)建建筑虛擬儲(chǔ)能系統(tǒng)vess模型的過(guò)程中，根據(jù)電儲(chǔ)能的性能特征，引入虛擬功率、虛擬容量和虛擬荷電狀態(tài)三個(gè)時(shí)變參數(shù)；

8、三個(gè)時(shí)變參數(shù)之間的關(guān)系表達(dá)式為：

9、

10、式中，t為第t個(gè)控制時(shí)段；δt為控制時(shí)間間隔；socv(t)為t時(shí)段vess的虛擬荷電狀態(tài)；cv(t)為t時(shí)段vess的虛擬容量，kwh；pv(t)為t時(shí)段vess的虛擬功率，kw。

11、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的優(yōu)選方案，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型的目標(biāo)函數(shù)表達(dá)式為：

12、c＝ce+csoc

13、

14、式中，c為建筑柔性供能系統(tǒng)用電成本；ce為建筑柔性供能系統(tǒng)運(yùn)行成本；csoc為vess的soc懲罰成本；pbase(t)為t時(shí)段基準(zhǔn)耗電功率，kw；pother(t)為t時(shí)段其它用電設(shè)備功率，kw；ppv(t)為t時(shí)段pv功率，kw；c(t)為t時(shí)段電價(jià)，cents/kw；σ為socv越限成本系數(shù)；tin(t)為t時(shí)段建筑室內(nèi)溫度，℃；tmax為室內(nèi)最高溫度，℃；tmin為室內(nèi)最低溫度，℃。

15、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的優(yōu)選方案，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型的約束包括：vess約束、pv輸出功率約束和建筑柔性供能系統(tǒng)電功率平衡約束；

16、所述vess約束的表達(dá)式為：

17、0≤socv(t)≤1

18、-pdismax(t)≤pv(t)≤pcmax(t)

19、式中，pdismax(t)為第t時(shí)段vess最大放電功率，kw；pcmax(t)為第t時(shí)段vess最大充電功率，kw；

20、所述pv輸出功率約束的表達(dá)式為：

21、0≤ppv(t)≤ppvf(t)

22、式中，ppvf(t)為t時(shí)段pv的最大預(yù)測(cè)可輸出功率，kw；

23、所述建筑柔性供能系統(tǒng)電功率平衡約束的表達(dá)式為：

24、pcom(t)+ppv(t)＝pbase(t)+pv(t)+pother(t)

25、式中，pcom(t)為購(gòu)電功率，kw。

26、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的優(yōu)選方案，在將所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型轉(zhuǎn)化為所述馬爾可夫決策過(guò)程模型的過(guò)程中，對(duì)狀態(tài)變量、控制動(dòng)作、獎(jiǎng)勵(lì)函數(shù)與轉(zhuǎn)移函數(shù)進(jìn)行定義；

27、所述狀態(tài)變量的表達(dá)式為：

28、s(t)＝[socv(t),tin(t),tout(t),qsolar(t),c(t)]

29、式中，s(t)為當(dāng)前時(shí)刻的狀態(tài)信息；tout(t)為t時(shí)段室外溫度，℃；qsolar(t)為t時(shí)段建筑太陽(yáng)得熱功率，kw；

30、所述控制動(dòng)作的表達(dá)式為：

31、a(t)＝[pv(t),ppv(t)]

32、式中，a(t)表示當(dāng)前時(shí)刻所采用的動(dòng)作；

33、所述獎(jiǎng)勵(lì)函數(shù)的表達(dá)式為：

34、r(t)＝w1·relec(t)+w2·rsoc(t)

35、式中，r(t)為當(dāng)前時(shí)刻的總獎(jiǎng)勵(lì)；relec(t)為用電成本獎(jiǎng)勵(lì)；rsoc(t)為vess的soc獎(jiǎng)勵(lì)；w1和w2均為權(quán)重系數(shù)。

36、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的優(yōu)選方案，在通過(guò)所述近端策略?xún)?yōu)化算法對(duì)所述馬爾可夫決策過(guò)程模型進(jìn)行優(yōu)化的過(guò)程中，所述近端策略?xún)?yōu)化算法通過(guò)actor-critic結(jié)構(gòu)實(shí)現(xiàn)策略梯度定理；actor-critic結(jié)構(gòu)中actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)：

37、

38、式中，e(t)為t時(shí)刻損失函數(shù)的期望；clip(·)為裁剪函數(shù)；ε為clip(·)的超參數(shù)；πθ為參數(shù)θ下actor網(wǎng)絡(luò)的策略；rθ(t)為重要度采樣，衡量了新策略和舊策略更新前后的差異；a(t)為優(yōu)勢(shì)函數(shù)；為策略熵；β為熵正則項(xiàng)，用于平衡控制系統(tǒng)對(duì)策略的利用和未知策略的探索；

39、所述critic網(wǎng)絡(luò)的損失函數(shù)為：

40、lcritic(φ)＝e(t)[(vφ(s(t))-r(t))2]

41、式中，φ為critic網(wǎng)絡(luò)參數(shù)；vφ(s(t))為狀態(tài)價(jià)值函數(shù)，即控制系統(tǒng)對(duì)當(dāng)前所處狀態(tài)好壞的判斷；r(t)為累計(jì)回報(bào)，對(duì)建筑柔性供能系統(tǒng)而言即系統(tǒng)在運(yùn)行時(shí)從當(dāng)前狀態(tài)到未來(lái)狀態(tài)的獎(jiǎng)勵(lì)的總和。

42、第二方面，本發(fā)明還提供一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置，基于以上一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法，包括：

43、建筑虛擬儲(chǔ)能系統(tǒng)vess模型構(gòu)建模塊，用于基于建筑圍護(hù)結(jié)構(gòu)的熱惰性特性，構(gòu)建建筑虛擬儲(chǔ)能系統(tǒng)vess模型，通過(guò)建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入時(shí)變參數(shù)；

44、結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型構(gòu)建模塊，用于根據(jù)設(shè)定控制目標(biāo)，利用建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入的時(shí)變參數(shù)，構(gòu)建結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型；

45、馬爾可夫決策過(guò)程模型轉(zhuǎn)化模塊，用戶(hù)將所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型轉(zhuǎn)化為馬爾可夫決策過(guò)程模型；

46、馬爾可夫決策過(guò)程模型優(yōu)化模塊，用于通過(guò)近端策略?xún)?yōu)化算法對(duì)所述馬爾可夫決策過(guò)程模型進(jìn)行優(yōu)化，輸出控制策略。

47、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置的優(yōu)選方案，所述建筑虛擬儲(chǔ)能系統(tǒng)vess模型構(gòu)建模塊中，在構(gòu)建建筑虛擬儲(chǔ)能系統(tǒng)vess模型的過(guò)程中，根據(jù)電儲(chǔ)能的性能特征，引入虛擬功率、虛擬容量和虛擬荷電狀態(tài)三個(gè)時(shí)變參數(shù)；

48、三個(gè)時(shí)變參數(shù)之間的關(guān)系表達(dá)式為：

49、

50、式中，t為第t個(gè)控制時(shí)段；δt為控制時(shí)間間隔；socv(t)為t時(shí)段vess的虛擬荷電狀態(tài)；cv(t)為t時(shí)段vess的虛擬容量，kwh；pv(t)為t時(shí)段vess的虛擬功率，kw。

51、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置的優(yōu)選方案，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型構(gòu)建模塊中，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型的目標(biāo)函數(shù)表達(dá)式為：

52、c＝ce+csoc

53、

54、式中，c為建筑柔性供能系統(tǒng)用電成本；ce為建筑柔性供能系統(tǒng)運(yùn)行成本；csoc為vess的soc懲罰成本；pbase(t)為t時(shí)段基準(zhǔn)耗電功率，kw；pother(t)為t時(shí)段其它用電設(shè)備功率，kw；ppv(t)為t時(shí)段pv功率，kw；c(t)為t時(shí)段電價(jià)，cents/kw；σ為socv越限成本系數(shù)；tin(t)為t時(shí)段建筑室內(nèi)溫度，℃；tmax為室內(nèi)最高溫度，℃；tmin為室內(nèi)最低溫度，℃。

55、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置的優(yōu)選方案，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型構(gòu)建模塊中，所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型的約束包括：vess約束、pv輸出功率約束和建筑柔性供能系統(tǒng)電功率平衡約束；

56、所述vess約束的表達(dá)式為：

57、0≤socv(t)≤1

58、-pdismax(t)≤pv(t)≤pcmax(t)

59、式中，pdismax(t)為第t時(shí)段vess最大放電功率，kw；pcmax(t)為第t時(shí)段vess最大充電功率，kw；

60、所述pv輸出功率約束的表達(dá)式為：

61、0≤ppv(t)≤ppvf(t)

62、式中，ppvf(t)為t時(shí)段pv的最大預(yù)測(cè)可輸出功率，kw；

63、所述建筑柔性供能系統(tǒng)電功率平衡約束的表達(dá)式為：

64、pcom(t)+ppv(t)＝pbase(t)+pv(t)+pother(t)

65、式中，pcom(t)為購(gòu)電功率，kw。

66、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置的優(yōu)選方案，所述馬爾可夫決策過(guò)程模型轉(zhuǎn)化模塊中，在將所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型轉(zhuǎn)化為所述馬爾可夫決策過(guò)程模型的過(guò)程中，對(duì)狀態(tài)變量、控制動(dòng)作、獎(jiǎng)勵(lì)函數(shù)與轉(zhuǎn)移函數(shù)進(jìn)行定義；

67、所述狀態(tài)變量的表達(dá)式為：

68、s(t)＝[socv(t),tin(t),tout(t),qsolar(t),c(t)]

69、式中，s(t)為當(dāng)前時(shí)刻的狀態(tài)信息；tout(t)為t時(shí)段室外溫度，℃；qsolar(t)為t時(shí)段建筑太陽(yáng)得熱功率，kw；

70、所述控制動(dòng)作的表達(dá)式為：

71、a(t)＝[pv(t),ppv(t)]

72、式中，a(t)表示當(dāng)前時(shí)刻所采用的動(dòng)作；

73、所述獎(jiǎng)勵(lì)函數(shù)的表達(dá)式為：

74、r(t)＝w1·relec(t)+w2·rsoc(t)

75、式中，r(t)為當(dāng)前時(shí)刻的總獎(jiǎng)勵(lì)；relec(t)為用電成本獎(jiǎng)勵(lì)；rsoc(t)為vess的soc獎(jiǎng)勵(lì)；w1和w2均為權(quán)重系數(shù)。

76、作為一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化裝置的優(yōu)選方案，所述馬爾可夫決策過(guò)程模型優(yōu)化模塊中，在通過(guò)所述近端策略?xún)?yōu)化算法對(duì)所述馬爾可夫決策過(guò)程模型進(jìn)行優(yōu)化的過(guò)程中，所述近端策略?xún)?yōu)化算法通過(guò)actor-critic結(jié)構(gòu)實(shí)現(xiàn)策略梯度定理；actor-critic結(jié)構(gòu)中actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)為：

77、

78、式中，e(t)為t時(shí)刻損失函數(shù)的期望；clip(·)為裁剪函數(shù)；ε為clip(·)的超參數(shù)；πθ為參數(shù)θ下actor網(wǎng)絡(luò)的策略；rθ(t)為重要度采樣，衡量了新策略和舊策略更新前后的差異；a(t)為優(yōu)勢(shì)函數(shù)；為策略熵；β為熵正則項(xiàng)，用于平衡控制系統(tǒng)對(duì)策略的利用和未知策略的探索；

79、所述critic網(wǎng)絡(luò)的損失函數(shù)為：

80、lcritic(φ)＝e(t)[(vφ(s(t))-r(t))2]

81、式中，φ為critic網(wǎng)絡(luò)參數(shù)；vφ(s(t))為狀態(tài)價(jià)值函數(shù)，即控制系統(tǒng)對(duì)當(dāng)前所處狀態(tài)好壞的判斷；r(t)為累計(jì)回報(bào)，對(duì)建筑柔性供能系統(tǒng)而言即系統(tǒng)在運(yùn)行時(shí)從當(dāng)前狀態(tài)到未來(lái)狀態(tài)的獎(jiǎng)勵(lì)的總和。

82、第三方面，本發(fā)明提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的程序代碼，所述程序代碼包括用于執(zhí)行第一方面或其任意可能實(shí)現(xiàn)方式的一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法的指令。

83、第四方面，本發(fā)明提供一種電子設(shè)備，包括：存儲(chǔ)器和處理器；

84、所述處理器和所述存儲(chǔ)器通過(guò)總線(xiàn)完成相互間的通信；所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令執(zhí)行第一方面或其任意可能實(shí)現(xiàn)方式的一種建筑柔性供能系統(tǒng)近端策略?xún)?yōu)化方法。

85、本發(fā)明具有如下優(yōu)點(diǎn)：本發(fā)明基于建筑圍護(hù)結(jié)構(gòu)的熱惰性特性，構(gòu)建建筑虛擬儲(chǔ)能系統(tǒng)vess模型，通過(guò)建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入時(shí)變參數(shù)；根據(jù)設(shè)定控制目標(biāo)，利用建筑虛擬儲(chǔ)能系統(tǒng)vess模型引入的時(shí)變參數(shù)，構(gòu)建結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型；將所述結(jié)合vess的建筑柔性供能系統(tǒng)優(yōu)化控制模型轉(zhuǎn)化為馬爾可夫決策過(guò)程模型；通過(guò)近端策略?xún)?yōu)化算法對(duì)所述馬爾可夫決策過(guò)程模型進(jìn)行優(yōu)化，輸出控制策略。本發(fā)明將結(jié)合vess的建筑柔性供能系統(tǒng)模型精確轉(zhuǎn)化為mdp模型，并采用ppo算法對(duì)建筑柔性供能系統(tǒng)實(shí)現(xiàn)了高效的優(yōu)化控制。本發(fā)明實(shí)現(xiàn)了毫秒級(jí)優(yōu)化控制策略生成，速度顯著優(yōu)于dqn和ddpg方法，體現(xiàn)了其在處理多變量、非線(xiàn)性的建筑柔性供能系統(tǒng)動(dòng)態(tài)優(yōu)化問(wèn)題的高效性，可滿(mǎn)足建筑柔性供能系統(tǒng)優(yōu)化控制的實(shí)時(shí)性需求；同時(shí)，在動(dòng)態(tài)氣象環(huán)境下，本發(fā)明有效降低了建筑柔性供能系統(tǒng)的運(yùn)行成本，同時(shí)保持了較低的室溫越限比例，體現(xiàn)了其在經(jīng)濟(jì)性和舒適性方面的顯著優(yōu)勢(shì)。