摘要：綜合能源系統(tǒng)(IES)中復(fù)雜的能量耦合關(guān)系，可再生能源出力和負(fù)荷等因素的不確定性，給IES的實時調(diào)度帶來了諸多挑戰(zhàn)。針對此，本文提出了一種雙層強化學(xué)習(xí)(RL)模型以實現(xiàn)IES的實時經(jīng)濟調(diào)度。該模型上層是一個RL智能體，下層為優(yōu)化求解器。本文將RL和傳統(tǒng)優(yōu)化方法進(jìn)行了結(jié)合，可簡化RL的動作和獎勵設(shè)計，提高其訓(xùn)練速度和收斂性能，解決動作具有復(fù)雜約束的RL問題。本文模型僅根據(jù)IES的即時信息進(jìn)行決策，不依賴于對負(fù)荷、可再生能源出力的準(zhǔn)確預(yù)測。多能園區(qū)經(jīng)濟調(diào)度中的成功應(yīng)用表明雙層模型可以得到接近于擁有完美預(yù)測信息的動態(tài)規(guī)劃的性能，同時求解速度大幅提高，可以實現(xiàn)IES的實時調(diào)度。

　　關(guān)鍵詞：動態(tài)規(guī)劃，經(jīng)濟調(diào)度，強化學(xué)習(xí)，綜合能源系統(tǒng)

　　0引言

　　綜合能源系統(tǒng)[1](integratedenergysystem,IES)集成了冷、熱、電、氣等多種能源形式，可以實現(xiàn)多種能源形式的相互轉(zhuǎn)化與能量耦合互補利用[2]。IES經(jīng)濟調(diào)度面臨兩大挑戰(zhàn)，挑戰(zhàn)之一來自于可再生能源出力和負(fù)荷需求的不確定性。由于天氣、人類行為等因素的影響，風(fēng)能、太陽能等可再生能源的生產(chǎn)和負(fù)荷需求具有強烈不確定性，給IES的調(diào)度增添了難度。另一個挑戰(zhàn)是IES中緊密復(fù)雜的能量耦合關(guān)系[3]。能量耦合其一是冷熱氣電等各種能源形式之間的轉(zhuǎn)換所引起的能源形式耦合;能量耦合其二是儲能系統(tǒng)的存在導(dǎo)致的時間軸上的能量存儲消耗耦合;此兩種能量耦合關(guān)系使IES的經(jīng)濟調(diào)度更加復(fù)雜。已有研究中，IES經(jīng)濟調(diào)度多為日前調(diào)度的離線優(yōu)化問題[4]-[8]，隨機規(guī)劃[9][10]和魯棒優(yōu)化[11][12]等被用來處理系統(tǒng)中可再生能源、負(fù)荷及實時電價波動[13]導(dǎo)致的不確定性。

　　此類傳統(tǒng)的處理不確定的優(yōu)化方法依賴于對日前可再生能源出力、負(fù)荷等數(shù)據(jù)的預(yù)測，通過對不確定性建模將問題轉(zhuǎn)化為確定性問題求解，可以得到較好的優(yōu)化調(diào)度方案。本文考慮另一類經(jīng)濟調(diào)度的方法：學(xué)習(xí)驅(qū)動的優(yōu)化方法。強化學(xué)習(xí)(reinforcementlearning,RL)/深度強化學(xué)習(xí)(deepRL,DRL)等方法[14]自AlphaGo成功[15]后廣受關(guān)注。RL利用交互試錯的方式學(xué)習(xí)，不依賴于對日前可再生能源出力、負(fù)荷等數(shù)據(jù)的精準(zhǔn)預(yù)測[16]，可以采用無模型算法處理系統(tǒng)中難以準(zhǔn)確建模的因素，實時決策性能較好，可用于IES在線實時調(diào)度。

　　已有研究將RL應(yīng)用于微電網(wǎng)能量管理[17]-[22]。RL被用于微電網(wǎng)內(nèi)部能量管理[17]-[19]，進(jìn)行儲能設(shè)備的優(yōu)化調(diào)度[21];被用于微電網(wǎng)群的能量管理，以減小調(diào)度成本[20]、提高供電和運行可靠性[22]。上述研究展示了基于RL的優(yōu)化調(diào)度的可行性，也顯示了其弱點。首先，復(fù)雜的設(shè)備運行約束會急劇增加RL的動作空間復(fù)雜度，現(xiàn)有研究[17]-[22]將約束建模為獎勵函數(shù)中的懲罰，導(dǎo)致其獎勵函數(shù)異常復(fù)雜;其次，RL的應(yīng)用易遭受維數(shù)災(zāi)害[23]-[25]，訓(xùn)練多需要幾十小時[20]甚至更長，策略學(xué)習(xí)及更新代價較大，難以在以5分鐘為時間尺度的在線調(diào)度環(huán)境下，完成對實時數(shù)據(jù)的策略訓(xùn)練更新。

　　為簡化RL獎勵設(shè)計、加速其訓(xùn)練收斂，滿足IES實時調(diào)度的時間尺度要求，本文提出一個雙層RL模型。所提模型實現(xiàn)了RL與傳統(tǒng)優(yōu)化方法的結(jié)合，上層是用于序列決策的RL智能體，負(fù)責(zé)全局優(yōu)化;下層是混合整數(shù)線性規(guī)劃(mixed-integerlinearprogramming,MILP)求解器，用于單次尋優(yōu)。所提雙層模型用于一個多能園區(qū)系統(tǒng)的經(jīng)濟調(diào)度，并與動態(tài)規(guī)劃(dynamicprogramming,DP)方法進(jìn)行了比較。結(jié)果表明，所提出的雙層模型在只利用有限即時信息的情況下，可以達(dá)到接近擁有完美預(yù)測信息的DP方法的性能，同時計算時間大大縮短。第二節(jié)進(jìn)行問題建模，第三節(jié)介紹了雙層RL模型，第四節(jié)為實驗部分，第五節(jié)對本文進(jìn)行總結(jié)。

　　1IES經(jīng)濟調(diào)度問題

　　研究一個多能園區(qū)系統(tǒng)。在此多能園區(qū)系統(tǒng)中，電力和天然氣可以從外部購買;熱、氣、電等能源形式可以利用熱電轉(zhuǎn)換設(shè)備相互轉(zhuǎn)換以滿足熱、電負(fù)荷需求;微型燃?xì)廨啓C利用燃?xì)獍l(fā)電，遵循“以熱定電”的原則;可再生能源和儲能系統(tǒng)用于提高能源利用效率;本系統(tǒng)中的可再生能源為風(fēng)能，儲能系統(tǒng)為電池。

　　2雙層RL模型

　　強化學(xué)習(xí)中，智能體通過和環(huán)境交互試錯從而選擇動作序列以最大化累計收益。在時刻t，智能體觀察環(huán)境狀態(tài)ts，執(zhí)行動作ta作用于環(huán)境，并接收到一個獎勵信號tr反應(yīng)動作好壞，之后環(huán)境進(jìn)入下一狀態(tài)t1s,一條經(jīng)驗1,,,ttttsars被記錄下并放進(jìn)經(jīng)驗池中供RL訓(xùn)練學(xué)習(xí)使用。IES經(jīng)濟調(diào)度問題是一個具有復(fù)雜約束的離散連續(xù)混合動作空間問題，針對該問題的特點，本文提出一種雙層RL模型，實現(xiàn)模型高效學(xué)習(xí)和IES實時調(diào)控。

　　2.1雙層RL模型框架

　　IES經(jīng)濟調(diào)度的動作空間包含兩類動作。電池的動作會影響未來的能量狀態(tài)，稱此類動作為遠(yuǎn)視動作。其他可控裝置的動作不影響系統(tǒng)未來能量狀態(tài)，只影響即時系統(tǒng)運行成本，稱此類為短視動作。針對此，上層RL智能體負(fù)責(zé)學(xué)習(xí)策略選擇合適遠(yuǎn)視動作。下層優(yōu)化解算器接收上層的遠(yuǎn)視動作，使用優(yōu)化方法求出最佳短視動作返回至上層。每一時刻t，下層實現(xiàn)了對短視動作的最優(yōu)搜索，避免了短視動作空間的無效探索。

　　3實驗驗證

　　3.1算例配置

　　燃?xì)鈨r格設(shè)為定值3.45gcRMB/m3。一個三層神經(jīng)網(wǎng)絡(luò)被用于近似Q值函數(shù)，三個隱藏層的大小分別為400、300、200，激活函數(shù)為tanh函數(shù)，更詳細(xì)的模型結(jié)構(gòu)參數(shù)見文[24]。本文經(jīng)濟調(diào)度是一個階段性任務(wù)，具有24小時的有限時間范圍，折扣系數(shù)設(shè)為1，即無折扣，懲罰系數(shù)設(shè)置為一個很大的數(shù)字1000。

　　3.2單場景測試

　　首先，在單個確定性場景下對雙層模型進(jìn)行測試。確定性場景即假定擁有實時電價、燃?xì)鈨r格、熱負(fù)荷、電負(fù)荷和新能源出力的完全準(zhǔn)確的預(yù)測信息。分別采取以下兩種策略作為對照：(1)設(shè)園區(qū)中不含電池儲能，僅利用下層MILP求解器進(jìn)行IES調(diào)度求解;(2)利用DP，在預(yù)測信息準(zhǔn)確已知情況下進(jìn)行搜索。DP的狀態(tài)變量為SOC，離散維數(shù)為100，電池動作同DRL的動作變量定義，搜索時間步數(shù)為24，整個搜索空間為=100524=12000。理論上的系統(tǒng)運行成本應(yīng)當(dāng)滿足DP<雙層DRL模型<無儲能。

　　3.3多場景測試為測試所提模型應(yīng)對系統(tǒng)不確定性的能力，考慮IES中三種不確定性的來源：電、熱負(fù)荷和新能源出力。不確定性的存在導(dǎo)致進(jìn)行IES調(diào)度時會遇到海量不同場景,需要測試雙層RL模型在多個場景下的性能。采用的風(fēng)電出力基準(zhǔn)曲線為單峰型，抽樣概率分布為伽馬分布;電負(fù)荷和熱負(fù)荷的基準(zhǔn)曲線均為雙峰型，抽樣概率分布為正態(tài)分布。顯示了風(fēng)電出力、電、熱負(fù)荷在各自的基準(zhǔn)曲線上根據(jù)其概率分布抽樣得到的100個場景。在此100個場景下進(jìn)行測試以驗證雙層RL模型應(yīng)對系統(tǒng)不確定性的能力。

　　電力論文投稿刊物：電力系統(tǒng)自動化(半月刊)是由國網(wǎng)電力科學(xué)研究院主辦的全國性專業(yè)技術(shù)期刊，每月10日、25日出版，國內(nèi)外公開發(fā)行。以“立足行業(yè)，鼓勵創(chuàng)新，面向應(yīng)用，促進(jìn)電力工業(yè)科技進(jìn)步”為辦刊宗旨，主要面向電力行業(yè)從事科研、設(shè)計、運行、試驗、制造、管理與營銷的專業(yè)技術(shù)人員以及相關(guān)專業(yè)的大專院校師生、電力產(chǎn)品用戶等，既具有學(xué)術(shù)性和前瞻性，又注重實用性和導(dǎo)向性，同時也重視和鼓勵來自科研、生產(chǎn)第一線的經(jīng)驗、改進(jìn)和革新的技術(shù)交流。

　　4結(jié)論

　　為了應(yīng)對IES中的不確定性，處理復(fù)雜的能量耦合關(guān)系，本文介紹了一種用于IES實時經(jīng)濟調(diào)度的雙層RL模型框架。模型上層應(yīng)用DQN進(jìn)行電池充放電出力行為學(xué)習(xí)，其他設(shè)備動作由下層的MILP求解器求解結(jié)果提供，模型可以簡化RL獎勵函數(shù)設(shè)計，提升RL訓(xùn)練速度。算例分析表明，雙層模型的計算結(jié)果接近DP給出的近似最優(yōu)解。此外，模型結(jié)合了數(shù)據(jù)驅(qū)動的RL方法和傳統(tǒng)優(yōu)化算法，具有更高的求解效率，可以實現(xiàn)IES的實時經(jīng)濟調(diào)度，且不依賴于精確的預(yù)測及物理模型。

　　參考文獻(xiàn)

　　[1]劉振亞.全球能源互聯(lián)網(wǎng)跨國跨洲互聯(lián)研究及展望[J].中國電機工程學(xué)報，2016，36(19)：5103-5110+5391.LiuZhenya.ResearchofGlobalCleanEnergyResourceandPowerGridInterconnection[J].ProceedingsoftheCSEE，2016，36(19)：5103-5110+5391(inChinese).

　　[2]孫宏斌，郭慶來，潘昭光.能源互聯(lián)網(wǎng):理念、架構(gòu)與前沿展望[J].電力系統(tǒng)自動化，2015，39(19)：1-8.SunHongbin,GuoQinglai,PanZhaoguang.EnergyInternet:Concept,ArchitectureandFrontierOutlook[J].AutomationofElectricPowerSystems，2015，39(19)：1-8(inChinese).

　　[3]曾鳴,楊雍琦,劉敦楠,曾博,歐陽邵杰,林海英,韓旭.能源互聯(lián)網(wǎng)“源–網(wǎng)–荷–儲”協(xié)調(diào)優(yōu)化運營模式及關(guān)鍵技術(shù)[J].電網(wǎng)技術(shù),2016,40(01):114-124.ZengMing,YangYongqi,LiuDunnan,eta1.“Generation-Grid-Load-Storage”CoordinativeOptimalOperationModeofEnergyInternetandKeyTechnologies[J].PowerSystemTechnology，2016，40(01)：114-124(inChinese).

　　[4]白牧可,王越,唐巍,吳聰,張博.基于區(qū)間線性規(guī)劃的區(qū)域綜合能源系統(tǒng)日前優(yōu)化調(diào)度[J].電網(wǎng)技術(shù),2017,41(12):3963-3970.BaiMuke,WangYue,TangWei,etal.Day-AheadOptimalDispatchingofRegionalIntegratedEnergySystemBasedonIntervalLinearProgramming[J].PowerSystemTechnology，2017，41(12)：3963-3970(inChinese).

　　作者：聶歡歡，張家琦，陳穎，肖譚南