摘要:為了應(yīng)對大規(guī)模電動汽車調(diào)度模型求解復(fù)雜、算力要求高的問題，機(jī)器學(xué)習(xí)方法在電動汽車充電導(dǎo)航調(diào)度中越來越受到關(guān)注。針對充光儲一體化能源站，文中提出了一種基于深度強(qiáng)化學(xué)習(xí)(DRL)的充光儲能源站調(diào)度策略。首先，分析了能源站運(yùn)行策略與DRL基本理論。其次，基于后悔理論刻畫用戶對不同充電方案時間與費(fèi)用的心理狀態(tài)，建立了智能體對“人-車-站”狀態(tài)環(huán)境全感知模型，并引入時變ε-greedy策略作為智能體動作選擇方法以提高算法收斂速度。最后，結(jié)合南京市實(shí)際道路與能源站分布設(shè)計(jì)了多場景算例仿真，結(jié)果表明所提方法在考慮用戶心理效應(yīng)的基礎(chǔ)上能夠有效提高能源站光伏消納率，為電動汽車充電調(diào)度提供了一種新思路。

　　關(guān)鍵詞:電動汽車;充光儲能源站;充電調(diào)度;深度強(qiáng)化學(xué)習(xí);后悔理論;全感知模型

　　0引言

　　面對日益嚴(yán)峻的能源危機(jī)與環(huán)境污染問題，電動汽車(electricvehicle，EV)作為環(huán)境友好型交通工具迎來了發(fā)展機(jī)遇[1—2]。然而規(guī)�；疎V的隨機(jī)充電行為會導(dǎo)致負(fù)荷峰值增加、電能質(zhì)量降低等問題，給配電網(wǎng)的安全與經(jīng)濟(jì)運(yùn)行帶來了挑戰(zhàn)[3—4]。同時，面對規(guī)�；�電動汽車調(diào)度算力要求高、計(jì)算復(fù)雜的問題，傳統(tǒng)優(yōu)化模型無法滿足實(shí)時調(diào)度需求。因此，研究充光儲一體化能源站的區(qū)域電動汽車優(yōu)化調(diào)度策略，已成為亟待解決的重要問題。目前，國內(nèi)外學(xué)者在針對光儲能源站的電動汽車調(diào)度方面已取得一定成果。

　　新能源汽車論文： 新能源電動汽車低溫?zé)岜眯涂照{(diào)系統(tǒng)研究

　　考慮光伏發(fā)電等可再生能源對優(yōu)化調(diào)度策略的影響，文獻(xiàn)[5]以能源站運(yùn)行成本為優(yōu)化目標(biāo)，基于多模態(tài)近似動態(tài)規(guī)劃進(jìn)行求解，在不同定價(jià)模型與光伏出力情況下均表現(xiàn)出較強(qiáng)魯棒性。文獻(xiàn)[6]以減少微電網(wǎng)與配電網(wǎng)交換功率以及微電網(wǎng)網(wǎng)絡(luò)損耗為優(yōu)化目標(biāo)，采用序列二次規(guī)劃算法進(jìn)行求解。通過對EV進(jìn)行充放電調(diào)度使日負(fù)荷曲線跟蹤發(fā)電曲線，并網(wǎng)模式下的網(wǎng)絡(luò)損耗及離網(wǎng)模式下的所需儲能系統(tǒng)容量均得到降低。

　　文獻(xiàn)[7]考慮能源站源荷互補(bǔ)特性，提出了一種考慮不確定性風(fēng)險(xiǎn)的能源站多時間尺度調(diào)度模型。文獻(xiàn)[8—9]考慮光伏出力預(yù)測誤差等不確定性，建立了以充光儲能源站日運(yùn)行成本最小為目標(biāo)的充電站日前優(yōu)化模型，并在此基礎(chǔ)上建立實(shí)時 滾動優(yōu)化模型。文獻(xiàn)[10]以大規(guī)模EV接入的配電網(wǎng)運(yùn)行成本最小和負(fù)荷曲線方差最小為目標(biāo)建立EV優(yōu)化調(diào)度模型，在保證系統(tǒng)運(yùn)行成本的同時有效降低了負(fù)荷峰谷差。

　　上述研究均建立單/多目標(biāo)-多約束優(yōu)化模型解決EV調(diào)度問題，但應(yīng)用在實(shí)時調(diào)度方面均面臨著海量計(jì)算的壓力，無法滿足實(shí)時調(diào)度的需求。同時，上述研究過度依賴模型，當(dāng)實(shí)際應(yīng)用中包含模型未考慮的不確定性因素時，模型的優(yōu)化結(jié)果得不到保證，算法的魯棒性與泛化能力有待改進(jìn)。隨著機(jī)器學(xué)習(xí)算法的逐漸成熟，已有少量學(xué)者開展了深度強(qiáng)化學(xué)習(xí)(deepreinforcementlearning，DRL)應(yīng)用于EV充電調(diào)度的研究。

　　文獻(xiàn)[11]提出一種基于競爭深度Q網(wǎng)絡(luò)的充電控制方法，在含高滲透率分布式電源的系統(tǒng)中能夠兼顧配電網(wǎng)的安全運(yùn)行與用戶出行需求。文獻(xiàn)[12]考慮EV行駛距離限制，以最小化EV總充電時間為目標(biāo)，建立DRL模型進(jìn)行訓(xùn)練求解。文獻(xiàn)[13]考慮用戶用電需求，將EV充放電能量邊界作為部分狀態(tài)空間，建立了以最小化功率波動與充放電費(fèi)用為目標(biāo)的實(shí)時調(diào)度模型。文獻(xiàn)[14]考慮電價(jià)與用戶通勤行為的不確定性，從充電電價(jià)中提取特征訓(xùn)練Q網(wǎng)絡(luò)，并采用Q值最大化原則執(zhí)行動作。文獻(xiàn)[15]以最小化EV用戶行駛時間與充電成本為目標(biāo)，利用最短路徑法提取當(dāng)前環(huán)境狀態(tài)訓(xùn)練智能體。

　　雖然上述研究理解了DRL方法的本質(zhì)，以用戶充放電時間或費(fèi)用作為目標(biāo)，將車輛與充電站參數(shù)作為環(huán)境狀態(tài)進(jìn)行求解。然而，作為車輛行駛與充電行為的最終執(zhí)行者，EV車主對充電方案的感知 效應(yīng)尤為重要，影響調(diào)度策略的可執(zhí)行性與適用性。為此，文中提出了一種考慮人類行為心理的能源站EV調(diào)度方法�；�于后悔理論刻畫EV用戶心理狀態(tài)，建立智能體“人-車-站”全狀態(tài)環(huán)境感知模型。同時，引入時變ε-greedy策略作為智能體動作選擇方法以提高算法收斂速度。最后結(jié)合南京市實(shí)際道路與能源站分布設(shè)計(jì)了多場景算例仿真，驗(yàn)證文中所提策略的有效性與實(shí)用性。

　　1EV調(diào)度問題構(gòu)建

　　光伏系統(tǒng)由多組太陽能電池板串并聯(lián)組成，電池板接收太陽能發(fā)電經(jīng)DC/DC變換器接入直流母線，電能主要用于EV充電。儲能系統(tǒng)由電池組構(gòu)成，通過雙向DC/DC變換器接入直流母線。當(dāng)光伏系統(tǒng)發(fā)電有剩余時，其儲存電能;當(dāng)光伏發(fā)電不足時，其釋放電能。AC/DC模塊為配電網(wǎng)系統(tǒng)與能源站的連接單元，當(dāng)能源站內(nèi)部電能不能滿足充電需求時由配電網(wǎng)經(jīng)AC/DC接入充電負(fù)荷。

　　2基于DRL的EV調(diào)度方法

　　2.1DRL基本原理

　　DRL是一種結(jié)合深度學(xué)習(xí)的感知能力與強(qiáng)化學(xué)習(xí)的決策能力的人工智能算法。通過智能體不斷與環(huán)境進(jìn)行交互，并采取一定的動作使得累計(jì)獎勵最大化[17—18]。智能體本質(zhì)上是一個狀態(tài)空間到動作空間的映射關(guān)系。強(qiáng)化學(xué)習(xí)算法以馬爾科夫過程(Markovdecisionprocess，MDP)為數(shù)學(xué)基礎(chǔ)，即環(huán)境下一時刻狀態(tài)僅與當(dāng)前狀態(tài)有關(guān)，與前序狀態(tài)無關(guān)。

　　2.2人類行為決策理論

　　EV用戶在充電過程中不僅僅追求預(yù)期效用的最大化，也會受限于認(rèn)知水平及主觀心理情緒等因素的影響，因此很難選擇出全局最優(yōu)或個人利益最大的充電選擇方案。事實(shí)上，個體往往尋求決策后的正面情緒，從而規(guī)避決策可能帶來的負(fù)面情緒。為此，文中引入后悔理論建立人類行為決策心理模型，刻畫用戶在EV充電調(diào)度過程中的心理狀態(tài)，作為DRL智能體“人-車-站”環(huán)境狀態(tài)感知的一部分。后悔理論最早由Bell提出，其將后悔描述為一件給定事件的結(jié)果或狀態(tài)與他將要選擇的狀態(tài)進(jìn)行比較所產(chǎn)生的情緒[19]。依據(jù)人類在離散事件選擇中的后悔規(guī)避心理，當(dāng)所選方案優(yōu)于備選方案時，決策者會感到欣喜，反之則會感到后悔。因此，決策者個體更傾向于選擇預(yù)期后悔最小的方案。

　　2.3DQN實(shí)現(xiàn)

　　EV充電調(diào)度針對能源站的EV充電調(diào)度問題每一個時刻的狀態(tài)僅與前一時刻狀態(tài)及智能體動作有關(guān)，符合馬爾科夫決策過程，因此，文中采用DQN方法建立EV充電調(diào)度模型，利用智能體進(jìn)行“人-車-站”多主體狀態(tài)感知，通過不斷地探索與利用，建立狀態(tài)-動作與Q值的映射關(guān)系，實(shí)現(xiàn)EV實(shí)時調(diào)度。

　　3EV充電調(diào)度框架

　　該過程可分為以下3個步驟:2Flowchartofoptimizedschedulingstrategy(1)智能體通過更新時間、EV位置及動力電池SOC獲取車輛狀態(tài)，更新各能源站運(yùn)行狀態(tài)并預(yù)測下一時刻光伏出力，通過后悔理論感知EV用戶的心理狀態(tài)，得到當(dāng)前時刻環(huán)境狀態(tài)st。(2)智能體將感知到的環(huán)境狀態(tài)輸入深度神經(jīng)網(wǎng)絡(luò)，得到各備選動作的Q值，通過時變ε-greedy策略選擇動作at。(3)智能體執(zhí)行所選動作，重復(fù)上述步驟直至車輛抵達(dá)所選能源站。

　　4算例分析

　　4.1參數(shù)設(shè)置

　　為驗(yàn)證文中所提策略的有效性與實(shí)用性，選取南京市部分區(qū)域，范圍為經(jīng)度(東經(jīng))118.735152～118.784076，緯度(北緯)32.059057～32.092003作為算例路網(wǎng)。同時，選取該區(qū)域已經(jīng)投入運(yùn)營的15座能源站，假設(shè)該區(qū)域能源站均配置了光伏發(fā)電及儲能系統(tǒng)，且站內(nèi)充電樁均為快充。

　　不同天氣類型對智能體所獲得獎勵值有較大影響，3種天氣下智能體平均獎勵分別為9.95，9.38，7.23，特別地，陰雨天氣獎勵值較晴天降低27.34%。這是由于智能體的到站獎勵與區(qū)域內(nèi)能源站平均光伏消納功率有較大關(guān)系，雖然陰雨天氣智能體所得獎勵較晴天更低，但此時智能體已經(jīng)實(shí)現(xiàn)了最優(yōu)策略的學(xué)習(xí)。同時，觀察算法收斂速度可見，所提DQN方法在前2種場景下分別在400與200回合達(dá)到穩(wěn)定，而在第3種場景下訓(xùn)練約80回合即實(shí)現(xiàn)收斂，表明智能體能夠有效利用前期累積的經(jīng)驗(yàn)，當(dāng)環(huán)境狀態(tài)發(fā)生較大改變時，其能夠調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)以快速適應(yīng)當(dāng)前環(huán)境狀態(tài)。

　　5結(jié)論

　　針對能源站EV充電導(dǎo)航與調(diào)度問題，提出基于DRL方法的調(diào)度策略。算例從多角度分析了優(yōu)化調(diào)度策略，得到如下結(jié)論:(1)DQN方法中智能體對EV狀態(tài)、能源站運(yùn)行狀態(tài)以及用戶心理狀態(tài)進(jìn)行全狀態(tài)感知，通過學(xué)習(xí)狀態(tài)-動作與Q值的映射關(guān)系能夠有效進(jìn)行充電調(diào)度。(2)在晴天與陰雨天等能源站常見運(yùn)行場景下，所提方法均能夠兼顧用戶心理感知進(jìn)行調(diào)度，同時有效提高了能源站光伏利用率，具有較強(qiáng)的實(shí)用性與泛化能力。(3)不同行為人對時間與費(fèi)用的感知效用會影響智能體狀態(tài)感知與策略參數(shù)，進(jìn)而影響所提方法對其的導(dǎo)航與調(diào)度策略。盡管如此，限于篇幅文中并未分析DQN算法參數(shù)對調(diào)度策略的影響，在下一步的工作中DQN算法參數(shù)的選擇可以繼續(xù)完善。此外，基于用戶感知異質(zhì)性的研究，可以進(jìn)一步改進(jìn)所提策略。

　　參考文獻(xiàn)：

　　[1]肖定垚，王承民，曾平良，等.電力系統(tǒng)靈活性及其評價(jià)綜述[J].電網(wǎng)技術(shù)，2014，38(6):1569-1576.XIAODingyao，WANGChengmin，ZENGPingliang，etal.Asurveyonpowersystemflexibilityanditsevaluations[J].PowerSystemTechnology，2014，38(6):1569-1576.

　　[2]劉洪，閻峻，葛少云，等.考慮多車交互影響的電動汽車與快充站動態(tài)響應(yīng)[J].中國電機(jī)工程學(xué)報(bào)，2020，40(20):6455-6468LIUHong，YANJun，GEShaoyun，etal.Dynamicresponseofelectricvehicleandfastchargingstationsconsideringmulti-vehicleinteraction[J].ProceedingsoftheCSEE，2020，40(20):6455-6468.

　　[3]邵尹池，穆云飛，余曉丹，等.“車-路-網(wǎng)”模式下電動汽車充電負(fù)荷時空預(yù)測及其對配電網(wǎng)潮流的影響[J].中國電機(jī)工程學(xué)報(bào)，2017，37(18):5207-5219，5519.SHAOYinchi，MUYunfei，YUXiaodan，etal.Aspatial-temporalchargingloadforecastandimpactanalysismethodfordistributionnetworkusingEVs-traffic-distributionmodel[J].ProceedingsoftheCSEE，2017，37(18):5207-5219，5519.

　　[4]江明，許慶強(qiáng)，季振亞.基于時序差分學(xué)習(xí)的充電站有序充電方法[J].電力工程技術(shù)，2021，40(1):181-187

　　作者：孫廣明1，陳良亮1，王瑞升2，陳中2，邢強(qiáng)2