基于馬爾可夫模型的混合動力汽車隨機(jī)能量管理策略

基于馬爾可夫模型的混合動力汽車隨機(jī)能量管理策略

1混合動力汽車的仿真計算在能量管理策略研究的早期階段，人們通常使用相對簡單的恒壓控制或功率跟蹤策略。在研究能量的管理策略時，主要依靠實驗的緊湊和直觀思維來獲得能量的管理策略。很難找到有效的方法來指導(dǎo)控制參數(shù)的調(diào)整。隨著研究的不斷進(jìn)展,人們開始逐步引入優(yōu)化算法來進(jìn)行能量管理策略的設(shè)計。此時,基于子部件靜態(tài)模型的優(yōu)化方法成為了一種主要的方法。但是靜態(tài)優(yōu)化沒有考慮汽車的動態(tài)特性,不能獲得動態(tài)控制系統(tǒng)的全部信息,也不能很好地解決動力系統(tǒng)工作模式的切換問題。于是,全局優(yōu)化的方法自然就成為了更好的方法,貝爾曼(Bellman)動態(tài)規(guī)劃是其中的一種主要算法。在嘗試工程試驗、數(shù)學(xué)優(yōu)化和數(shù)值計算等方法后,人工智能方法成為研究的熱點(diǎn)。文獻(xiàn)中的仿真計算結(jié)果表明:基于模糊規(guī)則的能量管理策略比序列二次規(guī)劃算法的數(shù)學(xué)優(yōu)化結(jié)果更好。近年來,建模仿真分析方法已經(jīng)成為很多研究領(lǐng)域的有力工具,在能量管理策略的研究方面,利用Matlab/Simulink/Stateflow軟件進(jìn)行仿真計算已成為混合動力汽車研究的一個步驟。在混合動力汽車各子部件仿真模型的基礎(chǔ)上,文獻(xiàn)借助于工程經(jīng)驗和邏輯控制方法建立了實用的能量管理策略。確定性動態(tài)規(guī)劃理論在能量管理策略設(shè)計中得到了較多的應(yīng)用。然而,確定性動態(tài)規(guī)劃理論是基于某些預(yù)先定義的行駛工況進(jìn)行優(yōu)化計算,只能得到在這些工況下行駛時的最優(yōu)數(shù)值解,不能直接得到控制策略的參數(shù);也不能保證該控制策略在真實的行駛工況下是最優(yōu)的。為了克服確定性動態(tài)規(guī)劃所固有的缺點(diǎn),文中根據(jù)車輛的真實道路行駛記錄,建立駕駛員需求功率的馬爾可夫隨機(jī)模型,利用馬爾可夫決策理論(又叫隨機(jī)動態(tài)規(guī)劃)對燃料電池車輛動力系統(tǒng)功率分配問題進(jìn)行優(yōu)化計算,可以直接獲得能量管理策略,且這個控制策略已經(jīng)考慮了道路行駛工況的特點(diǎn)。2導(dǎo)線功率的傳遞燃料電池混合動力汽車的動力系統(tǒng)是一個多能源動力總成系統(tǒng),它包括電機(jī)、燃料電池系統(tǒng)、蓄電池、DC/DC轉(zhuǎn)換器等多種零部件,各部件之間通過電氣母線實現(xiàn)物理連接,其結(jié)構(gòu)如圖1所示。燃料電池發(fā)出的電功率通過主DC/DC轉(zhuǎn)換器,傳輸至動力系統(tǒng)母線。而蓄電池與母線直接連接,將功率直接傳輸至母線。交流電機(jī)及其控制器的電力由動力系統(tǒng)母線提供。母線功率Pbus如下Pbus=Pbat+Pfcdc=Pdem/(ηm&cηtrans)(1)式中Pbat為蓄電池功率;Pfcdc為主DC/DC轉(zhuǎn)換器輸出到母線的功率;Pdem為駕駛員需求功率(在車輪上的驅(qū)動功率);ηm&c為電機(jī)及其控制器的效率;ηtrans為從變速器、傳動軸、驅(qū)動橋到車輪的機(jī)械傳動效率。下面簡單描述2個能量源的穩(wěn)態(tài)效率模型。2.1動力能源系統(tǒng)燃料電池是燃料電池混合動力汽車的主要動力能源。根據(jù)試驗,采用多項式擬合方法得到燃料電池堆效率和堆電壓隨燃料電池堆功率變化的關(guān)系曲線,如圖2和圖3所示。2.2u3000蓄電池充放電效率值的數(shù)學(xué)描述選取某384V80A·h鎳氫蓄電池作為輔助動力單元,采用RC模型如圖4所示,通過試驗得到RC等效電路模型數(shù)據(jù)。RC模型中各個電阻、電容以及電動勢參數(shù)均為蓄電池荷電狀態(tài)和溫度的函數(shù)。根據(jù)室溫下蓄電池的試驗數(shù)據(jù)計算出蓄電池模型的參數(shù)。由蓄電池等效電路可以計算出Ubus與Pbat之間的數(shù)學(xué)關(guān)系表達(dá)式為Ubus=ε+√ε2-4(Rt+RcReRc+Re)Ρbat2(2)式中ε為蓄電池開路電壓。同時可以得到蓄電池效率的數(shù)學(xué)表達(dá)式。由于蓄電池組充放電效率計算方法不同,需要分別計算。當(dāng)Pbat>0時,蓄電池放電效率為ηbat_dis=2Ρbat(ReRcRe+Rc+Rt)ε2-ε√ε2-4Ρbat(ReRcRe+Rc+Rt)(3)當(dāng)Pbat<0時,蓄電池充電效率為ηbat_cha=-ε2+ε√ε2+4(ReRcRe+Rc+Rt)?|Ρbat|2(ReRcRe+Rc+Rt)?|Ρbat|(4)3司機(jī)需求功率隨pdem的變化在真實的道路行駛過程中,駕駛員根據(jù)道路交通狀況、車輛動力性能以及自身的駕駛習(xí)慣來控制油門踏板和制動踏板?；旌蟿恿ζ嚨哪芰抗芾砜刂葡到y(tǒng)首先需要把當(dāng)前車速下油門踏板或者制動踏板的位置解釋成駕駛員期望的功率(即駕駛員需求功率),隨后通過能量管理策略把這個駕駛員需求功率分配給燃料電池系統(tǒng)和蓄電池兩個能量源,從而實現(xiàn)能量效率最佳。假設(shè)駕駛員的操作僅僅是根據(jù)當(dāng)前的狀態(tài)來決定下一時刻的駕駛員需求功率。具體來說,在當(dāng)前時刻k,駕駛員在k+1時刻的需求功率Pdem(k+1)只與Pdem(k)相關(guān),而與Pdem(k-1)無關(guān)。因此,可以利用馬爾可夫鏈來建立駕駛員需求功率的隨機(jī)模型,揭示駕駛員需求功率的統(tǒng)計規(guī)律。首先,把駕駛員需求功率Pdem離散化成m個狀態(tài),即Pdem∈{Pdem1,Pdem2,…,Pdemm}(5)定義狀態(tài)轉(zhuǎn)移概率puij為Ρr{Ρdem(k+1)=Ρdemj|Ρdem(k)=Ρdemi,u}=puiji,j=1,2,?,m;u∈U(6)其中U是決策量的合集,包括了所有可能的控制量,u是當(dāng)前采用的決策。式(6)表示在采取某決策u后,本時刻在i狀態(tài),下一時刻狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的概率。將m個駕駛員需求功率Pdem狀態(tài)之間的切換轉(zhuǎn)移概率組成圖5所示的矩陣,存在m∑j=1puij=1。文中根據(jù)實車道路試驗數(shù)據(jù),包括母線電壓、母線電流、電機(jī)轉(zhuǎn)速和電機(jī)電流等,計算燃料電池混合動力汽車的駕駛員需求功率的狀態(tài)轉(zhuǎn)移概率矩陣。母線電壓Ubus、母線電流Ibus用于計算母線功率Pbus;電機(jī)轉(zhuǎn)速、電機(jī)電流用于計算電機(jī)的穩(wěn)態(tài)效率ηm&c。按照式(7)計算得到駕駛員需求功率Pdem。Pdem=IbusUbusηm&cηtrans(7)以當(dāng)前駕駛員需求功率是20kW為例,通過對下一時刻駕駛員需求功率的統(tǒng)計分析,其狀態(tài)轉(zhuǎn)移概率分布情況如圖6所示。上述駕駛員需求功率的狀態(tài)轉(zhuǎn)移概率矩陣需要建立在足夠的道路試驗的樣本數(shù)據(jù)基礎(chǔ)上,要求這些樣本數(shù)據(jù)能夠覆蓋所有可能的狀態(tài)空間。4soc和車速工況馬爾可夫決策過程是研究一類隨機(jī)序貫式?jīng)Q策問題的理論。馬爾可夫決策優(yōu)化對象的狀態(tài)量必須是一個馬爾可夫鏈。為此,上節(jié)中建立了駕駛員需求功率的馬爾可夫模型,駕駛員需求功率將作為狀態(tài)量。在應(yīng)用馬爾可夫決策理論前,除了已有的狀態(tài)轉(zhuǎn)移概率矩陣,還需要確定決策量u和優(yōu)化目標(biāo)函數(shù)(即成本函數(shù))。對于文中的燃料電池混合動力汽車,在某個蓄電池SOC狀態(tài)下,母線電壓與蓄電池功率是一一對應(yīng)關(guān)系。因此,可以通過控制主DC/DC轉(zhuǎn)換器的輸出電壓(即母線電壓)來間接控制蓄電池功率。雖然母線電壓與蓄電池功率是基本等效的,但從功率分配的角度來看,選擇蓄電池功率作為決策量更為直觀。這里把蓄電池功率Pbat離散化成l個狀態(tài),即u=Pbat∈{Pbat1,Pbat2,…,Pbatl}(8)定義單步轉(zhuǎn)移成本ruij:在控制量為u的情況下,駕駛員需求功率從i轉(zhuǎn)移到j(luò)狀態(tài)所消耗的成本。在不同的SOC和車速下,對于某個駕駛員需求功率,在蓄電池功率控制(u=Pbat)下,其單步轉(zhuǎn)移成本為ruij=(Ρfcdcηfcηdcdc+Ρbatηcps)Δt其中ηcps={ηbat_disηfc_avgηdcdc_avg,當(dāng)Ρbat＞01/ηbat_cha,當(dāng)Ρbat＜01,當(dāng)Ρbat=0(9)式中ηfc為燃料電池效率;ηfc_avg為燃料電池平均效率;ηdcdc為主DC/DC轉(zhuǎn)換器效率;ηdcdc_avg為主DC/DC轉(zhuǎn)換器平均效率;Δt是單步步長時間,文中采用1s。單步轉(zhuǎn)移成本分為2個部分:(1)第一項表示燃料電池系統(tǒng)按照靜態(tài)效率模型計算所消耗的氫氣能量;(2)第二項表示蓄電池電能等效折算成的氫氣能量。由于蓄電池電能與燃料電池的電化學(xué)能是兩類不同的能量,因此在計算總能量消耗時,需要對這兩種能量形式進(jìn)行能量轉(zhuǎn)換。一般情況下,蓄電池的電能最終來自于燃料電池的充電,因此在對蓄電池放電的時候,還需要考慮將來為恢復(fù)這部分電能時燃料電池和主DC/DC轉(zhuǎn)換器的能量效率。定義總期望成本vi(n)為從狀態(tài)i開始進(jìn)行n次狀態(tài)切換的最小總期望成本,可得遞推公式為vi(n+1)=minum∑j=1puij[ruij+vj(n)]n=0,1,2,?(10)馬爾可夫決策的目標(biāo)就是在當(dāng)前蓄電池SOC和汽車車速下尋找到最佳控制策略u=π(Pdem|SOC,v_spd),使得從長遠(yuǎn)時間的角度來看總成本的期望值最小。在進(jìn)行馬爾可夫決策優(yōu)化計算前,還需要考慮系統(tǒng)的約束條件。對于燃料電池系統(tǒng),在其輸出功率升高的情況下,單秒凈輸出功率增量ΔP+fc_ps<15kW。從設(shè)計需求角度來說,蓄電池主要起到功率調(diào)峰和輔助能量源的作用,而不是主要的能量源。從實車道路數(shù)據(jù)來看,較少出現(xiàn)蓄電池功率大于30kW的情況,所以在優(yōu)化時,設(shè)定蓄電池功率范圍為-30kW≤Pbat≤30kW。最后,從狀態(tài)i開始的馬爾可夫決策優(yōu)化問題可以描述為π(Ρdem|SΟC,v_spd)=argminu∈Um∑j=1{puij[ruij+vj(n)]}st.{Ρfc_net＜Ρfc_net_maxΔΡ+fc_ps＜ΔΡ+fc_ps_maxΡdc_in＜Ρdc_in_maxrratio_min＜UbusUdc_in＜rratio_max|Ρbat|≤Ρbat_maxUbus_min＜Ubus＜Ubus_maxΙm&c＜Ιm&c_maxUm&c＞Um&c_minτm_min＜τm＜τm_maxωm＜ωm_max(11)式中v_spd為汽車車速;Pfc_net為燃料電池凈輸出功率;Pdc_in是主DC/DC轉(zhuǎn)換器的輸入功率;rratio是主DC/DC轉(zhuǎn)換器的升壓比;Um&c為電機(jī)及控制器電壓;Im&c為電機(jī)及其控制器電流;τm為電機(jī)轉(zhuǎn)矩;ωm為電機(jī)轉(zhuǎn)速。5馬爾可夫決策的優(yōu)化結(jié)果與驗證5.1最優(yōu)能量管理策略馬爾可夫決策主要有兩種求解方法,一種是值迭代法,另一種是策略迭代法。由于策略迭代法更適合于持續(xù)時間較長的系統(tǒng),因此文中采用策略迭代法求解最優(yōu)策略。篇幅所限,僅列出車速30km/h、3個蓄電池SOC下的馬爾可夫最優(yōu)能量管理策略,如圖7所示。從圖中可以看到,通過馬爾可夫決策計算出的最優(yōu)能量管理策略,在駕駛員需求功率較低時,傾向于對蓄電池進(jìn)行低功率充電或者不充電,只有在較高駕駛員需求功率的情況下,蓄電池功率隨駕駛員需求功率線性增長,直至其最大允許功率。當(dāng)蓄電池SOC較低時,傾向于以較大功率對蓄電池充電;當(dāng)蓄電池SOC較高時,傾向于不對蓄電池充電。這里需要補(bǔ)充說明的是,雖然在優(yōu)化計算時,限制蓄電池功率在-30～30kW之間,這不意味著在行駛的動態(tài)過程中,蓄電池功率始終工作在這個區(qū)間。這是因為當(dāng)駕駛員需求功率發(fā)生劇烈變化時,燃料電池功率不能立刻隨之變化,不足功率或者多余功率只能由蓄電池來平衡。因此,蓄電池功率在某些時刻往往要超出這個功率限制區(qū)間。總之,馬爾可夫決策過程是依據(jù)駕駛員需求功率的統(tǒng)計規(guī)律,得到駕駛員需求功率的狀態(tài)轉(zhuǎn)移概率矩陣,用來預(yù)測將來的駕駛員需求功率的概率分布,著眼于現(xiàn)在和未來的功率需求,得到比較綜合的能量管理策略。5.2仿真與驗證實驗在利用馬爾可夫決策理論計算得到最優(yōu)能量管理策略之后,采用仿真計算的辦法對策略進(jìn)行驗證和評價。文中借助控制系統(tǒng)仿真和調(diào)試平臺作為驗證能量管理策略的仿真平臺。該平臺是基于機(jī)群技術(shù)的硬件在環(huán)仿真平臺,可以對整車動力系統(tǒng)的控制、匹配以及整車控制器功能進(jìn)行仿真與驗證。采用某北京公交車中速工況作為仿真的測試工況。在初始蓄電池SOC等于0.65的情況下,得到如圖8所示的仿真結(jié)果。從圖8看出,該能量管理策略可以使車輛滿足北京公交中速工況的速度和加速度要求。在滿足動力性的基礎(chǔ)上,將該能量管理策略對應(yīng)的燃料經(jīng)濟(jì)性與原來的母線恒壓控制策略對比,參照文獻(xiàn)中的電能折算成等效氫能的公式,可以得到表1所示的結(jié)果。由表中數(shù)據(jù)可以看出,采用馬爾可夫決策理論優(yōu)化得到的控制策略可以降低1.8%的燃料消耗。在實際道路行駛過程中,根據(jù)車輛行駛的有關(guān)數(shù)據(jù),可以自動更新駕駛員需求功率狀態(tài)轉(zhuǎn)移概率矩陣,并自適應(yīng)地修改能量管理策略,從而獲得更佳的控制效果。6馬爾可夫理論把駕駛員需求功率優(yōu)化分配給多