交叉口智能信號控制.ppt

交叉口智能信號控制 指導教師 徐良杰教授 小組成員 安樹科 鄒權(quán) 韓冬成 現(xiàn)代道路交通管理理論及應(yīng)用 THEMAINCONTENTS 交叉口智能信號控制 單路口智能信號控制 隨著經(jīng)濟的快速發(fā)展 人民生活水平的不斷提高 社會對城市交通提出了更高的要求 制約城市道路通行能力的瓶頸 道路交叉口 也越來越受到人們的重視 提高交叉口通行能力和降低延誤的最有效的方法之一就是交通信號控制 信號控制研究范圍涉及相位分配的確定 性能函數(shù)的選取 控制參數(shù)的確定和配時方案的生成及配套的硬件設(shè)備選取等多個領(lǐng)域 1 發(fā)展歷程 2 交通信號控制系統(tǒng)的分類 定時式脫機系統(tǒng) 自適應(yīng)控制系統(tǒng) 智能控制系統(tǒng) 點控方式 線控方式 面控方式 3 信號控制方法應(yīng)用現(xiàn)狀 目前 在全球范圍廣泛采用的交通信號控制系統(tǒng)包括澳大利亞的SCATS系統(tǒng)和英國的SCOOT系統(tǒng) SCATS屬于方案選擇式控制系統(tǒng) 每個交叉口配時方案根據(jù)子系統(tǒng)的整體需要進行選擇 現(xiàn)在上海運行著該系統(tǒng) SCOOT屬于方案生成式實時自適應(yīng)控制系統(tǒng) 采用小步長漸進尋優(yōu)的方法 連續(xù)實時地調(diào)整綠信比 周期和時差3個參數(shù) 北京已引進該系統(tǒng) 國內(nèi)其他城市交通控制系統(tǒng)應(yīng)用情況 1 單路口智能信號控制 定時控制 根據(jù)以往觀測到的交通需求 按預先設(shè)定的配時方案進行控制 因此它對交通需求的隨機變化是無法響應(yīng)的 感應(yīng)控制方法缺陷 感應(yīng)控制只能檢測是否有車輛到達而不關(guān)心有多少輛車到達 因此 它無法真正響應(yīng)各相位的交通需求 也就不能使車輛的總延誤最小 例如 設(shè)某相位最短綠時為10s 最大綠時為40s 單位綠延時為5s 則在5s綠延時結(jié)束前 如果只有一輛車到達 仍須給出5s的單位綠延時 極端情況下重復上述過程直到最大綠時 共放行了11輛車 而在此期間 下一相位車道卻有15輛車等待綠燈 很顯然總的車輛延誤沒有達到最小 1 單路口兩相位的模糊控制 1977年 Pappis等人設(shè)計了一種單路口兩相位模糊邏輯控制器 計算機仿真結(jié)果證實了該方法的有效性 這是最早將模糊邏輯用于交通控制的例子 下面從延誤模型 模糊算法和模糊控制幾方面進行介紹 1 延誤模型 考慮兩相位控制的十字路口 東西向為一個相位 南北向為一個相位 假定各方向到達的車輛是隨機的 且到達的車輛數(shù)服從均勻分布 兩個方向的飽和流量均為3600veh h 無轉(zhuǎn)向車流 設(shè)則紅燈相位開始后第n s 內(nèi)的車輛排隊長度為式中 p表示前一個綠燈期間未清完的車輛數(shù) 則紅燈期間排隊車輛總的等待時間為 如果在第n s 內(nèi)有一輛車到達否則 令s為飽和流量 則綠燈相位開始后第n s 內(nèi) 未清完的車輛排隊長度為式中為前一個紅燈期間等候的車輛數(shù) 上式括號里的數(shù)為正時 z取1 否則z為0 則綠燈期間車輛總的等待時間為因此 一個周期內(nèi) 一個方向上的車輛總延誤為 有效紅燈時間R s 內(nèi)的延誤 有效綠燈時間R s 內(nèi)的延誤平均每輛車的延誤模型為 2 模糊算法 該算法主要控制綠燈的延時時間 分別在綠燈的第7s 17s 27s 37s和47s實施控制 在路口停車線前S m 處設(shè)置車輛檢測器 若測得車輛的速度為 則其從檢測器到臨界點所花費的時間為例如 南北方向綠燈持續(xù)到第17s準備實施控制時 設(shè)在下一個10s中 相繼每一個時間單位1s橫穿臨界點 南北方向 的車輛數(shù)與等候的車輛數(shù) 東西方向 已由檢測器得到 分別為設(shè)準備實施控制時已有5輛車等候 東西方向 則下一個10s開始后各秒到達和等候的車輛累積數(shù)分別為 引入以下模糊變量 T表示 時間 的模糊輸入變量 其取值為 很短 短 中等 等 A表示 到達數(shù) 的模糊輸入變量 此處指到達正在通行的車道上的車輛數(shù) 其取值為 很多 極少 等 Q表示 等候車輛數(shù) 的模糊輸入變量 其取值為 任意 很少 等 E表示 延長時間 的模糊輸入變量 時間A和延長時間E的賦值表 到達數(shù)A的賦值表 等候車輛數(shù)Q的賦值表 引入兩種新的運算規(guī)則 設(shè)為實軸上的模糊子集 是其隸屬度函數(shù)且是使達到最大的中的元素 則和為定義在U上的模糊集 且有很明顯模糊集 任意 any 在整個論域上都為1 3 模糊控制 下面根據(jù)一些具體數(shù)據(jù)說明如何進行模糊控制 以第2次控制 即在綠燈第27s時 為例 并設(shè)即考慮下一個10s的第8s 即在以后的8s中 如現(xiàn)在的信號燈不變 則有4輛車通過臨界點 即在即在以后的8s中 如現(xiàn)在的信號燈不變 則有5輛車等候 即信號燈的當前狀態(tài)再保持8s 根據(jù)第二次控制中的第1條規(guī)則 我們有 類似地求得其余4條控制規(guī)則的隸屬度分別為 按照上述方法 分別取 則可得到控制決策表 如下表所示 由于 延長10s 所對應(yīng)的隸屬度0 8為最大 故決定控制器應(yīng)保持當前狀態(tài)10s不變 每次控制均按上述過程進行 如果模糊決策后要延長的時間小于10s 則系統(tǒng)將在延時結(jié)束后進行狀態(tài)轉(zhuǎn)換 然后在下一個相位進行模糊推理 如果表最后一行所有的值均小于0 5 則不進行延時 系統(tǒng)的狀態(tài) 即相位 要立刻轉(zhuǎn)換 如果表中的最后一行有兩個或兩個以上相同的最大值 則取更長的那個延長時間 模糊邏輯控制器與傳統(tǒng)控制器的性能比較 2 單路口的神經(jīng)網(wǎng)絡(luò)自學習控制 模糊控制規(guī)則一經(jīng)確定就不再改變 即不具備實時學習功能 這樣一來 系統(tǒng)的信號控制效果完全依賴于控制規(guī)則的合理性和遍歷性 這對于交通狀況復雜的路口 特別是多相位路口 是很難做到的 針對單路口多相位信號控制方式 提出了一種具有實時學習功能的神經(jīng)網(wǎng)絡(luò)信號控制方法 1 單路口的神經(jīng)網(wǎng)絡(luò)自學習控制 在車流量大和車流復雜的情況下 傳統(tǒng)信號控制方法很難實施有效的控制 但一個經(jīng)驗豐富的交通警察卻能應(yīng)付自如 這說明可模擬交通警察思維的智能控制方法在復雜路口的信號控制方面有著廣泛的應(yīng)用前景 設(shè)所研究的平面交叉路口為一個十字形交叉路口 其中 東西南北4個進口均具有左轉(zhuǎn) 直行和右轉(zhuǎn)條車道 2 單路口的神經(jīng)網(wǎng)絡(luò)自學習控制 交通警察交通指揮的過程 首先將通行權(quán)交給某一方向 在此期間他將不斷評價目前的交通狀況1 如果通行方向的大部分車輛已疏散 而另一個方向車輛數(shù)增多 他會把通行權(quán)交給另一個方向 2 如果各方向的車輛數(shù)均比較多 則通行時間較長 3 如果各方向的車輛數(shù)均比較少 則通行時間較短 具有在線自學習功能的智能控制方案結(jié)構(gòu)圖 3 控制算法 1 評價準則 評價準則環(huán)節(jié)的作用是評價一個評價周期內(nèi) 假設(shè)由6個信號周期組成 某一信號配時方法的控制效果 并由此評價準則修正信號周期和各相位的綠信比 設(shè)為第i個信號周期結(jié)束時的總排隊長度 為第i個信號周期內(nèi)第j個相位所有方向達到的車輛總數(shù) 為第i個信號周期內(nèi)第j個相位中所有方向放行的車輛總數(shù) 為第i個周期結(jié)束時第j個相位所有方向車流排隊長度之和 為一個評價周期內(nèi) 各信號周期結(jié)束時的總排隊長度的平均值 為一個評價周期內(nèi) 各信號周期結(jié)束時第j個相位中所有方向車流的排隊長度的平均值 則有式中 當括號內(nèi)的數(shù)小于0時 z 0 否則z 1 且有定義將分為大 較大 中 小和很小5檔 對應(yīng)的周期增量分別為10s 7s 5s 0s和 5s 則為即為下一個評價周期內(nèi)將要采用的新信號周期長度 然后計算最后計算j 1 2 3 4 4 神經(jīng)網(wǎng)絡(luò)在該信號控制系統(tǒng)中 兩個神經(jīng)網(wǎng)絡(luò)作為控制器處于系統(tǒng)的底層 任何時刻只有一個在工作 而另一個則根據(jù)需要 由評價準則確定 處于學習或空閑狀態(tài) 輸入 輸出 C和 學習樣本和訓練方式 神經(jīng)網(wǎng)絡(luò)的學習樣本分兩個階段獲取 第一 在網(wǎng)絡(luò)運行前 先將交警的指揮經(jīng)驗用規(guī)則的形式表示出來 然后用這些準則來訓練兩個神經(jīng)網(wǎng)絡(luò) 訓練好的神經(jīng)網(wǎng)絡(luò)即可作為信號控制器投入運行 由于控制信號是4相位的 信號控制規(guī)則的獲取比較困難 且控制規(guī)則也往往不具備遍歷性 因而此時的神經(jīng)網(wǎng)絡(luò)性能還不是最優(yōu)的 還需要在運行過程中逐步進行優(yōu)化 第二 在系統(tǒng)運行過程中 每隔一個評價周期 6個信號周期 按照前面所述的方法計算一次輸入 輸出 訓練處于空閑狀態(tài)的神經(jīng)網(wǎng)絡(luò) 如此重復 一個神經(jīng)網(wǎng)絡(luò)投入運行 一個學習 隨著時間的推移 訓練樣本將會越來越多 網(wǎng)絡(luò)訓練也將會越來越困難 為避免出現(xiàn) 樣本爆炸 問題 采取了所謂的 樣本截斷 法即事先規(guī)定訓練樣本的規(guī)模 如300個 可根據(jù)需要任意設(shè)定 然后按照 順序移位 的方式用新樣本逐個淘汰舊樣本 神經(jīng)網(wǎng)絡(luò)自學習控制方法 簡稱方法1 神經(jīng)網(wǎng)絡(luò)學習交警控制經(jīng)驗方法 簡稱方法2 控制效果比較 2 基于智能體的信號交叉口控制 基于智能體的信號交叉口控制 交通信號控制系統(tǒng)在物理位置和控制邏輯上分散于動態(tài)變化的網(wǎng)絡(luò)交通環(huán)境 將每個路口的交通信號控制器看做一個異質(zhì)的智能體 非常適合采用 無模型 自學習 數(shù)據(jù)驅(qū)動 的多智能體強化學習方法建模與描述 自Thorpe于1997年首次將強化學習 reinforcementlearning RL 方法應(yīng)用于交通信號最優(yōu)化控制以來 多智能體強化學習 multi agentreinforcementlearning MARL 在區(qū)域交通自適應(yīng)控制領(lǐng)域迅速發(fā)展并已有實際應(yīng)用 多智能體強化學習 智能體它們單獨的和環(huán)境進行交互 在一種情況下它們各自優(yōu)化自己的目標 但這些目標之間有約束 另一種情況下 它們聯(lián)合起來優(yōu)化一個主要的目標方程 根據(jù)具體的情況會有不同的變化 絕大多數(shù)研究以假設(shè)的靜態(tài)隨機環(huán)境為研究對象 采用完全孤立或部分狀態(tài)合作的協(xié)調(diào)機制進行本地路口的最優(yōu)化控制 這制約了網(wǎng)絡(luò)交通控制系統(tǒng)的整體效益 近年來 基于動作聯(lián)動的MARL控制方法發(fā)展迅速 其以聯(lián)動協(xié)同的方式逼近全局最優(yōu)的控制策略 同時 算法的驗證也由假設(shè)的交通網(wǎng)絡(luò)向現(xiàn)實的交通網(wǎng)絡(luò)發(fā)展 MARL控制的演化發(fā)展 1 MARL控制系統(tǒng)的優(yōu)勢 從控制理論來看 MARL控制可根據(jù)控制效果的反饋信息自主學習并優(yōu)化策略知識 是一種真正的閉環(huán)反饋控制 從控制范圍來看 其可精確推理多個路口間的最優(yōu)聯(lián)合動作 豐富了區(qū)域交通協(xié)調(diào)控制的內(nèi)容及形式 從控制實時性來看 它沒有復雜的模型優(yōu)化模塊 采用秒級的即時決策 可實時響應(yīng)時變交通流的變化 從系統(tǒng)可拓展性來看 分散式MARL控制具有統(tǒng)一的結(jié)構(gòu)模型 可針對特定路網(wǎng)結(jié)構(gòu)和交通流特性進行相應(yīng)改造 從系統(tǒng)兼容性來看 MARL控制本身僅需要系統(tǒng)的輸入和輸出數(shù)據(jù) 對數(shù)據(jù)具體采集的技術(shù)和形式無要求 交通信號RL智能體的標準模型如圖1所示 每個路口的交通信號機被抽象為一個智能體 控制對象為道路交通網(wǎng)絡(luò)上時變交通流 RL智能體與被控對象在閉環(huán)系統(tǒng)中不斷進行交互 通過觀察交通環(huán)境的實時狀態(tài) 提取信號控制所需的交通狀態(tài)信息和反饋獎勵信息 選擇相應(yīng)的行為動作并執(zhí)行 進而跟蹤評測所選擇動作的控制效果 以累積回報收益最大化為目標 優(yōu)化控制策略直至收斂到 狀態(tài)和動作 的最優(yōu)概率映射 因而 RL智能體將控制系統(tǒng)的優(yōu)化過程按照時間進程劃分為狀態(tài)相互聯(lián)系的多個階段 并在每個階段根據(jù)當前狀態(tài)進行最優(yōu)決策 這是典型的馬爾可夫決策過程 Markovdecisionprocess MDPs 2 RL控制標準模型 根據(jù)RL智能體學習頻率及優(yōu)化參數(shù)的不同 交通信號RL優(yōu)化技術(shù)分為周期式和非周期式控制 CyclicorAcyclic 兩種類型 其主要技術(shù)特征如表1所示 3 RL控制優(yōu)化技術(shù) 在相位結(jié)構(gòu)和相位順序固定的前提下 周期式RL控制以 周期 綠信比和相位差 作為控制方案的配時參數(shù) 每隔當前周期的整數(shù)倍時間間隔 采用RL算法對這些參數(shù)進行優(yōu)化調(diào)整 以響應(yīng)路口交通需求波動 這種優(yōu)化技術(shù)的控制方案結(jié)構(gòu)固定 配時參數(shù)更新具有滯后性 并通過相位差技術(shù)實現(xiàn)走廊方向的信號協(xié)調(diào) 是一種響應(yīng)式 responsive 自適應(yīng)交通控制 1 固定周期式RL控制方法 非周期式RL控制遵循感應(yīng)信號控制的邏輯框架 在滿足交通控制基本約束的前提下 根據(jù)時變交通流的波動 每隔單位延長時間 采用RL算法對相位結(jié)構(gòu) 相位順序或綠燈時長進行優(yōu)化 以實時響應(yīng)交通需求的變化 這種優(yōu)化技術(shù)摒棄了傳統(tǒng)協(xié)調(diào)控制中周期和相位差的概念 由實際交通流即時決策相位方案及相位時長 并通過多個路口信號燈的聯(lián)動實現(xiàn)區(qū)域交通協(xié)調(diào)控制 以盡可能保證車隊連續(xù)通行 是一種實時 real time 自適應(yīng)交通控制 2 非周期式RL控制方法 交通網(wǎng)絡(luò)MARL控制是單路口RL控制向隨機博弈 stochasticgame SG 環(huán)境下區(qū)域交通網(wǎng)絡(luò)的擴展 以期通過多個路口RL智能體間的聯(lián)動協(xié)調(diào) 逼近網(wǎng)絡(luò)交通流的最優(yōu)均衡策略 由于區(qū)域內(nèi)全部RL智能體同時學習和同時決策 每一個RL智能體都面臨移動目標學習問題 moving targetlearningproblem 即本地智能體的最優(yōu)策略將隨著區(qū)域內(nèi)其他智能體策略的變化而變化 4 交通網(wǎng)絡(luò)MARL控制 通過構(gòu)建多路口間信號的聯(lián)動協(xié)調(diào)機制 采用基于協(xié)調(diào)的MARL進行系統(tǒng)的分散決策與優(yōu)化 根據(jù)智能體間交通狀態(tài)和信號動作的協(xié)調(diào)水平 交通網(wǎng)絡(luò)MARL控制可分為三類 完全獨立的多智能體強化學習控制 totallyindependentMARL 部分狀態(tài)合作的多智能體強化學習控制 partiallystatecooperationMARL 和動作聯(lián)動的多智能體強化學習控制 joint actionMARL 此方法假設(shè)路口處于靜態(tài)隨機的交通環(huán)境 即每個RL智能體的決策僅受路口本地狀態(tài)和本地動作的影響 只須通過在式 1 的更新規(guī)則中增加智能體的索引下標 將單智能體RL控制方法直接拓展并應(yīng)用到多個路口即可 其基本形式如下 1 完全孤立的MARL控制 部分狀態(tài)合作的MARL控制通過智能體間的點對點通信 獲得上 下游路口的交通數(shù)據(jù) 并以此拓展本地RL智能體的交通狀態(tài)的感知空間 構(gòu)造了部分狀態(tài)聯(lián)合的值函數(shù) 提高其對動態(tài)隨機環(huán)境的觀察能力 其基本形式如下 2 部分狀態(tài)合作的MARL控制 為同時克服MARL控制的同時學習挑戰(zhàn)和決策挑戰(zhàn) 動作聯(lián)動的MARL控制將式 1 中單智能體的狀態(tài)和動作分別替換為動態(tài)隨機環(huán)境下的聯(lián)合狀態(tài)和聯(lián)合動作 并在每一個博弈對策階段 估計均衡策略的值函數(shù) 實現(xiàn)多個智能體間的同時對策 如此反復迭代逼近最優(yōu)策略 以此尋找隨機環(huán)境下系統(tǒng)的唯一均衡 其基本形式如下 3 動作聯(lián)動的MARL控制 5 基于智能體的信號交叉口控制研究現(xiàn)狀 城市交通信號控制系統(tǒng)具有典型的分布式特征 且在時變的復雜交通網(wǎng)絡(luò)環(huán)境下 僅憑局部路口的優(yōu)化不能表征整體網(wǎng)絡(luò)的性能 在交換關(guān)聯(lián)路口信息的基礎(chǔ)上 仍需要設(shè)計路口間精細的協(xié)調(diào)機制 采用聯(lián)合的配時策略提升整體交通網(wǎng)絡(luò)的控制效益 智能體技術(shù)的自治性 協(xié)作性和交互性符合分布式交通信號自適應(yīng)控制的內(nèi)在需求 這體現(xiàn)在 智能體 路口信號控制器 可以感知周圍環(huán)境并及時響應(yīng)環(huán)境變化 且在沒有人或其他因素的直接干預下 智能體能夠自發(fā)的根據(jù)目標和環(huán)境的要求主動做出規(guī)劃 實現(xiàn)交通控制的自動化 同時 通過各分布式路口智能體的相互協(xié)作 構(gòu)建多智能體控制系統(tǒng) multiagentsystem 以實現(xiàn)全局路網(wǎng)的控制目標 本部分從兩方面綜述智能體技術(shù)在城市交通信號控制系統(tǒng)及其關(guān)聯(lián)領(lǐng)域中的應(yīng)用 包括 基于智能體的交通控制系統(tǒng)架構(gòu)研究 基于智能體的交通信號控制方法研究 1 基于智能體的交通控制系統(tǒng)構(gòu)架及平臺 傳統(tǒng)的城市交通控制模型多采用集中式架構(gòu) SCATS系統(tǒng) TUC系統(tǒng)及SCOOT系統(tǒng) 子區(qū)內(nèi)部分集中 當路口規(guī)模擴大時 集中式的控制系統(tǒng)不能滿足大量交通數(shù)據(jù)的通信傳輸和控制策略的實時優(yōu)化 且系統(tǒng)維護難度大 PRODYN系統(tǒng) OPAC系統(tǒng)和RHODES系統(tǒng)采用分散式架構(gòu) 有效均衡了集中式交通控制模型的通信需求和計算荷載 但這類系統(tǒng)采用交通模型預測路口環(huán)境演化 且不具備自學習能力 在高飽和度等復雜交通條件下控制效果差 多智能體系統(tǒng) 又稱分布式軟件平臺 支持和管理智能體的運行 智能體可分為靜態(tài)智能體和移動智能體 相應(yīng)地 多智能體系統(tǒng)分為靜態(tài)智能體系統(tǒng)和移動智能體系統(tǒng) 各個智能體模塊作用于智能體網(wǎng)絡(luò)系統(tǒng)的每個節(jié)點 為使智能體和智能體系統(tǒng)可在異構(gòu)的管理平臺上相互操作 智能體的設(shè)計應(yīng)當符合智能體的通用標準 近年來 應(yīng)用智能體技術(shù)實現(xiàn)全息交通數(shù)據(jù)環(huán)境下交通運輸系統(tǒng)的優(yōu)化成為研究和應(yīng)用的熱點之一 但是 只是少數(shù)學者研究 采用智能體技術(shù)開發(fā)的控制系統(tǒng)構(gòu)架可分為分層式 網(wǎng)絡(luò)式和混合式 種 分層式結(jié)構(gòu)將整個系統(tǒng)分解成若干個子系統(tǒng) 各子系統(tǒng)彼此之間的交互較弱 網(wǎng)絡(luò)式結(jié)構(gòu)是一種完全分散的智能體系統(tǒng) 各智能體之間相互通信且獨立進行決策 因而 各分布式的智能體僅考慮局部效益 不能從全局的角度預測整個網(wǎng)絡(luò)狀態(tài) 混合式結(jié)構(gòu)正是結(jié)合了分層式和網(wǎng)絡(luò)式的特征進行設(shè)計 INTRYS和TRYSA2系統(tǒng)Hernandez比較了城市智能交通管理系統(tǒng)的兩種結(jié)構(gòu) 集中分層式和分散網(wǎng)絡(luò)式 分別提出了INTRYS和TRYSA2兩個系統(tǒng) 并應(yīng)用于相同城市交通網(wǎng)絡(luò)的管理 INTRYS通過分層式結(jié)構(gòu)對智能體進行協(xié)調(diào)管理 而TRYSA2則采用網(wǎng)絡(luò)分散式協(xié)調(diào) 分析結(jié)果表明 網(wǎng)絡(luò)式結(jié)構(gòu)具有高同步 可重用及可拓展性好等特性 但對具有高復雜度的協(xié)調(diào)任務(wù) 分層式結(jié)構(gòu)則優(yōu)于網(wǎng)絡(luò)式 這是因為分層式結(jié)構(gòu)搜索關(guān)聯(lián)智能體進行計算的速度更快 多數(shù)基于智能體技術(shù)開發(fā)的應(yīng)用系統(tǒng)只關(guān)注由靜態(tài)智能體組成的分布式多智能體系統(tǒng) 為了驗證移動智能體技術(shù)在智能交通系統(tǒng)中應(yīng)用的潛力 Chen在提出的多智能體系統(tǒng)中集成了移動智能體 用以提高既有系統(tǒng)大范圍交通控制與管理的靈活性及自適應(yīng)性 并開發(fā)了一個符合IEEE的FIPA標準的移動智能體系統(tǒng)Mobile C 將其應(yīng)用于交通的管理和檢檢 與靜態(tài)智能體相比 移動智能體具有從網(wǎng)絡(luò)中一個系統(tǒng)轉(zhuǎn)移到另一個系統(tǒng)的能力 具有減小網(wǎng)絡(luò)負載 支持斷開控制 支持異構(gòu)環(huán)境 動態(tài)生成組件等功能 因而 系統(tǒng)可在運行過程中實時地動態(tài)更新任務(wù)的代碼及算法 并采用移動智能體技術(shù)將其發(fā)送到目標子系統(tǒng)中執(zhí)行 研究表明智能體的快速移動特性為解決大范圍交通控制與管理的挑戰(zhàn)帶來了新的機遇 為實時遠程交互 卸載數(shù)據(jù)荷載 跨平臺操作以及定制化服務(wù)等帶來了新的解決方案 移動智能體系統(tǒng)Mobile C Wang等提出的一個基于智能體的網(wǎng)絡(luò)級交通管理系統(tǒng)ADAPTS 該系統(tǒng)將一個復雜的網(wǎng)絡(luò)控制算法分解成多個以任務(wù)為導向的控制智能體 實現(xiàn)網(wǎng)絡(luò)級的自適應(yīng)交通信號控制 ADAPTS采用了 級的分層式結(jié)構(gòu) 最高層負責規(guī)劃和推理控制智能體的任務(wù)序列 中間層負責協(xié)調(diào)和分派控制智能體 最底層則實現(xiàn)各控制智能體的運行 系統(tǒng)采用移動智能體技術(shù)實現(xiàn)各個控制智能體 實現(xiàn)控制智能體在遠程交通控制中心至現(xiàn)場交通控制器以及現(xiàn)場控制器之間的靈活轉(zhuǎn)移 以響應(yīng)不同交通交件下交通需求變化 有效提升了智能交能控制系統(tǒng)的靈活性 ADAPTS系統(tǒng) TBMCS系統(tǒng) Katwijk開發(fā)了一個面向道路交通管理的多智能體系統(tǒng)測試平臺TBMCS 其支持在不同策略及條件下對多智能體系統(tǒng)系統(tǒng)性能進行測試和檢驗 從而加快基于多智能體應(yīng)用系統(tǒng)的原型設(shè)計與開發(fā) 由智能體模型 環(huán)境模型以及通信模型組成 且通信模塊符合 標準 分別模擬智能體的智能決策 環(huán)境狀態(tài)表達和協(xié)同交互 城市化和機動化進程的加快 交通擁堵 交通安全和污染惡化等問題已成為世界各大城市共同面對的挑戰(zhàn) 傳統(tǒng)集中式交通控制系統(tǒng)依懶于預測模型的精度 且無法處理時變交通流的不確定性 國內(nèi)外許多學者開始應(yīng)用智能體技術(shù)探尋大范圍交通控制的智能解決方案 包括城市交通控制 urbantrafficcontrol UTC 模型 交叉口信號控制 路徑誘導與 的集成系統(tǒng)以及分布式交通數(shù)據(jù)管理 下表中列出了智能體技術(shù)在道路交通信號控制中的代表性研究 2 基于智能體的交通信號控制方法 智能體技術(shù)在道路交通信號控制系統(tǒng)中應(yīng)用 智能體技術(shù)在道路交通信號控制系統(tǒng)中應(yīng)用 總結(jié) 城市交通網(wǎng)絡(luò)環(huán)境具有典型的動態(tài)性和隨機性 在不能完全獲取交通系統(tǒng)狀態(tài)信息 不能完全理解系統(tǒng)內(nèi)部機理 不能建立被控對象精確模型的條件下 基于MARL的交通信號控制方法僅利用控制過程的輸入和輸出數(shù)據(jù) 自主尋找隱含的控制知