《智能制造系統(tǒng)感知分析與決策 》 課件 第4章 制造系統(tǒng)分析優(yōu)化決策技術(shù)

第4章制造系統(tǒng)分析優(yōu)化決策技術(shù)CONTENTS啟發(fā)式優(yōu)化算法強化學習算法目錄決策技術(shù)概述建模與優(yōu)化01PARTONE決策技術(shù)概述決策技術(shù)概述從心理學看，決策是決策者根據(jù)個人經(jīng)驗和參考因素，在可選方案中推理出最終決定的認知過程。決策者需權(quán)衡風險和收益以最大化收益。隨著制造智能化，決策技術(shù)融合了運籌學、人工智能、機器學習和數(shù)據(jù)挖掘等技術(shù)，形成了適應智能制造的智能決策技術(shù)，適用于復雜和不確定環(huán)境。在制造系統(tǒng)中，決策技術(shù)是企業(yè)通過科學手段選擇最佳方案的過程。決策過程涵蓋采購、生產(chǎn)、營銷和預算四大領(lǐng)域，本文重點分析生產(chǎn)決策。決策技術(shù)概述決策技術(shù)的類型決策分類為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化決策。（1）結(jié)構(gòu)化決策：涉及清晰定義的環(huán)境和規(guī)則，可通過模型和計算機語言處理。（2）半結(jié)構(gòu)化決策：面對不確定數(shù)據(jù)，存在規(guī)則但方案非最優(yōu)，如預算制定和市場策略。（3）非結(jié)構(gòu)化決策：過程復雜，缺乏固定規(guī)則，依賴決策者主觀因素。決策技術(shù)分類科學決策遵循科學理論、思維方式和程序，技術(shù)包括多目標決策、模糊決策、智能決策等，智能決策支持系統(tǒng)為其應用手段。決策技術(shù)概述決策技術(shù)的類型（1）多目標決策：多目標決策是選擇和優(yōu)化多個相互矛盾的目標的方法。在社會經(jīng)濟系統(tǒng)中，常面臨多目標決策問題，如生產(chǎn)過程的組織決策需考慮產(chǎn)量、質(zhì)量和成本。這些目標間的矛盾使決策復雜。（2）模糊決策：模糊決策是在模糊環(huán)境下進行決策的數(shù)學方法。實際決策多為模糊決策，涉及面廣。常用技術(shù)包括模糊排序、模糊尋優(yōu)和模糊對策。（3）智能決策：智能決策是人工智能與制造業(yè)的結(jié)合，通過深度數(shù)據(jù)分析輔助決策。例如，在計算機顯示屏檢測方面，利用機器視覺和算法替代人工判斷。在排產(chǎn)方面，利用系統(tǒng)實現(xiàn)訂單與物料的匹配計算，得出最優(yōu)交付計劃。深度學習和知識圖譜是智能決策的主要技術(shù)方向。決策技術(shù)概述決策技術(shù)的理論常用的智能決策技術(shù)包括層次分析法、灰色理論、遺傳算法、博弈決策和深度學習等方法，以下分別對各個方法的原理進行簡要介紹。（1）層次分析法（AHP）：由T.L.Saaty等人在20世紀70年代提出，通過模擬人類對問題的理解，將復雜的多目標決策問題分解為多個層次或目標，并使用模糊量化方法計算層次重要性及總體排序，以優(yōu)選出最佳方案。層次分析法的結(jié)構(gòu)決策技術(shù)概述決策技術(shù)的理論（2）灰色系統(tǒng)理論：灰色系統(tǒng)理論處理信息不明確、存在不確定性的決策問題。由鄧聚龍教授于1982年提出，定義信息缺失、結(jié)構(gòu)或行為模式不明確的系統(tǒng)為灰色系統(tǒng)?；疑P(guān)聯(lián)分析為其常用方法。在決策中，確定特征參考序列和比較序列，無量綱化處理，計算灰色關(guān)聯(lián)系數(shù)和關(guān)聯(lián)度，排序確定影響最大的變量，選擇最優(yōu)值。灰色理論概述圖決策技術(shù)概述決策技術(shù)的理論（3）智能優(yōu)化算法：傳統(tǒng)運籌學和啟發(fā)式方法在處理復雜生產(chǎn)調(diào)度問題時受限。自上世紀80年代，人工智能理念引入生產(chǎn)調(diào)度，推動高效智能優(yōu)化算法的發(fā)展。（4）博弈決策：博弈論，亦稱為博弈決策，探討理性決策者在沖突與合作情境中的行為。博弈決策研究在相互具有競爭和對抗的體系中，使己方得到最有利結(jié)果，并探索其最優(yōu)策略。（5）深度學習：深度學習是由Hinton及其團隊在2006年提出的多層神經(jīng)網(wǎng)絡(luò)技術(shù)。它通過組合基礎(chǔ)特征來形成更高層次的抽象特征表示，從而揭示數(shù)據(jù)中的分布式特征。深度學習的常見形式包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度信念網(wǎng)絡(luò)（DBN）和堆疊自編碼器等。決策技術(shù)概述決策技術(shù)的分析過程和方法在實際的生產(chǎn)、工程和科研活動中，經(jīng)常遇到需要對多個目標進行綜合評估并做出決策的情形。如在生產(chǎn)調(diào)度中，需同時考慮減少在制品數(shù)量、提高設(shè)備使用效率及達到一定的生產(chǎn)率等目標。這些目標間可能存在矛盾，因此必須綜合考慮所有指標，以實現(xiàn)最合理的決策。決策系統(tǒng)由決策者和決策對象組成，它們構(gòu)成了一個包含矛盾和對立的統(tǒng)一體。在這個系統(tǒng)中，信息的交換是決策不可或缺的基礎(chǔ)，同時決策技術(shù)、方法和最終的決策結(jié)果（如行動方針、原則和方案）也是核心組成部分。一個決策問題可以通過以下五元組數(shù)學模型來描述決策技術(shù)概述決策技術(shù)的分析過程和方法（1）決策目標Z：代表決策者追求的具體目標，可以是單個目標或者多個目標。用決策準則或最優(yōu)值Z表示。（2）環(huán)境狀態(tài)??={??}：采取某種決策方案時，決策環(huán)境客觀存在的各種狀態(tài)。環(huán)境狀態(tài)可以是確定的、不確定的或隨機的，也可以是離散的或隨機的。如果系統(tǒng)所處各種可能的狀態(tài)是可知的，用所有狀態(tài)構(gòu)成的集合??={??}表示；如果只能獲得系統(tǒng)各種狀態(tài)出現(xiàn)的可能性大小，用狀態(tài)轉(zhuǎn)變概率??(??)來表示。（3）決策準則：決策準則為實現(xiàn)決策目標而選擇行動方案所依據(jù)的價值標準和行為標準。一般來說，決策準則依賴于決策者的價值傾向和決策風格。（4）行動方案??{??}：行動方案是實現(xiàn)決策目標所采取的具體措施和手段，要有多個備選方案。所有方案構(gòu)成的集合稱為方案集，用??={??}表示，??表示方案，是決策變量。決策技術(shù)概述決策技術(shù)的分析過程和方法（4）行動方案??{??}：行動方案是實現(xiàn)決策目標所采取的具體措施和手段，要有多個備選方案。所有方案構(gòu)成的集合稱為方案集，用??={??}表示，??表示方案，是決策變量。（5）決策結(jié)果??(??,??)：決策結(jié)果是采取某種行動方案在不同環(huán)境狀態(tài)下所出現(xiàn)的結(jié)果。能估算出系統(tǒng)在不同狀態(tài)下的結(jié)果或效益，用受益值、損失值或效用值??(??,??)表示，它是狀態(tài)變量??和決策變量a的函數(shù)。決策問題通常比較復雜，須采用抽象辦法，找出參與決策過程各變量之間的約束關(guān)系建立數(shù)學模型。決策技術(shù)概述制造系統(tǒng)中的決策問題新一代人工智能引領(lǐng)智能制造，結(jié)合互聯(lián)網(wǎng)、大數(shù)據(jù)和云計算，實現(xiàn)高效協(xié)作制造，快速響應客戶需求，為智能制造各環(huán)節(jié)注入活力。本章聚焦智能制造決策問題，涉及在少量或無人干預下，將生產(chǎn)系統(tǒng)的感知、決策、協(xié)同和執(zhí)行能力結(jié)合，通過自我決策和控制功能完成制造目標。制造系統(tǒng)決策問題分類決策技術(shù)概述制造系統(tǒng)中的決策問題根據(jù)制造過程分類，制造系統(tǒng)中的決策問題可分為設(shè)備級決策、產(chǎn)線級決策和系統(tǒng)級決策三個層面。（1）設(shè)備級決策：通過物理硬件和嵌入式系統(tǒng)，實現(xiàn)設(shè)備內(nèi)“感知-分析-決策-執(zhí)行”閉環(huán)，優(yōu)化資源配置。（2）產(chǎn)線級決策：多個設(shè)備級單元通過工業(yè)網(wǎng)絡(luò)實現(xiàn)互聯(lián)、互通、互操作，提升制造資源優(yōu)化配置的廣度和精度?；诂F(xiàn)場感知、信息交互和實時分析，實現(xiàn)局部制造資源的自組織、自配置、自決策和自優(yōu)化。（3）系統(tǒng)級決策：在產(chǎn)線基礎(chǔ)上，通過智能服務(wù)平臺，實現(xiàn)不同制造單元間的協(xié)同優(yōu)化，整合產(chǎn)品生命周期全流程和企業(yè)全系統(tǒng)。決策技術(shù)概述制造系統(tǒng)中的決策問題2）生產(chǎn)管理決策：通過集成工業(yè)軟件、構(gòu)建云平臺管理生產(chǎn)數(shù)據(jù)，實現(xiàn)無縫信息通信。實時處理分析數(shù)據(jù)，實現(xiàn)智能決策，使生產(chǎn)資源有序可控。A3）智能調(diào)度決策：生產(chǎn)調(diào)度是生產(chǎn)管理的核心，涉及訂單管理、瓶頸資源識別、優(yōu)先級排序等。智能調(diào)度利用先進模型和算法提取數(shù)據(jù)，實現(xiàn)實時、可靠的調(diào)度與執(zhí)行。B4）人機協(xié)作決策：工業(yè)4.0時代，人類與機器協(xié)同工作。智能機器通過認知技術(shù)輔助人類工作。未來，“人在回路”模式需設(shè)計高級機器學習模型，確保人機有效交互和信任關(guān)系。C1）設(shè)備管理決策：智能制造系統(tǒng)通過不同方式連接傳感器、智能硬件等，形成智能網(wǎng)絡(luò)，構(gòu)建設(shè)備決策平臺。實現(xiàn)實時優(yōu)化控制和配置決策，最優(yōu)整合利用各類信息資源。D根據(jù)具體問題分類，智能制造中的決策問題可以大致分為以下幾類02PARTTWO建模與優(yōu)化建模與優(yōu)化在建立制造系統(tǒng)前，必須對系統(tǒng)的各個方面進行建模分析以減少決策風險。通過計算機建模和仿真分析，可以在規(guī)劃、設(shè)計階段就對制造系統(tǒng)的靜動態(tài)性能進行充分的預測，以盡早發(fā)現(xiàn)系統(tǒng)布局、配置及調(diào)度控制策略方面的問題，從而更快、更好地進行系統(tǒng)設(shè)計決策。由于制造系統(tǒng)的復雜性，僅采用某一類模型往往不足以全面描述系統(tǒng)的特征和運行狀況，在建模中必須對系統(tǒng)中某些元素進行一些假定，在給定的某種狀態(tài)下分析其規(guī)律與行為特征?？傮w上說，制造系統(tǒng)建模包含以下幾個步驟：首先是對產(chǎn)品或零部件的制造需求進行全局性的考慮；然后再考慮一些基本的設(shè)計，如制造設(shè)備的種類、功能、制造能力、物料傳輸系統(tǒng)的類型和存儲系統(tǒng)的類型等，同時還要考慮計算機和數(shù)據(jù)處理系統(tǒng)的層次性和相互關(guān)系；最后考慮細節(jié)方面的設(shè)計，如機器加工的精度、工具轉(zhuǎn)換系統(tǒng)、物料的填充、運輸裝置和托盤的數(shù)量、存儲容量以及整體的生產(chǎn)轉(zhuǎn)換策略等。建模與優(yōu)化在目前已有的制造系統(tǒng)研究中，運用較多的建模方法有離散事件動態(tài)系統(tǒng)（discreteeventdynamicsystem，DEDS）建模方法數(shù)學規(guī)劃（mathematicalprogramming，MP）方法多智能體系統(tǒng)（multi-agentsystem，MAS）建模方法等建模與優(yōu)化基于離散事件動態(tài)系統(tǒng)的建模方法離散事件動態(tài)系統(tǒng)（DEDS）指狀態(tài)變化僅發(fā)生在離散事件點的系統(tǒng)。DEDS狀態(tài)演化由事件驅(qū)動，變化方式跳躍，事件與狀態(tài)空間具非線性特征。自80年代起，DEDS建模方法發(fā)展迅速。兩種典型建模方法：馬爾可夫鏈和排隊論。建模與優(yōu)化馬爾可夫過程在制造系統(tǒng)中，許多變量如零件到達間隔、故障發(fā)生間隔和排除時間具有隨機性和無記憶性。無記憶性意味著隨機過程在t時刻的狀態(tài)與其歷史無關(guān)，僅由當前狀態(tài)決定，即馬爾可夫特性。這種性質(zhì)常見于幾何和指數(shù)隨機變量，可用馬爾可夫過程模型描述其變化規(guī)律。（1）無記憶性質(zhì)的隨機變量：滿足無記憶性質(zhì)的隨機變量有兩類，一類是服從幾何分布的幾何隨機變量；另一類是服從（負）指數(shù)分布的指數(shù)隨機變量。幾何隨機變量X是一個離散變量，它描述獨立重復伯努利（Bernoulli）試驗中獲得第一次成功所需要的試驗數(shù)目，取值范圍是集合1,2,3,...。隨機變量??的概率函數(shù)為：式中，??為每次試驗取得成功的概率；k為首次成功時試驗的次數(shù)。基于離散事件動態(tài)系統(tǒng)的建模方法建模與優(yōu)化馬爾可夫過程幾何隨機變量??的均值為??(??)=1/??，這意味著平均而言，需要1/??次獨立的伯努利試驗才能取得第一次成功?？紤]如下公式：式中，??(??=??+??|??>??)表示在隨機變量X大于m的條件下，X等于??+??的概率。等式反映了幾何隨機變量??的無記憶性質(zhì)，即X的取值與過去的試驗次數(shù)無關(guān)。指數(shù)隨機變量X是一個連續(xù)變量。一般地，一個帶有參數(shù)λ(λ>0)的指數(shù)隨機變量??的概率密度函數(shù)為：對于服從指數(shù)分布的隨機變量??，有基于離散事件動態(tài)系統(tǒng)的建模方法建模與優(yōu)化馬爾可夫過程（2）隨機過程：一個隨機過程是隨機變量??(??):??∈??的集合。集合T稱為過程的參數(shù)集，??∈??一般作為時間參數(shù)。??(??)是對于每一個??∈??的隨機變量，它的取值叫做隨機過程在參數(shù)??的狀態(tài)。??(??)的所有取值集合稱為狀態(tài)空間，記為S。按照參數(shù)集和狀態(tài)空間的可數(shù)或連續(xù)性質(zhì)，可以把隨機過程分為四種類型：離散時間、離散狀態(tài)空間；離散時間、連續(xù)狀態(tài)空間；連續(xù)時間、離散狀態(tài)空間；連續(xù)時間、連續(xù)狀態(tài)空間。（3）馬爾可夫鏈的基本概念：馬爾可夫鏈可以按其是否具有連續(xù)性分為兩種：一種是離散時間馬爾可夫鏈（discretetimeMarkovchain，DTMC），它屬于一種離散時間、離散狀態(tài)空間的隨機過程，其狀態(tài)空間可數(shù)：另一種是連續(xù)時間的馬爾可夫鏈（continuoustimeMarkovchain，CTMC，它屬于一種連續(xù)時間、離散狀態(tài)空間的隨機過程，其狀態(tài)空間仍然可數(shù)?；陔x散事件動態(tài)系統(tǒng)的建模方法建模與優(yōu)化狀態(tài)駐留時間是是指在馬爾科夫鏈中，從對于DTMC的一個狀態(tài)??(??)，它的狀態(tài)逗留時間??(??)表示DTMC在轉(zhuǎn)移至另一狀態(tài)之前處在狀態(tài)??(??)的時間步。狀態(tài)駐留時間是檢驗隨機過程是否屬于馬爾可夫過程的重要標志。為此，可以采用以下幾種方法：1）檢查一個隨機過程是否滿足馬爾可夫特性。2）狀態(tài)駐留的時間分布是否是無記憶的。3）過程從一個狀態(tài)到另一個狀態(tài)的概率是否僅依賴于原狀態(tài)和目的狀態(tài)。由馬爾可夫特性可知，對于離散時間馬爾可夫鏈（DTMC），駐留時間必定是滿足幾何分布的隨機變量。同DTMC一樣，連續(xù)時間馬爾可夫鏈滿足下面的馬爾可夫性質(zhì)：馬爾可夫過程基于離散事件動態(tài)系統(tǒng)的建模方法建模與優(yōu)化基本的排隊論模型排隊論，又稱為隨機服務(wù)系統(tǒng)理論。一個排隊可以看成是一個系統(tǒng)，該系統(tǒng)包含三個基本組成部分：到達過程、排隊規(guī)則和服務(wù)機構(gòu)。基于離散事件動態(tài)系統(tǒng)的建模方法排隊模型建模與優(yōu)化基本的排隊論模型基于離散事件動態(tài)系統(tǒng)的建模方法衡量某個排隊系統(tǒng)優(yōu)劣性的一個重要指標就是隊列長度。t時刻的隊列長度定義為

另外一個指標是顧客j在排隊系統(tǒng)中的逗留時間

常用性能指標還包括：平均顧客數(shù)、平均等待隊列長度、平均服務(wù)顧客數(shù)、服務(wù)機構(gòu)利用率、顧客平均逗留時間、隊列中平均等待時間。建模與優(yōu)化在制造系統(tǒng)中，如果盲目增添設(shè)備的數(shù)量，就會增加投資成本或發(fā)生空閑浪費，但是如果服務(wù)設(shè)備太少，隊長就會很長。因此在對制造系統(tǒng)的性能進行分析時，常常通過以上參數(shù)計算諸如等待零件數(shù)、機床利用率、零件通過時間、生產(chǎn)率等來考察目前的設(shè)備狀況是否合理，并據(jù)此研究今后的改進對策，以期提高服務(wù)質(zhì)量，降低成本。常見的排隊模型一般采用Kendall分類法M/M/C表示，其中第一個字母“M”表示顧客按參數(shù)為??的泊松（Poisson）分布規(guī)律隨機進隊，第二個字母“M”表示服務(wù)臺按參數(shù)為??的負指數(shù)分布隨機地為顧客服務(wù)的時間，第三個數(shù)字“C”表示服務(wù)臺的數(shù)量為C。其中??和??分別是上面提到的顧客的到達率和服務(wù)臺的服務(wù)率。該模型常見的有三種類型：標準的??/??/??模型??/??/??/∞/∞)、系統(tǒng)容量有限(??/??/??/∞/∞)、顧客源有限(??/??/??/∞/∞)?；镜呐抨犝撃Ｐ突陔x散事件動態(tài)系統(tǒng)的建模方法建模與優(yōu)化排隊網(wǎng)絡(luò)模型基本的排隊模型針對單一服務(wù)。然而，現(xiàn)實中排隊系統(tǒng)常包含多種服務(wù)，如不同機床用于零件加工。這類具有兩種以上服務(wù)的排隊系統(tǒng)稱為排隊網(wǎng)絡(luò)，由多個服務(wù)中心組成。顧客進入系統(tǒng)，在服務(wù)中心接受服務(wù)后按規(guī)律轉(zhuǎn)移到下一個中心，直到完成所有服務(wù)后離開系統(tǒng)。利用排隊網(wǎng)絡(luò)模型可以研究離散事件動態(tài)系統(tǒng)的主要性能指標，如系統(tǒng)中各排隊的隊長的概率分布、系統(tǒng)的輸出率、設(shè)備的利用率等，此外還可研究系統(tǒng)的規(guī)劃和控制。基于離散事件動態(tài)系統(tǒng)的建模方法制造系統(tǒng)排隊模型示例建模與優(yōu)化基于數(shù)學規(guī)劃的建模方法數(shù)學規(guī)劃是運籌學的一個重要分支，被廣泛應用于工業(yè)生產(chǎn)、商業(yè)、軍事乃至日常生活中。根據(jù)其具體特征，可以將數(shù)學規(guī)劃分為以下幾類：（1）線性規(guī)劃模型（目標函數(shù)和約束條件都是線性函數(shù)的優(yōu)化問題）（2）非線性規(guī)劃模型（目標函數(shù)或者約束條件是非線性的函數(shù)）（3）數(shù)規(guī)劃（決策變量是整數(shù)值的規(guī)劃問題）（4）多目標規(guī)劃（具有多個目標函數(shù)的規(guī)劃問題）（5）目標規(guī)劃（具有不同優(yōu)先級的目標和偏差的規(guī)劃問題）（6）動態(tài)規(guī)劃（求解多階段決策問題的最優(yōu)化方法）建模與優(yōu)化基于數(shù)學規(guī)劃的建模方法數(shù)學規(guī)劃的一般形式為：數(shù)學規(guī)劃在制造系統(tǒng)的建模中有廣泛的應用，既可以應用到系統(tǒng)設(shè)計和能力規(guī)劃等戰(zhàn)略決策方面，也可以應用到生產(chǎn)計劃等操作性決策與優(yōu)化方面。本章分別從這兩個方面對制造系統(tǒng)中數(shù)學規(guī)劃建模方法進行概括性說明。建模與優(yōu)化制造系統(tǒng)能力規(guī)劃問題建模

基于數(shù)學規(guī)劃的建模方法建模與優(yōu)化根據(jù)以上定義，設(shè)備更換的最優(yōu)決策模型如下：

制造系統(tǒng)能力規(guī)劃問題建模基于數(shù)學規(guī)劃的建模方法

建模與優(yōu)化制造系統(tǒng)生產(chǎn)計劃問題建?；跀?shù)學規(guī)劃的建模方法生產(chǎn)批量問題是指在給定一系列不同種類工件的制造訂單、每類工件所需工具以及加工時間的情況下，通過適當?shù)哪繕撕蜋C器以及工具的能力來確定未來一段時間內(nèi)需要立即加工的工件。在確定生產(chǎn)批量之后，下一步就是負荷問題，即以最優(yōu)方式將不同種類的工具和工件的加工工序分派到各個機器上?？梢钥闯?，生產(chǎn)批量問題和負荷問題不是完全獨立的，因為它們都受到一些共同的約束，如機器和刀具的生產(chǎn)能力等，因此這兩個問題可以同時求解，也可以按順序求解。下面我們用0-1整數(shù)規(guī)劃來對一個制造系統(tǒng)的生產(chǎn)批量問題進行建模。生產(chǎn)批量問題可以表示成以下的0-1整數(shù)規(guī)劃問題建模與優(yōu)化制造系統(tǒng)生產(chǎn)計劃問題建?；跀?shù)學規(guī)劃的建模方法

建模與優(yōu)化基于多智能體系統(tǒng)的建模方法智能體定義多樣，有的學者稱其為“能動的對象”，即具有封裝性、自我控制和自動執(zhí)行能力的實體。另有學者定義智能體為“在環(huán)境中自動完成任務(wù)的計算系統(tǒng)”。還有學者強調(diào)智能體是“具有自動性和計算能力的實體，能感知并影響環(huán)境”。綜合定義，智能體應具有以下特征：（1）自動性，即能夠獨立地工作，不需要連續(xù)的人工干預。（2）相互作用性，即各個智能體之間能夠相互影響和作用，同時智能體也能夠和環(huán)境相互作用。（3）智能性，即智能體在不同的環(huán)境下應被設(shè)計為具有不同的功能。（4）柔性，即智能體的設(shè)計必須考慮在不同的環(huán)境下能夠有效地工作這一需求。作為制造系統(tǒng)的一種類型，制造系統(tǒng)中存在多種性質(zhì)不同的物流活動和信息流活動。因此，可以從各個不同的功能活動出發(fā)，用多智能體系統(tǒng)對其進行建模分析。這方面已有的研究主要集中在基于多智能體系統(tǒng)的分布式控制系統(tǒng)和生產(chǎn)調(diào)度系統(tǒng)等方面，下面主要介紹這兩種多智能體系統(tǒng)建模方法。建模與優(yōu)化多智能體分布式控制系統(tǒng)要使得一個制造系統(tǒng)有效地運行，各個智能體之間必須實現(xiàn)有效的通信。工件智能體可以看成是一個具有管理性質(zhì)的智能體，因此它是整個多智能體系統(tǒng)之間通信的主要驅(qū)動者；機器智能體和工件智能體之間通信的主要內(nèi)容是機器根據(jù)自身當前的狀態(tài)提出一個加工的請求，然后由工件智能體進行確認并將工件提供給最優(yōu)的機器；運輸智能體主要是讀取工件智能體和機器智能體的當前狀態(tài)或數(shù)據(jù)，然后進行相應的運輸控制；裝載智能體是通過與工件智能體通信來確定所裝載工件的歸屬性。基于多智能體系統(tǒng)的建模方法基于多智能體的車間分布式控制系統(tǒng)建模與優(yōu)化多智能體生產(chǎn)調(diào)度系統(tǒng)生產(chǎn)調(diào)度的局限與多智能體技術(shù)的引入生產(chǎn)調(diào)度被視為組合優(yōu)化問題，應用受限。自80年代，人工智能及多智能體系統(tǒng)技術(shù)成為重要研究方向，尤其在處理不確定和動態(tài)調(diào)度上。多智能體技術(shù)的特點-分布式系統(tǒng)替代集中式系統(tǒng)。-多智能體協(xié)商，實時性強，適合動態(tài)調(diào)度。-多種方法并行計算，替代單一方法。多智能體系統(tǒng)的制造系統(tǒng)動態(tài)調(diào)度方法每個智能體對應一個生產(chǎn)中心，分為三層：靜態(tài)知識層、專業(yè)知識層和通信層?；诙嘀悄荏w系統(tǒng)的建模方法建模與優(yōu)化多智能體生產(chǎn)調(diào)度系統(tǒng)多智能體系統(tǒng)的定義與優(yōu)勢多智能體系統(tǒng)是基于局部概念模型的分布式人工智能系統(tǒng)，智能體間既有協(xié)作也有競爭。適合處理復雜任務(wù)，尤其適合生產(chǎn)調(diào)度與制造系統(tǒng)優(yōu)化，也適用于中小企業(yè)供應鏈設(shè)計。當前挑戰(zhàn)與限制多智能體系統(tǒng)設(shè)計尚無統(tǒng)一標準，需大量工作。需與其他建模方法結(jié)合，特別是數(shù)學規(guī)劃方法?；诙嘀悄荏w系統(tǒng)的建模方法03PARTTHREE啟發(fā)式算法啟發(fā)式優(yōu)化算法優(yōu)化是探索最優(yōu)解的工程數(shù)學問題。傳統(tǒng)方法如動態(tài)規(guī)劃、共軛梯度法等面對復雜問題時效率低。啟發(fā)式算法則無需深入分析，通過迭代運算快速搜索優(yōu)化，但解可能非全局最優(yōu)。元啟發(fā)式算法借鑒自然界現(xiàn)象，如遺傳算法（GA）模擬生物進化，模擬退火算法（SA）模擬固體退火，粒子群算法（PSO）模擬飛鳥集群，蟻群算法（ACO）受螞蟻行為啟發(fā)。啟發(fā)式算法的一般流程框架啟發(fā)式優(yōu)化算法啟發(fā)式優(yōu)化算法廣泛用于路徑規(guī)劃、車間調(diào)度、任務(wù)分配、資源管理和能源系統(tǒng)等領(lǐng)域。名稱英文全稱縮寫提出時間遺傳算法geneticalgorithmGA1975模擬退火算法simulatedannealingSA1983粒子群算法particleswarmoptimizationPSO1995經(jīng)典的啟發(fā)式算法啟發(fā)式優(yōu)化算法遺傳算法（GA）基于達爾文和孟德爾的理論，模擬生物遺傳和進化機制。1975年由Holland教授提出，GA在搜索中自動獲取和積累知識，自適應控制搜索，逐步進化至最優(yōu)解。遵循優(yōu)勝劣汰原則，通過選擇、交叉、變異等操作，使新個體比原個體更優(yōu)。GA為常用智能優(yōu)化算法，原理簡單，具有并行性和全局搜索能力，通用性強，適合各類問題。遺傳算法啟發(fā)式優(yōu)化算法具體流程如下：步驟1：隨機初始化種群。設(shè)置代數(shù)計數(shù)器，初始為??=0，最大進化代數(shù)為G，隨機生成NP個體作為初始種群??(0)。步驟2：根據(jù)目標函數(shù)??(??)，進行個體評價，計算??(??)中各個體的適應度。步驟3：進行選擇運算。使用選擇算子，并根據(jù)個體的適應度，按照定的規(guī)則或方法，選擇一些優(yōu)良個體遺傳到下一代群體。步驟4：進行交叉運算。將交叉算子作用于群體，對選中的成對個體以某一概率交換它們之間的部分染色體，產(chǎn)生新的個體。步驟5：進行變異運算。將變異算子作用于群體，對選中的個體，以某一概率改變某一個或某一些基因值改為其他等位基因。群體??(??)經(jīng)過選擇、交叉和變異運算之后得到下一代群體??(??+1)。計算其適應度值，并根據(jù)適應度值進行排序，準備進行下一次遺傳操作。步驟6：判斷終止條件。若??≤??，則??=??+1，轉(zhuǎn)到步驟2。若??>??則此進化過程中所得到的具有最大適應度的個體作為最優(yōu)解輸出，終止計算。遺傳算法啟發(fā)式優(yōu)化算法遺傳算法求解Job-shop調(diào)度問題

啟發(fā)式優(yōu)化算法遺傳算法求解Job-shop調(diào)度問題

啟發(fā)式優(yōu)化算法遺傳算法求解Job-shop調(diào)度問題

啟發(fā)式優(yōu)化算法遺傳算法求解Job-shop調(diào)度問題

遺傳算法變異操作啟發(fā)式優(yōu)化算法模擬退火算法模擬退火算法（SA）概述SA思想由Metropolis在1953年提出，1983年由Kirkpatrick等人引入組合優(yōu)化領(lǐng)域，現(xiàn)已廣泛應用。SA是局部搜索算法的擴展，理論上為全局最優(yōu)算法。SA基于MonteCarlo迭代求解策略，模擬固體物質(zhì)物理退火過程，通過溫度參數(shù)下降，在解空間中隨機搜索全局最優(yōu)解。SA的解對應于物理退火中的粒子狀態(tài)，最優(yōu)解即能量最低態(tài)。啟發(fā)式優(yōu)化算法算法流程模擬退火算法的解相當于物理退火中的粒子狀態(tài)，最優(yōu)解對應能量最低態(tài)。Metropolis采樣過程相當于等溫過程，控制參數(shù)T的下降對應冷卻過程。SA從當前解產(chǎn)生一個位于解空間的新解并計算新舊解所對應的目標函數(shù)差。利用接受準則來判斷新解是否被接受，若ΔT<0則接受"s'"作為新的當前解S，否則以概率exp(-ΔT/T)接受"s'"作為新的當前解S。當新解被確定接受時，用新解代替當前解。減小控制參數(shù)T的值，重復執(zhí)行Metropolis算法，就可以在控制參數(shù)T趨于0時，最終求得組合優(yōu)化問題的整體最優(yōu)解。模擬退火算法啟發(fā)式優(yōu)化算法模擬退火算法解決設(shè)備配備優(yōu)化問題

啟發(fā)式優(yōu)化算法模擬退火算法解決設(shè)備配備優(yōu)化問題

啟發(fā)式優(yōu)化算法模擬退火算法解決設(shè)備配備優(yōu)化問題模擬退火算法求解流程：

啟發(fā)式優(yōu)化算法算法介紹粒子群算法是J.Kennedy和R.Eberhart于1995年提出的群智能算法，模擬鳥類覓食行為。算法將鳥類飛行空間視為搜索空間，鳥視為僅有速度和位置的粒子，代表問題解。算法無需梯度信息，參數(shù)少，易實現(xiàn)，適用于實際優(yōu)化問題。粒子群算法啟發(fā)式優(yōu)化算法算法流程粒子群算法

03PARTFOUR強化學習算法強化學習算法強化學習核心優(yōu)勢在于應對無模型動態(tài)規(guī)劃問題，傳統(tǒng)方法難以解決。例如，自動化制造系統(tǒng)的控制，可建模并用啟發(fā)式算法尋找策略。但制造系統(tǒng)復雜，難以精確建模。強化學習無需預設(shè)模型，通過智能體與環(huán)境互動優(yōu)化決策，找到最佳策略。強化學習算法馬爾可夫決策過程強化學習的兩大基礎(chǔ)是試錯學習和最優(yōu)化控制。試錯學習為強化學習提供了基礎(chǔ)的框架和獎勵等基本概念；最優(yōu)化控制則為強化學習提供了重要的解決問題的工具和理論基礎(chǔ)。從最優(yōu)化控制角度來看可以知道，強化學習依賴于一個重要的假設(shè)，即智能體所在環(huán)境對于動作的反饋是確定的，同時是滿足馬爾可夫性的。因此我們必須把強化學習問題轉(zhuǎn)化成用馬爾可夫決策過程（MarkovDecisionProcess，MDP）來進行建模。當狀態(tài)不是完全可觀測的時候，馬爾可夫過程和馬爾可夫決策過程就分別轉(zhuǎn)化為隱馬爾可夫模型（HiddenMarkovModel）和部分可觀測馬爾可夫決策過程（PartiallyObservableMarkovDecisionProcess，POMDP），這兩個概念在多智能體強化學習中更加常見。強化學習算法基礎(chǔ)定義通常，我們會將強化學習問題建模成智能體與環(huán)境交互的模型。其中，智能體通過與環(huán)境交互來接收環(huán)境的信息，得到自己當前的狀態(tài)，再根據(jù)狀態(tài)做出動作，到達下一個狀態(tài)。在這個交互的過程中，環(huán)境也會給智能體以正向或者負向的反饋，通常稱為獎勵。智能體和環(huán)境的交互過程強化學習算法基礎(chǔ)定義

強化學習算法值函數(shù)

強化學習算法隨著眾多學者在人工智能領(lǐng)域的不斷研究，強化學習算法已經(jīng)被廣泛應用于決策與控制相關(guān)的各個領(lǐng)域，智能機器人、工業(yè)控制系統(tǒng)、游戲和生產(chǎn)調(diào)度等領(lǐng)域都有強化學習的應用場景。常見的強化學習算法可以分為基于價值的強化學習算法和基于策略的強化學習算法。強化學習算法Q-learning算法Q-learning算法是最經(jīng)典的基于值的算法，求解值函數(shù)的時候，通常要使用動態(tài)規(guī)劃的方法來求解。這就需要把函數(shù)寫成貝爾曼方程（BellmanEquation）的形式。通過貝爾曼方程，我們可以把一個長的序列決策最佳化問題變成一個更簡單的子問題，這些子問題可以用貝爾曼方程繼續(xù)進行簡化。強化學習算法Q-learning算法

Q-learning算法結(jié)構(gòu)圖強化學習算法Q-learning算法偽代碼

Q-learning算法強化學習算法Q-learning算法在制造系統(tǒng)的應用相較于一般的啟發(fā)式算法，Q學習不需要預先了解環(huán)境的確切動態(tài)或模型。這使得它非常適用于那些難以精確建模的復雜或不確定的環(huán)境。同時，Q學習能夠通過與環(huán)境的交互不斷學習和適應，調(diào)整其策略以實現(xiàn)更優(yōu)的決策，這使算法具有更好的泛化性，使優(yōu)化策略更好的適用于多個生產(chǎn)線或工藝。強化學習算法深度確定性策略梯度算法（DDPG）

強化學習算法深度確定性策略梯度算法（DDPG）模型的訓練可以分為兩個部分，即價值函數(shù)的訓練部分和策略函數(shù)的訓練部分。價值函數(shù)的訓練部分和DQN算法類似，首先需要計算目標函數(shù)，然后讓價值網(wǎng)絡(luò)擬合對應的目標函數(shù)。DDPG算法流程圖

強化學習算法深度確定性策略梯度算法（DDPG）策略函數(shù)的訓練：計算當前狀態(tài)s，對應的動作a，然后極大化Q函數(shù)的值。在連續(xù)動作的條件下，梯度可以通過價值網(wǎng)絡(luò)反向傳播到策略網(wǎng)絡(luò)，從而達到優(yōu)化策略網(wǎng)絡(luò)的目的。

強化學習算法DDPG算法求解機器人路徑規(guī)劃問題

4強化學習算法DDPG算法求解機器人路徑規(guī)劃問題（2）為了使機器人能夠朝向目標點運動，將機器人當前朝向與目標點的夾角"β"作為1個輸入狀態(tài)。目標點在機器人左側(cè)時，"β"取值范圍是[0，180°]；目標點在機器人右側(cè)時，