第四章決策理論與方法-羅黨-動態(tài)決策(下)

1、（Decision Making Theory and Methods）教育部高等學(xué)校管理科學(xué)與工程類學(xué)科專業(yè)教學(xué)指導(dǎo)委員會教育部高等學(xué)校管理科學(xué)與工程類學(xué)科專業(yè)教學(xué)指導(dǎo)委員會推薦教材推薦教材決策理論與方法決策理論與方法第 2 頁第 2 頁決策理論與方法決策理論與方法第 3 頁第 3 頁學(xué)習(xí)目的學(xué)習(xí)目的了解多階段決策、序貫決策的概念及特點(diǎn)；了解多階段決策、序貫決策的概念及特點(diǎn)；掌握動態(tài)規(guī)劃與決策樹方法及其在多階段決策、掌握動態(tài)規(guī)劃與決策樹方法及其在多階段決策、序貫決策中的應(yīng)用。序貫決策中的應(yīng)用。決策理論與方法決策理論與方法第 4 頁第 4 頁本講內(nèi)容本講內(nèi)容4.3序貫決策序貫決策 4.3.1序

2、貫決策的基本概念序貫決策的基本概念 4.3.2序貫決策的決策方法序貫決策的決策方法決策理論與方法決策理論與方法第 5 頁第 5 頁4.3 序貫決策序貫決策4.3.1 序貫決策的基本概念序貫決策的基本概念 上面的多階段決策，階段數(shù)是確定的。除這種決上面的多階段決策，階段數(shù)是確定的。除這種決策外，還有一些決策的階段數(shù)不是事先確定的，它依策外，還有一些決策的階段數(shù)不是事先確定的，它依賴于執(zhí)行決策過程中出現(xiàn)的情況。這種決策問題稱為賴于執(zhí)行決策過程中出現(xiàn)的情況。這種決策問題稱為序貫決策（序貫決策（sequential decision problem）。）。 序列決策在進(jìn)行決策后又產(chǎn)生一些新的情況，需序

3、列決策在進(jìn)行決策后又產(chǎn)生一些新的情況，需要進(jìn)行新的決策，接著又有一些新的情況，又需要進(jìn)要進(jìn)行新的決策，接著又有一些新的情況，又需要進(jìn)行新的決策。這樣決策、情況、決策行新的決策。這樣決策、情況、決策，這就構(gòu)成，這就構(gòu)成一個序列。一個序列。 決策理論與方法決策理論與方法第 6 頁第 6 頁4.3 序貫決策序貫決策4.3.1 序貫決策的基本概念序貫決策的基本概念 序貫決策是用于隨機(jī)性或不確態(tài)定性動態(tài)系統(tǒng)最序貫決策是用于隨機(jī)性或不確態(tài)定性動態(tài)系統(tǒng)最優(yōu)化的決策方法。它的特點(diǎn)是：優(yōu)化的決策方法。它的特點(diǎn)是： 1）所研究的系統(tǒng)是動態(tài)的，即系統(tǒng)所處的狀態(tài)）所研究的系統(tǒng)是動態(tài)的，即系統(tǒng)所處的狀態(tài)與時間有關(guān)，可周

4、期（或連續(xù)）地對它觀察；與時間有關(guān)，可周期（或連續(xù)）地對它觀察； 2）決策是序貫地進(jìn)行的，即每個時刻根據(jù)所觀）決策是序貫地進(jìn)行的，即每個時刻根據(jù)所觀察到的狀態(tài)和以前狀態(tài)的記錄，從一組可行方案中選察到的狀態(tài)和以前狀態(tài)的記錄，從一組可行方案中選用一個最優(yōu)方案（即作最優(yōu)決策），使取決于狀態(tài)的用一個最優(yōu)方案（即作最優(yōu)決策），使取決于狀態(tài)的某個目標(biāo)函數(shù)取最優(yōu)值（極大或極小值）；某個目標(biāo)函數(shù)取最優(yōu)值（極大或極小值）； 3）系統(tǒng)下一步）系統(tǒng)下一步(或未來或未來)可能出現(xiàn)的狀態(tài)是隨機(jī)的可能出現(xiàn)的狀態(tài)是隨機(jī)的或不確定的。或不確定的。決策理論與方法決策理論與方法第 7 頁第 7 頁4.3 序貫決策序貫決策4.3.

5、1 序貫決策的基本概念序貫決策的基本概念 系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)是不能確切預(yù)知的，存在兩種情況：是不能確切預(yù)知的，存在兩種情況： 1）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已知的，可用客觀概率的條件分布來描述。對于這類系知的，可用客觀概率的條件分布來描述。對于這類系統(tǒng)的序貫決策研究得較完滿的是狀態(tài)轉(zhuǎn)移律具有無后統(tǒng)的序貫決策研究得較完滿的是狀態(tài)轉(zhuǎn)移律具有無后效性的系統(tǒng)，相應(yīng)的序貫決策稱為馬爾可夫決策過程效性的系統(tǒng)，相應(yīng)的序貫決策稱為馬爾可夫決策過程，它是將馬爾可夫過程理論與決定性動態(tài)規(guī)劃相結(jié)合，它是將

6、馬爾可夫過程理論與決定性動態(tài)規(guī)劃相結(jié)合的產(chǎn)物。的產(chǎn)物。 2）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布不知）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布不知道，只能用主觀概率的條件分布來描述。用于這類系道，只能用主觀概率的條件分布來描述。用于這類系統(tǒng)的序貫決策屬于決策分析的內(nèi)容。統(tǒng)的序貫決策屬于決策分析的內(nèi)容。22,r a Ef E22,r a Ef E22,r a Ef E決策理論與方法決策理論與方法第 8 頁第 8 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 序貫決策的過程是：從初始狀態(tài)開始，每個時序貫決策的過程是：從初始狀態(tài)開始，每個時刻做出最優(yōu)決策后，接著觀察下一步實(shí)際出

7、現(xiàn)的狀態(tài)刻做出最優(yōu)決策后，接著觀察下一步實(shí)際出現(xiàn)的狀態(tài)，即收集新的信息，然后再做出新的最優(yōu)決策，反復(fù)，即收集新的信息，然后再做出新的最優(yōu)決策，反復(fù)進(jìn)行直至最后。進(jìn)行直至最后。 解決序貫決策問題的有效辦法仍然是決策樹，解解決序貫決策問題的有效辦法仍然是決策樹，解決序貫決策的關(guān)鍵是確定一個決策序列終止的原則。決序貫決策的關(guān)鍵是確定一個決策序列終止的原則。在下例中，這個原則就是：不管到?jīng)Q策的哪個階段，在下例中，這個原則就是：不管到?jīng)Q策的哪個階段，只要有一個非經(jīng)抽樣的后悔期望值小于進(jìn)行一次抽樣只要有一個非經(jīng)抽樣的后悔期望值小于進(jìn)行一次抽樣的費(fèi)用，決策序列便可終止。的費(fèi)用，決策序列便可終止。22,r a

8、 Ef E22,r a Ef E22,r a Ef E決策理論與方法決策理論與方法第 9 頁第 9 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 例例4-3-1 某工廠的產(chǎn)品每某工廠的產(chǎn)品每1000件裝成一箱出售。件裝成一箱出售。每箱中產(chǎn)品的次品率有每箱中產(chǎn)品的次品率有0.01，0.40，0.90三種可能，三種可能，其概率分別為其概率分別為0.2，0.6，0.2。現(xiàn)在的問題是：出廠前?，F(xiàn)在的問題是：出廠前是否要對產(chǎn)品進(jìn)行嚴(yán)格檢驗(yàn)，將次品挑出?？梢赃x擇是否要對產(chǎn)品進(jìn)行嚴(yán)格檢驗(yàn)，將次品挑出?？梢赃x擇的行動有兩個：的行動有兩個： 整箱檢驗(yàn)，檢驗(yàn)費(fèi)整箱檢驗(yàn)，檢驗(yàn)費(fèi) 為每箱

9、為每箱100元；元；整箱不檢驗(yàn)，但如果顧客在使用中發(fā)現(xiàn)次品，每件整箱不檢驗(yàn)，但如果顧客在使用中發(fā)現(xiàn)次品，每件次品除條換為合格品外還要賠償次品除條換為合格品外還要賠償0.25元損失費(fèi)。為了元損失費(fèi)。為了更好地做出決定可以先從一箱中隨機(jī)抽取更好地做出決定可以先從一箱中隨機(jī)抽取1件作為樣件作為樣本檢驗(yàn)它，然后根據(jù)這件產(chǎn)品是都次品再決定該箱是本檢驗(yàn)它，然后根據(jù)這件產(chǎn)品是都次品再決定該箱是否要檢驗(yàn)，抽樣成本為否要檢驗(yàn)，抽樣成本為4.2元。進(jìn)行第一次抽樣后，元。進(jìn)行第一次抽樣后，除選擇檢驗(yàn)還是不檢驗(yàn)外，還可以根據(jù)前面抽樣的結(jié)除選擇檢驗(yàn)還是不檢驗(yàn)外，還可以根據(jù)前面抽樣的結(jié)果，考慮再進(jìn)行一次抽樣檢驗(yàn)如此形成一

10、個決策序列果，考慮再進(jìn)行一次抽樣檢驗(yàn)如此形成一個決策序列。該廠應(yīng)該如何決策。該廠應(yīng)該如何決策。決策理論與方法決策理論與方法第 10 頁第 10 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 解解 （1） 假設(shè)假設(shè) 為整箱檢驗(yàn)；為整箱檢驗(yàn)； 為整箱不檢驗(yàn)為整箱不檢驗(yàn)； 而而 表示次品率分別表示次品率分別0.01，0.40，0.90的三種自然狀態(tài)；的三種自然狀態(tài)； 表示抽取一件樣品的行動，表示抽取一件樣品的行動， 表示抽取第二件樣品的行動表示抽取第二件樣品的行動 ； ， 為抽為抽樣時次品和合格品的兩個結(jié)果。樣時次品和合格品的兩個結(jié)果。 12123, 1S2S1x 0

11、x 決策理論與方法決策理論與方法第 11 頁第 11 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 （2）計算益損值和后悔值矩陣。）計算益損值和后悔值矩陣。 產(chǎn)品檢驗(yàn)問題的收益矩陣見表產(chǎn)品檢驗(yàn)問題的收益矩陣見表4-3-1。由表。由表4-3-1的收益的收益矩陣可得到各行動方案的后悔值矩陣，見表矩陣可得到各行動方案的后悔值矩陣，見表4-3-2。 表表4-3-1 ：收益矩陣表：收益矩陣表 表表4-3-2：后悔矩陣表：后悔矩陣表 A123( )E1a （0.2）（0. 6）（0.2）-100 -100 -100 -100-2.5 -100 -100 -105A1232a2

12、a（0.2）（0. 6）（0.2）97.5 00001251a E a決策理論與方法決策理論與方法第 12 頁第 12 頁4.3 序貫決策序貫決策4.3.2 序貫決策的決策方法序貫決策的決策方法 （3）抽取一件樣品的抽樣分布見表）抽取一件樣品的抽樣分布見表4-3-3。計算各有關(guān)。計算各有關(guān)概率。概率。 表表4-3-3 ：抽樣結(jié)果條件概率分布表矩陣表：抽樣結(jié)果條件概率分布表矩陣表 A123( )E1a A1232a 抽樣抽樣 （0.2） （0. 6） （0.2）0.990.60.10.010.40.9決策理論與方法決策理論與方法第 13 頁第 13 頁4.3 序貫決策序貫決策4.3.2 序貫決策

13、的決策方法序貫決策的決策方法 （4）畫出決策樹圖）畫出決策樹圖4-3-1，圖中，圖中 表示決策階表示決策階段，段， 表示第一次抽樣、第二次抽樣表示第一次抽樣、第二次抽樣 圖圖4-3-1：決策樹：決策樹 A123( )E A123123,A A A12,S S4.3250.283733.300.71630.4220.5782519.503.731.177846.174.1091.9092.9660.7660.60382.21.17782.20.46212.22.20.462153.312.21A1S2A2S3A決策理論與方法決策理論與方法第 14 頁第 14 頁本章小結(jié)本章小結(jié) 本章介紹了動態(tài)決策的基本概念與基本方法，重點(diǎn)本章介紹了動態(tài)決策的基本概念與基本方法，重點(diǎn)是：多階段決策、序貫決策、決策樹等概念，動態(tài)規(guī)是：多階段決策、序貫決策、決策樹等概念，動態(tài)