人教B版高中數(shù)學(xué)選修4-9課件-馬爾可夫型決策課件1

1、*第六講馬爾可夫型決策數(shù)學(xué)人教B版高中選修4-9風(fēng)險與決策*第六講馬爾可夫型決策數(shù)學(xué)人教B版高中選修4-9風(fēng)險與教學(xué)目標(biāo)知識與能力 熟悉馬爾可夫型決策，能夠獨立地對馬爾可夫型決策進(jìn)行某一時間段和短期的風(fēng)險決策.教學(xué)目標(biāo)知識與能力 熟悉馬爾可夫型決策，能夠獨過程與方法 通過對普通風(fēng)險決策的回顧，對馬爾可夫鏈做進(jìn)一步理解，結(jié)合前面的風(fēng)險型決策對比的學(xué)習(xí)馬爾可夫型決策.過程與方法 通過對普通風(fēng)險決策的回顧，對馬爾可情感態(tài)度與價值觀 通過與普通風(fēng)險決策比較的學(xué)習(xí)，使學(xué)生能夠迅速的接受和理解馬爾夫型決策.情感態(tài)度與價值觀 通過與普通風(fēng)險決策比較的學(xué)習(xí)，重點：轉(zhuǎn)移概念矩陣，平均收益矩陣.難點：馬爾可夫型決

2、策案例分析.教學(xué)重難點重點：轉(zhuǎn)移概念矩陣，平均收益矩陣.難點：馬爾可夫型決策案例分案例4 某工廠的一臺自動加工機(jī)有2種工作狀態(tài):正常狀態(tài)和故障狀態(tài).在每個整數(shù)鐘點的起始時刻檢查機(jī)器的工作情況，若機(jī)器處于正常狀態(tài)，則讓它繼續(xù)工作;若機(jī)器處于故障狀態(tài)，則對他進(jìn)行檢修.假設(shè)處于正常狀態(tài)的機(jī)器，在一小時后發(fā)生故障的概率為0.05，對于故障機(jī)器有2種檢案例分析案例4 某工廠的一臺自動加工機(jī)有2種工作狀態(tài):正常狀態(tài)和故修方案可供選擇，一種是加急檢修，在一小時內(nèi)排除故障的概率為0.9；一種是常規(guī)檢修，在一小時內(nèi)排除故障的概率為0.6. 已知這臺機(jī)器正常工作一小時可收益10元，加急檢修1小時費用為9元，常規(guī)檢

3、修一小時費用為6元，若機(jī)器出現(xiàn)故障，該選擇哪種方案？修方案可供選擇，一種是加急檢修，在一小時內(nèi)排除故障的概率為0先寫出行動方案和可能狀態(tài) 決策目標(biāo)是使機(jī)器產(chǎn)生收益最大，可供選擇的行動方案有： ：加急檢修， ：常規(guī)檢修.機(jī)器在任意時刻可能所處的狀態(tài)： ：正常狀態(tài)， ：故障狀態(tài).先寫出行動方案和可能狀態(tài) 決策目標(biāo)是使機(jī)器產(chǎn)生收 機(jī)器在第n小時的工作狀態(tài) 與時間有關(guān)，顯然 是一個馬爾可夫鏈，狀態(tài)分布列隨著時間的變化也在不斷變化.普通風(fēng)險決策分布列保持不變可表示為hp1-p 機(jī)器在第n小時的工作狀態(tài) 與時間有關(guān)，h行動方案d1 轉(zhuǎn)移概率矩陣為行動方案d2的轉(zhuǎn)移概率矩陣為然后寫出狀態(tài)轉(zhuǎn)移矩陣行動方案d1

4、 轉(zhuǎn)移概率矩陣為行動方案d2的轉(zhuǎn)移概率矩陣為然后 設(shè)定時間段 ，則收益矩陣為 假設(shè)機(jī)器最開始為正常工作狀態(tài)，則初始分布為寫出收益矩陣，初始分布 設(shè)定時間段 時刻n的分布和時刻n+1的分布的關(guān)系？想一想時刻n的分布和時刻n+1的分布的關(guān)系？想一想在行動方案d1下，時刻1的分布時刻2的分布在行動方案d1下，時刻1的分布時刻2的分布時刻n的分布為時刻n的分布為在行動方案d2下，時刻n的分布在行動方案d2下，時刻n的分布 假設(shè)初始狀態(tài)為正常狀態(tài)，行動d1在時間段 內(nèi)的平均收益為行動方案d2在時間段 內(nèi)的平均收益為3寫出平均收益矩陣 假設(shè)初始狀態(tài)為正常狀態(tài)，行動d1在時間段 不設(shè)定初始情況，則行動方案d1在時間段 內(nèi)的平均收益為 行動方案d2在時間段 內(nèi)的平均收益為 不設(shè)定初始情況，則行動方案d1在時間段 行 假設(shè)初始狀態(tài)為正常狀態(tài)，則兩行動方案前10個時間段平均收益為時間段9.05009.20009.0258.92009.0018.82209.00008.7693 假設(shè)初始狀態(tài)為正常狀態(tài)，則兩行動時間段9.05 最后，根據(jù)題目要求選擇最大收益決策，當(dāng)確定某一確定時刻n，在時間段 內(nèi)進(jìn)行決策時，這類問題是短期準(zhǔn)則下的馬爾可夫型決策，當(dāng)在