《運(yùn)籌學(xué)》ch08馬爾可夫鏈和馬爾可夫決策過程共課件

《運(yùn)籌學(xué)》ch08馬爾可夫鏈和馬爾可夫決策過程《運(yùn)籌學(xué)》ch08馬爾可夫鏈和馬爾可夫決策過程《運(yùn)籌學(xué)》ch08馬爾可夫鏈和馬爾可夫決策過程第八章馬爾可夫鏈和馬爾可夫決策過程教學(xué)要求:⑦掌握掌握馬爾可夫分析的基本原理和方法礦會(huì)運(yùn)用馬爾可夫決策過程解決一些基本問題礦了解馬爾可夫決策過程的建模和求解方法目錄口馬爾可夫鏈口n步轉(zhuǎn)移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃1研究背景為配合廣西工學(xué)院的教學(xué)整改，2007年，我們對(duì)文獻(xiàn)檢索課(以下簡(jiǎn)稱“文檢課”)進(jìn)行了分階段、多層次的教學(xué)改革。改革的重點(diǎn)是把文檢課劃分為信息檢索基礎(chǔ)和信息檢索與利用兩部分。其中信息檢索基礎(chǔ)8學(xué)時(shí)，為全院公共必修基礎(chǔ)課，在大一開課；信息檢索與利用16學(xué)時(shí)，為專業(yè)任選課，在大三下半學(xué)期或大四上半學(xué)期開課，以利于學(xué)生完成畢業(yè)設(shè)計(jì)或畢業(yè)論文。為了了解教學(xué)改革的效果，我們從2007年開始，分別對(duì)信息檢索基礎(chǔ)與信息檢索與利用兩門課程進(jìn)行了跟蹤調(diào)查，搜集了相關(guān)的數(shù)據(jù)，現(xiàn)在擬對(duì)信息檢索與利用課的相關(guān)調(diào)查結(jié)果進(jìn)行分析。2調(diào)查的內(nèi)容及結(jié)果我們從2007年下半年開始分階段、多層次的教學(xué)改革，按照教學(xué)計(jì)劃應(yīng)該是2010年（大三下半學(xué)期或大四上半學(xué)期）才有專業(yè)開設(shè)《信息檢索與利用》課。但有的專業(yè)（兩個(gè)班）大二就開課了，截至2010上半年，共有10個(gè)班、5個(gè)專業(yè)的400多人參加了信息檢索與利用課的學(xué)習(xí)。為了了解課程的教學(xué)情況及學(xué)生的學(xué)習(xí)效果，從2008年開始，我們?cè)O(shè)計(jì)了涉及課程性質(zhì)、開課時(shí)段、教學(xué)內(nèi)容、教學(xué)重點(diǎn)、考核方式、教學(xué)效果等方面共14個(gè)問題的調(diào)查問卷，面向開課專業(yè)的學(xué)生進(jìn)行調(diào)查，發(fā)放問卷90份，回收89份，回收率989％。調(diào)查的具體內(nèi)容及結(jié)果如表1所示。3.3結(jié)果分析把文檢課劃分為信息檢索基礎(chǔ)和信息檢索與利用的改革目標(biāo)主要是培養(yǎng)學(xué)生的信息意識(shí)和信息道德，提高學(xué)生的信息能力。改革后的文檢課，重點(diǎn)是增強(qiáng)學(xué)生的信息意識(shí)，提高學(xué)生獲取信息的能力，培養(yǎng)學(xué)生綜合分析、處理與利用信息的能力。而獲取、分析與利用信息能力的培養(yǎng)主要是在信息檢索與利用課中進(jìn)行的。為了實(shí)現(xiàn)教學(xué)改革的目標(biāo)，我們對(duì)課程重新進(jìn)行了教學(xué)設(shè)計(jì)［1］，并在教學(xué)過程中根據(jù)教學(xué)內(nèi)容的特點(diǎn)采用多種教學(xué)模式［2-3］。因此，本次的調(diào)查結(jié)果是新的教學(xué)設(shè)計(jì)和多種教學(xué)模式教學(xué)效果的反映。31課程的設(shè)定從表1可看出，有562%的被調(diào)查者認(rèn)為該課程應(yīng)為選修課，只有393%的人認(rèn)為應(yīng)為必修課。可見，對(duì)于該課程的設(shè)定，絕大多數(shù)學(xué)生的觀點(diǎn)和我們?cè)瓉?lái)的設(shè)想是一致的，希望在選課方面有更大的自由度，也表明相當(dāng)多的學(xué)生還是希望學(xué)校重視和加強(qiáng)信息檢索與利用課的教學(xué)與建設(shè)。另外，雖然有高達(dá)719%的被調(diào)查者認(rèn)為該課程的內(nèi)容能夠與信息檢索基礎(chǔ)課銜接不上，但仍有157%的人認(rèn)為兩者銜接不上。這就要求我們應(yīng)重新對(duì)這兩部分的教學(xué)內(nèi)容進(jìn)行組織和調(diào)整，使兩部分更好地組成一個(gè)完成的整體。32開課的時(shí)間我們?cè)詾閷W(xué)生在畢業(yè)論文（設(shè)計(jì)）前夕的信息需求比較強(qiáng)烈，因而認(rèn)為將信息檢索與利用課放在大三的下學(xué)期或大四的上學(xué)期比較合適，但幾乎半數(shù)的被調(diào)查者認(rèn)為信息檢索與利用應(yīng)該在大一開課。這說明經(jīng)過信息檢索基礎(chǔ)的學(xué)習(xí)，大部分的學(xué)生希望盡早學(xué)到更多相關(guān)的知識(shí)和掌握更多相關(guān)的技能，這一點(diǎn)從問題8的調(diào)查結(jié)果也可以看出。因此，我們需要重新認(rèn)識(shí)學(xué)生對(duì)該課程的需要和要求，并從學(xué)生的角度對(duì)教學(xué)設(shè)計(jì)進(jìn)行相應(yīng)的調(diào)整，以滿足學(xué)生的需求。33課程的學(xué)時(shí)在學(xué)時(shí)安排方面，由于大一曾經(jīng)有過8個(gè)學(xué)時(shí)的學(xué)習(xí)，因此753%的被調(diào)查者認(rèn)為16個(gè)學(xué)時(shí)比較合適，這說明我們最初的教學(xué)設(shè)想比較合理。在理論課與實(shí)踐課的學(xué)時(shí)分配上，595%的被調(diào)查者認(rèn)為現(xiàn)行的比例（1∶1）比較合適，而從高達(dá)236%的人認(rèn)為兩者的比例應(yīng)為3∶5這一點(diǎn)來(lái)看，有相當(dāng)多的學(xué)生更希望在上機(jī)操作的過程中掌握相關(guān)的知識(shí)和技能，這一點(diǎn)和問題9的調(diào)查結(jié)果是吻合的。因此，我們必須對(duì)現(xiàn)行的課堂結(jié)構(gòu)和教學(xué)模式進(jìn)行有效的調(diào)整。34課程教學(xué)的重點(diǎn)問題7的調(diào)查結(jié)果表明，被調(diào)查者認(rèn)為課程的教學(xué)重點(diǎn)應(yīng)該依次是電子圖書檢索、中文期刊數(shù)據(jù)庫(kù)檢索、檢索技術(shù)與技巧、網(wǎng)絡(luò)信息資源檢索，僅有281%的人把外文期刊數(shù)據(jù)庫(kù)檢索列為教學(xué)的重點(diǎn)，這可能和我們調(diào)查的對(duì)象有關(guān)。我們學(xué)校是一所普通的地方院校，學(xué)生的層次不是很高，在日常的學(xué)習(xí)生活中所利用的文獻(xiàn)信息資源以中文為主。雖然學(xué)生平時(shí)利用外文資源比較少，但考慮到學(xué)生進(jìn)行畢業(yè)論文(設(shè)計(jì))時(shí)，外文參考資料是少不了的，加上大多外文數(shù)據(jù)庫(kù)的檢索界面都不是中文，因此，外文數(shù)據(jù)庫(kù)信息檢索這部分內(nèi)容還是需要重視的。另外，在問題10中，629%的被調(diào)查者選了“不熟悉檢索技巧”，567%的人選擇了“較難提取合適的檢索詞”。這說明“檢索技巧”仍然是我們講授的難點(diǎn)，應(yīng)該結(jié)合專業(yè)特點(diǎn)，通過檢索實(shí)例向?qū)W生傳授相關(guān)的檢索技巧，而不僅僅是理論講授。同時(shí)，在講授檢索策略時(shí)，要重點(diǎn)通過實(shí)例講授確定檢索詞這部分內(nèi)容，以滿足學(xué)生的需求。35考核方式我們認(rèn)為，文檢課的考核既要反映學(xué)生的學(xué)習(xí)效果，更要使學(xué)生信息素養(yǎng)得到提高，因此，目前采取的考核方式一般是平時(shí)作業(yè)＋結(jié)課后的綜述報(bào)告，即第一次課要求學(xué)生根據(jù)自己的專業(yè)特點(diǎn)或興趣愛好、專長(zhǎng)，自選一個(gè)研究課題，隨著課程的深入，圍繞課題查找各種類型的相關(guān)資料，并作為平時(shí)作業(yè)，最后要求研讀檢索得到的文獻(xiàn)資料，撰寫一篇關(guān)于所選課題的綜述報(bào)告，綜述報(bào)告要求以2～3人為1個(gè)小組的方式完成。但從調(diào)查的結(jié)果我們可以看出，絕大多數(shù)同學(xué)更希望上機(jī)檢索一些課題作為課程的考核方式，這與信息檢索基礎(chǔ)課在課程考核方式上的調(diào)查結(jié)果相差甚遠(yuǎn)，可見，我們必須重新考慮原定的考核方式。4課程改革進(jìn)一步完善的措施根據(jù)以上的分析，我們認(rèn)為，把文檢課劃分為信息檢索基礎(chǔ)和信息檢索與利用兩部分，采用分階段、多層次的教學(xué)模式大體上是成功的，取得了較好的教學(xué)效果，但還存在不少問題，有待我們進(jìn)一步采取有效措施。41建設(shè)課程教學(xué)網(wǎng)站三年來(lái)的實(shí)踐證明，選修16學(xué)時(shí)的信息檢索與利用的學(xué)生并不多，但這并不等于學(xué)生不需要這門課，而是由于總學(xué)時(shí)的限制。其實(shí)從調(diào)查結(jié)果可以看出，大多數(shù)被調(diào)查者都認(rèn)為信息檢索與利用課不僅對(duì)他們利用圖書館有很大的幫助，而且對(duì)其他課程的學(xué)習(xí)也很有幫助。因此，我們正在建設(shè)文檢課教學(xué)網(wǎng)站，以提高課程的受益面。在建的教學(xué)網(wǎng)站應(yīng)能夠提供課件下載、視頻點(diǎn)播、教材選評(píng)、自我測(cè)試、在線答疑等服務(wù)。利用教學(xué)網(wǎng)站，教師可以在課堂上根據(jù)教學(xué)情況(包括教學(xué)內(nèi)容和學(xué)生的課堂表現(xiàn))，隨時(shí)抽取相關(guān)的題目作為學(xué)生的課堂測(cè)試，檢查學(xué)生的學(xué)習(xí)效果；而學(xué)生可以在任意時(shí)間通過登錄網(wǎng)絡(luò)進(jìn)行自我測(cè)試，系統(tǒng)自動(dòng)對(duì)題庫(kù)習(xí)題的答對(duì)率進(jìn)行統(tǒng)計(jì)。同時(shí)，沒有選課的學(xué)生也可以從網(wǎng)站選取自己感興趣或需要的內(nèi)容進(jìn)行學(xué)習(xí)，并通過在線答疑系統(tǒng)得到老師的指導(dǎo)和幫助，以提高自己的信息能力。另外，教學(xué)網(wǎng)站的自動(dòng)測(cè)試系統(tǒng)還可以成為對(duì)學(xué)生考核的工具，對(duì)選修本課程的學(xué)生進(jìn)行開放式的結(jié)業(yè)考試。在測(cè)試中，試卷的生成和判卷都是由計(jì)算機(jī)自動(dòng)完成，參加測(cè)試的學(xué)生在給定的時(shí)間內(nèi)完成一套試題，考生提交的答卷由計(jì)算機(jī)批改后自動(dòng)提交成績(jī)到教學(xué)管理系統(tǒng)中，而且考試系統(tǒng)對(duì)生成的每道試題進(jìn)行標(biāo)識(shí)，統(tǒng)計(jì)其選中率和答對(duì)率，為以后教學(xué)內(nèi)容的改進(jìn)提供參照依據(jù)。42改革授課方式由于有697%的被調(diào)查者認(rèn)為上機(jī)實(shí)踐時(shí)有必要讓教師再次演示檢索實(shí)例，這說明目前我們所采用的大班授課方式還不能完全適應(yīng)課程的要求。如果條件允許，我們建議采取如下的授課方式：除《緒論》外，所有其他內(nèi)容盡可能在機(jī)房授課，并采取小班上課、邊講邊練的授課方式，以確保學(xué)生及時(shí)掌握課堂內(nèi)容［4］，避免人為地把理論與實(shí)踐割裂開。43調(diào)整教學(xué)內(nèi)容結(jié)構(gòu)隨著數(shù)字資源的快速發(fā)展，數(shù)字信息已經(jīng)成為大學(xué)生最常用的信息類型。而相關(guān)的調(diào)查表明，大學(xué)生利用信息的途徑，首選是通過搜索引擎查找網(wǎng)絡(luò)信息。但網(wǎng)絡(luò)信息不僅浩瀚多樣，而且良莠不齊。這樣，對(duì)信息，特別是網(wǎng)絡(luò)信息進(jìn)行鑒別和分析就顯得非常重要。同時(shí)，隨著個(gè)人搜集的數(shù)字信息越來(lái)越多，如何有效管理所獲得的信息也成為突出的問題。因此，我們計(jì)劃在教學(xué)中增加分析、利用、管理信息的內(nèi)容，如網(wǎng)絡(luò)信息的鑒別和分析、NoteExpress、EndNote等文獻(xiàn)管理的授課內(nèi)容，以提高學(xué)生對(duì)數(shù)字資源的管理和使用能力。為此，我們已經(jīng)組織老師編寫了相關(guān)的教材；同時(shí)，為提高教材內(nèi)容的針對(duì)性，我們將教材分為理工版和經(jīng)管文版兩個(gè)版本。而對(duì)于《信息檢索基礎(chǔ)》的教材，我們也已經(jīng)進(jìn)行了修訂，將在2010年秋季使用修訂后的教材。44和院系配合，結(jié)合專業(yè)課，提高文檢課的教學(xué)效果我們決定借鑒其他兄弟院校(如上海交通大學(xué))的成功經(jīng)驗(yàn)，結(jié)合本校的實(shí)際，由文檢課老師和各院系的專業(yè)教師共同開展文檢課的教學(xué)。當(dāng)然，這對(duì)我們來(lái)說是新的課題，需要時(shí)間來(lái)實(shí)踐和探索。我們已經(jīng)和機(jī)械系主管教學(xué)的領(lǐng)導(dǎo)進(jìn)行了交流和探討，決定先在機(jī)械系的部分專業(yè)試行，總結(jié)經(jīng)驗(yàn)后再在全院推廣，以避免盲目在全院執(zhí)行可能帶來(lái)的負(fù)面影響。［函數(shù)與方程是初中數(shù)學(xué)很重要的內(nèi)容，也是中考的重點(diǎn)，函數(shù)與方程思想是解決實(shí)際問題的重要工具.例1（2014?徐州）某種商品每天的銷售利潤(rùn)y（元）與銷售單價(jià)x（元）之間滿足關(guān)系：y=ax2+bx-75.其圖像如圖1.（1）銷售單價(jià)為多少元時(shí)，該種商品每天的銷售利潤(rùn)最大？最大利潤(rùn)為多少元？（2）銷售單價(jià)在什么范圍時(shí)，該種商品每天的銷售利潤(rùn)不低于16元？【思路突破】（1）由函數(shù)y=ax2+bx-75的圖像過點(diǎn)（5，0）、（7，16），根據(jù)待定系數(shù)法，可得二次函數(shù)解析式，進(jìn)而求得頂點(diǎn)坐標(biāo)可確定最值；（2）根據(jù)函數(shù)值大于或等于16，列出不等式，求出x的值，得出單價(jià)銷售范圍.解：（1）y=ax2+bx-75圖像過點(diǎn)（5，0）、（7，16），∴25a+5b-75=0，49a+7b-75=16，解得a=-1，b=20.∴y=-x2+20x-75=-（x-10）2+25，頂點(diǎn)坐標(biāo)是（10，25），即當(dāng)x=10時(shí)，y最大=25.答：銷售單價(jià)為10元時(shí)，該種商品每天的銷售利潤(rùn)最大，最大利潤(rùn)為25元.（2）（方法一）∵函數(shù)y=-x2+20x-75圖像的對(duì)稱軸為直線x=10，可知點(diǎn)（7，16）關(guān)于對(duì)稱軸的對(duì)稱點(diǎn)是（13，16），又∵函數(shù)y=-x2+20x-75圖像開口向下，∴當(dāng)7≤x≤13時(shí)，y≥16.（方法二）由-（x-10）2+25=16，得x1=13，x2=7.又∵函數(shù)y=-x2+20x-75圖像開口向下，∴當(dāng)7≤x≤13時(shí)，y≥16.答：銷售單價(jià)不少于7元且不超過13元時(shí)，該種商品每天的銷售利潤(rùn)不低于16元.【解后反思】本題解題關(guān)鍵在于利用二次函數(shù)圖像的特點(diǎn)，結(jié)合待定系數(shù)法求解析式，再利用頂點(diǎn)坐標(biāo)求最值.方法一利用對(duì)稱點(diǎn)求不等式的解集；方法二通過解方程-（x-10）2+25=16得x1=13，x2=7.兩種方法各體現(xiàn)了函數(shù)與方程思想的應(yīng)用，其實(shí)很多時(shí)候函數(shù)問題都可以轉(zhuǎn)化為方程問題來(lái)解決.例2（2015?安徽）如圖2，一次函數(shù)y1=x與二次函數(shù)y2=ax2+bx+c的圖像相交于P、Q兩點(diǎn)，則函數(shù)y=ax2+（b-1）x+c的圖像可能是（）.【思路突破】由一次函數(shù)y1=x與二次函數(shù)y2=ax2+bx+c的圖像相交于P、Q兩點(diǎn)，得出方程ax2+（b-1）x+c=0有兩個(gè)不相等的實(shí)數(shù)根，進(jìn)而得出函數(shù)y=ax2+（b-1）x+c【解后反思】本題考查了二次函數(shù)的圖像，直線和拋物線的交點(diǎn)，交點(diǎn)坐標(biāo)和方程的關(guān)系以及方程和二次函數(shù)的關(guān)系等，函數(shù)與方程有著相輔相成的關(guān)系，熟練掌握函數(shù)與方程問題的相互轉(zhuǎn)化及二次函數(shù)的性質(zhì)是解題的關(guān)鍵.例3（2015?連云港）在某市組織的大型商業(yè)演出活動(dòng)中，對(duì)團(tuán)體購(gòu)買門票實(shí)行優(yōu)惠，決定在原定票價(jià)基礎(chǔ)上每張降價(jià)80元，這樣按原定票價(jià)需花費(fèi)6000元購(gòu)買的門票張數(shù)，現(xiàn)在只花費(fèi)了4800元.（1）求每張門票的原定票價(jià)；（2）根據(jù)實(shí)際情況，活動(dòng)組織單位決定對(duì)于個(gè)人購(gòu)票也采取優(yōu)惠政策，原定票價(jià)經(jīng)過連續(xù)二次降價(jià)后降為324元，求平均每次降價(jià)的百分率.【思路突破】（1）設(shè)每張門票的原定票價(jià)為x元，則現(xiàn)在每張門票的票價(jià)為（x-80）元，根據(jù)“按原定票價(jià)需花費(fèi)6000元購(gòu)買的門票張數(shù)，現(xiàn)在只花費(fèi)了4800元”建立方程，解方程即可.（2）設(shè)平均每次降價(jià)的百分率為y，根據(jù)“原定票價(jià)經(jīng)過連續(xù)二次降價(jià)后降為324元”建立方程.（2）設(shè)平均每次降價(jià)的百分率為y，根據(jù)題意得400（1-y）2=324，解得：y1=0.1，y2=1.9（不合題意，舍去）.答：平均每次降價(jià)10%.【解后反思】方程應(yīng)用類型的題目解題關(guān)鍵是要讀懂題目的意思，根據(jù)題目給出的條件，找出合適的等量關(guān)系，列出方程，再求解.例5（2015?南通）關(guān)于x的一元二次方程ax2-3x-1=0的兩個(gè)不相等的實(shí)數(shù)根都在-1和0之間（不包括-1和0），則a的取值范圍是______.【思路突破】首先根據(jù)根的情況利用根的判別式解得a的取值范圍，然后根據(jù)兩個(gè)不相等的實(shí)數(shù)根都在-1和0之間（不包括-1和0），結(jié)合函數(shù)圖像確定其函數(shù)值的取【解后反思】關(guān)于二次方程的根的分布問題，如果僅僅從方程的角度只考慮Δ>0是遠(yuǎn)遠(yuǎn)不夠的，這樣僅能說明有兩個(gè)不等實(shí)數(shù)根而已，要進(jìn)一步滿足兩根在-1和0之間，必須將方程轉(zhuǎn)化為對(duì)應(yīng)的二次函數(shù)，然后結(jié)合二次函數(shù)圖像的特點(diǎn)（開口方向，對(duì)稱軸，圖像與x軸的交點(diǎn)等）進(jìn)一步列出參數(shù)需要滿足的條件方可.函數(shù)思想即用函數(shù)的概念和性質(zhì)去分析問題、轉(zhuǎn)化問題和解決問題，方程思想即從數(shù)學(xué)問題的數(shù)量關(guān)系出發(fā)，將問題中的條件轉(zhuǎn)化為各種數(shù)學(xué)模型.同時(shí)，函數(shù)思想與方程思想關(guān)系密切，有時(shí)，需要將函數(shù)與方程相互轉(zhuǎn)化才能達(dá)到解決問題的目的，正是這些聯(lián)系，促成了函數(shù)與方程思想在數(shù)學(xué)解題中的互化互換，豐富了數(shù)學(xué)解題的思想寶庫(kù).第八章馬爾可夫鏈和馬爾可夫決策過程教學(xué)要求:⑦掌握掌握馬爾可夫分析的基本原理和方法礦會(huì)運(yùn)用馬爾可夫決策過程解決一些基本問題礦了解馬爾可夫決策過程的建模和求解方法目錄口馬爾可夫鏈口n步轉(zhuǎn)移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃目錄口馬爾可未鏈口n步轉(zhuǎn)移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃定義口離散時(shí)間隨機(jī)過程:假設(shè)我們觀測(cè)一個(gè)系統(tǒng)在離散時(shí)間點(diǎn)上某個(gè)特性的情況,令X為此系統(tǒng)特性在時(shí)刻t的值離散時(shí)間的隨機(jī)過程航是關(guān)于隨機(jī)變量X0,X1K,X1之間關(guān)系的描述。口馬爾可夫鏈:稱一個(gè)離散時(shí)間隨機(jī)過程為馬爾可夫鏈,如果對(duì)于所有的t=O,1,2K和狀態(tài),成立P(X=iX,=i,,XK.XⅩ0=l0=P(X1=i+X,=i)稱概率規(guī)則在時(shí)間上是平穩(wěn)的鏈為平穩(wěn)馬爾可夫鏈。轉(zhuǎn)移概率:在馬爾可夫鏈中,對(duì)于所有的狀態(tài)/和,以及所有的時(shí)刻,有P(X=jX=)=P,稱P為馬爾可夫鏈的轉(zhuǎn)移概率。對(duì)于平穩(wěn)馬爾可夫鏈,轉(zhuǎn)移概率可以用個(gè)轉(zhuǎn)移概率矩P表示。例題賭徒問題考慮一賭徒,在時(shí)刻0擁有賭金2元,在時(shí)刻1,2,K進(jìn)行賭局。在每賭博中,贏一元的概率是P,輸一元的概率是1一P。賭徒的目標(biāo)是賭金增加到4元,所以當(dāng)賭金增加到4元或輸光時(shí)賭博結(jié)束。請(qǐng)描述此離散時(shí)間隨機(jī)過程,并判斷其是否為一個(gè)平穩(wěn)馬爾可夫鏈?若是,請(qǐng)寫出其概率轉(zhuǎn)移矩陣。解答我們定義X,為賭徒在第t場(chǎng)賭局結(jié)束后的賭金,則可以把X0,X1,K,X看作是離散時(shí)間的隨機(jī)過程。注意到X0=2是已知條件,但是X和其后的X,值是隨機(jī)的因?yàn)橘€徒在第t+1場(chǎng)賭局結(jié)束時(shí)的賭金概率分布只依賴于賭徒在第t場(chǎng)賭局結(jié)束時(shí)的賭金,所以此為一個(gè)馬爾可夫鏈因?yàn)橘€博輸贏的概率并不因時(shí)間而改變,所以此又為一個(gè)平穩(wěn)馬爾可夫鏈。其轉(zhuǎn)移概率矩陣如下狀態(tài)$0$1$2$3$400P0P0000PP1-p0P目錄口馬爾可夫鏈口步轉(zhuǎn)移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃n步轉(zhuǎn)移概率假設(shè)已知馬爾可夫鏈的轉(zhuǎn)移概率矩陣P。問:如果一個(gè)馬爾可夫鏈在時(shí)刻m處于狀態(tài)i,那么在門個(gè)階段后,此馬爾可夫鏈處于狀態(tài)