《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件

《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程第八章馬爾可夫鏈和馬爾可夫決策過程教學要求:⑦掌握掌握馬爾可夫分析的基本原理和方法礦會運用馬爾可夫決策過程解決一些基本問題礦了解馬爾可夫決策過程的建模和求解方法目錄口馬爾可夫鏈口n步轉移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃1研究背景為配合廣西工學院的教學整改，2007年，我們對文獻檢索課(以下簡稱“文檢課”)進行了分階段、多層次的教學改革。改革的重點是把文檢課劃分為信息檢索基礎和信息檢索與利用兩部分。其中信息檢索基礎8學時，為全院公共必修基礎課，在大一開課；信息檢索與利用16學時，為專業(yè)任選課，在大三下半學期或大四上半學期開課，以利于學生完成畢業(yè)設計或畢業(yè)論文。為了了解教學改革的效果，我們從2007年開始，分別對信息檢索基礎與信息檢索與利用兩門課程進行了跟蹤調查，搜集了相關的數(shù)據(jù)，現(xiàn)在擬對信息檢索與利用課的相關調查結果進行分析。2調查的內容及結果我們從2007年下半年開始分階段、多層次的教學改革，按照教學計劃應該是2010年（大三下半學期或大四上半學期）才有專業(yè)開設《信息檢索與利用》課。但有的專業(yè)（兩個班）大二就開課了，截至2010上半年，共有10個班、5個專業(yè)的400多人參加了信息檢索與利用課的學習。為了了解課程的教學情況及學生的學習效果，從2008年開始，我們設計了涉及課程性質、開課時段、教學內容、教學重點、考核方式、教學效果等方面共14個問題的調查問卷，面向開課專業(yè)的學生進行調查，發(fā)放問卷90份，回收89份，回收率989％。調查的具體內容及結果如表1所示。3.3結果分析把文檢課劃分為信息檢索基礎和信息檢索與利用的改革目標主要是培養(yǎng)學生的信息意識和信息道德，提高學生的信息能力。改革后的文檢課，重點是增強學生的信息意識，提高學生獲取信息的能力，培養(yǎng)學生綜合分析、處理與利用信息的能力。而獲取、分析與利用信息能力的培養(yǎng)主要是在信息檢索與利用課中進行的。為了實現(xiàn)教學改革的目標，我們對課程重新進行了教學設計［1］，并在教學過程中根據(jù)教學內容的特點采用多種教學模式［2-3］。因此，本次的調查結果是新的教學設計和多種教學模式教學效果的反映。31課程的設定從表1可看出，有562%的被調查者認為該課程應為選修課，只有393%的人認為應為必修課。可見，對于該課程的設定，絕大多數(shù)學生的觀點和我們原來的設想是一致的，希望在選課方面有更大的自由度，也表明相當多的學生還是希望學校重視和加強信息檢索與利用課的教學與建設。另外，雖然有高達719%的被調查者認為該課程的內容能夠與信息檢索基礎課銜接不上，但仍有157%的人認為兩者銜接不上。這就要求我們應重新對這兩部分的教學內容進行組織和調整，使兩部分更好地組成一個完成的整體。32開課的時間我們原以為學生在畢業(yè)論文（設計）前夕的信息需求比較強烈，因而認為將信息檢索與利用課放在大三的下學期或大四的上學期比較合適，但幾乎半數(shù)的被調查者認為信息檢索與利用應該在大一開課。這說明經過信息檢索基礎的學習，大部分的學生希望盡早學到更多相關的知識和掌握更多相關的技能，這一點從問題8的調查結果也可以看出。因此，我們需要重新認識學生對該課程的需要和要求，并從學生的角度對教學設計進行相應的調整，以滿足學生的需求。33課程的學時在學時安排方面，由于大一曾經有過8個學時的學習，因此753%的被調查者認為16個學時比較合適，這說明我們最初的教學設想比較合理。在理論課與實踐課的學時分配上，595%的被調查者認為現(xiàn)行的比例（1∶1）比較合適，而從高達236%的人認為兩者的比例應為3∶5這一點來看，有相當多的學生更希望在上機操作的過程中掌握相關的知識和技能，這一點和問題9的調查結果是吻合的。因此，我們必須對現(xiàn)行的課堂結構和教學模式進行有效的調整。34課程教學的重點問題7的調查結果表明，被調查者認為課程的教學重點應該依次是電子圖書檢索、中文期刊數(shù)據(jù)庫檢索、檢索技術與技巧、網絡信息資源檢索，僅有281%的人把外文期刊數(shù)據(jù)庫檢索列為教學的重點，這可能和我們調查的對象有關。我們學校是一所普通的地方院校，學生的層次不是很高，在日常的學習生活中所利用的文獻信息資源以中文為主。雖然學生平時利用外文資源比較少，但考慮到學生進行畢業(yè)論文(設計)時，外文參考資料是少不了的，加上大多外文數(shù)據(jù)庫的檢索界面都不是中文，因此，外文數(shù)據(jù)庫信息檢索這部分內容還是需要重視的。另外，在問題10中，629%的被調查者選了“不熟悉檢索技巧”，567%的人選擇了“較難提取合適的檢索詞”。這說明“檢索技巧”仍然是我們講授的難點，應該結合專業(yè)特點，通過檢索實例向學生傳授相關的檢索技巧，而不僅僅是理論講授。同時，在講授檢索策略時，要重點通過實例講授確定檢索詞這部分內容，以滿足學生的需求。35考核方式我們認為，文檢課的考核既要反映學生的學習效果，更要使學生信息素養(yǎng)得到提高，因此，目前采取的考核方式一般是平時作業(yè)＋結課后的綜述報告，即第一次課要求學生根據(jù)自己的專業(yè)特點或興趣愛好、專長，自選一個研究課題，隨著課程的深入，圍繞課題查找各種類型的相關資料，并作為平時作業(yè)，最后要求研讀檢索得到的文獻資料，撰寫一篇關于所選課題的綜述報告，綜述報告要求以2～3人為1個小組的方式完成。但從調查的結果我們可以看出，絕大多數(shù)同學更希望上機檢索一些課題作為課程的考核方式，這與信息檢索基礎課在課程考核方式上的調查結果相差甚遠，可見，我們必須重新考慮原定的考核方式。4課程改革進一步完善的措施根據(jù)以上的分析，我們認為，把文檢課劃分為信息檢索基礎和信息檢索與利用兩部分，采用分階段、多層次的教學模式大體上是成功的，取得了較好的教學效果，但還存在不少問題，有待我們進一步采取有效措施。41建設課程教學網站三年來的實踐證明，選修16學時的信息檢索與利用的學生并不多，但這并不等于學生不需要這門課，而是由于總學時的限制。其實從調查結果可以看出，大多數(shù)被調查者都認為信息檢索與利用課不僅對他們利用圖書館有很大的幫助，而且對其他課程的學習也很有幫助。因此，我們正在建設文檢課教學網站，以提高課程的受益面。在建的教學網站應能夠提供課件下載、視頻點播、教材選評、自我測試、在線答疑等服務。利用教學網站，教師可以在課堂上根據(jù)教學情況(包括教學內容和學生的課堂表現(xiàn))，隨時抽取相關的題目作為學生的課堂測試，檢查學生的學習效果；而學生可以在任意時間通過登錄網絡進行自我測試，系統(tǒng)自動對題庫習題的答對率進行統(tǒng)計。同時，沒有選課的學生也可以從網站選取自己感興趣或需要的內容進行學習，并通過在線答疑系統(tǒng)得到老師的指導和幫助，以提高自己的信息能力。另外，教學網站的自動測試系統(tǒng)還可以成為對學生考核的工具，對選修本課程的學生進行開放式的結業(yè)考試。在測試中，試卷的生成和判卷都是由計算機自動完成，參加測試的學生在給定的時間內完成一套試題，考生提交的答卷由計算機批改后自動提交成績到教學管理系統(tǒng)中，而且考試系統(tǒng)對生成的每道試題進行標識，統(tǒng)計其選中率和答對率，為以后教學內容的改進提供參照依據(jù)。42改革授課方式由于有697%的被調查者認為上機實踐時有必要讓教師再次演示檢索實例，這說明目前我們所采用的大班授課方式還不能完全適應課程的要求。如果條件允許，我們建議采取如下的授課方式：除《緒論》外，所有其他內容盡可能在機房授課，并采取小班上課、邊講邊練的授課方式，以確保學生及時掌握課堂內容［4］，避免人為地把理論與實踐割裂開。43調整教學內容結構隨著數(shù)字資源的快速發(fā)展，數(shù)字信息已經成為大學生最常用的信息類型。而相關的調查表明，大學生利用信息的途徑，首選是通過搜索引擎查找網絡信息。但網絡信息不僅浩瀚多樣，而且良莠不齊。這樣，對信息，特別是網絡信息進行鑒別和分析就顯得非常重要。同時，隨著個人搜集的數(shù)字信息越來越多，如何有效管理所獲得的信息也成為突出的問題。因此，我們計劃在教學中增加分析、利用、管理信息的內容，如網絡信息的鑒別和分析、NoteExpress、EndNote等文獻管理的授課內容，以提高學生對數(shù)字資源的管理和使用能力。為此，我們已經組織老師編寫了相關的教材；同時，為提高教材內容的針對性，我們將教材分為理工版和經管文版兩個版本。而對于《信息檢索基礎》的教材，我們也已經進行了修訂，將在2010年秋季使用修訂后的教材。44和院系配合，結合專業(yè)課，提高文檢課的教學效果我們決定借鑒其他兄弟院校(如上海交通大學)的成功經驗，結合本校的實際，由文檢課老師和各院系的專業(yè)教師共同開展文檢課的教學。當然，這對我們來說是新的課題，需要時間來實踐和探索。我們已經和機械系主管教學的領導進行了交流和探討，決定先在機械系的部分專業(yè)試行，總結經驗后再在全院推廣，以避免盲目在全院執(zhí)行可能帶來的負面影響。［函數(shù)與方程是初中數(shù)學很重要的內容，也是中考的重點，函數(shù)與方程思想是解決實際問題的重要工具.例1（2014?徐州）某種商品每天的銷售利潤y（元）與銷售單價x（元）之間滿足關系：y=ax2+bx-75.其圖像如圖1.（1）銷售單價為多少元時，該種商品每天的銷售利潤最大？最大利潤為多少元？（2）銷售單價在什么范圍時，該種商品每天的銷售利潤不低于16元？【思路突破】（1）由函數(shù)y=ax2+bx-75的圖像過點（5，0）、（7，16），根據(jù)待定系數(shù)法，可得二次函數(shù)解析式，進而求得頂點坐標可確定最值；（2）根據(jù)函數(shù)值大于或等于16，列出不等式，求出x的值，得出單價銷售范圍.解：（1）y=ax2+bx-75圖像過點（5，0）、（7，16），∴25a+5b-75=0，49a+7b-75=16，解得a=-1，b=20.∴y=-x2+20x-75=-（x-10）2+25，頂點坐標是（10，25），即當x=10時，y最大=25.答：銷售單價為10元時，該種商品每天的銷售利潤最大，最大利潤為25元.（2）（方法一）∵函數(shù)y=-x2+20x-75圖像的對稱軸為直線x=10，可知點（7，16）關于對稱軸的對稱點是（13，16），又∵函數(shù)y=-x2+20x-75圖像開口向下，∴當7≤x≤13時，y≥16.（方法二）由-（x-10）2+25=16，得x1=13，x2=7.又∵函數(shù)y=-x2+20x-75圖像開口向下，∴當7≤x≤13時，y≥16.答：銷售單價不少于7元且不超過13元時，該種商品每天的銷售利潤不低于16元.【解后反思】本題解題關鍵在于利用二次函數(shù)圖像的特點，結合待定系數(shù)法求解析式，再利用頂點坐標求最值.方法一利用對稱點求不等式的解集；方法二通過解方程-（x-10）2+25=16得x1=13，x2=7.兩種方法各體現(xiàn)了函數(shù)與方程思想的應用，其實很多時候函數(shù)問題都可以轉化為方程問題來解決.例2（2015?安徽）如圖2，一次函數(shù)y1=x與二次函數(shù)y2=ax2+bx+c的圖像相交于P、Q兩點，則函數(shù)y=ax2+（b-1）x+c的圖像可能是（）.【思路突破】由一次函數(shù)y1=x與二次函數(shù)y2=ax2+bx+c的圖像相交于P、Q兩點，得出方程ax2+（b-1）x+c=0有兩個不相等的實數(shù)根，進而得出函數(shù)y=ax2+（b-1）x+c【解后反思】本題考查了二次函數(shù)的圖像，直線和拋物線的交點，交點坐標和方程的關系以及方程和二次函數(shù)的關系等，函數(shù)與方程有著相輔相成的關系，熟練掌握函數(shù)與方程問題的相互轉化及二次函數(shù)的性質是解題的關鍵.例3（2015?連云港）在某市組織的大型商業(yè)演出活動中，對團體購買門票實行優(yōu)惠，決定在原定票價基礎上每張降價80元，這樣按原定票價需花費6000元購買的門票張數(shù)，現(xiàn)在只花費了4800元.（1）求每張門票的原定票價；（2）根據(jù)實際情況，活動組織單位決定對于個人購票也采取優(yōu)惠政策，原定票價經過連續(xù)二次降價后降為324元，求平均每次降價的百分率.【思路突破】（1）設每張門票的原定票價為x元，則現(xiàn)在每張門票的票價為（x-80）元，根據(jù)“按原定票價需花費6000元購買的門票張數(shù)，現(xiàn)在只花費了4800元”建立方程，解方程即可.（2）設平均每次降價的百分率為y，根據(jù)“原定票價經過連續(xù)二次降價后降為324元”建立方程.（2）設平均每次降價的百分率為y，根據(jù)題意得400（1-y）2=324，解得：y1=0.1，y2=1.9（不合題意，舍去）.答：平均每次降價10%.【解后反思】方程應用類型的題目解題關鍵是要讀懂題目的意思，根據(jù)題目給出的條件，找出合適的等量關系，列出方程，再求解.例5（2015?南通）關于x的一元二次方程ax2-3x-1=0的兩個不相等的實數(shù)根都在-1和0之間（不包括-1和0），則a的取值范圍是______.【思路突破】首先根據(jù)根的情況利用根的判別式解得a的取值范圍，然后根據(jù)兩個不相等的實數(shù)根都在-1和0之間（不包括-1和0），結合函數(shù)圖像確定其函數(shù)值的取【解后反思】關于二次方程的根的分布問題，如果僅僅從方程的角度只考慮Δ>0是遠遠不夠的，這樣僅能說明有兩個不等實數(shù)根而已，要進一步滿足兩根在-1和0之間，必須將方程轉化為對應的二次函數(shù)，然后結合二次函數(shù)圖像的特點（開口方向，對稱軸，圖像與x軸的交點等）進一步列出參數(shù)需要滿足的條件方可.函數(shù)思想即用函數(shù)的概念和性質去分析問題、轉化問題和解決問題，方程思想即從數(shù)學問題的數(shù)量關系出發(fā)，將問題中的條件轉化為各種數(shù)學模型.同時，函數(shù)思想與方程思想關系密切，有時，需要將函數(shù)與方程相互轉化才能達到解決問題的目的，正是這些聯(lián)系，促成了函數(shù)與方程思想在數(shù)學解題中的互化互換，豐富了數(shù)學解題的思想寶庫.《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程《運籌學》ch1第八章馬爾可夫鏈和馬爾可夫決策過程教學要求:⑦掌握掌握馬爾可夫分析的基本原理和方法礦會運用馬爾可夫決策過程解決一些基本問題礦了解馬爾可夫決策過程的建模和求解方法第八章2目錄口馬爾可夫鏈口n步轉移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃目錄3目錄口馬爾可未鏈口n步轉移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃目錄4定義口離散時間隨機過程:假設我們觀測一個系統(tǒng)在離散時間點上某個特性的情況,令X為此系統(tǒng)特性在時刻t的值離散時間的隨機過程航是關于隨機變量X0,X1K,X1之間關系的描述?？隈R爾可夫鏈:稱一個離散時間隨機過程為馬爾可夫鏈,如果對于所有的t=O,1,2K和狀態(tài),成立P(X=iX,=i,,XK.XⅩ0=l0=P(X1=i+X,=i)稱概率規(guī)則在時間上是平穩(wěn)的鏈為平穩(wěn)馬爾可夫鏈。轉移概率:在馬爾可夫鏈中,對于所有的狀態(tài)/和,以及所有的時刻,有P(X=jX=)=P,稱P為馬爾可夫鏈的轉移概率。對于平穩(wěn)馬爾可夫鏈,轉移概率可以用個轉移概率矩P表示。定義5例題賭徒問題考慮一賭徒,在時刻0擁有賭金2元,在時刻1,2,K進行賭局。在每賭博中,贏一元的概率是P,輸一元的概率是1一P。賭徒的目標是賭金增加到4元,所以當賭金增加到4元或輸光時賭博結束。請描述此離散時間隨機過程,并判斷其是否為一個平穩(wěn)馬爾可夫鏈?若是,請寫出其概率轉移矩陣。例題6解答我們定義X,為賭徒在第t場賭局結束后的賭金,則可以把X0,X1,K,X看作是離散時間的隨機過程。注意到X0=2是已知條件,但是X和其后的X,值是隨機的因為賭徒在第t+1場賭局結束時的賭金概率分布只依賴于賭徒在第t場賭局結束時的賭金,所以此為一個馬爾可夫鏈因為賭博輸贏的概率并不因時間而改變,所以此又為一個平穩(wěn)馬爾可夫鏈。其轉移概率矩陣如下狀態(tài)$0$1$2$3$400P0P0000PP1-p0P解答7目錄口馬爾可夫鏈口步轉移概率口馬爾可夫鏈中狀態(tài)的分類口穩(wěn)態(tài)概率口馬爾可夫決策規(guī)劃目錄8n步轉移概率假設已知馬爾可夫鏈的轉移概率矩陣P。問:如果一個馬爾可夫鏈在時刻m處于狀態(tài)i,那么在門個階段后,此馬爾可夫鏈處于狀態(tài)概率是多少?因為研究的是平穩(wěn)馬爾可夫鏈,所以這個概率與m無關,可以記作:P(Xm=Xm=1)=PXn=X=D=P(n)其中,P(m)稱作從狀態(tài)倒到狀態(tài)的步轉移概率。顯然,P2()=pn;P(2)=∑pP又由轉移概率矩陣,得P(2)就是矩陣P2的第第列元素。推而廣之,可知對于門>1P(n)=P的第行第列元素n步轉移概率9例題飲料的市場份額問題假設目前飲料市場上只有兩種飲料。假定顧客上一次購買時選擇飲料1,則下次選購飲料1的概率為90%;顧客上一次購買時選擇飲料2,則下次選購飲料2的概率為80%。a)如果顧客當前選購的是飲料2,則在此后的第二次購買時選擇飲料1的概率是多少?b)如果顧客當前選購的是飲料1,則在此后的第三次購買時選擇飲料1的概率是多少?例題10解答1我們可以把顧客的飲料選購過程看作一個馬爾可夫鏈其中任何給定時刻的狀態(tài)為顧客在最近一次購買時選擇的飲料種類。由此,顧客的飲料選購過程可表示為兩個狀態(tài)的馬爾可夫鏈,其中狀態(tài)1=顧客最近一次選購的是飲料1,狀態(tài)2=顧客最近一次選購的是飲料2定義X,為顧客在將來第次購買時選擇的飲料種類(當前次選購的飲料種類為X),則X。,X1,K可被表示為具有如下轉移概率矩陣的馬爾可夫鏈,飲料1飲料2P=飲料1「0.90010飲料20.200.0解答111《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件12《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件13《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件14《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件15《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件16《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件17《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件18《運籌學》ch08馬爾可夫鏈和馬爾可夫決策過程課件19《運籌學》