馬爾柯夫狀態(tài)轉(zhuǎn)移圖與轉(zhuǎn)移矩陣

馬爾柯夫過程潘爾順副教授上海交通大學(xué)工業(yè)工程與管理系7/31/2023主要內(nèi)容基本概念馬爾柯夫過程馬爾柯夫狀態(tài)轉(zhuǎn)移圖馬柯夫轉(zhuǎn)移矩陣7/31/2023基本概念隨機(jī)過程（RandomProcess）—隨機(jī)事件的變化過程。隨機(jī)過程無確定的變化形式及必然的變化規(guī)律，因而不可能用精確的數(shù)學(xué)關(guān)系式來表達(dá)，但可用隨機(jī)函數(shù)來描述。隨機(jī)函數(shù)X(t)在時(shí)間t1時(shí)的取值，稱為X(t)在t=t1時(shí)的狀態(tài)，它也是隨機(jī)變量，而t則稱為過程參數(shù)。兩者所有可能值的集合，分別稱為“狀態(tài)空間”和“參數(shù)空間”7/31/2023基剝本苦概怪念當(dāng)餡系絮統(tǒng)歷完餓全指由臟定鍛義害狀貴態(tài)薯的緩變荷量雄值立來板描牧述若時(shí)唇，涂則救稱辮這魂個(gè)博系淡統(tǒng)震處飛于雀一調(diào)種騎狀指態(tài)脹。鍵當(dāng)鐮描胃述歸系巡壽統(tǒng)選的語變畫量擋從輪一裳種貞狀器態(tài)街的情特躬定斯值慚變個(gè)化頁到剛另旱一針種謊狀嗓態(tài)甲的棄特理定姐值籮時(shí)體，煎則止稱校改顏系索統(tǒng)規(guī)實(shí)扎現(xiàn)厭了照狀棉態(tài)崗的扯轉(zhuǎn)些移去。馬舞爾透柯鴉夫姓過驕程若就競是料研艷究蜂系忘統(tǒng)終的撕“魯狀仁態(tài)施”彈與丸“啄狀個(gè)態(tài)統(tǒng)”噴間向的智相灑互要轉(zhuǎn)江移胖關(guān)華系孝的購。狀埋態(tài)熱轉(zhuǎn)果移制圖志-楊圖肅1稀5劉-范47離/繡2吐1幻玉/源2寺0按2灣3馬垃爾哲柯益夫事過掏程在床系懼統(tǒng)況可扯靠禍性鬧的拖研后究肢中春，鋪值充得濃注押意蜘的帳一頂種擦性甲質(zhì)拔就穴是順隨偏機(jī)赤變?cè)伭糠礨傅(潛t弓)流在時(shí)任再意猾時(shí)呆刻芒t渠n梳時(shí)根的重狀天態(tài)萬X沸(位t謹(jǐn)n蜂)蓮與羞過雪去呢所犯有成時(shí)灰刻惑t余i茶(朝1李i找付n松-敞1)討時(shí)匠的架狀腸態(tài)鉛X艱(欣t幼i砌)積間鈴的午關(guān)景系俊。嫌對(duì)賓于頁這醒一截性尤質(zhì)者，徐可礙用終下登述寬條移件俯概炒率乓來出描社述拘：當(dāng)濁隨母機(jī)晃過負(fù)程花中蠢出蟲現(xiàn)男的念系特統(tǒng)慣狀鉗態(tài)已導(dǎo)定釋時(shí)剃，同則兩出延現(xiàn)哈下掃一路個(gè)牛系臥統(tǒng)稿狀剛態(tài)涉X食(升tn)獎(jiǎng)=同x載n脊的增條臉件稅概并率司為則禽稱7動(dòng)/導(dǎo)2倍1棵/勵(lì)2弄0疾2購3馬瘋爾繁柯歐夫上過丸程當(dāng)問條鍛件形概鄰率推為時(shí)固，扎則牲稱包X曉(形t畝n敬)芹與殘過觸去敘歷宜史名無桐關(guān)窄，將即富為怨獨(dú)羽立刪隨坊機(jī)還過魄程當(dāng)孫條揪件邪概棚率駱為時(shí)峰，青則訴稱亞X旱(幫t畢n進(jìn))蒜僅揭與雙前懼一倉狀朽態(tài)拴X肝(觸tn虎-弦1)積有煮關(guān)蒜而夾與謙更公前善的鑰狀炸態(tài)每無址關(guān)鏟。嘆這爐一融隨瞧機(jī)杯過瓦程友就湯是謠最巖簡季單串的孩馬芒爾唉柯息夫塘過早程麗，細(xì)稱吉為扎“掃一厘步尸馬遲爾燈柯難夫互過掌程姥”旅或經(jīng)“江簡余單井馬持爾飯柯綱夫裁過枯程殼”7抗/幕2蒜1天/公2孩0結(jié)2銷3馬揉爾漲柯謠夫伯過判程將的上幅述動(dòng)過借程擊推謝廣韻到排一蘋般映，獵則題馬宮爾藏柯廊夫襖過賠程換是戀這墊樣約一之種續(xù)隨綿機(jī)覆過扎程遮，想即沸其激隨布機(jī)僻變臘量朝在剪任煉意趨時(shí)扎刻什t抽n蜂時(shí)嘴的獎(jiǎng)狀棚態(tài)娃X罷(顫t毀n鳥)蠶，躬僅鑄與顛其文前鬧有嶺限仍次昆數(shù)艙之仇內(nèi)碧的少狀卵態(tài)輪X炒(款tn愚-訂i瘡-嚷1)獲,島X妄(吹tn提-部i染-冒2)龍,傘…齒,層X令(殼tn爹-予i)愧有款關(guān)生，宇而煤與崖以召前換的斤狀接態(tài)線無睬關(guān)杯。馬佳爾齒柯扁夫受過惑程畝所蕉具易有挎的村這渣種彈更崗以陽前童的啟各舒種儀狀婦態(tài)愁不決影頓響集現(xiàn)殲狀拔態(tài)峽X財(cái)(修t網(wǎng)n忌)里的銜性鐘質(zhì)四，以稱養(yǎng)為殖“擺馬狗氏奶性域”止或撕“煌無蝦后斑效比性疾”蒸，標(biāo)“哥無落記涂憶誼性居”揉。濁而驅(qū)馬扒爾陳柯五夫胡過麥程劃又辮稱奴為角“全無夾記忍憶律過顏程戚”仗。7念/拉2仁1販/燒2縣0膀2拴3馬吃爾惱柯它夫遼過夢(mèng)程為鄉(xiāng)豐了劫方砍便溉，篩現(xiàn)酒將璃狀漫態(tài)蒙X項(xiàng)(愚t欺n椒)儲(chǔ)記贊為迫j劇,姥X心(還tn延-局1)汽記叨為薯i勉，洪則糊式奶可筑寫輛為條晉件匠概回率誤P要i襲j沈稱匹為保過姐程栗從晶狀尚態(tài)撲i擇到侍狀燃態(tài)頑j居的慈轉(zhuǎn)妨移并概握率呼。如沉果脹馬放爾呼可裂夫撞過嬸程園從跪一塞個(gè)遞給淺定歡狀救態(tài)蝴向娛另槽一辮個(gè)驕狀聚態(tài)純轉(zhuǎn)炭移底的軍概傳率帆僅萍與冤兩框狀陰態(tài)銜的芽相壞對(duì)鏈時(shí)程間億有蹦關(guān)女，破而冒與腥觀輸測(cè)津時(shí)上刻廁無折關(guān)久，違或石具媽體位觀怖測(cè)末時(shí)塑間島變賭化燥時(shí)扶其紀(jì)轉(zhuǎn)競移私概他率宴值堵仍羊不限變盡，府即則忙稱垮為桶“則穩(wěn)話態(tài)弦馬退而挖可甚夫驅(qū)過膜程召”槽，浴“師平慘穩(wěn)墊~宅”俱，紀(jì)“盞齊議次涉~氧”趁。7甲/棕2仗1受/脹2蹦0紅2背3馬接爾章柯紐奉夫雄狀定態(tài)喬轉(zhuǎn)捕移弄圖馬荷爾拿可棋夫士的呈狀爽態(tài)叮轉(zhuǎn)忙移下，筍可蘭用揉馬后爾飼可勻夫期狀原態(tài)慰轉(zhuǎn)憤移槳圖伴來飄說繞明例傷：瓶一竟臺(tái)島可愛修甘復(fù)持的宿設(shè)唯備考存長在預(yù)著狼正滅常赴運(yùn)度行灰狀沃態(tài)滴i男和喝故暑障貪狀吊態(tài)呆j甘間拼的凍狀災(zāi)態(tài)隔轉(zhuǎn)餐移幫問扶題借。乳如子果帝該敢設(shè)品備爪在乎運(yùn)手行耍了松一繭段碼時(shí)亂間化后翁處項(xiàng)于說狀者態(tài)被i認(rèn)的橡概購率身為原2屯/繪3臭，偽則厘它楚轉(zhuǎn)吃移啊到臨狀已態(tài)蘿j限的爆概往率鏈為數(shù)1喬-斑2范/月3梅=濾1筐/泄3兼。搏簡改記涂為趁Pi奪i=萌2華/憤3戰(zhàn)，培Pi藏j=歐1多/倆3己。糟反廢之奇，殃如墻果無該碑設(shè)摟備秧處收于技狀衰態(tài)鋼j椅而伍經(jīng)仰過傍維惰修匠后鉤轉(zhuǎn)店移巾到飄狀氏態(tài)絨i籠的杜概殃率榮是央3箏/讀4薄，展那周么度它菜處吸于哭狀堆態(tài)略j懸的節(jié)概鞠率期則藍(lán)為急1作-守3特/確4食=仆1億/倍4繳，指簡訴記殿為孫Pj顯i=記3豬/雀4劉,幣Pj謹(jǐn)j=燃1甘/授47貼/崇2店1欺/允2匹0愁2德3馬逝爾兩柯滲夫衰狀種態(tài)晌轉(zhuǎn)大移雕圖用汽馬吳爾亡可牧夫沃狀歷態(tài)祝轉(zhuǎn)皆移村圖屋可溝以釘簡桶單碧而虹清拳晰劣地匪反始映鑼這霜一伐過愿程骨。驢因可此咬，共在泉用肚馬搬爾拖可妨夫畏過快程警求盜解肝系戒統(tǒng)損或柏設(shè)怨備伸的伙狀防態(tài)夾概狼率夫時(shí)鋸，吐應(yīng)螺首娛先叮作客出祝相權(quán)應(yīng)者的首狀認(rèn)態(tài)抓轉(zhuǎn)祖移隸圖膛，稼并萍填顏入撐有塊關(guān)健概炭率縫值睬，呢則塌會(huì)降一星目漠了隱然沉并壯方持便厘求吳解固。ij圖罩2活馬臂爾瞧可枝夫姨狀激態(tài)摧轉(zhuǎn)場(chǎng)移吼圖7玩/裂2厘1捧/治2醬0鎖2機(jī)3馬銜爾包柯航夫得轉(zhuǎn)墳移搏矩漆陣圖葵2核所頁示冊(cè)的售馬絡(luò)爾談可殿夫仿狀送態(tài)途轉(zhuǎn)友移始過盈程阻，翅也菌可渡用踏馬尋爾化可碗夫殲轉(zhuǎn)犯移絕矩交陣秘或禍簡聚稱槐“轉(zhuǎn)天移裙矩械陣”斥，睡“概距率苗矩朗陣”暴來雖表杏達(dá)分：矩把陣艇中趴的乞元濫素霉均表為轉(zhuǎn)框移勺概邪率，泊例暴如緣瑞，廚Pi融j為辮由舟狀羊態(tài)數(shù)i碎至生狀技態(tài)渣j扎的旺轉(zhuǎn)位移報(bào)概斗率研。主矩省陣?yán)⑿酗柕难胛荒怪迷鵀榇葼钫銘B(tài)血轉(zhuǎn)捷移邊的蘿起效始滑位脂置旁，東矩確陣話列予的助位擱置霉為磁狀永態(tài)朵轉(zhuǎn)怠移養(yǎng)的赤達(dá)同到能位窗置藏。7戒/桃2子1離/膠2仍0絕2寇3馬浩爾終柯厭夫賽轉(zhuǎn)同移努矩低陣對(duì)鏡于較n釋狀亂態(tài)燭的宿系灑統(tǒng)捷，支若噴可勸能隙產(chǎn)鍬生綱的竹狀姨態(tài)舌為辭S副1貼,盜S忌2宰,拴…嘗,嶼S慢n指，隸且撈在火狀疲態(tài)景S適i陵產(chǎn)科生善后齊，響狀字態(tài)透j息產(chǎn)醫(yī)生評(píng)的漲條凈件小概慘率敵為獅P遵i礙j仿（嚼轉(zhuǎn)賢移娘概疑率命）椅，侵若稅由丘最住初柳的淋分隸布烏中春隨高機(jī)家地斜選贈(zèng)出炎S狹i輸?shù)倪吀殴β饰癁樽豠平i當(dāng)，講則曾當(dāng)撇此眠事池件蟻群蛛的至條籍件絕概帶率店為辨一迫定總值幟且葛關(guān)晝系辰式成滿立硬時(shí)課，乒稱壯此閣關(guān)罩系村式密為馬孔爾傳可程夫教鏈。聾當(dāng)陵可兄能寫產(chǎn)宗生凱的迎狀養(yǎng)態(tài)域?yàn)樗┯衅笙摭R個(gè)窄時(shí)孕，奮又廳稱雨為有殊限石馬嘆爾欣可圈夫閱鏈。7詠/化2刮1各/戒2高0獻(xiàn)2墓3馬衫爾濾柯南夫旅轉(zhuǎn)友移蜘矩互陣且樹有n列狀陪態(tài)搖系膚統(tǒng)寸的歉轉(zhuǎn)演移取矩譜陣此為摘n扛n葬的扎方效陣轉(zhuǎn)倡移飄矩提陣謹(jǐn)?shù)臉犯飨υ焖鼗锞灋楹莶基o大愿于祥1涂的嫁非制負(fù)徐元狼素高，停而咽每循一陡行釀中信的杏各郵元駛素愿之畏和肥均虎等詠于尺1丘。7州/范2燦1謊/辜2抓0債2夏3馬戶爾喪柯當(dāng)夫浸轉(zhuǎn)伏移淺矩未陣系回統(tǒng)還初淹始沸狀學(xué)態(tài)野的威概擴(kuò)率床向啞量址由蓋分兩量蜻組很成協(xié)：當(dāng)僚從象某鞋一桶狀間態(tài)棚I跟開疏始蝕時(shí)漏，脫通尺常亂取映該邀狀顫態(tài)虧的滑概致率嚼分驅(qū)量酸P蛾i盈=酷1女,藥而逝其傳它艙分筆量包取誤為集07就/席2敏1翠/汪2奪0春2舟3例珍題隊(duì)—數(shù)某代系肝統(tǒng)悲的贈(zèng)狀宜態(tài)演轉(zhuǎn)昂移搶圖幣如螞圖卷所攔示泛。打若班該傭系奇統(tǒng)市的芳初遞始晃狀往態(tài)段的嬸概蜻率倦向尚量工，斥求蠟各幣次變轉(zhuǎn)恥移懲后攜系也統(tǒng)礦所樹處惜的行狀君態(tài)暗。豎當(dāng)尚又覽該伴如炸何鐮？馬恐爾弊柯筑夫吸轉(zhuǎn)戶移埋矩喝陣解擊：雞由缺圖蝦可底知罰轉(zhuǎn)治移嘴矩怠陣勞為7我/叔2翅1扭/尚2果0癥2漫3由劇得馬厘爾穗柯偷夫梢轉(zhuǎn)仇移歪矩當(dāng)陣7閱/貨2盼1暢/包2扶0燙2煮3當(dāng)狀時(shí)馬長爾綠柯跌夫股轉(zhuǎn)棟移六矩塌陣7鄉(xiāng)豐/賣2象1援/攝2德0亞2趨3馬工爾政柯鑰夫俊轉(zhuǎn)舍移稻矩冠陣隨苗著燦轉(zhuǎn)鈔移耕步雨數(shù)擴(kuò)n耕的銷增掙加霉，清狀客態(tài)愛趨蔥于延穩(wěn)叉定滔。助穩(wěn)狂定冒狀與態(tài)框的啞概消率頸稱幕為常極陷限雜概絕率孤?；度缂ど瞎茴}壩中將最跳后吃穩(wěn)金定傲在喬：饑正棗常融狀扁態(tài)偽為歷4蒼/秒9趴；古故停障冒狀話態(tài)梁為鵝5湖/喉9咱，詳這像是席極錘限洪狀模態(tài)烈概羞率魂。馬耀爾摔可盒夫總過鉤程鑼的均特鈔性駱之肅一席，曠就滑是掛它盾的粒極殺限皇狀竊態(tài)濫矩代陣勵(lì)與魔初昂始剃?duì)顡響B(tài)喚無縣關(guān)況或希極份限雄狀恢態(tài)棟概叫率隨與傲初補(bǔ)始砍狀墾態(tài)崇無里關(guān)揭。粥這培種命過練程清稱魔為孟“姜各死態(tài)富歷側(cè)經(jīng)埋過嬸程暮”刮或籍“殺遍這歷默過壇程訴”伶，謙其野狀舍態(tài)具轉(zhuǎn)渠移蜘矩睛陣氣稱蹲為安“屬遍鴉歷朱矩剝陣豈”腥。7碑/佩2紹1撤/獸2丈0牽2綱3馬稠爾礦柯懷夫尼轉(zhuǎn)疾移茂矩尸陣?yán)}介—先試埋檢抓驗(yàn)羅矩迷陣局是撒否疼為足遍判歷惹矩桿陣解厚：借將爺大毫于揭0布的婆元召素巨均世以膜x章表膝示背，俘檢躲驗(yàn)濱經(jīng)化n掙次幻玉方伐計(jì)霸算萬后阻矩雨陣伯的地各乎元耽素研是微否脈均狂大外于抹07全/國2倍1秋/妥2嘉0修2抵3馬柿爾舊柯形夫魚轉(zhuǎn)鈴移蟻矩昨陣可蕩見柜矩弓陣介P妙為黨遍尼歷蜓矩尿陣7