Markov模型在藥物評(píng)價(jià)中的應(yīng)用進(jìn)展

Markov模型在藥物評(píng)價(jià)中的應(yīng)用進(jìn)展Markov09211030058胡學(xué)謙內(nèi)容摘要：對(duì)于一個(gè)藥物上市后的評(píng)價(jià)包括臨床評(píng)價(jià)和藥物經(jīng)濟(jì)評(píng)價(jià)。應(yīng)用分析模型進(jìn)行臨床決策分析法，能夠快速有效的對(duì)藥物進(jìn)行評(píng)價(jià)。本文綜述了Markov模型近年來在藥物評(píng)價(jià)中的應(yīng)用。關(guān)鍵詞：Markov模型藥物評(píng)價(jià)、 、^"刖言俄國(guó)著名數(shù)學(xué)家馬爾可夫于1906—1912年間提出了一種能用數(shù)學(xué)分析方法研究自然過程的一般圖式一馬爾可夫鏈(Markovchain)。他的研究方法和重要發(fā)現(xiàn)推動(dòng)了概率論的發(fā)展.特別是促進(jìn)了概率論新分支一隨機(jī)過程理論的發(fā)展。隨機(jī)過程又稱馬爾可夫過程(Markovprocess),在建立之初，被用來描述和預(yù)測(cè)煤氣分子在一個(gè)密閉容器中的狀態(tài)。我國(guó)在20世紀(jì)60年代已開始將其應(yīng)用于水文、氣象的預(yù)測(cè).70年代應(yīng)用于地震的預(yù)測(cè)。隨著20世紀(jì)三四十年代多狀態(tài)Markov模型理論的誕生和發(fā)展多狀態(tài)Markov模型在自然科學(xué)和社會(huì)科學(xué)的諸多領(lǐng)域得到了廣泛的應(yīng)用。Markov模型是一種數(shù)學(xué)模型，是模擬隨時(shí)間發(fā)生的隨機(jī)事件的過程。Markov模型最早應(yīng)用于醫(yī)學(xué)領(lǐng)域是在20世紀(jì)70年代⑴。20世紀(jì)80年代后國(guó)外已有大量的應(yīng)用的⑹，國(guó)內(nèi)90年代后亦見零星的報(bào)道"在。Markov模型在衛(wèi)生領(lǐng)域的應(yīng)用始于80年代用于慢性疾病的發(fā)展過程.在衛(wèi)生經(jīng)濟(jì)領(lǐng)域的應(yīng)用始于90年代⑼。通過對(duì)近三年來的文獻(xiàn)報(bào)道研究發(fā)現(xiàn)，Markov模型開始應(yīng)用到藥物評(píng)價(jià)中。通過對(duì)藥物進(jìn)行臨床和經(jīng)濟(jì)評(píng)價(jià)來進(jìn)行臨床決策分析。Markov在藥物評(píng)價(jià)中的基本原理我們將Markov決策分析原理應(yīng)用到藥物評(píng)價(jià)中，通過對(duì)藥物進(jìn)行成本效益分析，來獲得最佳臨床治方案。Markov模型在決策分析中的基本原理是將所研究的疾病按其對(duì)健康的影響程度劃分為多個(gè)不同的健康狀態(tài)，并根據(jù)各狀態(tài)在一定時(shí)間內(nèi)相互間的轉(zhuǎn)換概率模擬疾病的發(fā)展過程.結(jié)合每個(gè)狀態(tài)上的資源消耗和健康結(jié)果，通過多次循環(huán)運(yùn)算。估計(jì)出疾病發(fā)展的結(jié)局及其醫(yī)療費(fèi)用口0］。Markov模型基本概念Markov鏈（Markovchain）是一種隨機(jī)事件序列，其未來的取值只與現(xiàn)在的取值有關(guān)，而與過去的取值無關(guān)，即為無后效性的隨機(jī)過程。一系列的隨機(jī)事件稱為狀態(tài)空間，各狀態(tài)間按一定轉(zhuǎn)移概率（強(qiáng)度）發(fā)生轉(zhuǎn)移，轉(zhuǎn)移概率大小受到協(xié)變量的影響，Markov模型其種類繁多，轉(zhuǎn)移模式多樣化，而且種類和轉(zhuǎn)移模式不同，其建模方式亦不同。1.2Markov模型假設(shè)條件和特性[8,10,11,12,16]Markov模型假設(shè)條件在每個(gè)Markov循環(huán)中。一個(gè)病人只能處于一種Markov狀態(tài)；Markov過程對(duì)已經(jīng)進(jìn)行的循環(huán)過程沒有記憶，即病人從一個(gè)狀態(tài)（如狀態(tài)A轉(zhuǎn)換到下一個(gè)狀態(tài)（狀態(tài)B）是根據(jù)概率隨機(jī)發(fā)生的，與病人進(jìn)入該狀態(tài)（A）前所處狀態(tài)無關(guān)。Markov模型的特性Markov模型有兩個(gè)重要特性：一是無后效性，即系統(tǒng)的第n次試驗(yàn)結(jié)果出現(xiàn)的狀態(tài)，只與第n-1次有關(guān).與它以前所處的狀態(tài)無關(guān)；二是穩(wěn)定性，即在較長(zhǎng)時(shí)間后.Markov過程逐漸趨于穩(wěn)定狀態(tài)，而與初始狀態(tài)無關(guān)。1.3建立Markov模型藥物評(píng)價(jià)的基本過程[8,10,11,12,16]1.3.1根據(jù)研究目的和基本的自然過程設(shè)立Markov狀態(tài)，確定在狀態(tài)間可能存在的相互轉(zhuǎn)換將整個(gè)疾病過程劃分為不同的健康狀態(tài)，所有可能發(fā)生的事件模擬成從一個(gè)狀態(tài)向另一個(gè)狀態(tài)轉(zhuǎn)換的過程。病程不能從某一狀態(tài)向其它狀態(tài)轉(zhuǎn)移的狀態(tài)稱為吸收態(tài)（absorbingstates,）它是循環(huán)的終點(diǎn)，病人在到達(dá)該狀態(tài)之后不再轉(zhuǎn)移到其它的狀態(tài)。經(jīng)過一定的循環(huán)之后所有的隊(duì)列成員都應(yīng)轉(zhuǎn)移到該終點(diǎn)狀態(tài)上。在一個(gè)Markov狀態(tài)上向自己的轉(zhuǎn)換表示病人在一個(gè)循環(huán)周期內(nèi)可停留在某一狀態(tài)，而不轉(zhuǎn)移到任何其他狀態(tài)。各狀態(tài)間的互相轉(zhuǎn)換，應(yīng)根據(jù)實(shí)際病程的發(fā)生而定，例如從健康可轉(zhuǎn)移到殘疾，但從殘疾不可能回到健康的狀態(tài)，只能停留在殘疾狀態(tài)或轉(zhuǎn)換到死亡。在一個(gè)循環(huán)周期中，疾病可以保持在疾病狀態(tài)，

也可以向健康和死亡狀態(tài)轉(zhuǎn)移，它們的轉(zhuǎn)移都是隨機(jī)發(fā)生的。見圖1,圖1中每個(gè)圓圈表示一個(gè)Markov狀態(tài)1,圖1中圖1Markov狀態(tài)及可能的相互轉(zhuǎn)換1.3.2確定循環(huán)周期和每個(gè)周期中各狀態(tài)間的轉(zhuǎn)移概率將整個(gè)研究期間分成若干相等時(shí)間周期，每個(gè)時(shí)間周期稱為循環(huán)周期(Markovcircle)。在每一個(gè)周期內(nèi)每個(gè)狀態(tài)可以向其它狀態(tài)轉(zhuǎn)移，也可以保持原態(tài)。如圖I中的健康狀態(tài)、疾病狀態(tài)和死亡狀態(tài)。通常循環(huán)周期是根據(jù)臨床意義設(shè)定的。例如在有關(guān)十二指腸潰瘍的分析中，由于潰瘍能在一個(gè)月內(nèi)愈合并可能很快又復(fù)發(fā)，這時(shí)，可以1個(gè)月或4周作為一個(gè)循環(huán)周期。對(duì)于大多數(shù)慢性病.其不良事件在整個(gè)壽命周期內(nèi)都可能發(fā)生. 但發(fā)生概率相對(duì)較低.如肝癌和胃癌等惡性腫瘤，常用1年作為一個(gè)循環(huán)周期。決定循環(huán)周期長(zhǎng)短的另一個(gè)因素是可能得到的轉(zhuǎn)換概率(TransitionProbability)。例如如果以往的研究資料只能提供每年的發(fā)生率，那么用1年作為循環(huán)周期較合適。一些慢性病經(jīng)過治療后.在短期內(nèi)病程不會(huì)發(fā)生很大變化，故常以3個(gè)月或1年作為循環(huán)周期；而對(duì)于一些傳染病通常以1個(gè)月作為循環(huán)周期。轉(zhuǎn)移概率是指病人在一個(gè)循環(huán)周期內(nèi)從一個(gè)狀態(tài)轉(zhuǎn)移到其他狀態(tài)的可能性，確定了Markov狀態(tài)及循環(huán)周期后，結(jié)合有關(guān)疾病發(fā)生率及各狀態(tài)轉(zhuǎn)換概率的資料，估計(jì)出病人在各狀態(tài)上停留的時(shí)間或轉(zhuǎn)換到另一個(gè)狀態(tài)的可能性。將病人達(dá)到終點(diǎn)(如死亡狀態(tài))前，在每個(gè)狀態(tài)上所處的循環(huán)(或時(shí)間)進(jìn)行綜合的過程即是Markov分析過程。例如將病人在每個(gè)狀態(tài)上停留的平均時(shí)間或循環(huán)數(shù)相加即可得到患者的期望壽命二it；,ts是在狀態(tài)S的時(shí)間。133確定各狀態(tài)的效用值和能源消耗首先計(jì)算出每個(gè)循環(huán)周期內(nèi)各狀態(tài)的分布概率。 共設(shè)有n個(gè)狀態(tài)，則研究對(duì)象在每個(gè)周期內(nèi)存活的時(shí)間為ts，ts以為停留在非死亡狀態(tài)S上的時(shí)間。在達(dá)到終點(diǎn)之前。在所有循環(huán)周期上的存活時(shí)間之和即為研究對(duì)象的期望壽命。 其次結(jié)合各狀態(tài)的健康效用值Us和費(fèi)用Cs。計(jì)算出每個(gè)循環(huán)周期內(nèi)的質(zhì)量調(diào)整生命年數(shù)QALY也X丸效用us為0-1的數(shù)值，完全健康狀態(tài)的效用值為1,死亡為0。同樣，結(jié)合各狀態(tài)上所消耗的成本或費(fèi)用Cs,就可計(jì)算出整個(gè)疾病過程的資源消耗C=itsXCs*其中費(fèi)用和效果估計(jì)應(yīng)考慮貼現(xiàn)問題。1.3.4計(jì)算藥物經(jīng)濟(jì)評(píng)價(jià)指標(biāo)病人使用不同的藥物治療，可能影響病人在各狀態(tài)的分布，也可以影響狀態(tài)間轉(zhuǎn)換率即疾病的進(jìn)程，這時(shí)可分別用不同的Markov模型帶:估計(jì)和比較不同藥物治療下的患者的期望壽命、QALY或資源消耗，并進(jìn)行相關(guān)的成本效果、增量分析等等。例如用Markov模型計(jì)算出用傳統(tǒng)的方法治療某一種疾病患者的期望壽命即效果E1為15年，需花費(fèi)2萬(wàn)元(C1);現(xiàn)用新療法治療該病可使患者的期望壽命延長(zhǎng)到20年(E2),所用成本為5萬(wàn)元(C2)。那么用新療法每延長(zhǎng)一個(gè)生命年所增加的成本是么C/AE=(C2-C1)/(E2-E1)=6000元?？蛇M(jìn)一步比較不同治療措施的增量比，選擇合理的方案。Markov模型分析方法對(duì)建立的Markov決策樹模型分別進(jìn)行回乘分析(RollBack)、Markov隊(duì)列模擬、蒙特卡羅(MonteCarlo)模擬和靈敏度分析隊(duì)列模擬、MonteCarlo模擬可以通過專業(yè)軟件TreeAgePro2006來完成。TreeAgePro2006中模型的建立類似于傳統(tǒng)的決策樹。模型的基本結(jié)構(gòu)由決策結(jié) (decisionnode)Markov結(jié)(Markovnode)、機(jī)會(huì)結(jié)(chaneenode和結(jié)局結(jié)(terminalnode)構(gòu)成。決策結(jié)用小方塊表示： Markov結(jié)用一個(gè)帶m字母的小圓圈表示；機(jī)會(huì)結(jié)用小圓圈表示；結(jié)局結(jié)用三角形表示。一般來說模型從左到右。從初級(jí)決策結(jié)開始按照邏輯思維的順序逐層展開。先發(fā)生的事件稱為上游事件 (upstreamOrproximal)。后發(fā)生的事件稱為下游事件或末梢事件(downstreamordistal)。一般來說，機(jī)會(huì)結(jié)下面不應(yīng)該再有決策結(jié)，并且每一分枝下游各節(jié)的概率之和應(yīng)該為1(如圖2)。圖2詳細(xì)地介紹了Markov模進(jìn)行藥物評(píng)價(jià)中的分析過程口?！俊dverw—tjueompleteItaapyTrillDweTrillDweS2MaMS2MaM7|/Markov模型在藥物評(píng)價(jià)中的應(yīng)用3.1在藥物臨床實(shí)驗(yàn)數(shù)據(jù)分析中的應(yīng)用臨床實(shí)驗(yàn)數(shù)據(jù)的缺失往往會(huì)影響實(shí)驗(yàn)結(jié)果，選擇合適的臨床實(shí)驗(yàn)數(shù)據(jù)分析方法能夠減少潛在的評(píng)價(jià)誤差。國(guó)外一篇文獻(xiàn)口3］就臨床III期實(shí)驗(yàn)關(guān)于肺癌的治療進(jìn)行了研究，一種是放射治療法和化學(xué)療法合并治療，一種是只采用放射治療法。實(shí)驗(yàn)過程中有數(shù)據(jù)的缺失，研究者采用了馬科爾夫分析方法、線性增長(zhǎng)等分析方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，減少了由于數(shù)據(jù)丟失造成的誤差，經(jīng)分析后得出結(jié)論病人接受合并治療方法要比接受放射治療法的病人情況個(gè)等分析方法所得結(jié)論和實(shí)際結(jié)果相比，會(huì)有很大偏差。研究人員口們用Markov模型對(duì)兩組臨床實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，一組病人用藥物釋放支架(DES)治療有缺血性的慢性冠狀動(dòng)脈疾病的病人，一組病人用一般性金屬支架（BMS）治療，得出的結(jié)論是BMS比DES的成本效果要好。3.2藥物臨床試驗(yàn)的外推，從而來評(píng)價(jià)臨床治療方案一些新療法經(jīng)臨床試驗(yàn)證明安全有效，推廣到人群中應(yīng)用產(chǎn)生的經(jīng)濟(jì)效果如何，這就需要我們借助一定模型對(duì)該項(xiàng)治療方法的遠(yuǎn)期成本效果進(jìn)行預(yù)測(cè)。對(duì)乳腺癌的治療方法，臨床上一般采取兩種治療方案，用多柔比星 /環(huán)磷酰胺治療四個(gè)療程，這種方案簡(jiǎn)稱AC簡(jiǎn)稱；另一種是用多西化賽/環(huán)磷酰胺治療四個(gè)療程，這種方案簡(jiǎn)稱TC。PengliubaE5】等人對(duì)這兩種治療方案用Markov模型進(jìn)行了壽命成本效果分析，關(guān)于乳腺癌的這些治療數(shù)據(jù)是從中南大學(xué)第二湘雅醫(yī)學(xué)院搜集來的，所有費(fèi)用和結(jié)果的貼現(xiàn)率是每年3%。經(jīng)研究發(fā)現(xiàn)病人接受TC治療的可以獲得14.45QALYs（質(zhì)量生命調(diào)整年），要比AC多獲得0.41個(gè)QALYs,獲得這些QALYs,接受TC的人要花費(fèi)93511元，要比AC的多花費(fèi)10116元。TC的增量成本效果比是26742元/QALY，AC的增量成本效果比是24305元/QALY。由此可看出TC是比AC比較經(jīng)濟(jì)有效的治療方案。病人可以根據(jù)所獲得結(jié)果選擇合理的藥物治療方案。易華云等口6】利用Markov模型對(duì)良性前列腺增生癥的藥物治療（哈樂和保列治）進(jìn)行藥物經(jīng)濟(jì)學(xué)評(píng)價(jià)，經(jīng)研究發(fā)現(xiàn)Markov模型模擬顯示Markov模型循環(huán)60周后Markov模型循環(huán)60個(gè)周期后隊(duì)列死亡率為100%。哈樂治療的累積成本和效果分別為15960.4元和4.47個(gè)質(zhì)量調(diào)整壽命年；保列治療的累積成本和效果分別為23620.2元和4.25個(gè)質(zhì)量調(diào)整壽命年。Markov模型MonteCarlo模擬法模擬1次顯示哈樂治療和保列治療的成本效果比分別為3568yuan/QALY和5556yuan/QALYo.在藥物治療方案中，哈樂治療的成本效果比比保列治治療的成本效果比小，哈樂治療的凈貨幣效益和凈健康效益比保列治高。因此在病情較輕選擇藥物治療時(shí)，哈樂治療優(yōu)于保列治治療。3.3通過Markov模型對(duì)藥物進(jìn)行經(jīng)濟(jì)評(píng)價(jià)，以預(yù)測(cè)結(jié)果為基礎(chǔ)做藥物預(yù)算安排近年來Markov模型廣泛應(yīng)用于藥物預(yù)算安排中，衛(wèi)生保健管理人員通常根據(jù)藥物使用情況和資源分配來做一些預(yù)算安排。對(duì)不同形式的藥物治療進(jìn)行經(jīng)濟(jì)評(píng)價(jià)可以預(yù)先估算一些因素，有助于衛(wèi)生保健機(jī)構(gòu)做一些預(yù)算安排。如果我們?cè)卺t(yī)藥費(fèi)用上的干預(yù)措施采取得得當(dāng)，這將有助于協(xié)調(diào)人們對(duì)健康的需求和經(jīng)濟(jì)資源的合理分配。精神分裂癥是一種慢性疾病，它對(duì)人們的生活質(zhì)量有著重要影響。這種疾病和長(zhǎng)期治療需要的高額費(fèi)用，衛(wèi)生保健機(jī)構(gòu)提高的特殊服務(wù)有關(guān)系。在藥理學(xué)治療費(fèi)用方面，第二代抗精神病藥在治療精神分裂癥方面引起了人們的爭(zhēng)議。和第一代同類抗精神病藥相比，第二代藥物有著極好的臨床效果。但是第二代藥物費(fèi)用很高，評(píng)價(jià)臨床療效和額外的費(fèi)用是否相符合是非常重要的。在巴西南部，在2001年1月到2006年10月之間，大約4258名病人使用第二代抗精神病藥，共花費(fèi)709019.46美元。在2004年，奧氮平需求量位居第三，就花費(fèi)而言位居第二在2004年藥物分配提供的59種藥物中。雖然這類藥物花費(fèi)很高，關(guān)于藥物療效的信息仍然難以獲得，藥物費(fèi)用方面的研究甚少。Leandro[17]等人采用馬爾科夫模型，通過成本效益分析途徑，對(duì)氟哌啶醇（第一代抗精神病藥藥），利培酮和奧氮平（第二代抗精神病藥）在這五年當(dāng)中的使用進(jìn)行了藥物經(jīng)濟(jì)學(xué)研究。病人使用氟哌啶醇時(shí)，在五年當(dāng)中，獲得4.1647個(gè)QALY,花費(fèi)3935.15美元，病人使用利培酮時(shí)，在五年當(dāng)中，獲得4.2126個(gè)QALY,花費(fèi)5964.37美元。病人剛開始使用奧氮平和利培酮有一定差別，但是使用奧氮平要花費(fèi)10423.12美元。和氟哌啶醇相比，病人使用利培酮時(shí)，每獲得一個(gè) QALY，需要花費(fèi)39890.33美元。奧氮平的價(jià)格明顯高于利培酮。從經(jīng)濟(jì)角度來看，奧氮平獲得一個(gè)QALY，所需費(fèi)用很高。奧氮平的使用是治療費(fèi)用高的主要因素。病人使用奧氮平的時(shí)間越長(zhǎng)，所需費(fèi)用就越高。雖然第二代抗精神病藥的費(fèi)用很高，但是研究表明它們的療效比第一代好，并且可以較少住院率。得出的實(shí)驗(yàn)結(jié)果有助與決策者進(jìn)行決策分析。小結(jié)國(guó)內(nèi)有關(guān)Markov模型在藥物評(píng)價(jià)領(lǐng)域的報(bào)道不是很多，從上面的例子中可以看出Markov模型開始應(yīng)用于藥物評(píng)價(jià)中，結(jié)合已有的科研結(jié)果進(jìn)行這方面研究可為臨床決策提供重要的信息，這將有助于協(xié)調(diào)人們對(duì)健康的需求和經(jīng)濟(jì)資源的合理分配。從人類健康角度看，Markov模型在藥物評(píng)價(jià)的應(yīng)用研究中有著廣泛前景。參考文獻(xiàn)ChiangCLIntroductiontostochasticprocessinbiostatistics[M].NewYork:Wiley.1968.LevingtonA.SchulmanJ.KammermanLAprobabilitymodelofheadacherecurrence[J].JChronicDis,1980,53:407-412.HillisA,MaguireM,HawkinsMS.TheMarkovprocessasageneralmethodfornonparametricanalysisofright-censoredmedicaldata[J].1986,39(8):595-604.SilversteinMS.AlbertDA.HadlerNMPrognosisinSLE:ComparisonofMarkovmodeltolifetableanalysis[J].JClinEpidemiol,1988,41:623-633.KayR.AMarkovmodelforanalyzingcancermarkersanddiseasestatesinsurvivalstudies[J].Biometrics,1986,42:855-865.LonginiIM,ClarkWS,ByersRH.StatisticalanalysisofthestagesorHIVinfectionusingaMarkovmodel[J].StatMed,1989(8):831-843.柳青，方積乾，胡孟玻，等.鼻咽癌疾病自然史的隨機(jī)模型研究[J].1997,14(4):12-15.萬(wàn)崇華，方積乾，周文清，等.縱向生命質(zhì)量資料分析的Markov過程法及其應(yīng)用[J].中華流行病學(xué)雜志，1999,20(3):162-165.林曦敏，丁町，張普洪，等干擾素治療慢性乙型肝炎患者的成本效果分析[J].中華肝臟病雜志，1999,7(2):84-87.易華云劉愛忠，張琰.Markov模型在衛(wèi)生領(lǐng)域中應(yīng)用簡(jiǎn)介[J].詢證醫(yī)學(xué),2008,8(3):173-176.安小妹，凌莉.Markov模型在生命統(tǒng)計(jì)中的進(jìn)展[J].中國(guó)衛(wèi)生統(tǒng)計(jì)，2007,24(4):436-439.王倩，邊文.應(yīng)用模型進(jìn)行臨床決策分析[M].《國(guó)外醫(yī)學(xué)》衛(wèi)生經(jīng)濟(jì)分冊(cè)，2000,17(2):87-90.NinaGunnes,TaralGSeierstad,SteinarAamda.Assessingqualityoflifeinarandomizedclinicaltrial:Correctingformissingdata[J].BMCMedicalResearchMe