版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
醫(yī)學文獻的系統(tǒng)評價與Meta分析
SystematicReviewandMeta-analysis
醫(yī)學文獻的系統(tǒng)評價與Meta分析
Systemat問題的提出對上述結果,是不是難以判斷并選擇?問題的提出對上述結果,有沒有一套規(guī)范、科學的方法全面收集、認真選擇、嚴格評價和科學分析相關研究資料,得出綜合可靠的結論?目前有,且發(fā)展中…Meta分析系統(tǒng)評價有沒有一套規(guī)范、科學的方法全面收集、認真選擇、嚴格評價和科學什么是系統(tǒng)評價?
系統(tǒng)評價是一全新的文獻綜合評價臨床研究方法,其基本過程是以某一具體臨床問題為基礎,系統(tǒng)、全面地收集全世界所有已發(fā)表或未發(fā)表的臨床研究結果,采用臨床流行病學嚴格評價文獻的原則和方法,篩選出符合質量標準的文獻,進行定性或定量合成,去粗取精,去偽存真,得出綜合可靠的結論。同時,隨著新的臨床研究結果的出現進行及時的更新。Meta分析什么是系統(tǒng)評價?系統(tǒng)評價是一全新的文獻綜合評價什么是Meta分析?Meta分析的前身源于1920年Fisher提出的“合并P值”的思想,1955年由Beecher首次提出初步概念。1976年心理學家Glass進一步按照其思想發(fā)展為“合并統(tǒng)計量”,即將合并統(tǒng)計量對文獻進行綜合分析研究的這類方法稱之為Meta分析。20世紀80年代中期開始,Meta分析逐步被引入到臨床隨機對照試驗以及觀察性的流行病學研究中。什么是Meta分析?Meta分析的前身源于1920年FisAsystematicreviewthatusesquantitativemethodstosummarizetheresult.運用定量的方法匯總多個研究結果的系統(tǒng)評價方法。---《Evidence-basedMdicine》2000Metaanalysisisstatisticaltechniqueforassemblingtheresultsofseveralstudiesinareviewintoasinglenumericalestimate.Meta分析是將系統(tǒng)評價中的多個不同結果的同類研究合并為一個量化指標的統(tǒng)計學方法。---《TheCochraneLibrary》Asystematicreviewthatuses循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件
可信區(qū)間(confidenceintervel,CI)按預先給定的概率(1-a,常取95%或99%)去估計未知總體參數的可能范圍。
可信區(qū)間的計算主要與標準誤有關,標準誤愈小,抽樣誤差愈小,可信區(qū)間的范圍就窄,用樣本指標估計總體參數的可靠性就愈好;可信區(qū)間可信區(qū)間(confidenceinterve
可信區(qū)間主要用于估計總體參數,從獲取的樣本數據估計某個指標的總體值,如均數的可信區(qū)間可用來估計總體均數,率的可信區(qū)間可用來估計總體率。還可以用于假設檢驗。尤其是試驗組與對照組某指標的差值或比值的可信區(qū)間,在循證醫(yī)學中更為常用。通常試驗組與對照組某指標的差值或比值的95%可信區(qū)間與a為0.05的假設檢驗等價,99%可信區(qū)間與a為0.01的假設檢驗等價。可信區(qū)間主要用于估計總體參數,從獲取的樣本數據分類資料的指標1.EER與CER在循證醫(yī)學預防和治療性試驗中,率可細分為EER與CER兩類。
EER(experimentialeventrate)—試驗組中某事件的發(fā)生率,如對某疾病采取某些治療措施后該疾病的發(fā)生率。例如:某醫(yī)師研究了阿司匹林治療心肌梗死的效果EER=a/n1=15/125=12%分類資料的指標1.EER與CER在循證醫(yī)學預防和治療性分類資料的指標
CER(controleventrate)—對照組中某事件的發(fā)生率,如對某疾病不采取某些治療措施的發(fā)生率。例如:某醫(yī)師研究了阿司匹林治療心肌梗死的效果CER=c/n2=30/120=25%
當n足夠大,如n>100,且樣本率p與1-p均不太小,且np與n(1-p)均大于5時,可用下式求總體率的1-a可信區(qū)間率的可信區(qū)間:p±uaSE
率的標準誤:SE=√p(1-p)/n分類資料的指標CER(controleve分類資料的指標2.率差(RD)及可信區(qū)間
在疾病的病因、治療及預后試驗中,常用發(fā)生率來表示某事件的發(fā)生強度,兩個發(fā)生率的差即為率差,也稱危險度差(ratedifference,riskdifference,RD),其大小可反映試驗效應的大小,其可信區(qū)間可用于推斷兩個率有無差別。兩率差的可信區(qū)間由下式計算:兩率差的可信區(qū)間:(p1-p2)±uaSE兩率差的標準誤:SE(p1-p2)
=√p1(1-p1)/n1+p2(1-p2)/n2分類資料的指標2.率差(RD)及可信區(qū)間在分類資料的指標兩率差為0時,兩組的某事件發(fā)生率沒有差別,而兩個率差的可信區(qū)間不包含0(上下限均大于0或上下限均小于0),則兩個率有差別。
反之,兩個率差的可信區(qū)間包含0,則無統(tǒng)計學意義。2.率差(RD)及可信區(qū)間分類資料的指標兩率差為0時,兩組的某事件發(fā)生率沒有差別,而兩
前述阿司匹林治療心肌梗死的效果
CER=25%,EER=12%SE(p1-p2)=0.049(p1-p2)±uaSE=(-0.23,-0.03)該例兩率差的可信區(qū)間為(-0.23,-0.03),上下限均小于0(不包含0),兩率有差別。阿司匹林治療心肌梗死的病死率EER=12%,對照組的病死率CER=25%。
結論:阿司匹林可降低心肌梗死的病死率。分類資料的指標2.率差(RD)及可信區(qū)間前述阿司匹林治療心肌梗死的效果分類資料的指標2分類資料的指標3.相對危險度(RR)及可信區(qū)間
是前瞻性研究中較常用的指標,它是暴露組的發(fā)病率(或危險度)p1與非暴露組(或低暴露組)發(fā)病率(或危險度)p0之比。
用于說明前者是后者的多少倍,常用來表示暴露與疾病聯(lián)系的強度及其在病因學上的意義大小。分類資料的指標3.相對危險度(RR)及可信區(qū)間分類資料的指標RR計算的四格表試驗組的發(fā)生率:p1=
a/(a+b)=r1/n1=EER對照組的發(fā)生率:p0=
c/(c+d)=r2/n2=CER
RR=p1
/p0=EER/CER分類資料的指標RR計算的四格表試驗組的發(fā)生率:p1=a/分類資料的指標若p1和p0是死亡率、病死率、患病率等不利結局指標時:RR≠1表示試驗因素對疾病有影響。當RR>1時,表示試驗因素是疾病的有害因素,且RR越大,試驗因素對疾病的不利影響越大;當RR<1時,試驗因素是疾病的有益因素,且RR越小,試驗因素對疾病的有益作用就越大;RR=1時,表示試驗因素與疾病無關;分類資料的指標若p1和p0是死亡率、病死率、患病率等不利結局分類資料的指標若p1和p0是有效率、治愈率等有利結局指標時:RR≠1表示試驗因素對疾病有影響。當RR>1時,表示試驗因素是疾病的有益因素,且RR越大,試驗因素對疾病的有益作用就越大;當RR<1時,表示試驗因素是疾病的有害因素,且RR越小,試驗因素對疾病的有害作用越大;RR=1時,表示試驗因素與疾病無關;分類資料的指標若p1和p0是有效率、治愈率等有利結局指標時:分類資料的指標RR的可信區(qū)間,應采用自然對數進行計算,即應求RR的自然對數值㏑(RR)和㏑(RR)的標準誤SE㏑(RR),其計算公式如下:
SE(㏑RR)=√1/a+1/b-1/(a+b)-1/(c+d)
=√1/r1+1/r2
-1/n1
-1/n2
㏑(RR)的1-a可信區(qū)間為:
㏑(RR)±uaSE㏑(RR)
RR的可信區(qū)間為:
exp[㏑(RR)±uaSE㏑(RR)]分類資料的指標RR的可信區(qū)間,應采用自然對數進行計算,即應求分類資料的指標前述阿司匹林治療心肌梗死的效果阿司匹林治療組病死率p1=15/125對照組病死率p0=30/120其RR和可信區(qū)間為:RR=p1/p0=0.48,㏑(RR)=㏑(0.48)=-0.734SE(㏑RR)=√1/r1+1/r2
-1/n1
-1/n2
=√1/15+1/30-1/125-1/120=0.289㏑RR的95%可信區(qū)間為:㏑(RR)±1.96SE㏑(RR)
=-0.734±1.96×0.289=(-1.301,-0.167)
RR的95%可信區(qū)間為:
exp[㏑(RR)±1.96SE㏑(RR)]=exp(-1.301,-0.167)=(0.272,0.846)
該例RR的95%可信區(qū)間為:(0.272,0.846),該區(qū)間小于1,可以認為阿司匹林可降低心肌梗死的發(fā)生率。分類資料的指標前述阿司匹林治療心肌梗死的效果分類資料的指標4.OR及可信區(qū)間Odds1是病例組暴露率p1和非暴露率1-p1的比值,
即Odds1=p1
/(1-p1
)=
Odds0是對照組暴露率p0和非暴露率1-p0的比值,
即Odds0=p0
/(1-p0)=
而這兩個比值之比即為比值比(oddsratio,OR),又稱機會比、優(yōu)勢比等。b/(a+b)a/(a+b)c/(c+d)d/(c+d)分類資料的指標4.OR及可信區(qū)間Odds1是病例組暴露率分類資料的指標OR計算的四格表4.OR及可信區(qū)間OR=Odds1/Odds0==ad/bcp1
/(1-p1
)p0
/(1-p0
)分類資料的指標OR計算的四格表4.OR及可信區(qū)間OR=O分類資料的指標當所研究疾病的發(fā)病率較低時,即a和c均比較小時,OR近似于RR,故在回顧性研究中可用OR估計RR,且可以配合logistic回歸數學模型進行分析。由于前瞻性研究中,RR的可信區(qū)間與OR的可信區(qū)間很相近,且后者計算簡便,因而臨床醫(yī)學可用OR的可信區(qū)間計算法代替RR的可信區(qū)間的計算。
OR值的解釋與RR值相同。4.OR及可信區(qū)間分類資料的指標當所研究疾病的發(fā)病率較低時,即a和c均比較小時分類資料的指標4.OR及可信區(qū)間
OR值的可信區(qū)間,同樣采用自然對數進行計算,即應求OR的自然對數值㏑(OR)和㏑(OR)的標準誤SE㏑(OR),其計算公式如下:
SE(㏑OR)=√1/a+1/b+1/c+1/d
㏑(OR)的1-a可信區(qū)間為:
㏑(OR)±uaSE㏑(OR)
OR的可信區(qū)間為:
exp[㏑(OR)±uaSE㏑(OR)]分類資料的指標4.OR及可信區(qū)間OR值的可分類資料的指標4.OR及可信區(qū)間前述阿司匹林治療心肌梗死的效果:其OR和可信區(qū)間為:
OR=ad/bc=15×90/30×110=0.409㏑OR=㏑(0.409)=-0.894SE(㏑OR)=√1/30+1/90+1/15+1/110=0.347㏑OR的95%可信區(qū)間為:㏑(OR)±1.96SE㏑(OR)
=-0.894±1.96×0.347=(-1.574,-0.214)
OR的95%可信區(qū)間為:
exp㏑(OR)±1.96SE㏑(OR)
=exp(-1.574,-0.214)=(0.207,0.807)
該例OR的95%可信區(qū)間為:(0.207,0.807),該區(qū)間小于1,可以認為阿司匹林可降低心肌梗死。分類資料的指標4.OR及可信區(qū)間前述阿司匹林治療心肌梗死的數值資料的指標
き.描述數值變量資料的基本特征有兩類指標:
1.集中趨勢的指標,反映一組數據的平均水平;
2.離散程度的指標,反映一組數據的變異大小;き.兩類指標聯(lián)合應用才能全面描述一組數值變量資料的基本特征數值資料的指標き.描述數值變量資料的基本特征有兩類指標:數值資料的指標∮.加權均數差(weightedmeandifference,WMD)
Var(d)=
×∮.
該指標以試驗原有的測量單位,真實地反映了試驗效應,消除了絕對值大小對結果的影響,在實際應用時,該指標容易被理解和解釋。(n1-1)S12+(n2-1)S22n1
+n2-1n1n2
n1
+n2數值資料的指標∮.加權均數差(weightedmeand數值資料的指標す.標準化均數差(standardisedmeandifference,SMD)
Sc=√
d=[(X1-
X2)/Sc]×[1-3/(4N-9)]Var(d)=N/n1n2+[d2/2(N-3.94)]す.SMD可以簡單的理解為兩均數差值再除以合并標準差的商,它不僅消除了某研究值的絕對大小的影響,還消除了測量單位對結果的影響。該指標尤其適合于單位不同或均數相差較大的數值資料分析。す.它是一個沒單位的值,對其分析結果解釋要謹慎。數值資料的指標す.標準化均數差讓我們來看看系統(tǒng)評價的過程和內容讓我們來看看系統(tǒng)評價的方法和步驟擬定研究計劃收集資料根據入選標準選擇合格的研究復習每個研究并進行質量評估提取信息,填寫過錄表,建立數據庫計算各獨立研究的效應大小異質性檢驗敏感性分析總結報告系統(tǒng)評價的方法和步驟擬定研究計劃
明確研究目的提出檢驗假設注意特殊的亞組確定和選擇研究的方法和標準提取和分析資料的方法和標準一、擬定研究計劃中華醫(yī)生網收集編目/明確研究目的一、擬定研究計劃中華醫(yī)生網收集編目http:/
原則多途徑、多渠道、最大限度途徑利用多途徑廣泛收集資料多種電子資源數據庫
參考文獻的追溯
注意未正式發(fā)表“灰色文獻”(greyliterature)——這些文獻中可能包含陰性研究結果會議專題論文
未發(fā)表的學位論文二、收集資料
專著內的章節(jié)
制藥工業(yè)的報告
臨床試驗注冊登記系統(tǒng)
手工檢索原則多途徑、多渠道、最大限度二、收集資料專著內的章檢索大量的文獻根據入選和排除標準進行仔細的篩選挑出合格的研究進行系統(tǒng)綜述和Meta分析三、根據入選標準選擇合格的研究檢索大量的文獻三、根據入選標準選擇合格的研究循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件
方法學質量研究設計和實施過程中避免或減小偏倚的程度精確度(隨機誤差的程度)一般用可信限的寬度來表示外部真實性研究結果外推的程度四、復習每個研究并進行質量評估四、復習每個研究并進行質量評估
隨機對照試驗(RCT)的方法學質量考察:
受試者分組是否真正隨機隨機方案是否隱藏是否詳細說明入選標準組間基線是否可比研究過程中是否使用了盲法對失訪、退出及不良反應病例是否進行了詳細錄,是否報告失訪原因是否采用意向分析法(intention-to-treat,ITT)分析結果患者的依從性(compliance)如何例如隨機對照試驗(RCT)的方法學質量考察:例如按事先制定的資料摘錄表內容提取相應變量并填表用meta分析軟件ReviewManager或SPSS、SAS、EXCEL等建立數據庫注意對計量資料必須注明單位比較的兩組有均數和標準差;計數資料要使用相同的率來表示雙重錄入五、提取信息,填寫過錄表,建立數據庫中華醫(yī)生網收集編目/按事先制定的資料摘錄表內容提取相應變量并填表五、提取信息,填提取的主要內容:一般資料(試驗名稱、作者、出處等)質量資料(隨機、盲法、隨訪等)基線資料(年齡、性別、嚴重度、病程等)干預措施資料(治療方法、劑量、療程,對照措施等)結局資料(死亡、殘廢、事件數等)提取的主要內容:統(tǒng)計量的選擇(效應量/效應指標的選擇)統(tǒng)計量的選擇
常用的統(tǒng)計量(效應量)及其概率分布常用的統(tǒng)計量(效應量)及其概率分布通常兩組間比較時連續(xù)變量均數差值(Mean
Difference,MD)
率差(rate/riskdifference)二分變量比值比(OR)相對危險度(RR)六、計算各獨立研究的效應大小中華醫(yī)生網收集編目/通常兩組間比較時六、計算各獨立研究的效應大小中華醫(yī)生網收集編模型的選擇模型的選擇Meta分析中的倒方差方法舉例介紹
Meta分析中的倒方差方法舉例介紹循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件EventNoEventTotalInterventionaibin1iControlcidin2iInterventionaibin1iControlcidi(SirRichard)PetoMethodverysimilartoMantel-Haenszelmethod(same2x2requirement)對于2X2表格數據,結果類似。computationallysomewhatsimpler,especiallytocalculatetheconfidenceinterval計算簡單,特別是計算可信區(qū)間。mayprovidebiasedresultsundersomecircumstancesinwhichMantel-Haenszelwouldnot在某些情況下,可能產生有偏倚的結果。BestappliedtoRCT’sandnotobservationalstudies
最好用于RCT和非觀察性研究。Peto’smethodcanonlybeusedtopooloddsratios.
僅僅用于合并OR值。(SirRichard)PetoMethodvery循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件Meta分析的目標
weightedaverage(加權后的平均值)加權平均效應的可信區(qū)間Meta分析的目標weightedaverage(加權后Meta分析的核心:
--------howtoWeight(加權)?Theweightsarechosentoreflecttheamountofinformationthateachtrialcontains.Givemoreweighttothemoreinformativestudies.Weightby:
將較多的權重分配給能使我們獲得較多信息的研究Size(samplesize(n))樣本大小---較多的研究對象Eventrate事件率---較多的臨床事件Homogeneity(inverseofthevariance)
同質性---較低的變異Quality研究質量Otherfactors…其他因素Meta分析的核心:
-----重要性Meta分析重要的環(huán)節(jié)目的檢查各個獨立研究的結果是否具有可合并性
產生異質性的原因
研究設計不同試驗條件不同試驗所定義的暴露、結局及其測量方法不同協(xié)變量的存在注意資料的“可合并性”七、異質性檢驗(heterogeneity)蘋果能和桔子合并么?重要性Meta分析重要的環(huán)節(jié)七、異質性檢驗(he統(tǒng)計學異質性(Statisticalheterogeneity)不同研究間療效之間的變異超過了隨機誤差本身所致的變異?;跀祿嬎愕慕Y果用Chi-square(x2)檢驗Wi為第i個研究的權重;Ti為第i個研究的效應量;為所有納入研究的平均效應量。根據P值進行判斷統(tǒng)計學異質性(Statisticalheterogenei異質性分析P>0.10肯定沒有異質性P<0.05肯定有異質性0.10>P>0.05邊緣值2分析,P值為定性分析,只能說有無異質性,不能說異質性大小。異質性分析P>0.10肯定沒有異質性I2:異質性的定量分析Qisthechi-squaredstatistic(卡方統(tǒng)計量)dfisthedegreesoffreedom(自由度)I2值從0%至100%,0%時無異質性,I2值越大,異質性越大;I2描述了去除抽樣誤差(機遇)后的異質性。I2:異質性的定量分析一般說來,用I2=25%,或50%,或75%將異質性劃分為低,中,高;但不宜機械應用;I2大于50%可認為有實質性的異質性。Howmuchistoomuchheterogeneity?一般說來,用I2=25%,或50%,或75%將異質性劃分為低異質性的處理忽略異質性檢驗異質性合并解釋固定效應模型有異質性不合并隨機效應模型亞組分析Meta回歸Meta分析中異質性資料處理的方法異質性忽略檢驗合并解釋固定效應有異質性隨機效應亞組分析Met檢查一定假設條件下結果穩(wěn)定性的方法目的發(fā)現影響meta分析研究結果的主要因素解決不同研究結果的矛盾性發(fā)現產生不同結論的原因分層分析按不同研究特征,將各獨立研究分為不同組按Mental-Haenszel法進行合并分析比較各組及其與合并效應間有無顯著性差異八、敏感性分析檢查一定假設條件下結果穩(wěn)定性的方法八、敏感性分析
可以用直觀的圖示方法表示
九、總結報告研究結果(線寬表示其95%CI)研究結果點估計值,其大小代表該研究在Meta分析中的權重無效應線各個研究合并后的效應估計))可以用直觀的圖示方法表示九、總結報告研究結果循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件
觀察性研究的Meta分析(Meta-analysisofObservationalStudiesinEpidemiology,MOOSE)隨機對照試驗的Meta分析報告質量(thequalityofreportingofMeta-analysesofrandomizedcontrolledtrials,QUOROM)進行總結報告
觀察性研究的Meta分析進行總結報告標題二級標題評價依據題目能鑒定出是否為隨機對照試驗(RCT)的Meta分析或系統(tǒng)評價摘要用結構式摘要目的明確描述了臨床問題資料來源列出了資料庫和其他信息來源評價方法描述了選擇標準(即對象、干預、結局和研究設計);詳細描述了真實性評價的方法、資料提取、研究特征資料定量綜合并足以允許重復結果納入與排除的RCT的特征描述,定性、定量的結果(例如點估計值及可信區(qū)間)及亞組分析結論對主要結果加以描述引言明確地描述了臨床問題,干預的生物學合理性和評價的理由方法檢索詳細介紹信息來源(如資料庫、注冊庫、個人檔案、專家信息、機構、手工檢索),對檢索的限制(年代、發(fā)表狀態(tài)、發(fā)表語言等)選擇有納入、排除標準(定義了對象、干預、主要結局和研究設計)真實性評價有評價標準和評價過程(例如設盲的情況、質量評價方法及評價結果)資料提取提取過程和方法(例如獨立完成、或復式進行)研究特征描述了研究設計的類型、對象特征、干預方案、結局定義、研究來源、臨床異質性評估資料定量綜合主要效應測量指標(例如相對危險度),合并結果的方法(統(tǒng)計學檢驗與可信區(qū)間),缺失資料的處理、統(tǒng)計學異質性評價,敏感性分析和亞組分析,發(fā)表偏倚的評估結果試驗流程圖提供Meta分析流程性的概括圖示研究特征 描述每一試驗的特征(例如年齡、樣本量、干預、劑量、療程、隨訪期限)資料定量綜合 報告入選的研究的有效性評價,給出各試驗的每一處理組主要結局的簡單概括性結果,提供按意向性分析(ITT)原則計算效應大小和可信區(qū)間所需要的數據(例如四格表資料、均數和標準差、比例數)討論對關鍵性結果進行概括,根據內外部真實性討論臨床相關性,根據得到的證據總和討論結果,描述潛在的偏倚(例如發(fā)表偏倚),提出將來研究的線索隨機對照試驗Meta分析報告QUOROM聲明18項評價標準標題二級標題評價依據題目能鑒定出是否為隨機對照試驗(RCT)偏倚及其檢查
偏倚的種類偏倚的檢查中華醫(yī)生網收集編目/偏倚及其檢查偏倚的種類中華醫(yī)生網收集編目http://ww發(fā)表偏倚(publicationbias)定位偏倚(locationbiases)引用偏倚(citationbias)多次發(fā)表偏倚(multiplepublicationbias)有偏倚的入選標準(biasedinclusioncriteria)一、偏倚的種類發(fā)表偏倚(publicationbias)一、偏倚的種類定義具有統(tǒng)計學顯著性意義的研究結果較無顯著性意義和無效的結果被報告和發(fā)表的可能性更大。產生原因醫(yī)學文獻中發(fā)表偏倚的問題相當嚴重如果meta分析只是基于已經發(fā)表的研究結果,可能會夸大療效,甚至得到一個虛假的療效(一)發(fā)表偏倚定義(一)發(fā)表偏倚
解決辦法好的meta分析應包括所有與課題有關的可獲得的資料,但應盡最大可能收集未發(fā)表的研究先行將所有的RCT進行登記,通過這一系統(tǒng)隨訪并獲得所有研究的結果是解決發(fā)表偏倚的根本途徑應用統(tǒng)計學方法,計算拒絕結論所需的未發(fā)表研究數量的大小,評估發(fā)表偏倚對研究結果的影響解決辦法Meta分析檢查上述偏倚的最佳途徑
先根據一個基本的入選標準收集全部的研究再考慮不同的入選標準進行徹底的敏感性分析檢查偏倚的程度漏斗圖分析(funnelplots)計算失安全數(fail-safenumber,Nfs)二、偏倚的檢查Meta分析檢查上述偏倚的最佳途徑二、偏倚的檢查漏斗圖
相對于樣本量的效應值,是以研究的效應估計值作為橫坐標,樣本量作為縱坐標畫出的散點圖漏斗圖分析
1.根據圖形的不對稱程度判斷Meta分析中偏倚有無
2.基于治療效應的精確度隨樣本量增大而增加這一事實(一)漏斗圖分析漏斗圖相對于樣本量的效應值,是以研究的效應估計值作為橫坐針灸治療中風的49個試驗的漏斗圖分析
(TangTL,1999)如果Meta分析中沒有偏倚,圖形構成一個對稱的倒置“漏斗”;如果圖形呈現明顯的不對稱,表明偏倚可能存在(見右圖)樣本量小的研究結果通常分散在圖形底部很寬的范圍內樣本量大的研究結果集中在圖形上部一個較窄的范圍內針灸治療中風的49個試驗的漏斗圖分析
(TangTL,循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件定義Meta分析中計算需多少陰性研究結果的報告才能使結論逆轉用途估計發(fā)表偏移的程度P為0.05和0.01時計算公式如下
(二)失安全數意義失安全數,說明Meta分析的結果越穩(wěn)定,結論被研究個數各個獨立研究的Z值推翻的可能性定義Meta分析中計算需多少陰性研究結果的報告才(二)
醫(yī)學文獻的系統(tǒng)評價與Meta分析
SystematicReviewandMeta-analysis
醫(yī)學文獻的系統(tǒng)評價與Meta分析
Systemat問題的提出對上述結果,是不是難以判斷并選擇?問題的提出對上述結果,有沒有一套規(guī)范、科學的方法全面收集、認真選擇、嚴格評價和科學分析相關研究資料,得出綜合可靠的結論?目前有,且發(fā)展中…Meta分析系統(tǒng)評價有沒有一套規(guī)范、科學的方法全面收集、認真選擇、嚴格評價和科學什么是系統(tǒng)評價?
系統(tǒng)評價是一全新的文獻綜合評價臨床研究方法,其基本過程是以某一具體臨床問題為基礎,系統(tǒng)、全面地收集全世界所有已發(fā)表或未發(fā)表的臨床研究結果,采用臨床流行病學嚴格評價文獻的原則和方法,篩選出符合質量標準的文獻,進行定性或定量合成,去粗取精,去偽存真,得出綜合可靠的結論。同時,隨著新的臨床研究結果的出現進行及時的更新。Meta分析什么是系統(tǒng)評價?系統(tǒng)評價是一全新的文獻綜合評價什么是Meta分析?Meta分析的前身源于1920年Fisher提出的“合并P值”的思想,1955年由Beecher首次提出初步概念。1976年心理學家Glass進一步按照其思想發(fā)展為“合并統(tǒng)計量”,即將合并統(tǒng)計量對文獻進行綜合分析研究的這類方法稱之為Meta分析。20世紀80年代中期開始,Meta分析逐步被引入到臨床隨機對照試驗以及觀察性的流行病學研究中。什么是Meta分析?Meta分析的前身源于1920年FisAsystematicreviewthatusesquantitativemethodstosummarizetheresult.運用定量的方法匯總多個研究結果的系統(tǒng)評價方法。---《Evidence-basedMdicine》2000Metaanalysisisstatisticaltechniqueforassemblingtheresultsofseveralstudiesinareviewintoasinglenumericalestimate.Meta分析是將系統(tǒng)評價中的多個不同結果的同類研究合并為一個量化指標的統(tǒng)計學方法。---《TheCochraneLibrary》Asystematicreviewthatuses循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件
可信區(qū)間(confidenceintervel,CI)按預先給定的概率(1-a,常取95%或99%)去估計未知總體參數的可能范圍。
可信區(qū)間的計算主要與標準誤有關,標準誤愈小,抽樣誤差愈小,可信區(qū)間的范圍就窄,用樣本指標估計總體參數的可靠性就愈好;可信區(qū)間可信區(qū)間(confidenceinterve
可信區(qū)間主要用于估計總體參數,從獲取的樣本數據估計某個指標的總體值,如均數的可信區(qū)間可用來估計總體均數,率的可信區(qū)間可用來估計總體率。還可以用于假設檢驗。尤其是試驗組與對照組某指標的差值或比值的可信區(qū)間,在循證醫(yī)學中更為常用。通常試驗組與對照組某指標的差值或比值的95%可信區(qū)間與a為0.05的假設檢驗等價,99%可信區(qū)間與a為0.01的假設檢驗等價??尚艆^(qū)間主要用于估計總體參數,從獲取的樣本數據分類資料的指標1.EER與CER在循證醫(yī)學預防和治療性試驗中,率可細分為EER與CER兩類。
EER(experimentialeventrate)—試驗組中某事件的發(fā)生率,如對某疾病采取某些治療措施后該疾病的發(fā)生率。例如:某醫(yī)師研究了阿司匹林治療心肌梗死的效果EER=a/n1=15/125=12%分類資料的指標1.EER與CER在循證醫(yī)學預防和治療性分類資料的指標
CER(controleventrate)—對照組中某事件的發(fā)生率,如對某疾病不采取某些治療措施的發(fā)生率。例如:某醫(yī)師研究了阿司匹林治療心肌梗死的效果CER=c/n2=30/120=25%
當n足夠大,如n>100,且樣本率p與1-p均不太小,且np與n(1-p)均大于5時,可用下式求總體率的1-a可信區(qū)間率的可信區(qū)間:p±uaSE
率的標準誤:SE=√p(1-p)/n分類資料的指標CER(controleve分類資料的指標2.率差(RD)及可信區(qū)間
在疾病的病因、治療及預后試驗中,常用發(fā)生率來表示某事件的發(fā)生強度,兩個發(fā)生率的差即為率差,也稱危險度差(ratedifference,riskdifference,RD),其大小可反映試驗效應的大小,其可信區(qū)間可用于推斷兩個率有無差別。兩率差的可信區(qū)間由下式計算:兩率差的可信區(qū)間:(p1-p2)±uaSE兩率差的標準誤:SE(p1-p2)
=√p1(1-p1)/n1+p2(1-p2)/n2分類資料的指標2.率差(RD)及可信區(qū)間在分類資料的指標兩率差為0時,兩組的某事件發(fā)生率沒有差別,而兩個率差的可信區(qū)間不包含0(上下限均大于0或上下限均小于0),則兩個率有差別。
反之,兩個率差的可信區(qū)間包含0,則無統(tǒng)計學意義。2.率差(RD)及可信區(qū)間分類資料的指標兩率差為0時,兩組的某事件發(fā)生率沒有差別,而兩
前述阿司匹林治療心肌梗死的效果
CER=25%,EER=12%SE(p1-p2)=0.049(p1-p2)±uaSE=(-0.23,-0.03)該例兩率差的可信區(qū)間為(-0.23,-0.03),上下限均小于0(不包含0),兩率有差別。阿司匹林治療心肌梗死的病死率EER=12%,對照組的病死率CER=25%。
結論:阿司匹林可降低心肌梗死的病死率。分類資料的指標2.率差(RD)及可信區(qū)間前述阿司匹林治療心肌梗死的效果分類資料的指標2分類資料的指標3.相對危險度(RR)及可信區(qū)間
是前瞻性研究中較常用的指標,它是暴露組的發(fā)病率(或危險度)p1與非暴露組(或低暴露組)發(fā)病率(或危險度)p0之比。
用于說明前者是后者的多少倍,常用來表示暴露與疾病聯(lián)系的強度及其在病因學上的意義大小。分類資料的指標3.相對危險度(RR)及可信區(qū)間分類資料的指標RR計算的四格表試驗組的發(fā)生率:p1=
a/(a+b)=r1/n1=EER對照組的發(fā)生率:p0=
c/(c+d)=r2/n2=CER
RR=p1
/p0=EER/CER分類資料的指標RR計算的四格表試驗組的發(fā)生率:p1=a/分類資料的指標若p1和p0是死亡率、病死率、患病率等不利結局指標時:RR≠1表示試驗因素對疾病有影響。當RR>1時,表示試驗因素是疾病的有害因素,且RR越大,試驗因素對疾病的不利影響越大;當RR<1時,試驗因素是疾病的有益因素,且RR越小,試驗因素對疾病的有益作用就越大;RR=1時,表示試驗因素與疾病無關;分類資料的指標若p1和p0是死亡率、病死率、患病率等不利結局分類資料的指標若p1和p0是有效率、治愈率等有利結局指標時:RR≠1表示試驗因素對疾病有影響。當RR>1時,表示試驗因素是疾病的有益因素,且RR越大,試驗因素對疾病的有益作用就越大;當RR<1時,表示試驗因素是疾病的有害因素,且RR越小,試驗因素對疾病的有害作用越大;RR=1時,表示試驗因素與疾病無關;分類資料的指標若p1和p0是有效率、治愈率等有利結局指標時:分類資料的指標RR的可信區(qū)間,應采用自然對數進行計算,即應求RR的自然對數值㏑(RR)和㏑(RR)的標準誤SE㏑(RR),其計算公式如下:
SE(㏑RR)=√1/a+1/b-1/(a+b)-1/(c+d)
=√1/r1+1/r2
-1/n1
-1/n2
㏑(RR)的1-a可信區(qū)間為:
㏑(RR)±uaSE㏑(RR)
RR的可信區(qū)間為:
exp[㏑(RR)±uaSE㏑(RR)]分類資料的指標RR的可信區(qū)間,應采用自然對數進行計算,即應求分類資料的指標前述阿司匹林治療心肌梗死的效果阿司匹林治療組病死率p1=15/125對照組病死率p0=30/120其RR和可信區(qū)間為:RR=p1/p0=0.48,㏑(RR)=㏑(0.48)=-0.734SE(㏑RR)=√1/r1+1/r2
-1/n1
-1/n2
=√1/15+1/30-1/125-1/120=0.289㏑RR的95%可信區(qū)間為:㏑(RR)±1.96SE㏑(RR)
=-0.734±1.96×0.289=(-1.301,-0.167)
RR的95%可信區(qū)間為:
exp[㏑(RR)±1.96SE㏑(RR)]=exp(-1.301,-0.167)=(0.272,0.846)
該例RR的95%可信區(qū)間為:(0.272,0.846),該區(qū)間小于1,可以認為阿司匹林可降低心肌梗死的發(fā)生率。分類資料的指標前述阿司匹林治療心肌梗死的效果分類資料的指標4.OR及可信區(qū)間Odds1是病例組暴露率p1和非暴露率1-p1的比值,
即Odds1=p1
/(1-p1
)=
Odds0是對照組暴露率p0和非暴露率1-p0的比值,
即Odds0=p0
/(1-p0)=
而這兩個比值之比即為比值比(oddsratio,OR),又稱機會比、優(yōu)勢比等。b/(a+b)a/(a+b)c/(c+d)d/(c+d)分類資料的指標4.OR及可信區(qū)間Odds1是病例組暴露率分類資料的指標OR計算的四格表4.OR及可信區(qū)間OR=Odds1/Odds0==ad/bcp1
/(1-p1
)p0
/(1-p0
)分類資料的指標OR計算的四格表4.OR及可信區(qū)間OR=O分類資料的指標當所研究疾病的發(fā)病率較低時,即a和c均比較小時,OR近似于RR,故在回顧性研究中可用OR估計RR,且可以配合logistic回歸數學模型進行分析。由于前瞻性研究中,RR的可信區(qū)間與OR的可信區(qū)間很相近,且后者計算簡便,因而臨床醫(yī)學可用OR的可信區(qū)間計算法代替RR的可信區(qū)間的計算。
OR值的解釋與RR值相同。4.OR及可信區(qū)間分類資料的指標當所研究疾病的發(fā)病率較低時,即a和c均比較小時分類資料的指標4.OR及可信區(qū)間
OR值的可信區(qū)間,同樣采用自然對數進行計算,即應求OR的自然對數值㏑(OR)和㏑(OR)的標準誤SE㏑(OR),其計算公式如下:
SE(㏑OR)=√1/a+1/b+1/c+1/d
㏑(OR)的1-a可信區(qū)間為:
㏑(OR)±uaSE㏑(OR)
OR的可信區(qū)間為:
exp[㏑(OR)±uaSE㏑(OR)]分類資料的指標4.OR及可信區(qū)間OR值的可分類資料的指標4.OR及可信區(qū)間前述阿司匹林治療心肌梗死的效果:其OR和可信區(qū)間為:
OR=ad/bc=15×90/30×110=0.409㏑OR=㏑(0.409)=-0.894SE(㏑OR)=√1/30+1/90+1/15+1/110=0.347㏑OR的95%可信區(qū)間為:㏑(OR)±1.96SE㏑(OR)
=-0.894±1.96×0.347=(-1.574,-0.214)
OR的95%可信區(qū)間為:
exp㏑(OR)±1.96SE㏑(OR)
=exp(-1.574,-0.214)=(0.207,0.807)
該例OR的95%可信區(qū)間為:(0.207,0.807),該區(qū)間小于1,可以認為阿司匹林可降低心肌梗死。分類資料的指標4.OR及可信區(qū)間前述阿司匹林治療心肌梗死的數值資料的指標
き.描述數值變量資料的基本特征有兩類指標:
1.集中趨勢的指標,反映一組數據的平均水平;
2.離散程度的指標,反映一組數據的變異大?。护?兩類指標聯(lián)合應用才能全面描述一組數值變量資料的基本特征數值資料的指標き.描述數值變量資料的基本特征有兩類指標:數值資料的指標∮.加權均數差(weightedmeandifference,WMD)
Var(d)=
×∮.
該指標以試驗原有的測量單位,真實地反映了試驗效應,消除了絕對值大小對結果的影響,在實際應用時,該指標容易被理解和解釋。(n1-1)S12+(n2-1)S22n1
+n2-1n1n2
n1
+n2數值資料的指標∮.加權均數差(weightedmeand數值資料的指標す.標準化均數差(standardisedmeandifference,SMD)
Sc=√
d=[(X1-
X2)/Sc]×[1-3/(4N-9)]Var(d)=N/n1n2+[d2/2(N-3.94)]す.SMD可以簡單的理解為兩均數差值再除以合并標準差的商,它不僅消除了某研究值的絕對大小的影響,還消除了測量單位對結果的影響。該指標尤其適合于單位不同或均數相差較大的數值資料分析。す.它是一個沒單位的值,對其分析結果解釋要謹慎。數值資料的指標す.標準化均數差讓我們來看看系統(tǒng)評價的過程和內容讓我們來看看系統(tǒng)評價的方法和步驟擬定研究計劃收集資料根據入選標準選擇合格的研究復習每個研究并進行質量評估提取信息,填寫過錄表,建立數據庫計算各獨立研究的效應大小異質性檢驗敏感性分析總結報告系統(tǒng)評價的方法和步驟擬定研究計劃
明確研究目的提出檢驗假設注意特殊的亞組確定和選擇研究的方法和標準提取和分析資料的方法和標準一、擬定研究計劃中華醫(yī)生網收集編目/明確研究目的一、擬定研究計劃中華醫(yī)生網收集編目http:/
原則多途徑、多渠道、最大限度途徑利用多途徑廣泛收集資料多種電子資源數據庫
參考文獻的追溯
注意未正式發(fā)表“灰色文獻”(greyliterature)——這些文獻中可能包含陰性研究結果會議專題論文
未發(fā)表的學位論文二、收集資料
專著內的章節(jié)
制藥工業(yè)的報告
臨床試驗注冊登記系統(tǒng)
手工檢索原則多途徑、多渠道、最大限度二、收集資料專著內的章檢索大量的文獻根據入選和排除標準進行仔細的篩選挑出合格的研究進行系統(tǒng)綜述和Meta分析三、根據入選標準選擇合格的研究檢索大量的文獻三、根據入選標準選擇合格的研究循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件
方法學質量研究設計和實施過程中避免或減小偏倚的程度精確度(隨機誤差的程度)一般用可信限的寬度來表示外部真實性研究結果外推的程度四、復習每個研究并進行質量評估四、復習每個研究并進行質量評估
隨機對照試驗(RCT)的方法學質量考察:
受試者分組是否真正隨機隨機方案是否隱藏是否詳細說明入選標準組間基線是否可比研究過程中是否使用了盲法對失訪、退出及不良反應病例是否進行了詳細錄,是否報告失訪原因是否采用意向分析法(intention-to-treat,ITT)分析結果患者的依從性(compliance)如何例如隨機對照試驗(RCT)的方法學質量考察:例如按事先制定的資料摘錄表內容提取相應變量并填表用meta分析軟件ReviewManager或SPSS、SAS、EXCEL等建立數據庫注意對計量資料必須注明單位比較的兩組有均數和標準差;計數資料要使用相同的率來表示雙重錄入五、提取信息,填寫過錄表,建立數據庫中華醫(yī)生網收集編目/按事先制定的資料摘錄表內容提取相應變量并填表五、提取信息,填提取的主要內容:一般資料(試驗名稱、作者、出處等)質量資料(隨機、盲法、隨訪等)基線資料(年齡、性別、嚴重度、病程等)干預措施資料(治療方法、劑量、療程,對照措施等)結局資料(死亡、殘廢、事件數等)提取的主要內容:統(tǒng)計量的選擇(效應量/效應指標的選擇)統(tǒng)計量的選擇
常用的統(tǒng)計量(效應量)及其概率分布常用的統(tǒng)計量(效應量)及其概率分布通常兩組間比較時連續(xù)變量均數差值(Mean
Difference,MD)
率差(rate/riskdifference)二分變量比值比(OR)相對危險度(RR)六、計算各獨立研究的效應大小中華醫(yī)生網收集編目/通常兩組間比較時六、計算各獨立研究的效應大小中華醫(yī)生網收集編模型的選擇模型的選擇Meta分析中的倒方差方法舉例介紹
Meta分析中的倒方差方法舉例介紹循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件EventNoEventTotalInterventionaibin1iControlcidin2iInterventionaibin1iControlcidi(SirRichard)PetoMethodverysimilartoMantel-Haenszelmethod(same2x2requirement)對于2X2表格數據,結果類似。computationallysomewhatsimpler,especiallytocalculatetheconfidenceinterval計算簡單,特別是計算可信區(qū)間。mayprovidebiasedresultsundersomecircumstancesinwhichMantel-Haenszelwouldnot在某些情況下,可能產生有偏倚的結果。BestappliedtoRCT’sandnotobservationalstudies
最好用于RCT和非觀察性研究。Peto’smethodcanonlybeusedtopooloddsratios.
僅僅用于合并OR值。(SirRichard)PetoMethodvery循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件循證醫(yī)學-醫(yī)學文獻的系統(tǒng)評價與meta分析課件Meta分析的目標
weightedaverage(加權后的平均值)加權平均效應的可信區(qū)間Meta分析的目標weightedaverage(加權后Meta分析的核心:
--------howtoWeight(加權)?Theweightsarechosentoreflecttheamountofinformationthateachtrialcontains.Givemoreweighttothemoreinformativestudies.Weightby:
將較多的權重分配給能使我們獲得較多信息的研究Size(samplesize(n))樣本大小---較多的研究對象Eventrate事件率---較多的臨床事件Homogeneity(inverseofthevariance)
同質性---較低的變異Quality研究質量Otherfactors…其他因素Meta分析的核心:
-----重要性Meta分析重要的環(huán)節(jié)目的檢查各個獨立研究的結果是否具有可合并性
產生異質性的原因
研究設計不同試驗條件不同試驗所定義的暴露、結局及其測量方法不同協(xié)變量的存在注意資料的“可合并性”七、異質性檢驗(heterogeneity)蘋果能和桔子合并么?重要性Meta分析重要的環(huán)節(jié)七、異質性檢驗(he統(tǒng)計學異質性(Statisticalheterogeneity)不同研究間療效之間的變異超過了隨機誤差本身所致的變異。基于數據計算的結果用Chi-square(x2)檢驗Wi為第i個研究的權重;Ti為第i個研究的效應量;為所有納入研究的平均效應量。根據P值進行判斷統(tǒng)計學異質性(Statisticalheterogenei異質性分析P>0.10肯定沒有異質性P<0.05肯定有異質性0.10>P>0.05邊緣值2分析,P值為定性分析,只能說有無異質性,不能說異質性大小。異質性分析P>0.10肯定沒有異質性I2:異質性的定量分析Qisthechi-squaredstatistic(卡方統(tǒng)計量)dfisthedegreesoffreedom(自由度)I2值從0%至100%,0%時無異質性,I2值越大,異質性越大;I2描述了去除抽樣誤差(機遇)后的異質性。I2:異質性的定量分析一般說來,用I2=25%,或50%,或75%將異質性劃分為低,中,高;但不宜機械應用;I2大于50%可認為有實質性的異質性。Howmuchistoomuchheterogeneity?一般說來,用I2=25%,或50%,或75%將異質性劃分為低異質性的處理忽略異質性檢驗異質性合并解釋固定效應模型有異質性不合并隨機效應模型亞組分析Meta回歸Meta分析中異質性資料處理的方法異質
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 教育行業(yè)合規(guī)化進程中的挑戰(zhàn)與機遇
- 2025住房按揭貸款合同范本
- 學校環(huán)境教育與醫(yī)療廢棄物處理的結合探討
- 2025雜志廣告合同書范文
- 技能培訓協(xié)議書(2篇)
- 企業(yè)內部安全文化的塑造與傳播
- 教育行業(yè)中的智能產品設計案例分析
- 2025年岳陽a2貨運資格證考試題
- 教育培訓領域的數字化商業(yè)模式
- 小學教育中的數學課程優(yōu)化設計
- 高一上半學期總結教學課件
- 高速公路初步設計匯報課件
- 申根簽證申請表模板
- 企業(yè)會計準則、應用指南及附錄2023年8月
- 2022年浙江省事業(yè)編制招聘考試《計算機專業(yè)基礎知識》真題試卷【1000題】
- 認養(yǎng)一頭牛IPO上市招股書
- GB/T 3767-2016聲學聲壓法測定噪聲源聲功率級和聲能量級反射面上方近似自由場的工程法
- GB/T 23574-2009金屬切削機床油霧濃度的測量方法
- 動物生理學-全套課件(上)
- 河北省衡水市各縣區(qū)鄉(xiāng)鎮(zhèn)行政村村莊村名居民村民委員會明細
- DB32-T 2665-2014機動車維修費用結算規(guī)范-(高清現行)
評論
0/150
提交評論