系統(tǒng)評價Meta分析常用質(zhì)量評價工具簡介

系統(tǒng)評價/Meta分析常用

質(zhì)量評價工具簡介杜亮華西期刊社/中國循證醫(yī)學中心2013.5.18提綱一、背景二、RCT的質(zhì)量評價工具三、觀察性研究的質(zhì)量評價工具四、非隨機實驗性研究的質(zhì)量評價工具五、診斷性研究的質(zhì)量評價工具六、動物實驗的質(zhì)量評價工具七、SR/Meta分析（MA）的質(zhì)量評價工具一、背景

1.1為什么要進行質(zhì)量評價？真假難辨——誠信、政策、監(jiān)督好壞可評——質(zhì)量評價工具造假造假垃圾垃圾+=？+=？1.2質(zhì)量評價評什么？什么決定研究的好壞？其結(jié)果接近真實情況，穩(wěn)定偏倚程度?。赡艹霈F(xiàn)在研究設(shè)計、實施、結(jié)果分析的整個過程）集中反映在研究報告的方法學部分高質(zhì)量報告≠高質(zhì)量研究1.3質(zhì)量的定義試驗設(shè)計產(chǎn)生無偏倚結(jié)論的可能性（內(nèi)部真實性）——JadadAR，牛津大學，1996在設(shè)計與研究過程中反映結(jié)論真實性的一系列因素，這些因素與臨床試驗的內(nèi)部真實性、外部真實性和統(tǒng)計分析有關(guān)——VerhagenAP，荷蘭馬斯特里赫特大學，19981.4相關(guān)名詞真實性是指研究的設(shè)計和實施中防止系統(tǒng)誤差或偏倚的程度，主要包括內(nèi)部真實性與外部真實性內(nèi)部真實性是指單個研究結(jié)果接近真實值的程度，即受各種偏倚因素，如選擇偏倚、實施偏倚、失訪偏倚及測量偏倚的影響情況。外部真實性又稱適用性或外部有效性，主要指研究結(jié)果是否可以應用于研究對象以外的其他人群，即結(jié)果的使用價值與推廣應用的條件，主要與研究對象的特征、干預措施和結(jié)局的選擇標準有關(guān)。1.4相關(guān)名詞對偏倚的認識是質(zhì)量評價的核心偏倚（bias）又稱系統(tǒng)誤差，是指研究的結(jié)果或推論偏離真實值，或?qū)е逻@種偏離的過程，也可以說在資料收集、分析、解釋或發(fā)表過程中，能夠?qū)е陆Y(jié)論系統(tǒng)地與真實值有所不同的任何趨勢選擇偏倚、實施偏倚、損耗偏倚、測量偏倚、報告偏倚、其他偏倚1.4相關(guān)名詞質(zhì)量評價（qualityassessment）是評估單個研究在設(shè)計、實施、結(jié)果分析整個過程中可能出現(xiàn)各種偏倚的程度。質(zhì)量評價工具則是依據(jù)這些可能出現(xiàn)的偏倚的各個方面設(shè)計的。主要有3種類型：條目（component/items）一覽表或清單（checklist）量表（scale）1.5臨床流行病學研究設(shè)計分類是否由研究者分配暴露試驗性研究（是）觀察性研究（否）是否隨機分配是否設(shè)立比較組非隨機對照試驗（否）隨機對照試驗（是）分析性研究（是）描述性研究（否）同期對照試驗非同期對照試驗平行試驗交叉試驗隊列研究（暴露→結(jié)局）病例對照研究（暴露→結(jié)局）橫斷面研究監(jiān)測個案或病例系列報告二、RCT的質(zhì)量評價工具RCT是實驗性研究設(shè)計中的“金標準”AHRQ研究顯示，涉及RCT的評價工具共20種量表、11種清單及1種組成部分的評價工具和7類指導性文件RCT：采用隨機分配方法（隨機數(shù)字表、計算機隨機序列、拋硬幣法等）將受試者分入不同處理組。CCT：采用半隨機分配方法（按入院順序、住院號、研究對象生日的奇偶）分配到不同處理組。2.1Cochrane偏倚風險評估工具

CJEBM干預類SR中67.6%使用領(lǐng)域條目說明選擇偏倚1.隨機序列產(chǎn)生2.分配隱藏實施偏倚3.對研究者和受試者施盲測量偏倚4.研究結(jié)果盲法評價隨訪偏倚5.結(jié)果數(shù)據(jù)的完整性報告偏倚6.選擇性報告研究結(jié)果其他偏倚7.其他偏倚來源2.2Jadad量表

Jadadscale

CJEBM干預類SR中12.1%使用1996年由Jadad等發(fā)布最初目的是為了評價疼痛治療的RCT質(zhì)量，從隨機方案及其隱匿、盲法、退出與失訪病例的原因及數(shù)量3方面進行評價采用0-5分計分法，≤2分為低質(zhì)量，≥3分為高質(zhì)量優(yōu)點：簡單明了，直接評價經(jīng)驗證的、與試驗效應估計中的偏倚有直接關(guān)系的試驗特征缺點：存在諸多不組，如未考慮分配隱藏推薦：將Jadad量表與隱蔽分組的評價結(jié)合起來2.2Jadad量表

Jadadscale評價指標內(nèi)容記分隨機未隨機/不清楚/假隨機0提及“隨機”，但未描述具體的隨機方法1采用“隨機”，并描述了正確的隨機方法2盲法未實施雙盲/假雙盲0提及“雙盲”，但未描述具體的施盲方法1采用“雙盲”，并描述了正確的施盲方法2退出/失訪未提及0描述退出/失訪例數(shù)及原因12.3Delphi清單由馬斯特里赫特大學Verhagen及其同事1998年依據(jù)Maastricht和Chalmers量表，遵照Delphi法制作針對RCT的內(nèi)部有效性、外部有效性和統(tǒng)計分析3個方面共8個條目，其中第1條又分為兩個部分采用“是”、“否”、“不清楚”進行判斷缺點：基于專家共識而非實驗數(shù)據(jù)2.3Delphi清單是，否，不清楚選擇偏倚1.治療分組：是否采用隨機分組是否采用分配隱藏選擇偏倚2.重要結(jié)局基線是否相似選擇偏倚3.清楚描述受試者入選條件測量偏倚4.對結(jié)果評價者施盲實施偏倚5.對研究者施盲實施偏倚6.對受試者施盲？7.提供主要結(jié)局的點估計值和可信區(qū)間隨訪偏倚8.意向治療分析2.4PEDro量表

PhysiotherapyEvidenceDatabase

物理治療證據(jù)數(shù)據(jù)庫，1999，喬治中心的物理治療循證中心序號條目記分1清楚描述受試者納入標準每個條目1分，采用“是”、“否”進行判斷2隨機分配3分配隱藏4重要指標基線相似5受試者盲法6治療師盲法7評價者盲法8*>85%的受試者進行至少一項主要結(jié)局測量9有測量結(jié)果受試者需遵方案治療，或行意向治療分析10*對至少一項主要結(jié)局的組間統(tǒng)計進行報告11提供至少一項主要結(jié)局的點估計值和可信區(qū)間基于Delphi清單制作，*在Delphi清單基礎(chǔ)上增加的條目2.5Chalmers量表1981年由Chalmers等提出分一般情況記錄、研究方案、統(tǒng)計分析、結(jié)果陳述4部分，36個條目，均為經(jīng)驗條目一般情況不參與記分，研究方案、統(tǒng)計分析、結(jié)果3部分按6：3：1權(quán)重記分，共27個條目，總分100分缺點：實施繁瑣、耗時；部分內(nèi)容與報告質(zhì)量混淆

三、觀察性研究的質(zhì)量評價工具非實驗性研究（隊列、病例-對照、橫斷面），未加干預，允許事件自然發(fā)展與RCT相比，更易受（選則性）偏倚風險影響（橫斷面>病例-對照>隊列）2005年，劍橋大學SimonSanderson等研究顯示：86種觀察性研究質(zhì)量評價工具：19%→病例-對照；27%→隊列；7%→橫斷面45%→病例-對照/隊列；15%→3種設(shè)計2010年，明尼蘇達大學TatyanaShamliyan等研究顯示：96種觀察性研究質(zhì)量評價工具（46量表，51清單）：21.88%→隊列；13.54%→病例-對照；5.21%→橫斷面3.1NOS量表

TheNewcastle-OttawaScale紐卡斯爾-渥太華量表（TheNewcastle-OttawaScale,NOS）3大塊（人群選擇、可比性、暴露評價或結(jié)果評價），8個條目采用星級系統(tǒng)的半量化原則，滿分隊列研究為13顆星，病例-對照研究9顆星被Cochrane協(xié)作網(wǎng)的非隨機研究方法學組用于培訓，并被推薦使用。免費下載網(wǎng)址http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp3.1.1隊列研究NOS量表條目評價標準研究人群選擇暴露組的代表性如何真正代表人群中暴露組的特征；一定程度上代表了人群中暴露組的特征；選擇某類人群，如護士、志愿者；未描述暴露組來源情況。非暴露組的選擇方法與暴露組來自同一人群；與暴露組來自不同人群；未描述非暴露組來源情況。暴露因素的確定方法固定的檔案記錄（如外科手術(shù)記錄）；采用結(jié)構(gòu)式訪談；研究對象自己寫的報告；未描述。確定研究起始時尚無要觀察的結(jié)局指標是；否。3.1.1隊列研究NOS量表條目評價標準組間可比性設(shè)計和統(tǒng)計分析時考慮暴露組和未暴露組的可比性研究控制了最重要的混雜因素；研究控制了任何其他的混雜因素（此條可修改用以說明特定控制第二重要因素。結(jié)果測量研究對于結(jié)果的評價是否充分盲法獨立評價；有檔案記錄；自我報告；未描述。結(jié)果發(fā)生后隨訪是否足夠長是（評價前規(guī)定恰當?shù)碾S訪時間）；否。暴露和非暴露組的隨訪是否充分隨訪完整；有少量研究對象失訪但不至于引入偏倚（規(guī)定失訪率或描述失訪情況）；有失訪（規(guī)定失訪率）但未行描述；未描述隨訪情況3.1.2病例-對照研究NOS量表條目評價標準研究人群選擇病例確定是否恰當恰當，有獨立的確定方法和人員；恰當，如基于檔案記錄或自我報告；未描述。病例的代表性連續(xù)或有代表性的系列病例；有潛在的選擇偏倚或未描述。對照的選擇與病例同一人群的對照；與病例同一人群的住院人員為對照；未描述。對照的確定無目標疾病史（端點）；未描述來源。3.1.2病例-對照研究NOS量表條目評價標準組間可比性設(shè)計和統(tǒng)計分析時考慮病例和對照的可比性研究控制了最重要的混雜因素；研究控制了任何其他的混雜因素（此條可以進行修改用以說明特定控制第二重要因素）暴露因素的測量暴露因素的確定固定的檔案記錄（如外科手術(shù)記錄）；采用結(jié)構(gòu)式訪談且不知訪談者是病例或?qū)φ?；采用未實施盲法的訪談（即知道病例或?qū)φ盏那闆r）；未描述采用相同的方法確定病例和對照組暴露因素是；否。無應答率病例和對照組無應答率相同；描述了無應答者的情況；病例和對照組無應答率不同且未描述3.2橫斷面研究的質(zhì)量評價工具—JBI量表

JBIPACES(JoannaBriggsInstitute,PracticalApplicationofClinicalEvidenceSystem)

澳大利亞循證護理中心（1996年建立，31國設(shè)分中心，2004年復旦）的在線臨床證據(jù)評鑒系統(tǒng)條目評價標準1該研究的研究目的是否明確？立題依據(jù)是否充分？0分：不符合要求；1分：提及，但未詳細描述；2分：詳細、全面、正確描述。2研究人群是如何選擇的（是否隨機選取研究對象，是否采取了分層抽樣以提高樣本的代表性）？3是否清晰地描述了樣本的納入及排除標準？4是否清晰地描述了樣本特征？5資料收集的工具是否具有信度和效度（如采用調(diào)查員調(diào)查，調(diào)查結(jié)果的可重復性如何）？6核實資料真實性的措施是什么？7是否考慮到倫理問題？8統(tǒng)計方法是否正確？9對研究結(jié)果的陳述是否恰當、準確（結(jié)果和推論是否區(qū)分開來，結(jié)果是否忠實于數(shù)據(jù)而不是推論）？10是否對研究價值進行了清晰的闡述？3.3橫斷面研究—AHRQ清單

AgencyforHealthcareResearchandQuality條目是否不清楚1是否明確了資料的來源（調(diào)查、文獻回顧）？2是否列出了暴露組和非暴露組（病例和對照）的納入及排除標準或參考以往的出版物？3是否給出了鑒別患者的時間階段？4如果不是人群來源的話，研究對象是否連續(xù)？5評價者的主觀因素是否掩蓋了研究對象其他方面情況？6描述了任何為保證質(zhì)量而進行的評估（如對主觀結(jié)局指標的檢測/再檢測）7解釋了排除分析任何患者的理由8描述了如何評價和（或）控制混雜因素的措施9如果可能，解釋了分析中是如何處理丟失數(shù)據(jù)的10總結(jié)了患者的應答率及數(shù)據(jù)收集的完整性11如果有隨訪，查明預期患者不完整數(shù)據(jù)所占的百分比或隨訪結(jié)果3.4橫斷面研究—Combie量表

1996年IainCrombie在ThePocketGuidetoCriticalAppraisal一書中提出條目評價標準1設(shè)計科學是：1分；否：0分；不清楚：0.5分。如某條目不適合判定的研究，則以“—”表示，并計1分?？偡郑?.0分。A級：6.0-7.0分B級：4.0-5.5分C級：<4.0分2數(shù)據(jù)收集策略合理3報告了樣本應答率4樣本對總體的代表性好5研究目的和方法合理6報告了檢驗效能7統(tǒng)計方法合理3.5經(jīng)驗總結(jié)、案例分析及專家意見—JBI量表條目評價標準1是否清晰地描述了引用文章的來源？0分：不符合要求；1分：提及，但未詳細描述；2分：詳細、全面、正確描述。2是否清晰地闡述了撰寫該文章的目的？3作者在該領(lǐng)域是否具有影響力？4作者所推薦的觀點或建議是否以患者利益為中心？5作者所推薦的觀點或建議是否具有邏輯性？6作者對其觀點或建議的分析是否合適？7用于支持作者所推薦的觀點或建議的引用文獻是否充分？8作者所推薦的觀點及建議與以往文獻是否有不一致的地方？四、非隨機實驗性研究的質(zhì)量評價工具并非所有的臨床試驗都可以設(shè)計成隨機對照試驗2003年，牛津大學J.J.Deeks等全面評價了2000年以前發(fā)表的非隨機試驗性研究評價工具：213種工具量表清單各占一半14種為最佳工具，其中6種可用于SR4.1MINORS量表

MethodologicalIndexforNon-randomizedStudies序號條目提示1明確地給出了研究目的所定義的問題應該是精確的且與可獲得文獻有關(guān)2納入患者的連貫性所有具有潛在可能性的患者（滿足納入標準）都在研究期間被納入了（無排除或給出了排除的理由）3預期數(shù)據(jù)的收集收集了根據(jù)研究開始前制定的研究方案中設(shè)定的數(shù)據(jù)4終點指標能恰當?shù)胤从逞芯磕康拿鞔_地解釋用來評價與所定義的問題一致的結(jié)局指標的標準。同時，應在意向性分析的基礎(chǔ)上對終點指標進行評估5終點指標評價的客觀性對客觀終點指標的評價采用評價者單盲，對主觀終點指標的評價采用評價者雙盲。否則，應給出未性盲法評價的理由6隨訪時間是否充分隨訪時間應足夠長，以使得能對終點指標及可能的不良事件進行評估7失訪率低于5%應對所有患者進行隨訪。否則，失訪比例不能超過反映主要終點指標的患者比例8是否估算了樣本量根據(jù)預期結(jié)局事件的發(fā)生率，計算了可檢測出不同研究結(jié)局的樣本量及其95%CI；且提供的信息能夠從顯著統(tǒng)計學差異及估算把握度水平對預期結(jié)果與實際結(jié)果進行比較4.1MINORS量表

MethodologicalIndexforNon-randomizedStudies序號條目提示用于評價有比較組的附加標準9對照組的選擇是否恰當對于診斷性試驗，應為診斷的“金標準”；對于治療干預性試驗，應是能從已發(fā)表研究中獲取的最佳干預措施10對照組是否同步對照組與試驗組應該是同期進行的（非歷史對照）11組間基線是否可比不同于研究終點，對照組與試驗組起點的基線標準應該具有相似性。沒有導致使結(jié)果可能解釋產(chǎn)生偏倚的混雜因素12統(tǒng)計分析是否恰當用于計算可信區(qū)間或相對危險度（RR）的統(tǒng)計資料是否與研究設(shè)計類型相匹配五、診斷性研究的質(zhì)量評價工具診斷性試驗評價運用診斷試驗后對改善患者的治療/預后效果，多采用隨機對照設(shè)計，此時質(zhì)量評價方法與RCT相同評價診斷試驗的準確性5.1QUADAS工具

QualityAssessmentofDiagnosticAccuracyStudies英國約克大學PennyWhiting等遵