檢測系統(tǒng)分析性能的建立和驗證

1、 馮仁豐       近期，國內(nèi)實驗室認(rèn)可委員會（CNAS）正式發(fā)布了2012年的ISO15189文件的翻譯文件（CNAS-CL02）。在新版本的文件中，第節(jié)中要求，實驗室應(yīng)選擇與其用途經(jīng)過確認(rèn)的檢測系統(tǒng)（文件中將其描述為檢驗程序），每一個檢驗程序的規(guī)定要求（性能特性）應(yīng)與該檢驗的預(yù)期用途有關(guān)。注：首選程序可以是體外診斷醫(yī)療器械使用說明中規(guī)定的程序。第節(jié)檢驗程序的驗證（Validation）中，說明了什么是檢測系統(tǒng)的驗證。規(guī)定了：為未經(jīng)修改而使用的已確認(rèn)的檢驗程序在常規(guī)使用前，應(yīng)經(jīng)過實驗室的獨(dú)立驗證。實驗室應(yīng)從制造

2、商或方法開發(fā)者處獲得相應(yīng)信息，以確定檢驗程序的性能特性。實驗室進(jìn)行的獨(dú)立驗證，應(yīng)通過獲取客觀的證據(jù)（以性能特征形式）證實檢驗程序的性能與其聲明相符。驗證過程證實的檢驗程序的性能指標(biāo)，應(yīng)與檢驗結(jié)果的預(yù)期用途相關(guān)。在檢驗程序的確認(rèn)（Verification）節(jié)中，說明了什么是檢測系統(tǒng)的確認(rèn)。被確認(rèn)的檢測系統(tǒng)（檢驗程序）為：非標(biāo)方法；實驗室設(shè)計或制定的方法；超出預(yù)期范圍使用的標(biāo)準(zhǔn)方法；修改過的確認(rèn)方法。在該節(jié)中說明了方法確認(rèn)應(yīng)盡量全面，并通過客觀的證據(jù)（以性能特征形式）證實滿足檢驗預(yù)期用途的特定要求。注：檢驗程序的性能特征宜包括：測量正確度、測量準(zhǔn)確度、測量精密度、分析特異性、分析靈敏度、檢出限和定

3、量限、測量區(qū)間等，并且要求：當(dāng)對確認(rèn)過的檢驗程序進(jìn)行變更時，應(yīng)將改變所引起的影響形成文件，適當(dāng)時應(yīng)重新進(jìn)行確認(rèn)。       美國政府對臨床實驗室管理的法規(guī)CLIA88，2003年版本的要求中，對于FDA認(rèn)可的非簡易檢驗項目，在首次使用報告患者結(jié)果前，你必須驗證你的實驗室檢測性能和廠商提供的準(zhǔn)確度、精密度、和檢測范圍是相似的。顯示檢測系統(tǒng)性能證實的記錄應(yīng)長期保存至該項目仍然使用該方法，但是不超過2年。       CLIA的第493.1253標(biāo)準(zhǔn)：建立和驗

4、證性能規(guī)格（指標(biāo)）(1) 性能規(guī)格的驗證。每個實驗室在引入未作修改的、FDA認(rèn)可或批準(zhǔn)的檢測系統(tǒng)，在報告患者檢測結(jié)果前，必須作下列事情：(i) 經(jīng)核實，實驗室能得到的性能規(guī)格，和廠商確定的下列性能具有可比性：(A) 準(zhǔn)確度；(B) 精密度；(C) 可報告范圍。(ii) 證實廠商的參考區(qū)間（正常值）適合于實驗室患者的群體。(2) 性能指標(biāo)的建立（Establishment）。修改了FDA-認(rèn)可或批準(zhǔn)的檢測系統(tǒng)、或引入的檢測系統(tǒng)未經(jīng)FDA認(rèn)可或批準(zhǔn)的（包括自行發(fā)展的方法和標(biāo)準(zhǔn)方法，如：教科書方法，或使用不是由廠商提供性能指標(biāo)的檢測系統(tǒng)）的每個實驗室，在報告患者檢測結(jié)果前，必須建立每個檢測系統(tǒng)的下列

5、性能特性的性能指標(biāo)：(i) 準(zhǔn)確度；(ii) 精密度；(iii) 分析靈敏度；(iv) 分析特異性，包括干擾物；() 檢測系統(tǒng)檢測報告的可報告范圍；() 參考區(qū)間；() 在檢測性能上要求的任何其他性能。       上述內(nèi)容，ISO 15189文件已經(jīng)明確了將檢測系統(tǒng)（檢驗程序）的分析性能，區(qū)分為驗證和確認(rèn)。美國的CLIA法規(guī)早于10年前就已經(jīng)明確了這樣的做法。值得注意的是CLIA對未經(jīng)任何修改的檢測系統(tǒng)的分析性能驗證，只要求實驗室對四個性能給予驗證，即精密度、準(zhǔn)確度、可報告范圍，加上對廠商提供的參考區(qū)間的證實，一共是四個內(nèi)

6、容。       對于經(jīng)實驗室修改的原檢測系統(tǒng)（如國內(nèi)目前實驗室自選試劑盒等的做法），則CLIA要求實驗室對新形成的檢測系統(tǒng)建立完整的分析性能，并予以確認(rèn)符合使用要求。建立這些性能的做法大多會使用CLSI系列文件，如以EP-5文件建立精密度性能、以EP-9文件建立正確度性能、以EP-17建立分析靈敏度性能、以EP-7文件建立分析特異性性能、以EP-6文件建立可報告范圍性能、和以EP-28文件建立參考區(qū)間等。經(jīng)申報認(rèn)為符合實驗室檢測要求后，方可檢測患者樣品。這些建立分析性能的內(nèi)容，國內(nèi)已經(jīng)講了許多，這里不再作介紹。 

7、      為了讓美國臨床實驗室理解驗證的具體做法，在CLIA的實施小冊子中對新CLIA的要求做了簡單易行的解釋。另外，非常典型的是強(qiáng)生公司為了迎合2003年CLIA法規(guī)的修改，推出了一個驗證性能的方案。所有這些應(yīng)該對于我們理解驗證分析性能的具體做法均有啟發(fā)。以下對這兩方面的內(nèi)容做介紹。一、美國2003最終CLIA法規(guī)小冊子#2的介紹：“這是什么？我如何去做？”如何進(jìn)行檢測系統(tǒng)分析性能的驗證？1、CLIA法規(guī)現(xiàn)在對經(jīng)FDA批準(zhǔn)的未經(jīng)修改的、中度復(fù)雜性項目性能指標(biāo)驗證的要求。     &

8、#160; CLIA質(zhì)量體系法規(guī)于2003年4月24日生效。要求實驗室在報告患者檢測結(jié)果前，對每個新的、未經(jīng)修改的中度復(fù)雜檢測項目（在自動分析儀上檢測的項目），檢查（驗證）廠商說明書上提供的性能指標(biāo)-準(zhǔn)確度、精密度、可報告范圍、和參考范圍。驗證過程有助于確保在你的實驗室內(nèi)，你的檢驗人員對你的病人群體的檢測，檢測的項目具有和廠商預(yù)期一致的性能。       這個要求也應(yīng)用于實驗室在置換檢測系統(tǒng)或儀器（相同或不同型號）；添加新項目；或更換檢測試劑盒廠商等。2、正（準(zhǔn)）確度你的檢測結(jié)果正確嗎？  &#

9、160;    實驗室需要將它使用的檢測系統(tǒng)檢測結(jié)果正確度和廠商的正確度作比較?？梢詸z測市售的校準(zhǔn)品和定值控制品、具有確定值的能力比對試驗調(diào)查樣品、具有檢測結(jié)果的檢測過的患者樣品等。若這些樣品的檢測結(jié)果在廠商規(guī)定的限值內(nèi)，正確度被確認(rèn)了。3、精密度       你是否能隨時獲得相同的結(jié)果？       實驗室有責(zé)任確保：實驗室的任何成員（操作人員的變動）可以在同一天重復(fù)檢測相同的樣品、在不同日期得到相同或可比較的結(jié)果

10、（可復(fù)現(xiàn)的）。實驗室的一些檢驗人員應(yīng)參與這個評價，有助于確定整個實驗室的變異。例外：不依賴檢驗人員的全自動檢測系統(tǒng)，操作人員的變動不會影響檢測的精密度，不需要由更多人員作評價。4、可報告范圍       可報告結(jié)果可以有多高和多低，而結(jié)果仍然是正確的？       為了確認(rèn)廠商建立的某項目可報告范圍，選擇廠商說明檢測系統(tǒng)正確的最高和最低水平已知值的樣品。實驗室只報告在確認(rèn)水平內(nèi)的患者檢測結(jié)果。實驗室主任和/或技術(shù)主管將需要決定實驗室是否可以報告更高于或低于

11、確認(rèn)水平以外的結(jié)果。5、參考范圍/區(qū)間（正常值）       檢測系統(tǒng)廠商提供的參考范圍是否適合你的患者群體？       你開始以廠商建議的參考范圍用于患者檢測，或使用其它教科書或雜志上的參考范圍。依據(jù)患者類型（如：兒科、男性、女性），參考范圍各異。隨著時間的推移，你可能需要判斷你的參考范圍是否較好地適合你常規(guī)檢測的患者群體。當(dāng)你檢測已知正?；颊?，結(jié)果應(yīng)在你的參考范圍內(nèi)；而不正常的患者，你應(yīng)可以預(yù)期結(jié)果在參考范圍之外。6、我需要檢測多少樣品？ 

12、      從統(tǒng)計角度，檢測20例樣品是基礎(chǔ)，這不是魔術(shù)數(shù)。依據(jù)檢測系統(tǒng)和實驗室的檢測量，需要的實際標(biāo)本量，將隨驗證研究的各部分而不同。       實驗室主任審核和確認(rèn)了驗證研究的結(jié)果后，實驗室開始使用檢測系統(tǒng)用于常規(guī)，并報告患者檢測結(jié)果。反之，若驗證結(jié)果說明檢測不正確或結(jié)果不具有恒定重現(xiàn)性，實驗室技術(shù)咨詢和檢測系統(tǒng)廠商應(yīng)協(xié)商解決問題的步驟。7、要點(diǎn)！       在設(shè)計、驗證檢測系統(tǒng)的正確度時

13、；精密度，包括操作者的變動；和可報告范圍均可使用相同樣品。例如，你可檢測廠商可報告范圍的較高和較低限值處的已知值樣品，同時檢測你的患者群體的正常范圍樣品；在不同批、不同天，由多個能正常操作的人員進(jìn)行檢測。驗證檢測系統(tǒng)的人員的活動，也促進(jìn)符合CLIA的人員能力要求。       另外，實驗室主任可使用驗證過程建立檢測系統(tǒng)質(zhì)量控制方案，符合CLIA要求，這是實驗室整個質(zhì)量體系的基礎(chǔ)組分。二、美國強(qiáng)生（Johnson-Johnson）公司的奧索臨床診斷公司（Ortho-Clinical Diagnostics），在2003年末為了

14、讓客戶對它們的檢測系統(tǒng)產(chǎn)品，熟練進(jìn)行檢測系統(tǒng)分析性能的驗證，公司推出了VITROS系統(tǒng)驗證文件。我于8年前看到了這個文件，感到很有價值，開始在國內(nèi)推廣介紹。有關(guān)內(nèi)容摘錄如下：1、術(shù)語（Glossary）（1）理解實驗誤差（Understanding Experimental Error）-認(rèn)識誤差的最重要的是，誤差總是出現(xiàn)于某個方面或另一個方面。盡管誤差不可能消失，但是可以被控制（即：在可接受的限值內(nèi)）。本研究的目的要確定兩個內(nèi)容：誤差的大小和類型，儀器是否能得到滿意的結(jié)果。（2）統(tǒng)計術(shù)語（Statistical Terms）() 集中趨勢（Central Tendency）：統(tǒng)計上一組數(shù)據(jù)的

15、集中中心。單組數(shù)據(jù)的均值是集中趨勢的估計量。成對比較的數(shù)據(jù)（如方法比較圖上的數(shù)據(jù)），可由回歸線估計集中趨勢。() 離散（Dispersion）：數(shù)據(jù)點(diǎn)對于集中趨勢的離散。單組數(shù)據(jù)的SD是離散的統(tǒng)計估計量。成對數(shù)據(jù)使用估計的標(biāo)準(zhǔn)誤SEE（Standard Error of the Estimate）【即回歸線的標(biāo)準(zhǔn)誤差】是組成回歸線的所有數(shù)據(jù)點(diǎn)對于線的離散估計。() 線性回歸（Linear Regression）：為了對具有直線趨勢的數(shù)據(jù)點(diǎn)繪制最佳配合的歸納線時，使各個數(shù)據(jù)點(diǎn)對于線的離散距離值的平方和為最小的技術(shù)為最小二乘法。描繪直線的兩個指標(biāo)為斜率和截距。2、PAR研究  

16、     CLIA88要求對未經(jīng)修改的中等復(fù)雜方法的4個指標(biāo)進(jìn)行驗證（Verification）。這些方法包括精密度、準(zhǔn)確度、可報告范圍和參考區(qū)間。PA R 研究證實精密度（Precision） 、準(zhǔn)確度（Accuracy）和可報告范圍（Reportable Range）。（1）精密度驗證       若精密度指數(shù)（Precision Index）不超過1.0，則廠商精密度（Precision）的性能指標(biāo)被驗證。精密度指數(shù)為實際觀測的標(biāo)準(zhǔn)差與廠商提供的性能標(biāo)準(zhǔn)差的比值。換言之

17、，精密度指數(shù)是儀器觀測的精密度，相對于廠商說明的性能標(biāo)準(zhǔn)差的度量。（2）正確度驗證       若存在的系統(tǒng)誤差未超過廠商說明的儀器正（準(zhǔn)）確度性能誤差值，則廠商的正（準(zhǔn)）確度性能被驗證。對Vitros儀器，若使用CalKit為樣品進(jìn)行檢測，實驗觀察的分析物濃度均值在規(guī)定的靶值±3SD范圍內(nèi)，則準(zhǔn)確度符合要求。若使用Performance Verifier為樣品進(jìn)行檢測，實驗觀察的分析物濃度均值在廠商的均值范圍內(nèi)，正（準(zhǔn)）確度性能也被驗證。不管怎樣，報告將展示可報告的低限值和高限值。（3）對廠商的可報告范圍性能的驗

18、證，說明了儀器符合性能要求。若對Vitros儀器準(zhǔn)確度性能驗證實驗使用的樣品，含有的最低和最高濃度符合可報告范圍的限值，則當(dāng)實驗結(jié)果的正（準(zhǔn)）確度被驗證后，也驗證了廠商的可報告范圍的性能。（4）在報告中，檢測結(jié)果符合性能要求的被報告為“可接受的”，不符合要求的報告為“要求繼續(xù)實驗”。3、方法比較研究（Method Comparison Studies）       進(jìn)行方法學(xué)比較實驗有許多原因。最常見也是最重要的，是確定新方法與老方法在臨床的醫(yī)學(xué)判斷限值處的關(guān)系。要確定換用新儀器后，實驗室是否依然可以使用相同的醫(yī)學(xué)判斷限值。

19、記?。好總€項目由多個醫(yī)學(xué)判斷限值。如果方法學(xué)比較的斜率與1、截距與0間的差異在統(tǒng)計上沒有顯著意義，則這些判斷限值就不需要改動了。4、回歸統(tǒng)計（Regression Statistics）（1）未加權(quán)的最小二乘法（ULS）直線回歸（Unweighted leastsquares regression）       這是用于線性回歸計算的經(jīng)典方法。由于假定所有數(shù)據(jù)點(diǎn)的x結(jié)果沒有誤差（對于臨床實驗室的結(jié)果，這個假定經(jīng)常不是真實的），這個統(tǒng)計方法幾乎總是低估斜率，有時候會有非常顯著的差異。但是，提供的ULS回歸數(shù)據(jù)對于用戶而言，至少

20、使用習(xí)慣的技術(shù)去確認(rèn)部分?jǐn)?shù)據(jù)。ULS的同義詞為“慣用回歸”。（2）Deming回歸       也是線性的最小二乘法回歸的方法。由于這個計算假設(shè)數(shù)據(jù)點(diǎn)的x也有誤差，因此較之ULS回歸，是臨床實驗室較好的統(tǒng)計方法。在Deming方法中的誤差組分是依據(jù)x和y數(shù)據(jù)誤差的相對大小，假設(shè)在所有情況下x和y的誤差是相同的。（3）回歸線估計的標(biāo)準(zhǔn)誤（SEE）       這是每個x、y數(shù)據(jù)點(diǎn)對于回歸線的離散程度，這個統(tǒng)計量是估計數(shù)據(jù)的隨機(jī)誤差。如果兩個方法具有相似的隨機(jī)

21、誤差量，則SEE將是數(shù)據(jù)經(jīng)典標(biāo)準(zhǔn)差的1.4倍（即2的開方值，來自2個相等標(biāo)準(zhǔn)差平方根和的平方根）。（4）相關(guān)系數(shù)（r）       是描述環(huán)繞數(shù)據(jù)點(diǎn)繪制橢圓形的數(shù)值，它與斜率和截距的大小無關(guān)。它有三個限值：1、1、和0。1表示所有數(shù)據(jù)點(diǎn)均在正斜率的直線上；1表示所有數(shù)據(jù)點(diǎn)均在負(fù)斜率的直線上。相關(guān)系數(shù)0表示數(shù)據(jù)點(diǎn)分布呈橢圓狀。       r應(yīng)用于確定斜率和截距的顯著性。若r大于0.95，說明斜率和截距很有意義。隨著r值的下降，特別當(dāng)r小于0.9后，其顯著性

22、也隨之下降。當(dāng)r小于0.5，應(yīng)考慮很少或沒有意義。       r用于內(nèi)部確定計算正常范圍的低限和高限偏倚的方法。（5） 在評價中最重要的統(tǒng)計量       在線性回歸中，最重要的統(tǒng)計量為Deming斜率和Deming截距。不要忘記，這些是點(diǎn)的估計，事實上，是以這些點(diǎn)為中心的范圍的真實估計。只有在評價實驗數(shù)據(jù)點(diǎn)足夠、并分布于整個可報告范圍的，這些點(diǎn)才有效。（6）實驗樣品數(shù)（n）      

23、0;為了得到中肯的統(tǒng)計結(jié)論，在方法學(xué)比較中需要2030例標(biāo)本，并且標(biāo)本檢測結(jié)果值分布相對較寬。（7）分析物濃度范圍       由每個方法得到數(shù)據(jù)的整個范圍。范圍越大，回歸統(tǒng)計可準(zhǔn)確地敘述真實的統(tǒng)計關(guān)系也越好。       在x、y數(shù)據(jù)分布圖上，將所有數(shù)據(jù)點(diǎn)繪制于圖上。所有回歸線均使用Deming線性回歸。依據(jù)規(guī)定的允許誤差，計算觀察數(shù)據(jù)離散點(diǎn)的情況。（8）計算修正的斜率和截距      

24、0;修正的斜率和截距用于修飾Y儀器得到的結(jié)果更接近于X儀器的結(jié)果。使用慣用回歸的斜率和截距會引入系統(tǒng)誤差，只能使用Deming斜率和截距?？蓮姆椒ū容^數(shù)據(jù)中得到這些統(tǒng)計量。應(yīng)使用以下公式：修正的斜率1/Deming斜率修正的截距-Deming截距/Deming斜率注1：使用慣用ULS回歸計算的斜率和截距，低估了與相關(guān)系數(shù)（r）近似的真實斜率和截距。在r很接近1（如0.995）時，這個誤差不明顯，但是在r小于0.95時，誤差變得很真實。注2：這個研究是方法學(xué)比較的嚴(yán)格實驗。為了使這個研究獲得可靠的正確因素，數(shù)據(jù)點(diǎn)至少為40例，并且這些點(diǎn)應(yīng)較好地分布于整個報告范圍。標(biāo)本的分布較之標(biāo)本個數(shù)更重要。另

25、外，建議在8天內(nèi)完成標(biāo)本的檢測。請參見NCCLS EP9文件的細(xì)節(jié)。5、參考區(qū)間（正常范圍）       CLIA88法規(guī)要求，在報告每臺儀器的結(jié)果前，應(yīng)核實每個項目的參考區(qū)間，也即核實內(nèi)源性分析物的正常范圍。由于獲得這樣的標(biāo)本很困難，不要求對藥物和其他分析物的參考區(qū)間進(jìn)行核實。       正規(guī)建立正常范圍，應(yīng)對表面健康個體（最少為120名）的標(biāo)本進(jìn)行檢測，計算所有結(jié)果的95分布范圍。驗證研究假設(shè)這個范圍對實驗室群體是正確的。然后，驗證研究實驗說明：所有

26、檢測的標(biāo)本少于10的結(jié)果超出了建議的正常范圍（至少需要20例標(biāo)本）。       關(guān)于參考區(qū)間驗證內(nèi)容，在強(qiáng)生驗證資料中沒有具體數(shù)據(jù)。但是，務(wù)必請實驗室注意，這段話中已經(jīng)說出了具體做法。首先假設(shè)公司提供的參考區(qū)間是正確的，然后，對20例表面健康群體的標(biāo)本進(jìn)行檢測。如果所有檢測結(jié)果有90%或以上在公司提供的參考區(qū)間之內(nèi)，即表示實驗室接觸的群體的參考區(qū)間與公司建議的參考區(qū)間一致，實驗室可以使用該建議的區(qū)間。       所以，強(qiáng)生的PAS研究對參考區(qū)間“通過”

27、了，公司強(qiáng)調(diào)：僅說明建議的參考區(qū)間與檢測的樣品一致。相對于供應(yīng)商建議的正常范圍，實驗室的正常范圍具有的偏離，沒有檢出具有顯著差異（10到20或更多）要求的更多示例。但是，由供應(yīng)商建立的參考區(qū)間使用的群體可能很嚴(yán)密，可能群體僅來自一個城市。每個實驗室有責(zé)任要確保他們結(jié)果建立的參考區(qū)間，對于他們患者的群體是有效的。6、實驗具體示例       以下以鈉檢測系統(tǒng)驗證數(shù)據(jù)為例。使用的實驗樣品均為強(qiáng)生公司的校準(zhǔn)品（CalKit2-1、CalKit2-3）和控制品（Chem Perf Ver和Chem Perf Ver）。實驗

28、數(shù)據(jù)見表1。（1）精密度的驗證       表1數(shù)據(jù)中，以兩個ChemPerf Ver控制品的10次重復(fù)檢測結(jié)果，將它們的CV除以公司規(guī)定的精密度限值1%，得到精密度指數(shù)（Index），這些指數(shù)若不超過1，說明實驗室實驗的不精密度CV值均比公司規(guī)定的CV要小，則精密度性能被驗證為符合要求。圖1為精密度指數(shù)以圖示的做法。（2）正確度的驗證       表1中兩個校準(zhǔn)品（Calkit）的兩次重復(fù)檢測均值、和兩個控制品的10次重復(fù)檢測均值若在公司規(guī)定的預(yù)期范圍內(nèi)，則說明正確度性能被驗證。但是該示例中的ChemPerf Ver的均值不在預(yù)期范圍內(nèi)，說明其正確度有問題，因此為不可接受（Inaccpt），需要隨訪（RF）。（3）可報告范圍的驗證       由于兩個校準(zhǔn)品（Calkit）的兩次重復(fù)檢測均值均為符合正確度要求，這兩個值一高一低，它們間范圍即為可報告范圍，也即同時驗證了可報告范圍符合要求。（4）強(qiáng)生公司的驗證方案很強(qiáng)調(diào)以方法學(xué)比較來驗證正確度。表2為多個檢測項目的方法學(xué)比較資料的匯總。（5）