加強(qiáng)數(shù)據(jù)庫的質(zhì)量控制課件

加強(qiáng)數(shù)據(jù)庫的質(zhì)量控制汪培山2009-3-301加強(qiáng)數(shù)據(jù)庫的質(zhì)量控制汪培山1數(shù)據(jù)系統(tǒng)的質(zhì)量控制，就是在對數(shù)據(jù)進(jìn)行采集、錄入、傳輸交換、存儲管理、加工處理過程中有效地進(jìn)行質(zhì)量控制和管理，確保數(shù)據(jù)的真實準(zhǔn)確、安全可靠。是進(jìn)行分析和科學(xué)研究的質(zhì)量保證的前提。2數(shù)據(jù)系統(tǒng)的質(zhì)量控制，就是在對數(shù)據(jù)進(jìn)行采集、錄入、傳輸交換、存數(shù)據(jù)庫的主要問題和質(zhì)量控制上年度數(shù)據(jù)庫的一些問題數(shù)據(jù)庫質(zhì)量控制的要求建議的措施初步整理核對的方法3數(shù)據(jù)庫的主要問題和質(zhì)量控制上年度數(shù)據(jù)庫的一些問題3主要的問題數(shù)據(jù)不完整。缺失值太多。表現(xiàn)為多種變量的缺失值太多，有的地區(qū)幾乎所有的重要的變量均不完整。記錄丟失，或者變量丟失。個別數(shù)據(jù)庫，可能主要發(fā)生在數(shù)據(jù)轉(zhuǎn)換時。數(shù)據(jù)的錯誤。4主要的問題數(shù)據(jù)不完整。4主要的問題數(shù)據(jù)的錯誤。不合邏輯的錯誤：例如年齡，應(yīng)該在35-69歲范圍。0歲至500歲。結(jié)婚年齡大于年齡；分類變量，除了123，還有1.5，2.2等；身高，體重異常；性別，有男性，……或者數(shù)據(jù)合乎邏輯，但是不是納入的范圍，例如年齡25歲。編號和姓名錯誤，表格之間不匹配。例如，如果只有鉬靶結(jié)果，則無法應(yīng)用；或號碼重復(fù)，由于人數(shù)多核對極其麻煩。變量編碼混亂。沒有按照編碼的要求填寫，例如民族，臨床檢查的結(jié)果等。5主要的問題數(shù)據(jù)的錯誤。5數(shù)據(jù)庫質(zhì)量控制的要求完整性準(zhǔn)確性標(biāo)準(zhǔn)性一致性安全性6數(shù)據(jù)庫質(zhì)量控制的要求完整性6數(shù)據(jù)庫質(zhì)量控制的要求完整性數(shù)據(jù)庫的完整和每個記錄的內(nèi)容的完整，不能缺項，尤其是重要的項目。準(zhǔn)確性保證數(shù)據(jù)的真實可靠，準(zhǔn)確無誤。包括數(shù)據(jù)收集的真實可靠，數(shù)據(jù)輸入的真實可靠，準(zhǔn)確無誤。7數(shù)據(jù)庫質(zhì)量控制的要求完整性7數(shù)據(jù)庫質(zhì)量控制的要求標(biāo)準(zhǔn)性保持原設(shè)計的數(shù)據(jù)庫的要求，不可擅自更改和重新創(chuàng)建數(shù)據(jù)庫。一致性數(shù)據(jù)的轉(zhuǎn)換、傳輸、整理過程中，保證數(shù)據(jù)的一致，不至于發(fā)生改變。8數(shù)據(jù)庫質(zhì)量控制的要求標(biāo)準(zhǔn)性8數(shù)據(jù)庫質(zhì)量控制的要求安全性數(shù)據(jù)庫專人管理，未經(jīng)授權(quán)，不可更改任何內(nèi)容；數(shù)據(jù)在流程中不受到非法攻擊和計算機(jī)病毒的侵襲，保證數(shù)據(jù)不被破壞、改變；保證數(shù)據(jù)的安全，不丟失，及時保證備份；保證數(shù)據(jù)庫中個人信息的安全性。9數(shù)據(jù)庫質(zhì)量控制的要求安全性9建議的措施表格的完整：表格填寫的完整和正確是資料完整的前提，必須保證表格數(shù)據(jù)收集的完全、準(zhǔn)確、真實、可靠。數(shù)據(jù)庫專人負(fù)責(zé)：由一位專門的人員負(fù)責(zé)數(shù)據(jù)庫的管理和質(zhì)量控制。雙輸入：按照要求進(jìn)行雙輸入，可以有效地保證數(shù)據(jù)的正確性。整理核對：在數(shù)據(jù)輸入過程中和完成后，負(fù)責(zé)數(shù)據(jù)庫的人員進(jìn)行檢查核對。如果發(fā)現(xiàn)問題，就地爭取補充完整，例如核對原表格，電話補充資料等。最后應(yīng)該提交凈化的數(shù)據(jù)。10建議的措施表格的完整：表格填寫的完整和正確是資料完整的前提初步整理核對的方法負(fù)責(zé)管理數(shù)據(jù)的人員要定期以及在最后完成數(shù)據(jù)庫的時候進(jìn)行初步的核對和檢查，以便及時發(fā)現(xiàn)和糾正有些錯誤。如何發(fā)現(xiàn)異常和不合理的數(shù)據(jù)？排序：對各個變量進(jìn)行簡單地排序，包括升序和降序，發(fā)現(xiàn)缺失值和極端數(shù)據(jù)；簡單的頻數(shù)分布的描述，發(fā)現(xiàn)缺失值、極端數(shù)據(jù)和不合理的數(shù)據(jù)；散點圖：兩個計量數(shù)據(jù)之間的相關(guān)圖，發(fā)現(xiàn)合理范圍之外的數(shù)據(jù)。其它:如抽查，兩個表格拼接檢查編號錯誤……11初步整理核對的方法負(fù)責(zé)管理數(shù)據(jù)的人員要定期以及在最后完成數(shù)12121313141415151616171718181919質(zhì)量控制要求完整性：數(shù)據(jù)庫的完整和每個記錄的內(nèi)容的完整。準(zhǔn)確性：保證數(shù)據(jù)的真實可靠，準(zhǔn)確無誤。標(biāo)準(zhǔn)性：保持原設(shè)計的數(shù)據(jù)庫的要求，不可擅自更改和重新創(chuàng)建數(shù)據(jù)庫。一致性：數(shù)據(jù)的轉(zhuǎn)換、傳輸、整理過程中，保證數(shù)據(jù)的一致，不至于發(fā)生改變。安全性：保證數(shù)據(jù)不被破壞、改變；不丟失，保證備份；保證數(shù)據(jù)庫中個人信息的安全性。20質(zhì)量控制要求完整性：數(shù)據(jù)庫的完整和每個記錄的內(nèi)容的完整。2如何達(dá)到質(zhì)量控制要求科學(xué)的態(tài)度+認(rèn)真負(fù)責(zé)的精神21如何達(dá)到質(zhì)量控制要求21加強(qiáng)數(shù)據(jù)庫的質(zhì)量控制汪培山2009-3-3022加強(qiáng)數(shù)據(jù)庫的質(zhì)量控制汪培山1數(shù)據(jù)系統(tǒng)的質(zhì)量控制，就是在對數(shù)據(jù)進(jìn)行采集、錄入、傳輸交換、存儲管理、加工處理過程中有效地進(jìn)行質(zhì)量控制和管理，確保數(shù)據(jù)的真實準(zhǔn)確、安全可靠。是進(jìn)行分析和科學(xué)研究的質(zhì)量保證的前提。23數(shù)據(jù)系統(tǒng)的質(zhì)量控制，就是在對數(shù)據(jù)進(jìn)行采集、錄入、傳輸交換、存數(shù)據(jù)庫的主要問題和質(zhì)量控制上年度數(shù)據(jù)庫的一些問題數(shù)據(jù)庫質(zhì)量控制的要求建議的措施初步整理核對的方法24數(shù)據(jù)庫的主要問題和質(zhì)量控制上年度數(shù)據(jù)庫的一些問題3主要的問題數(shù)據(jù)不完整。缺失值太多。表現(xiàn)為多種變量的缺失值太多，有的地區(qū)幾乎所有的重要的變量均不完整。記錄丟失，或者變量丟失。個別數(shù)據(jù)庫，可能主要發(fā)生在數(shù)據(jù)轉(zhuǎn)換時。數(shù)據(jù)的錯誤。25主要的問題數(shù)據(jù)不完整。4主要的問題數(shù)據(jù)的錯誤。不合邏輯的錯誤：例如年齡，應(yīng)該在35-69歲范圍。0歲至500歲。結(jié)婚年齡大于年齡；分類變量，除了123，還有1.5，2.2等；身高，體重異常；性別，有男性，……或者數(shù)據(jù)合乎邏輯，但是不是納入的范圍，例如年齡25歲。編號和姓名錯誤，表格之間不匹配。例如，如果只有鉬靶結(jié)果，則無法應(yīng)用；或號碼重復(fù)，由于人數(shù)多核對極其麻煩。變量編碼混亂。沒有按照編碼的要求填寫，例如民族，臨床檢查的結(jié)果等。26主要的問題數(shù)據(jù)的錯誤。5數(shù)據(jù)庫質(zhì)量控制的要求完整性準(zhǔn)確性標(biāo)準(zhǔn)性一致性安全性27數(shù)據(jù)庫質(zhì)量控制的要求完整性6數(shù)據(jù)庫質(zhì)量控制的要求完整性數(shù)據(jù)庫的完整和每個記錄的內(nèi)容的完整，不能缺項，尤其是重要的項目。準(zhǔn)確性保證數(shù)據(jù)的真實可靠，準(zhǔn)確無誤。包括數(shù)據(jù)收集的真實可靠，數(shù)據(jù)輸入的真實可靠，準(zhǔn)確無誤。28數(shù)據(jù)庫質(zhì)量控制的要求完整性7數(shù)據(jù)庫質(zhì)量控制的要求標(biāo)準(zhǔn)性保持原設(shè)計的數(shù)據(jù)庫的要求，不可擅自更改和重新創(chuàng)建數(shù)據(jù)庫。一致性數(shù)據(jù)的轉(zhuǎn)換、傳輸、整理過程中，保證數(shù)據(jù)的一致，不至于發(fā)生改變。29數(shù)據(jù)庫質(zhì)量控制的要求標(biāo)準(zhǔn)性8數(shù)據(jù)庫質(zhì)量控制的要求安全性數(shù)據(jù)庫專人管理，未經(jīng)授權(quán)，不可更改任何內(nèi)容；數(shù)據(jù)在流程中不受到非法攻擊和計算機(jī)病毒的侵襲，保證數(shù)據(jù)不被破壞、改變；保證數(shù)據(jù)的安全，不丟失，及時保證備份；保證數(shù)據(jù)庫中個人信息的安全性。30數(shù)據(jù)庫質(zhì)量控制的要求安全性9建議的措施表格的完整：表格填寫的完整和正確是資料完整的前提，必須保證表格數(shù)據(jù)收集的完全、準(zhǔn)確、真實、可靠。數(shù)據(jù)庫專人負(fù)責(zé)：由一位專門的人員負(fù)責(zé)數(shù)據(jù)庫的管理和質(zhì)量控制。雙輸入：按照要求進(jìn)行雙輸入，可以有效地保證數(shù)據(jù)的正確性。整理核對：在數(shù)據(jù)輸入過程中和完成后，負(fù)責(zé)數(shù)據(jù)庫的人員進(jìn)行檢查核對。如果發(fā)現(xiàn)問題，就地爭取補充完整，例如核對原表格，電話補充資料等。最后應(yīng)該提交凈化的數(shù)據(jù)。31建議的措施表格的完整：表格填寫的完整和正確是資料完整的前提初步整理核對的方法負(fù)責(zé)管理數(shù)據(jù)的人員要定期以及在最后完成數(shù)據(jù)庫的時候進(jìn)行初步的核對和檢查，以便及時發(fā)現(xiàn)和糾正有些錯誤。如何發(fā)現(xiàn)異常和不合理的數(shù)據(jù)？排序：對各個變量進(jìn)行簡單地排序，包括升序和降序，發(fā)現(xiàn)缺失值和極端數(shù)據(jù)；簡單的頻數(shù)分布的描述，發(fā)現(xiàn)缺失值、極端數(shù)據(jù)和不合理的數(shù)據(jù)；散點圖：兩個計量數(shù)據(jù)之間的相關(guān)圖，發(fā)現(xiàn)合理范圍之外的數(shù)據(jù)。其它:如抽查，兩個表格拼接檢查編號錯誤……32初步整理核對的方法負(fù)責(zé)管理數(shù)據(jù)的人員要定期以及在最后完成數(shù)33123413351436153716381739184019質(zhì)量控制要求完整性：數(shù)據(jù)庫的完整和每個記錄的內(nèi)容的完整。準(zhǔn)確性：保證數(shù)據(jù)的真實可靠，準(zhǔn)確無誤。標(biāo)準(zhǔn)性：保持原設(shè)計的數(shù)據(jù)庫的要求，