數(shù)據(jù)質(zhì)量DCI測量實現(xiàn)設(shè)計方案

1、數(shù)據(jù)質(zhì)量DCI測量實現(xiàn)設(shè)計數(shù)據(jù)質(zhì)量量化指標定義量化指標維度測量過程量化應(yīng)用說明完備性測量12不可為空的字段需要被填充N空值率測量的空值記錄數(shù)測量的總記錄數(shù)越低越好，理論上空值率必須等于0%完整性測量13重復(fù)數(shù)據(jù)刪除（標記）R重復(fù)率測量的重復(fù)記錄數(shù)測量的總記錄數(shù)越低越好，要求單字段有主鍵的特性，如果某待測系統(tǒng)沒有任何具有主鍵特征的字段，此維度與完備性合并 RN測量14重復(fù)數(shù)據(jù)歷史性比較（合理性，只適合有合理性預(yù)期的字段，比如性別比例）難以量化一致性測量30合理性檢查，值的記錄數(shù)分布與過去填充相同字段的數(shù)據(jù)實例做比較（只適合有合理 性預(yù)期的字段），前后一致F填充率1-測量的空值記錄數(shù)測量的總記錄數(shù)

2、。總體上看，越高越好。高低與業(yè)務(wù)相關(guān)，可以說是數(shù)據(jù)密度。還是測量填充率，表明該字段有多少數(shù)據(jù)，這屬于業(yè)務(wù)上的要求，而不是數(shù)據(jù)庫的范式要求及時性測量49，DCI增量抽取數(shù)據(jù)的更新或新數(shù)據(jù)的條數(shù)U更新率測量的抽取間隔中發(fā)生的更新、新增記錄數(shù)測量的總記錄數(shù)高低與業(yè)務(wù)相關(guān)，系統(tǒng)范圍來看越高越好，新增、更新頻繁間接表明數(shù)據(jù)比較及時有效性測量27將數(shù)據(jù)與既定的域（參照表，范圍或數(shù)學規(guī)則）中的有效值做比較C合規(guī)率 1- 測量的不符合碼值的記錄數(shù)測量的總記錄數(shù)越高越好表11.完備性2.完整性3.一致性4.及時性5.有效性指標解讀：指標反應(yīng)某個數(shù)據(jù)字段的數(shù)據(jù)質(zhì)量，量化指標由測量根據(jù)規(guī)則計算得到，測量是對某個數(shù)據(jù)

3、值的數(shù)據(jù)質(zhì)量表示。從指標量化的定義上，可以看出FRUC指標是字段級的指標，是對字段的數(shù)據(jù)質(zhì)量的表示。產(chǎn)品功能上需求測量數(shù)據(jù)，并計算指標。要求測量后返回如下監(jiān)控結(jié)果。測量： 是否為空，返回空數(shù)據(jù)是否重復(fù)，返回重復(fù)數(shù)據(jù)是否新增，返回新增記錄是否更新，返回更新記錄是否滿足取值范圍（碼值范圍），返回不滿足取值數(shù)據(jù)其中測量c,d無法做到單個數(shù)據(jù)值的測量，可以做到記錄行級的測量，指標U更高一級，是對表的數(shù)據(jù)質(zhì)量的表示。Q值Q值 Q(N, F,U,R,C) ( ( 1 N空值率 ) + （1 R重復(fù)率） F填充率 + U更新率 + C合規(guī)率 )5 )* 100%從數(shù)據(jù)質(zhì)量維度出發(fā)，我們可以定相應(yīng)的歸一量化指

4、標，分別是空值率、填充率、重復(fù)率、更新率與符合率。參見 REF _Ref340999004 h 錯誤!未找到引用源。測量級別定義測量級別適用測量數(shù)據(jù)值a,b,e記錄行c,d字段F,R,C表Q,U數(shù)據(jù)源系統(tǒng)Q測量需求目前數(shù)據(jù)質(zhì)量產(chǎn)品不實現(xiàn)測量計算過程和規(guī)則定義，只時間測量結(jié)果的展示。展示的信息需要完全開發(fā)DCI作業(yè)實現(xiàn)，DCI測量可分解成一下幾個步驟。劃定測量范圍人工手動確定測量范圍，需要測量的源數(shù)據(jù)的系統(tǒng)名，表名，字段名，待測指標。其中單個字段只定義一個測量指標。表樣：系統(tǒng)名表名表中文名表主鍵字段名字段中文名測量類別質(zhì)量維度取值范圍問題描述教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYH專業(yè)號b完整性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYMC專業(yè)中文名稱b完整性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYFXH專業(yè)方向a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHSSXK所屬學科a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHXZ學制a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHPYCC培養(yǎng)層次e有效性CODE:01,DESC:本科,CODE:02,DESC:?？?CODE:03,DESC:專升本設(shè)計DC