數(shù)據(jù)質(zhì)量管理【蒼松書苑】

1、數(shù)據(jù)管理,演講人： 部門： 職務(wù),數(shù)據(jù)管理,2,目標(biāo)一：安全 訪問(wèn)安全 存儲(chǔ)安全 目標(biāo)二：正確 數(shù)據(jù)精確 數(shù)據(jù)正確 目標(biāo)三：效率 常規(guī)加載的效率 非常規(guī)加載的效率,數(shù)據(jù)管理的目標(biāo),3,數(shù)據(jù)管理,4,數(shù)據(jù)質(zhì)量管理的難點(diǎn)與重點(diǎn),5,數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量 數(shù)據(jù)的真實(shí)性： 數(shù)據(jù)必須真實(shí)準(zhǔn)確的反映實(shí)際發(fā)生的業(yè)務(wù)。 數(shù)據(jù)的完備性： 數(shù)據(jù)的完備性是說(shuō)數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒(méi)有被遺漏。 數(shù)據(jù)的自治性 數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而不能夠相互矛盾,數(shù)據(jù)質(zhì)量概念,數(shù)據(jù)的真實(shí)性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有

2、的屬性，稱為數(shù)據(jù)的絕對(duì)質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的絕對(duì)質(zhì)量外，還有我們?cè)诶煤痛尜A數(shù)據(jù)的過(guò)程中所產(chǎn)生的數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之為過(guò)程質(zhì)量,6,數(shù)據(jù)的過(guò)程質(zhì)量 數(shù)據(jù)的使用質(zhì)量： 數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯(cuò)誤的使用，就不可能得出正確的結(jié)論。 數(shù)據(jù)的存貯質(zhì)量： 指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來(lái)抵制外來(lái)的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，如異地備份和雙機(jī)備份等，所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要數(shù)據(jù)的時(shí)候能及時(shí)方便的取出。 數(shù)據(jù)的傳輸質(zhì)量： 數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過(guò)程中的效率和正確性

3、。在現(xiàn)代信息社會(huì)中，數(shù)據(jù)在異地之間的傳輸越來(lái)越多，保證傳輸過(guò)程中的高效率和正確性非常重要,數(shù)據(jù)質(zhì)量概念,7,關(guān)系建設(shè)系統(tǒng)成敗 很多數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程度不高或最后失敗，歸根結(jié)底都是數(shù)據(jù)質(zhì)量不高造成的。 數(shù)據(jù)質(zhì)量好壞關(guān)系到結(jié)果與預(yù)期是否一致 低下的數(shù)據(jù)質(zhì)量往往造成開發(fā)出來(lái)的系統(tǒng)與用戶的預(yù)期大相徑庭 數(shù)據(jù)質(zhì)量是決策正確的保障 數(shù)據(jù)信息是企業(yè)重要的戰(zhàn)略資源，合理有效的使用正確的數(shù)據(jù)能指導(dǎo)企業(yè)領(lǐng)導(dǎo)作出正確的決策，提高企業(yè)的競(jìng)爭(zhēng)力。不合理的使用不正確的數(shù)據(jù)（即差的數(shù)據(jù)質(zhì)量）可導(dǎo)致決策的失敗，正可謂差之毫厘、謬以千里。 數(shù)據(jù)質(zhì)量是長(zhǎng)期困擾開發(fā)的難題 數(shù)據(jù)質(zhì)量不高已經(jīng)成為困擾此類項(xiàng)目的開發(fā)人員與用戶的一個(gè)嚴(yán)重問(wèn)題

4、,數(shù)據(jù)質(zhì)量重要性,8,數(shù)據(jù)質(zhì)量不高的主要原因,9,數(shù)據(jù)質(zhì)量歸類,10,數(shù)據(jù)質(zhì)量示例,11,數(shù)據(jù)質(zhì)量管理方法,12,數(shù)據(jù)管理,13,數(shù)據(jù)質(zhì)量控制方法論,14,數(shù)據(jù)源檢驗(yàn)方法,數(shù)據(jù)源檢驗(yàn)是對(duì)HDS中的源表進(jìn)行的數(shù)據(jù)質(zhì)量檢查。數(shù)據(jù)源檢驗(yàn)分為時(shí)效性 檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn)、 邏輯性檢驗(yàn),15,數(shù)據(jù)源檢驗(yàn)方法,時(shí)效性檢驗(yàn) 判斷在約定的時(shí)間內(nèi)，數(shù)據(jù)源的數(shù)據(jù)是否按時(shí)到達(dá) 完整性檢驗(yàn) HDS數(shù)據(jù)表與代碼表的一致性檢查 HDS數(shù)據(jù)表記錄數(shù)檢查 原則性檢驗(yàn) HDS數(shù)據(jù)表中字段的數(shù)值是否在合法的區(qū)間內(nèi) 邏輯性檢驗(yàn) 單表或多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查,16,數(shù)據(jù)源檢驗(yàn)適用

5、的規(guī)則,時(shí)效性檢驗(yàn) 規(guī)則一：時(shí)效性檢驗(yàn)適用于HDS中所有的代碼表和數(shù)據(jù)表。 完整性檢驗(yàn) 規(guī)則二：包含外鍵字段的HDS數(shù)據(jù)表必須進(jìn)行代碼一致性檢驗(yàn)。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的HDS數(shù)據(jù)表必須進(jìn)行記錄條數(shù)檢驗(yàn)。 原則性檢驗(yàn) 規(guī)則四：HDS數(shù)據(jù)表中可以確定取值范圍的字段必須進(jìn)行原則性檢驗(yàn)。 邏輯性檢驗(yàn) 規(guī)則五：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，且存在匯總關(guān)系。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則六：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則七：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有

6、邏輯公式成立。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),17,數(shù)據(jù)檢驗(yàn)方法,數(shù)據(jù)校驗(yàn)是對(duì)DDS數(shù)據(jù)庫(kù)中前臺(tái)應(yīng)用直接使用的相關(guān)表的檢驗(yàn)。數(shù)據(jù)校驗(yàn)分為時(shí) 效性檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn)、 模糊性檢驗(yàn)、邏輯性檢驗(yàn),18,數(shù)據(jù)檢驗(yàn)方法,時(shí)效性檢驗(yàn) 判斷在約定的時(shí)間內(nèi)，前臺(tái)應(yīng)用直接使用的相關(guān)表是否按時(shí)加載 完整性檢驗(yàn) DDS事實(shí)表與維度表的一致性檢查 DDS事實(shí)表記錄數(shù)檢查 原則性檢驗(yàn) DDS事實(shí)表中單字段的數(shù)值是否在合法的區(qū)間內(nèi) 同一表內(nèi)字段間邏輯關(guān)系的檢查 模糊性檢驗(yàn) 判斷字段的數(shù)值及其同比值是否在合理的區(qū)間內(nèi) 邏輯性檢驗(yàn) 由不同數(shù)據(jù)源加工得到的多個(gè)表內(nèi)字段間邏輯關(guān)系

7、的檢查,19,數(shù)據(jù)檢驗(yàn)適用的規(guī)則,時(shí)效性檢驗(yàn) 規(guī)則一：時(shí)效性檢驗(yàn)適用于DDS中所有的維度表和事實(shí)表。 完整性檢驗(yàn) 規(guī)則二：包含外鍵字段的DDS中事實(shí)表必須進(jìn)行代碼一致性檢驗(yàn)。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的DDS事實(shí)表必須進(jìn)行記錄條數(shù)檢驗(yàn)。 原則性檢驗(yàn) 規(guī)則四：表中的字段可以確定取值范圍，同時(shí)可以判定不在此范 圍內(nèi)的數(shù)據(jù)必定是錯(cuò)誤的。滿足此條件必須進(jìn)行原則性檢驗(yàn)。 規(guī)則五：同表內(nèi)多個(gè)字段間具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存在匯總關(guān)系時(shí)，必須進(jìn)行原則性檢驗(yàn)。 規(guī)則六：同表內(nèi)多個(gè)字段間具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有邏輯公式成立時(shí)，必須進(jìn)行原則性檢驗(yàn),20,數(shù)據(jù)檢驗(yàn)

8、適用的規(guī)則,模糊性檢驗(yàn) 規(guī)則七：不能進(jìn)行完整性、原則性檢驗(yàn)的情況下，必須進(jìn)行模糊性檢驗(yàn)。 規(guī)則八：規(guī)則七不成立時(shí)，根據(jù)系統(tǒng)的重要程度決定是否進(jìn)行模糊性檢驗(yàn)。系統(tǒng)的重要程度及哪些系統(tǒng)要進(jìn)行模糊性檢驗(yàn)由客戶方確定。 邏輯性檢驗(yàn) 規(guī)則九：本表的字段與其它表中的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng) 計(jì)口徑，存在匯總關(guān)系，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則十：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則十一：本表的字段與其他表中的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有

9、邏輯公式成立，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn),21,數(shù)據(jù)質(zhì)量檢驗(yàn)的順序,1、數(shù)據(jù)源完整性檢驗(yàn) 數(shù)據(jù)源的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 2、數(shù)據(jù)源原則性檢驗(yàn) 數(shù)據(jù)源的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程。不需要再進(jìn)行后續(xù)的檢驗(yàn) 3、數(shù)據(jù)校驗(yàn)完整性檢驗(yàn) 數(shù)據(jù)校驗(yàn)的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 4、數(shù)據(jù)校驗(yàn)原則性檢驗(yàn) 數(shù)據(jù)校驗(yàn)的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 5、數(shù)據(jù)源時(shí)效性檢驗(yàn)、數(shù)據(jù)源邏輯性檢驗(yàn)、數(shù)據(jù)校驗(yàn)時(shí)效性檢驗(yàn)、 數(shù)據(jù)校驗(yàn)?zāi)：詸z驗(yàn)、數(shù)據(jù)校驗(yàn)邏輯性檢驗(yàn) 這

10、五類檢驗(yàn)方法報(bào)異常時(shí)，ETL加載正常進(jìn)行，但需要給出預(yù)警提示,22,數(shù)據(jù)管理,23,數(shù)據(jù)質(zhì)量檢驗(yàn)的案例,下面以行業(yè)對(duì)比報(bào)表中的全國(guó)卷煙市場(chǎng)分類銷量情況表（分價(jià)類）為例來(lái)介紹如何根據(jù)數(shù)據(jù)質(zhì)量管理方案進(jìn)行各類規(guī)則的制定實(shí)施過(guò)程,24,步驟一確定相關(guān)的表,全國(guó)卷煙市場(chǎng)分類銷售情況表（分價(jià)類） 在DDS中直接使用的表為：APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL 對(duì)應(yīng)的HDS中的源表為：EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL。 因此下面的檢驗(yàn)規(guī)則主要針對(duì)這兩張表來(lái)制定,25,步驟二確定數(shù)據(jù)源的時(shí)效性檢驗(yàn)規(guī)則,根據(jù)表EIIRECV.EIIREC

11、V_TZ_BS_Y_Q_M_SELLDETAIL的數(shù)據(jù)到達(dá)規(guī)律，定義該表每月最晚到達(dá)日期為8日,26,步驟三 確定數(shù)據(jù)源的完整性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則二、三： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有外鍵字段 I_Province (省份代碼)、 I_Org (機(jī)構(gòu)代碼)、C_Brand(規(guī)格)。 I_Province (省份代碼）對(duì)應(yīng)代碼表DM.T_DM_GJJ_QGSF中的QGSFDM； I_Org (機(jī)構(gòu)代碼)對(duì)應(yīng)代碼表DM.T_DM_GJJ_ZZJG中的ZZJGDM； C_Brand(規(guī)格)對(duì)應(yīng)代碼表T_DM_GJJ_JY

12、中的THTXBS 。 該表符合規(guī)則二的檢驗(yàn)條件，需要進(jìn)行代碼一致性檢查。 2、該表包含有日期型字段Y,M，但記錄條數(shù)每月不確定，因此不滿足規(guī)則三，無(wú)法進(jìn)行記錄條數(shù)檢查,27,步驟四 確定數(shù)據(jù)源的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則四： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有數(shù)據(jù)字段sell(系統(tǒng)外總銷量 )、Out_Sell_Retail_Amount (系統(tǒng)外零售量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 )、End_Store_Amount (期末庫(kù)存 )； 根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定： sell=0 Out_Sell_Retai

13、l_Amount=0 Out_Sell_Amount=0 End_Store_Amount=0,28,步驟五 確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則五： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amount 2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC表也包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amount 3、這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含義、

14、不同的統(tǒng)計(jì)口徑，存在以下匯總關(guān)系： EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC 表統(tǒng)計(jì)商業(yè)企業(yè)的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫(kù)存數(shù)據(jù)。EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表統(tǒng)計(jì)商業(yè)企業(yè)分卷煙規(guī)格的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫(kù)存數(shù)據(jù)。因此EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表中某商業(yè)企業(yè)分規(guī)格的匯總數(shù)據(jù)應(yīng)該等于表EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC中對(duì)應(yīng)的商業(yè)企業(yè)的數(shù)據(jù),29,步驟五 確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)

15、則六、七： 1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中不包含字段與其 他表中的字段具有相同的業(yè)務(wù)含義、統(tǒng)計(jì)口徑。因此不滿足規(guī)則六邏輯檢 驗(yàn)。 2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中包含有字段 sell(系統(tǒng)外總銷量)、 Out_Sell_Retail_Amount (系統(tǒng)外零售 量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 ) End_Store_Amount (期 末庫(kù)存 )、ratio_stock_sell(存銷比)。 具有不同的業(yè)務(wù)含義、相同的統(tǒng)計(jì)口徑，存在業(yè)務(wù)邏輯關(guān)系： ratio_s

16、tock_sell= End_Store_Amount/sell sell= Out_Sell_Retail_Amount+ Out_Sell_Amount,30,步驟六 確定數(shù)據(jù)的時(shí)效性檢驗(yàn)規(guī)則,根據(jù)表APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL使用的源表的最晚到達(dá)時(shí)間，加上后臺(tái)數(shù)據(jù)加工處理的時(shí)間，定義該表的最晚加載日期為每月12日,31,步驟七 確定數(shù)據(jù)的完整性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則二、三： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL不包含外鍵字段，因此不符 合規(guī)則二，不需要進(jìn)行代碼一致性檢查。 2、該表包含有日期型字段DQRQ，

17、記錄條數(shù)每月確定，因此滿足規(guī)則三，需要進(jìn)行記錄條數(shù)檢查，此表每月加載量為35行,32,步驟八 確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則四： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；可以確定取值范圍，根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定： BY_SYXL、BY_HCY、 LJ_SYXL、LJ_SYXL 0; BY_JL1、BY_JL2、BY_JL3、BY_J

18、L4、BY_JL50; LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL50,33,步驟八 確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則五、六： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中包含有字段SCLXMC、 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；存在有相同業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，其中市場(chǎng)類型為全國(guó)的數(shù)據(jù)對(duì)應(yīng)于市場(chǎng)類型為本土市場(chǎng)、重點(diǎn)市場(chǎng)和其他市場(chǎng)的匯總數(shù)據(jù)。 2、AP

19、P_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中不包含字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上存在業(yè)務(wù)邏輯公式的。因此不滿足數(shù)據(jù)檢驗(yàn)的規(guī)則六,34,步驟九 確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段BY_SYXL、BY_HCY、 LJ_SYXL、LJ_HCY、 BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL；不滿足規(guī)則七，

20、滿足規(guī)定八。 2、其中字段BY_SYXL、BY_HCY、LJ_SYXL、LJ_HCY的數(shù)據(jù)根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定，數(shù)據(jù)審核規(guī)范如下：市場(chǎng)類型為全國(guó)的對(duì)應(yīng)以上字段數(shù)據(jù)同比的合理區(qū)間在010%；市場(chǎng)類型除全國(guó)外其他類型的同比合理區(qū)間在-10%20,35,步驟九 確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八： 3、其中字段BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、 BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL的數(shù)據(jù)根據(jù)統(tǒng)計(jì)學(xué)公式確定，數(shù)據(jù)審核規(guī)范如下：區(qū)分市場(chǎng)類型使用99%置信區(qū)間

21、；合理區(qū)間在歷史數(shù)據(jù)平均值-3(歷史數(shù)據(jù)標(biāo)準(zhǔn)差/歷史數(shù)據(jù)記錄數(shù)的平方根)歷史數(shù)據(jù)平均值+3(歷史數(shù)據(jù)標(biāo)準(zhǔn)差/歷史數(shù)據(jù)記錄數(shù)的平方根,36,步驟十 確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九： 1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5 2、ZHGL.L_T_ZHGL_JYFLSPDXYBBLJ表(煙草系統(tǒng)卷煙分類商品電訊月報(bào)表累計(jì))包含有字段DQ、YLYNCLJ、ELYNCLJ、SLYNCLJ、SILYNCLJ、WLYNCLJ 3、這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含

22、義，不同的統(tǒng)計(jì)口徑，存在匯總 關(guān)系： APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中為各省份的分價(jià)類銷量的分月的數(shù)據(jù)ZHGL.T_ZHGL_JYFLSPDXYBBLJ表表中各省份、分價(jià)類商業(yè)銷量的累計(jì)數(shù)據(jù) 因此APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表各省份的分價(jià)類銷量的分月的匯總數(shù)據(jù)等于該電訊月報(bào)ZHGL.T_ZHGL_JYFLSPDXYBBLJ表對(duì)應(yīng)省份、對(duì)應(yīng)價(jià)類商業(yè)銷量的累計(jì)數(shù)據(jù),37,步驟十 確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則,根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九： 4、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_SYXL， 5、ZHGL.T_ZHGL_JYXTSPDXYBBLJ表(煙草系統(tǒng)卷煙商品電訊月報(bào)累計(jì))包含有字段DQ、XTWXSHJ 6、這兩張表具有相同業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存在匯總關(guān)系： APP_JJY