計算機輔助審計課件第5章 審計數(shù)據(jù)預處理

5-1本章學習目標理解審計數(shù)據(jù)預處理的重要性理解數(shù)據(jù)質(zhì)量、審計數(shù)據(jù)質(zhì)量問題；掌握審計數(shù)據(jù)預處理的意義以及審計數(shù)據(jù)預處理的內(nèi)容結(jié)合應用實例熟悉審計數(shù)據(jù)預處理的基本方法理解審計數(shù)據(jù)預處理階段數(shù)據(jù)驗證的重要性、熟悉審計數(shù)據(jù)預處理階段數(shù)據(jù)驗證的內(nèi)容和方法了解一些大數(shù)據(jù)審計數(shù)據(jù)預處理方法5-2概述:審計數(shù)據(jù)預處理的重要性審計數(shù)據(jù)預處理理論分析審計數(shù)據(jù)預處理應用實例大數(shù)據(jù)預處理方法簡介審計數(shù)據(jù)預處理階段的數(shù)據(jù)驗證本章主要內(nèi)容5-3數(shù)據(jù)質(zhì)量單數(shù)據(jù)源數(shù)據(jù)質(zhì)量問題多數(shù)據(jù)源集成時數(shù)據(jù)質(zhì)量問題審計數(shù)據(jù)質(zhì)量實例

審計數(shù)據(jù)預處理的意義審計數(shù)據(jù)預處理的內(nèi)容審計數(shù)據(jù)預處理理論分析5-4什么是數(shù)據(jù)質(zhì)量呢？數(shù)據(jù)質(zhì)量問題并不僅僅是指數(shù)據(jù)錯誤。有的文獻把數(shù)據(jù)質(zhì)量定義為數(shù)據(jù)的一致性（consistency）、正確性（correctness）、完整性（completeness）和最小性（minimality）這4個指標在信息系統(tǒng)中得到滿足的程度，有的文獻則把“適合使用”作為衡量數(shù)據(jù)質(zhì)量的初步標準。數(shù)據(jù)質(zhì)量5-5準確性（Accuracy）準確性是指數(shù)據(jù)源中實際數(shù)據(jù)值與假定正確數(shù)據(jù)值的一致程度；完整性（Completeness）完整性是指數(shù)據(jù)源中需要數(shù)值的字段中無值缺失的程度；一致性（Consistency）一致性是指數(shù)據(jù)源中數(shù)據(jù)對一組約束的滿足程度；唯一性（Uniqueness）唯一性是指數(shù)據(jù)源中記錄以及編碼是否唯一；適時性（Timeliness）適時性是指在所要求的或指定的時間提供一個或多個數(shù)據(jù)項的程度；有效性（Validity）有效性是指維護的數(shù)據(jù)足夠嚴格以滿足分類準則的接受要求。數(shù)據(jù)質(zhì)量的評價指標5-6重復的數(shù)據(jù)不完整的數(shù)據(jù)不正確的數(shù)據(jù)無法理解的數(shù)據(jù)值不一致的數(shù)據(jù)可能存在的數(shù)據(jù)質(zhì)量問題5-7數(shù)據(jù)質(zhì)量問題分類5-8單數(shù)據(jù)源數(shù)據(jù)質(zhì)量問題5-9單數(shù)據(jù)源數(shù)據(jù)質(zhì)量問題5-10當多個數(shù)據(jù)源集成時，發(fā)生在單數(shù)據(jù)源中的這些問題會更加嚴重。這是因為每個數(shù)據(jù)源都是為了特定應用，單獨開發(fā)、部署和維護的，這就很大程度上導致數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)模型、模式設(shè)計和實際數(shù)據(jù)的不同。每個數(shù)據(jù)源都可能含有臟數(shù)據(jù)，多數(shù)據(jù)源中的數(shù)據(jù)可能會出現(xiàn)不同表示、重復、沖突等現(xiàn)象。在模式級，模式設(shè)計的主要問題是命名沖突和結(jié)構(gòu)沖突。命名沖突主要表現(xiàn)為不同的對象可能使用同一個命名，而同一對象可能使用不同的命名；結(jié)構(gòu)沖突存在很多種不同的情況，一般是指在不同數(shù)據(jù)源中同一對象有不同表示，如不同的組成結(jié)構(gòu)、不同的數(shù)據(jù)類型、不同的完整性約束等。多數(shù)據(jù)源集成時數(shù)據(jù)質(zhì)量問題5-11除了模式級的沖突，很多沖突僅出現(xiàn)在實例級上，即數(shù)據(jù)沖突。由于不同數(shù)據(jù)源中數(shù)據(jù)的表示可能會不同，單數(shù)據(jù)源中的所有問題都可能會出現(xiàn)，比如重復的記錄、沖突的記錄等。此外，在整個數(shù)據(jù)源中，盡管有時不同的數(shù)據(jù)源中有相同的字段名和類型，仍可能存在不同的數(shù)值表示，如對性別的描述，一個數(shù)據(jù)源中可能用“0/1”來描述，另一個數(shù)據(jù)源中可能會用“F/M”來描述，或者對一些數(shù)值的不同表示，如一個數(shù)據(jù)源中度量單位制可能用美元，另一個數(shù)據(jù)源中可能會用歐元。此外，不同數(shù)據(jù)源中的信息可能表示在不同的聚集級別上，如一個數(shù)據(jù)源中信息可能指的是每種產(chǎn)品的銷售量，而另一個數(shù)據(jù)源中信息可能指的是每組產(chǎn)品的銷售量。多數(shù)據(jù)源集成時數(shù)據(jù)質(zhì)量問題5-12審計數(shù)據(jù)質(zhì)量實例----不完整數(shù)據(jù)5-13審計數(shù)據(jù)質(zhì)量實例----不完整數(shù)據(jù)5-14審計數(shù)據(jù)質(zhì)量實例----不一致的數(shù)據(jù)5-15審計數(shù)據(jù)質(zhì)量實例----不正確的數(shù)據(jù)5-16審計數(shù)據(jù)質(zhì)量實例----重復的數(shù)據(jù)5-17為下一步的審計數(shù)據(jù)分析提供準備幫助發(fā)現(xiàn)隱含的審計線索降低審計風險通過更改命名方式便于數(shù)據(jù)分析審計數(shù)據(jù)預處理的意義5-18數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)清理審計數(shù)據(jù)預處理的內(nèi)容5-19數(shù)據(jù)預處理的內(nèi)容5-20審計數(shù)據(jù)預處理應用實例----基于MicrosoftAccess名稱轉(zhuǎn)換

5-21空值處理

審計數(shù)據(jù)預處理應用實例----基于MicrosoftAccess5-22審計數(shù)據(jù)預處理應用實例----基于SQLServer表名稱轉(zhuǎn)換

5-23審計數(shù)據(jù)預處理應用實例----基于SQLServer字段名稱轉(zhuǎn)換

5-24空值處理

審計數(shù)據(jù)預處理應用實例----基于SQLServer5-25大數(shù)據(jù)預處理方法簡介不完整數(shù)據(jù)清理相似重復記錄清理PDF格式文件轉(zhuǎn)化成文本格式文件5-26PDF格式文件轉(zhuǎn)化成文本格式文件示例5-27PDF格式文件轉(zhuǎn)化成文本格式文件示例5-28PDF格式文件轉(zhuǎn)化成文本格式文件示例5-29審計數(shù)據(jù)預處理階段數(shù)據(jù)驗證的重要性在審計數(shù)據(jù)預處理過程中可能存在一些問題，比如：（1）目標數(shù)據(jù)模式設(shè)計不合理。（2）審計數(shù)據(jù)預處理方法不當。（3）審計數(shù)據(jù)預處理工具使用不合適。（4）審計數(shù)據(jù)預處理過程不規(guī)范，沒有日志記錄。每一步預處理工作都有可能影響到數(shù)據(jù)的完整性和正確性，所以在這一階段進行數(shù)據(jù)驗證也是很必要的。5-30確信數(shù)據(jù)預處理的目標實現(xiàn)確認數(shù)據(jù)預處理工作沒有損害數(shù)據(jù)的完整性、正確性審計數(shù)據(jù)預處理階段數(shù)據(jù)驗證的內(nèi)容和方法審計數(shù)據(jù)驗證的主要內(nèi)容5-31審計數(shù)據(jù)預處理階段數(shù)據(jù)驗證的內(nèi)容和方法審計數(shù)據(jù)驗證的方法

在審計數(shù)據(jù)預處理階段，審計人員可以根據(jù)實際情況，采用核對總金額、保持借貸平衡、勾稽關(guān)系、審計抽樣等數(shù)據(jù)驗證方法來完成審計數(shù)據(jù)驗證。5-32為什么需要對被審計數(shù)據(jù)進行審計數(shù)據(jù)預處理？什么是數(shù)據(jù)質(zhì)量？常見審計數(shù)據(jù)質(zhì)量問題有哪些？如何對被審計數(shù)據(jù)進行數(shù)據(jù)預處理？大數(shù)據(jù)環(huán)境下審計數(shù)據(jù)預處理方法有哪些變化？數(shù)據(jù)預處理階段為什么也需要數(shù)據(jù)驗證？思考題5-33相關(guān)參考書陳偉．《大數(shù)據(jù)審計理論、方法與應用》，科學出版社，2019年7月陳偉．《計算機審計（第2版）》，中國人民大學出版社，2019年12月陳偉．《審計信息化》，高等教育出版社，2017年11月陳偉．《信息系統(tǒng)審計》，高等