版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、審計數(shù)據(jù)采集與分析技術(shù)概要-wxf2022/7/24審計數(shù)據(jù)采集與分析技術(shù)概要wxf計算機審計的含義一般認為,計算機審計有3層含義:面向數(shù)據(jù)的審計面向現(xiàn)行信息系統(tǒng)的審計對信息系統(tǒng)生命周期的審計審計數(shù)據(jù)采集與分析技術(shù)概要wxf面向數(shù)據(jù)的計算機審計流程審前調(diào)查:電子數(shù)據(jù)的組織、處理和存儲數(shù)據(jù)采集:審計接口、數(shù)據(jù)庫訪問技術(shù)、數(shù)據(jù)采集技術(shù)數(shù)據(jù)清理、轉(zhuǎn)換、驗證、建立中間表數(shù)據(jù)分析:數(shù)據(jù)分析技術(shù)、SQL、審計軟件審計取證審計數(shù)據(jù)采集與分析技術(shù)概要wxf一、審前調(diào)查及電子數(shù)據(jù)的組織、處理和存儲審計數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法 對組織結(jié)構(gòu)調(diào)查管理體制在管理集中度高的單位,系統(tǒng)相應是集中式的
2、;數(shù)據(jù)由下級部門錄入并上傳,下級部門可能了解數(shù)據(jù)結(jié)構(gòu),也可能根本不知道數(shù)據(jù)結(jié)構(gòu);在上傳前可能進行具體的數(shù)據(jù)處理,也可能不進行任何處理,只上傳原始數(shù)據(jù);通過對管理體制的調(diào)查,可以為以后確定索取哪些技術(shù)資料、數(shù)據(jù),以及索取的方式方法等提供依據(jù);部門設置情況 部門的具體職能 部門內(nèi)計算機信息系統(tǒng)的情況并非所有的業(yè)務都一定運用計算機信息系統(tǒng) 選擇重點部門進行部門內(nèi)計算機信息系統(tǒng)情況的調(diào)查審計數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法對計算機信息系統(tǒng)的調(diào)查 對計算機信息系統(tǒng)概況的調(diào)查 硬件設備 系統(tǒng)軟件 系統(tǒng)技術(shù)文檔資料 系統(tǒng)的主要功能 系統(tǒng)的業(yè)務處理流程 對數(shù)據(jù)庫及數(shù)據(jù)的調(diào)查 數(shù)據(jù)庫相關(guān)技術(shù)情況
3、系統(tǒng)設計說明書數(shù)據(jù)庫詳細設計說明書,基本包含以下內(nèi)容:總數(shù)據(jù)流圖和具體業(yè)務數(shù)據(jù)流圖、軟件結(jié)構(gòu)圖設計數(shù)據(jù)庫表間關(guān)系圖表結(jié)構(gòu)描述數(shù)據(jù)庫SQL文件(含表、視圖、觸發(fā)器、存儲過程等)用戶使用手冊系統(tǒng)對業(yè)務處理的流程審計數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法提出數(shù)據(jù)需求確定所需數(shù)據(jù)內(nèi)容 確定數(shù)據(jù)獲取的具體方式 提出書面數(shù)據(jù)需求 審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計數(shù)據(jù)采集與分析技術(shù)概要wxf電子數(shù)據(jù)的組織、處理和存儲審計數(shù)據(jù)采集與分析技術(shù)概要wxf電子數(shù)據(jù)處理的特點存儲介質(zhì)改變(紙張磁性、光電介質(zhì))基于一定的數(shù)據(jù)處理平臺,有一定的數(shù)據(jù)模型(層次、網(wǎng)狀和關(guān)系模型,利用DBMS存儲和管理數(shù)據(jù),會計
4、信息組織與手工系統(tǒng)不同)數(shù)據(jù)表示編碼化(各種編碼)帶來系統(tǒng)控制和數(shù)據(jù)安全性的新問題(傳統(tǒng)的控制點正在發(fā)生變化,信息系統(tǒng)的控制與安全性問題日漸突出)審計線索改變(修改數(shù)據(jù)文件可以不留下痕跡,可以利用諸如系統(tǒng)日志和數(shù)據(jù)庫日志等系統(tǒng)控制手段發(fā)現(xiàn)一些線索)審計數(shù)據(jù)采集與分析技術(shù)概要wxf如何表示數(shù)據(jù)數(shù)據(jù)模型數(shù)據(jù)模型是對現(xiàn)實世界數(shù)據(jù)特征的抽象它提供模型化數(shù)據(jù)和信息的工具審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)模型的2個層次在信息世界中,使用概念模型(用于信息世界建模,語義表達能力強)E-R模型是一種常用的概念模型,它用來描述實體以及實體之間的聯(lián)系E-R模型的要素實體:客觀存在并可以相互區(qū)分的事物,用方框表示
5、屬性:實體的特征或性質(zhì),用橢圓表示聯(lián)系:實體之間的聯(lián)系,用菱形表示在計算機世界中,使用具體DBMS支持的數(shù)據(jù)模型(用于機器世界,有嚴格的形式化定義)關(guān)系模型層次模型網(wǎng)狀模型審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)模型的3個要素數(shù)據(jù)結(jié)構(gòu)描述模型的靜態(tài)特征是刻畫數(shù)據(jù)模型最重要的方面數(shù)據(jù)操作描述模型的動態(tài)特性數(shù)據(jù)檢索數(shù)據(jù)更新(增加、刪除、修改)約束條件一組完整性規(guī)則的集合實體完整性引用(參照)完整性用戶定義的完整性審計數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型關(guān)系模型是目前最常用的一種數(shù)據(jù)模型關(guān)系數(shù)據(jù)庫采用關(guān)系模型作為數(shù)據(jù)的組織方式關(guān)系模型建立在嚴格的關(guān)系代數(shù)基礎之上關(guān)系模型概念單一實體以及實體之間的聯(lián)系都用
6、關(guān)系來表示。關(guān)系之間的聯(lián)系則是通過相容(來自同一個域)的屬性來表示。關(guān)系必須是規(guī)范化的關(guān)系最基本的要求是每一個分量是一個不可分的數(shù)據(jù)項,亦即不允許表中還有表 (滿足第一范式,1NF)關(guān)系數(shù)據(jù)庫的標準語言SQL是一種非過程化語言,使用方便審計數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的術(shù)語關(guān)系一張二維表,每一列都不可再分表中的行、列次序并不重要元組二維表中的每一行,相當于一條記錄屬性二維表中的每一列,屬性有名稱與類型。屬性不可再分,不允許重復主鍵由表中的屬性或?qū)傩越M組成,用于唯一確定一條記錄域?qū)傩缘娜≈捣秶P(guān)系模式記錄結(jié)構(gòu)的描述,對應關(guān)系表的表頭審計數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的數(shù)據(jù)運算傳統(tǒng)的
7、集合運算并(UNION)交(INTERSECTION)差(MINUS)笛卡兒積專門的關(guān)系運算選擇(SELECTION)投影(PROJECT)連接(JOIN)連接的含義:相容屬性之間的關(guān)系連接的類型(內(nèi)連接、外連接、自然連接)審計數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的完整性約束條件實體完整性(Entity Integrity)關(guān)鍵字屬性的組成部分不能為空值參照完整性(Referential Integrity)參照表中的外關(guān)鍵字要么取空值,要么取被參照表中的某一主關(guān)鍵字的值用戶定義完整性(User-Defined Integrity )具體應用環(huán)境的完整性約束,反映了某一具體應用所涉及的數(shù)據(jù)應滿
8、足的語義要求審計數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)文件”的含義“數(shù)據(jù)文件”這個概念具有非常豐富的內(nèi)涵,它泛指各種用來存儲數(shù)據(jù)的文件。在數(shù)據(jù)庫技術(shù)誕生之前,它指的是存放數(shù)據(jù)的文件本身。數(shù)據(jù)庫技術(shù)誕生后,數(shù)據(jù)由DBMS管理,數(shù)據(jù)文件是存放物理數(shù)據(jù)庫的載體。不同的DBMS存儲數(shù)據(jù)的方式是不同的。FoxPro一個邏輯上的表對應一個“庫文件”(.dbf)Access所有的數(shù)據(jù)庫對象放在一個數(shù)據(jù)庫文件中(.mdb)IBM DB2一張表的數(shù)據(jù)可能分別放在不同的數(shù)據(jù)文件中除了DBMS產(chǎn)生和維護的數(shù)據(jù)文件之外,還有很多應用程序管理的數(shù)據(jù)文件,如各種臨時文件、數(shù)據(jù)交換文件等。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)
9、庫的規(guī)范化設計方法運用軟件工程的思想與方法,根據(jù)數(shù)據(jù)庫設計的特點提出了各種設計準則和設計規(guī)程;邏輯數(shù)據(jù)庫設計與物理數(shù)據(jù)庫設計是關(guān)鍵與核心;對設計質(zhì)量的控制是以大量的書面文檔和數(shù)據(jù)字典為基礎的;目前出現(xiàn)了許多可視化的規(guī)范化輔助設計軟件;還沒有支持數(shù)據(jù)庫設計全過程的輔助工具 。審計數(shù)據(jù)采集與分析技術(shù)概要wxf生命周期法的6個階段需求分析概念結(jié)構(gòu)設計邏輯結(jié)構(gòu)設計物理數(shù)據(jù)庫設計數(shù)據(jù)庫實施運行維護 審計數(shù)據(jù)采集與分析技術(shù)概要wxf需求分析需求分析的重點是獲得兩方面的需求:(1)信息需求定義未來信息系統(tǒng)使用的全部信息,了解各項數(shù)據(jù)間的本質(zhì)聯(lián)系,描述數(shù)據(jù)的內(nèi)容和結(jié)構(gòu)以及它們之間的聯(lián)系等。(2)處理需求定義未
10、來信息系統(tǒng)數(shù)據(jù)處理的功能及功能與數(shù)據(jù)之間的聯(lián)系。同時考慮性能、安全性和完整性約束。審計數(shù)據(jù)采集與分析技術(shù)概要wxf自頂向下的結(jié)構(gòu)化分析方法自頂向下的結(jié)構(gòu)化分析方法(Structured Analysis, SA)是需求分析階段的一種常用方法。它的核心思想是:自頂向下逐層分解,直到每一項功能都可以被容易地實現(xiàn)為止。SA方法中要用到數(shù)據(jù)流程圖(Data Flow Diagram, DFD)來描述數(shù)據(jù)的處理過程。數(shù)據(jù)流圖是從“數(shù)據(jù)”和“處理”兩方面來表達數(shù)據(jù)處理過程的一種圖形化的表示方法。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)流程圖(DFD)以儲戶取款業(yè)務為例審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)字典
11、數(shù)據(jù)字典(Data Dictionary,DD)是在系統(tǒng)設計過程中對各類基本要素進行描述的集合。它是描述系統(tǒng)邏輯模型的重要工具。數(shù)據(jù)字典的組成部分:數(shù)據(jù)項數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)流數(shù)據(jù)存儲處理過程其中數(shù)據(jù)項是數(shù)據(jù)的最小組成單位,若干個數(shù)據(jù)項可以組成一個數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)字典通過對數(shù)據(jù)項和數(shù)據(jù)結(jié)構(gòu)的定義來描述數(shù)據(jù)流和數(shù)據(jù)存儲的內(nèi)容。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)項”舉例銷售業(yè)務中有很多數(shù)據(jù)項,其中“科目代碼”數(shù)據(jù)項可以描述如下:數(shù)據(jù)項編號:Item001數(shù)據(jù)項名稱:KMDM 數(shù)據(jù)項含義說明:唯一標識每個科目別名:科目代碼數(shù)據(jù)類型:字符型數(shù)據(jù)長度:9取值范圍:100000000至999999999取值含
12、義:前3位是一級科目,后面每2位是一個科目級別與其他數(shù)據(jù)項的邏輯關(guān)系:審計數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)流”舉例數(shù)據(jù)流“工資結(jié)算單”可以描述如下:數(shù)據(jù)流編號:Flow001數(shù)據(jù)流名稱:GZJSD說明:財務部門計算的工資結(jié)算單數(shù)據(jù)流來源:財務部門數(shù)據(jù)流去向:職工組成(數(shù)據(jù)結(jié)構(gòu)):職工號姓名性別基本工資出勤工日缺勤工日病假事假工傷假應扣工資副食補貼物價補貼房租水電儲蓄其他實發(fā)工資平均流量:1500/月(單位職工人數(shù))高峰期流量:低谷期流量:審計數(shù)據(jù)采集與分析技術(shù)概要wxf“處理過程”舉例處理過程“登記日記賬”可描述如下:處理過程編號:Proc001處理過程名稱:DJRJZ輸入數(shù)據(jù)流:記賬憑證輸
13、出數(shù)據(jù)流:現(xiàn)金及銀行存款日記賬處理說明:根據(jù)收款憑證、付款憑證逐筆順序登記現(xiàn)金日記賬和銀行存款日記賬處理要求:每月處理多次,每次處理時間小于15分鐘審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)庫表結(jié)構(gòu)定義字段名稱字段含義字段類型字段屬性Prj_Code項目編號字符型關(guān)鍵字Prj_Name項目名稱字符型非空Prj_Attr項目性質(zhì)字符型非空Audit_Chief審計組長字符型非空Main_Staff主審字符型非空Strategy審計方案字符型非空Start_Date進點日期日期時間型非空Time_Period工作周期數(shù)值型非空審計數(shù)據(jù)采集與分析技術(shù)概要wxf概念結(jié)構(gòu)設計的策略自頂向下:首先定義全局概念結(jié)
14、構(gòu)的框架,再做逐次細化。自底向上:首先定義每一局部應用的概念結(jié)構(gòu),然后按一定的規(guī)則把它們集成起來,得到全局概念結(jié)構(gòu)。由里向外:首先定義最重要的那些核心結(jié)構(gòu),再逐漸向外擴充。混合策略:把自頂向下和自底向上結(jié)合起來的方法。它先自頂向下設計一個概念結(jié)構(gòu)的框架。然后以它為骨架再自底向上設計局部概念結(jié)構(gòu),并把它們集成起來。審計數(shù)據(jù)采集與分析技術(shù)概要wxf概念結(jié)構(gòu)設計的E-R方法 E-R方法用E-R圖來描述現(xiàn)實世界的概念模型。將現(xiàn)實世界抽象為實體以及實體之間聯(lián)系。E-R圖的元素包括:方框:表示實體型(Entity),并在框內(nèi)寫上實體的名稱;橢圓:表示實體的屬性(Attribute),并用無向邊將實體與其屬
15、性連接起來;菱形:表示實體間的聯(lián)系(Relationship),菱形內(nèi)寫上聯(lián)系的名稱,用無向邊將菱形分別與相關(guān)的實體相連,在無向邊的旁邊標明聯(lián)系的類型。若聯(lián)系也有屬性,則把屬性橢圓和聯(lián)系菱形也用無向邊連接起來。審計數(shù)據(jù)采集與分析技術(shù)概要wxfE-R模型中的三種聯(lián)系一對一的聯(lián)系(1 :1)一個班級對應一個班主任一對多的聯(lián)系(1 :n)一個班級可以有多名學生,一個學生只能屬于一個班級多對多的聯(lián)系(m :n)一個學生可以學多門課程,一門課程可以有多名學生審計數(shù)據(jù)采集與分析技術(shù)概要wxfE-R模型中的三種聯(lián)系審計數(shù)據(jù)采集與分析技術(shù)概要wxfE-R圖審計數(shù)據(jù)采集與分析技術(shù)概要wxf用E-R方法進行概念結(jié)
16、構(gòu)設計的簡要步驟設計局部E-R模型將局部E-R模型集成為全局E-R模型屬性沖突命名沖突結(jié)構(gòu)沖突對全局E-R模型進行優(yōu)化審計數(shù)據(jù)采集與分析技術(shù)概要wxf邏輯結(jié)構(gòu)設計的步驟形成初始關(guān)系數(shù)據(jù)庫模式關(guān)系模式規(guī)范化和優(yōu)化外模式設計提供了數(shù)據(jù)的邏輯獨立性 能適應用戶對系統(tǒng)的不同需求 具有一定的安全保密作用 審計數(shù)據(jù)采集與分析技術(shù)概要wxf索引設計符合建立索引的條件:主關(guān)鍵字及外關(guān)鍵字上一般都應建立索引,以加快實體間連接速度,有助于引用完整性檢查以及唯一性檢查。用戶經(jīng)常訪問的字段上應建立索引。以讀操作為主的關(guān)系表盡可能多地建立索引。對等值連接查詢而言,如果滿足條件的元組數(shù)量小則可以考慮在有關(guān)屬性上建立索引。
17、有些查詢可從索引中直接得到結(jié)果,不必訪問數(shù)據(jù)塊,此種查詢可建索引,如查詢某屬性的MIN,MAX,AVG,SUM,COUNT等函數(shù)值可沿該屬性索引的順序集掃描直接求得結(jié)果。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf聚簇設計聚簇是將有關(guān)的數(shù)據(jù)記錄存放在一個物理塊或同一柱面內(nèi)以提高查詢效率。聚簇一般至少定義在一個屬性之上,不僅適用于單個關(guān)系,也適用于多個關(guān)系。聚簇功能可以大大提高按聚簇屬性進行查詢的效率,但對于與聚簇屬性無關(guān)的訪問則效果不佳。在特定的情況下可以考慮建立聚簇。審計數(shù)據(jù)采集與分析技術(shù)概要wxf二、審計接口審計數(shù)據(jù)采集與分析技術(shù)概要wxf什么是審計接口定義: 審計接口是從被審計信息系統(tǒng)向?qū)徲嫅孟?/p>
18、統(tǒng)傳送審計信息的規(guī)范和程序。接口包含兩方面內(nèi)容:傳送數(shù)據(jù)的格式和規(guī)范完成傳送作業(yè)的程序數(shù)據(jù)傳遞的方式:系統(tǒng)內(nèi)部多采用參數(shù)或共享數(shù)據(jù)來完成系統(tǒng)與系統(tǒng)之間傳遞信息需要開發(fā)專用的數(shù)據(jù)接口審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的分類按照不同的標準,可以將審計接口劃分為不同的類型。按接口的用途劃分,可以分為通用接口和專用接口;按接口與源系統(tǒng)和目標系統(tǒng)的耦合程度劃分,可以分為強耦合接口、弱耦合接口和一般耦合接口;按接口中數(shù)據(jù)傳輸?shù)念l率來劃分,可以分為實時接口與周期性接口。 其他的分類方法審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的分層模型接口可以分為3層邏輯層:表示信息含義的語言,對信息的含義進行定義和描
19、述 ;傳輸層:載運信息語言的方式,選擇最合適的方式完成源系統(tǒng)到目標系統(tǒng)之間的信息傳輸 ;控制層:控制信息交換過程的規(guī)程,保證信息傳輸?shù)倪m時性、正確性和有效性 。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的分層模型審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的邏輯層又稱為接口標準GB/T19581-2004信息技術(shù) 會計核算軟件數(shù)據(jù)接口中國軟件行業(yè)協(xié)會98-001標準上海市地方標準國家電子政務標準描述接口標準的語法必須沒有二義性審計數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層的實現(xiàn)形式被審計單位信息系統(tǒng)和審計系統(tǒng)之間采用數(shù)據(jù)庫連接件(如ODBC)通過計算機網(wǎng)絡直接相連。被審計單位信息系統(tǒng)和審計應用系統(tǒng)采用交換
20、文件傳輸數(shù)據(jù)。審計數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層實例一審計數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層實例二審計數(shù)據(jù)采集與分析技術(shù)概要wxf接口的控制層數(shù)據(jù)驗證核對總記錄數(shù)、總金額檢查借貸是否平衡順序碼斷號、重號驗證檢查勾稽關(guān)系審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的開發(fā)、管理和使用策略審計接口開發(fā)的根本性要求:數(shù)據(jù)經(jīng)過一系列的傳輸后,審計系統(tǒng)得到的數(shù)據(jù)與信息系統(tǒng)中的原始數(shù)據(jù)是一致的,沒有發(fā)生變異。審計接口的開發(fā)需要被審計單位和審計部門雙方共同參加。編程實現(xiàn)后,要由雙方共同進行確認測試,確認接口功能的正確性,并對接口開發(fā)工作進行評審認定。審計接口開發(fā)工作滯后時,可以在審計人員監(jiān)督下,由被審計單位技
21、術(shù)人員當場編程,從系統(tǒng)中獲取所需審計數(shù)據(jù),轉(zhuǎn)換成數(shù)據(jù)文件,交由審計系統(tǒng)讀入進行處理。審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計接口的開發(fā)、管理和使用策略審計接口開發(fā)完成后,不能隨意更改審計接口在使用時,首先由雙方人員對要使用的審計接口進行核查要對通過接口采集的數(shù)據(jù)的完整性進行確認審計數(shù)據(jù)采集與分析技術(shù)概要wxf三、審計數(shù)據(jù)采集審計數(shù)據(jù)采集與分析技術(shù)概要wxf異構(gòu)數(shù)據(jù)庫互訪問技術(shù)(1)Microsoft ODBC Open Database Connectivity (2)Borland IDAPIIntegrated Database Application Interface(3)Microsof
22、t UDAUniversal Data Access審計數(shù)據(jù)采集與分析技術(shù)概要wxfODBCODBC是由Microsoft公司制訂的數(shù)據(jù)庫系統(tǒng)互連標準。它為客戶端應用系統(tǒng)與數(shù)據(jù)庫服務器之間的連接提供了一種開放的、標準的接口,使得支持ODBC的系統(tǒng)間能夠?qū)崿F(xiàn)互連,具有一定的可移植性。審計數(shù)據(jù)采集與分析技術(shù)概要wxfODBC的總體結(jié)構(gòu)審計數(shù)據(jù)采集與分析技術(shù)概要wxfODBC驅(qū)動程序基于文件的驅(qū)動程序既處理ODBC調(diào)用也處理SQL語句依據(jù)其訪問數(shù)據(jù)的存取方式還可以分為兩種直接存取數(shù)據(jù)采用客戶機/服務器模式基于DBMS的驅(qū)動程序只處理ODBC調(diào)用把SQL語句的處理交給數(shù)據(jù)庫引擎通過單獨的引擎訪問物理數(shù)
23、據(jù)既可以和數(shù)據(jù)源存儲在同一個機器上,也可以分別存儲在網(wǎng)絡中的不同機器上,甚至可以通過網(wǎng)關(guān)訪問。 審計數(shù)據(jù)采集與分析技術(shù)概要wxfODBC數(shù)據(jù)源機器數(shù)據(jù)源存儲在由用戶定義名字的系統(tǒng)上可以分為用戶數(shù)據(jù)源和系統(tǒng)數(shù)據(jù)源文件數(shù)據(jù)源存儲于一個文件中允許連接信息由一個用戶重復使用或者由幾個用戶共享驅(qū)動程序管理器用.dsn文件中的信息連接數(shù)據(jù)源這個文件可以像其他任何文件一樣操作一個文件數(shù)據(jù)源沒有數(shù)據(jù)源名,并且它不注冊到任何用戶或機器上審計數(shù)據(jù)采集與分析技術(shù)概要wxfODBC的使用1創(chuàng)建ODBC數(shù)據(jù)源不同的驅(qū)動程序提供的ODBC數(shù)據(jù)源配置界面不同2使用ODBC獲取數(shù)據(jù)在審計軟件中使用在DBMS中使用在Excel
24、等軟件中使用審計數(shù)據(jù)采集與分析技術(shù)概要wxfIDAPIIDAPI是由Borland公司為首發(fā)布的一個異構(gòu)數(shù)據(jù)庫訪問接口。它是一個強大的數(shù)據(jù)庫引擎,基于驅(qū)動程序的體系結(jié)構(gòu)和面向?qū)ο蟮脑O計方法為各種數(shù)據(jù)庫的訪問提供了一致的接口,擴展和定制起來很容易。審計數(shù)據(jù)采集與分析技術(shù)概要wxfBDE基于驅(qū)動程序的體系結(jié)構(gòu)審計數(shù)據(jù)采集與分析技術(shù)概要wxfUDAMicrosoft 的UDA為關(guān)系型或非關(guān)系型數(shù)據(jù)訪問提供了一致的訪問接口。這個一致的接口使得應用程序能夠通過它來訪問各種各樣的數(shù)據(jù)。同時,UDA的多層結(jié)構(gòu)和擴展能力使得它具有極強的生命力。審計數(shù)據(jù)采集與分析技術(shù)概要wxfUDA的層次模型 審計數(shù)據(jù)采集與分
25、析技術(shù)概要wxfUDA的兩層軟件接口OLE DB系統(tǒng)級的編程接口,定義了一組接口,封裝了各種數(shù)據(jù)系統(tǒng)的訪問操作;提供了一組標準的服務組件,用于提供查詢、緩存、數(shù)據(jù)更新、事務處理等操作;是新的底層接口,采用一種“通用的”數(shù)據(jù)訪問范例,能夠處理任何類型的數(shù)據(jù),不需考慮格式和存儲方法。ADO應用層的編程接口,以OLE DB為基礎并對其進行了封裝;通過OLE DB提供的接口訪問數(shù)據(jù),適合于各種客戶機/服務器應用系統(tǒng)和基于Web的應用;具有更好的靈活性,使用方便,效率更高。審計數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件與電子表格文件訪問審計數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件優(yōu)點:靈活方便數(shù)據(jù)量大小基本不受限
26、制缺點:占用較大的存儲空間較多的傳輸時間需要進行類型或字段名稱的重定義分類:分隔符形式固定寬度審計數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件分隔符形式的文本文件以回車換行符號作為記錄間的分隔以分隔符作為字段之間的分隔第一行可以表示字段名可以有文本識別符號固定寬度的文本文件以回車換行符號作為記錄間的分隔以起始位置和寬度來標識字段第一行一般不表示字段名一般沒有文本識別符號審計數(shù)據(jù)采集與分析技術(shù)概要wxf分隔符形式的文本文件行號,代碼,名稱,利率,開始日期500,100, 90年五年期財政債券利率,8.31,01/10/1997500,200,開發(fā)銀行債券利率(12.5%),10.41,01/10/199
27、7500,201,開發(fā)銀行債券利率(14%),11.64,01/10/1997500,300,總行金融債券利率(11.5%),9.57,01/10/1997500,301,總行金融債券利率(11.25%),9.375,01/10/1997500,302,97年政策性金融債券利率(8.8%),7.32,03/19/1997500,1100,單位活期存款,1.2,07/01/1998500,1101,單位活期存款(協(xié)定),1.38,12/07/1998500,1200,單位活期存款,6.3,10/23/1997500,1201,同業(yè)存款,5.85,10/23/1997審計數(shù)據(jù)采集與分析技術(shù)概要wx
28、f固定寬度的文本文件500 10090年五年期財政債券利率 8.3101/10/1997500 200開發(fā)銀行債券利率(12.5%) 10.4101/10/1997500 201開發(fā)銀行債券利率(14%) 11.6401/10/1997500 300總行金融債券利率(11.5%) 9.5701/10/1997500 301總行金融債券利率(11.25%) 9.37501/10/19975001100單位活期存款 1.207/01/19985001101單位活期存款(協(xié)定) 1.3812/07/19985001200單位活期存款 6.310/23/19975001201同業(yè)存款 5.8510/2
29、3/1997審計數(shù)據(jù)采集與分析技術(shù)概要wxfExcel電子表格Excel 電子表格與關(guān)系數(shù)據(jù)庫的對應關(guān)系審計數(shù)據(jù)采集與分析技術(shù)概要wxf采集電子表格中的數(shù)據(jù)在訪問Excel電子表格中的數(shù)據(jù)時,要特別注意這樣兩個問題:關(guān)系數(shù)據(jù)庫的規(guī)范化問題。應該保證每一列只有一個標題,且這個標題是最高層次的標題。數(shù)據(jù)類型的一致性問題。Excel工作表中每一個單元格都可以有不同的數(shù)據(jù)類型,因此每一列中的數(shù)據(jù)類型可能會不一致。而關(guān)系數(shù)據(jù)庫要求表中每個字段的類型是固定的。如果出現(xiàn)這種情況,需要首先統(tǒng)一Excel工作表中每一列的數(shù)據(jù)類型。否則將不能訪問數(shù)據(jù)。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf四、數(shù)據(jù)清理與轉(zhuǎn)換技術(shù)審計數(shù)
30、據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)質(zhì)量的評價指標準確性:數(shù)據(jù)值與實際值的一致程度。 完整性:需要值的屬性中無值缺失的程度。一致性:數(shù)據(jù)對一組約束的滿足程度。唯一性:數(shù)據(jù)記錄(及碼值)的唯一性。 適時性:在所要求的或指定的時間提供一個或多個數(shù)據(jù)項的程度。有效性:維護的數(shù)據(jù)足夠嚴格以滿足分類準則的接受要求。審計數(shù)據(jù)采集與分析技術(shù)概要wxf為什么要進行數(shù)據(jù)清理 值缺失限制了審計人員的數(shù)據(jù)分析工作;數(shù)據(jù)表中的空值直接影響了數(shù)據(jù)分析結(jié)果的準確性;大量的冗余數(shù)據(jù)降低了數(shù)據(jù)分析的效率;數(shù)據(jù)值域定義的不完整性給數(shù)據(jù)審計工作帶來障礙。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)清理的主要工作確認輸入數(shù)據(jù)消除錯誤的空值(NU
31、LL)保證數(shù)據(jù)值落入定義域消除冗余數(shù)據(jù)解決數(shù)據(jù)中的沖突(不一致)審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)清理的基本技術(shù)解決不完整數(shù)據(jù)(即值缺失)的方法:大多數(shù)情況下,缺失的值必須手工填入;某些缺失值可以從自身數(shù)據(jù)源或其它數(shù)據(jù)源推導出來。錯誤值的檢測及解決方法:用統(tǒng)計分析的方法識別可能的錯誤值或異常值,如偏差分析、識別不遵守分布或回歸方程的值;使用簡單規(guī)則庫(常識性規(guī)則、業(yè)務特定規(guī)則等)檢查數(shù)據(jù)值;使用不同屬性間的約束;使用外部數(shù)據(jù)。不一致性的檢測及解決方法:定義完整性約束用于檢測不一致性;通過分析數(shù)據(jù)發(fā)現(xiàn)聯(lián)系。審計數(shù)據(jù)采集與分析技術(shù)概要wxf值缺失的解決方法 審計數(shù)據(jù)采集與分析技術(shù)概要wxf空值的
32、處理 在SQL Server的查詢分析器(SQL Query Analyzer)中執(zhí)行下列SQL語句用“0”替換某些字段的空值 :UPDATE 清理數(shù)據(jù)表 SET zj=0 WHERE zj IS NULL UPDATE 清理數(shù)據(jù)表 SET kl=0 WHERE kl IS NULLUPDATE 清理數(shù)據(jù)表 SET mj=0 WHERE mj IS NULL 審計數(shù)據(jù)采集與分析技術(shù)概要wxf消除冗余數(shù)據(jù) 清理憑證數(shù)據(jù)表中科目代碼以“s”開頭的現(xiàn)金流量輔助信息冗余記錄:DELETE FROM 清理數(shù)據(jù)表 WHERE kmdh LIKE s%審計數(shù)據(jù)采集與分析技術(shù)概要wxf錯誤數(shù)據(jù)的處理辦法審計人
33、員采集數(shù)據(jù)后,在下圖所示的固定資產(chǎn)表中發(fā)現(xiàn)資產(chǎn)原值字段存在負值的情況,這與會計處理的常規(guī)不符。審計數(shù)據(jù)采集與分析技術(shù)概要wxf錯誤數(shù)據(jù)的處理辦法在確認負的資產(chǎn)原值是錯誤數(shù)據(jù)后,審計人員可以在SQL Server的查詢分析器中執(zhí)行SQL語句:UPDATE 固定資產(chǎn)表 SET 資產(chǎn)原值=ABS(資產(chǎn)原值) WHERE 資產(chǎn)原值0改正資產(chǎn)原值的錯誤取值。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf為什么要進行數(shù)據(jù)轉(zhuǎn)換被審計單位信息系統(tǒng)的多樣性帶來了數(shù)據(jù)的不一致性;被審計系統(tǒng)的安全性措施給審計工作帶來障礙 ;審計目的的不同決定了審計數(shù)據(jù)的范圍和要求不同; 數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)分析、處理的前提 。審計數(shù)據(jù)采集與分析技術(shù)
34、概要wxf數(shù)據(jù)不一致性的表現(xiàn)同一字段在不同的應用中具有不同的數(shù)據(jù)類型同一字段在不同的應用中具有不同的名稱同名字段,不同含義同一信息,在不同的應用中有不同的格式同一信息,在不同的應用中有不同的表達方式審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)轉(zhuǎn)換的基本類型1簡單變換(1)數(shù)據(jù)類型轉(zhuǎn)換(2)日期/時間格式的轉(zhuǎn)換(3)代碼轉(zhuǎn)換(4)值域轉(zhuǎn)換2清潔和刷洗(1)有效值檢查(2)復雜的重新格式化審計數(shù)據(jù)采集與分析技術(shù)概要wxf簡單變換它是數(shù)據(jù)轉(zhuǎn)換中最簡單的形式它是所有數(shù)據(jù)轉(zhuǎn)換的基本構(gòu)成單元它一次改變一個字段的屬性它不考慮該屬性的背景或與它相關(guān)的其他字段的信息審計數(shù)據(jù)采集與分析技術(shù)概要wxf簡單變換數(shù)據(jù)類型轉(zhuǎn)換最
35、常見的簡單變換是轉(zhuǎn)換一個數(shù)據(jù)元的類型。它是將一種類型的數(shù)據(jù)轉(zhuǎn)換成另一種類型的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換的前提是類型相容。類型相容指的是一種類型數(shù)據(jù)的值域可以通過常用的轉(zhuǎn)換函數(shù)映射到另一種類型的值域上。這種映射不會丟失數(shù)據(jù)的精確度。審計數(shù)據(jù)采集與分析技術(shù)概要wxf簡單變換日期時間格式轉(zhuǎn)換大多數(shù)被審計單位系統(tǒng)都采用許多不同的日期和時間格式。在審計軟件中幾乎都要進行日期和時間格式的轉(zhuǎn)換,將它轉(zhuǎn)換成審計軟件處理所需的統(tǒng)一格式??梢酝ㄟ^手工程序編碼來完成轉(zhuǎn)換,把一個日期或時間字段拆成幾個子部分,然后再將它們拼成想要的格式和字段。大多數(shù)審計軟件中的數(shù)據(jù)導入和轉(zhuǎn)換工具都提供了日期和時間格式之間轉(zhuǎn)換的設置。 審計數(shù)據(jù)采集
36、與分析技術(shù)概要wxf簡單變換代碼轉(zhuǎn)換在業(yè)務數(shù)據(jù)庫中建立代碼是為了節(jié)省數(shù)據(jù)庫存儲空間和提高計算機處理效率。這些代碼一般是由系統(tǒng)管理員設置,由應用程序維護的。這給審計軟件處理帶來了很大的不便。如果審計軟件中采用了代碼設計,而被審計單位的代碼能夠滿足審計軟件需要的,可以將被審計單位的代碼表轉(zhuǎn)換到審計軟件的代碼表上來。如果審計單位的代碼不能滿足審計軟件的需要,就必須根據(jù)審計軟件的要求對它重新編碼。如果審計軟件不采用代碼設計,就必須將被審計單位數(shù)據(jù)中的代碼值轉(zhuǎn)換為經(jīng)過解碼的、易于理解的相應值。審計數(shù)據(jù)采集與分析技術(shù)概要wxf簡單變換值域轉(zhuǎn)換值域轉(zhuǎn)換是將一個字段的全部或部分取值映射到另一個字段的全部或部分
37、取值上去。例如,在被審計單位的系統(tǒng)中,某一項數(shù)據(jù)的取值分為10個級別(09),而在審計軟件中,該項數(shù)據(jù)的取值僅僅分為5個級別(AE),這就需要將具有10個級別的值域映射到具有5個級別的值域上去。代碼轉(zhuǎn)換可以看成是一類特殊的值域轉(zhuǎn)換。審計數(shù)據(jù)采集與分析技術(shù)概要wxf清潔和刷洗清潔和刷洗指的是比簡單變換更復雜的一種數(shù)據(jù)變換。在這種變換中,要檢查的是字段或字段組的實際內(nèi)容而不僅是存儲格式。一種清潔和刷洗是檢查數(shù)據(jù)字段中的有效值。這可以通過范圍檢驗、枚舉清單和相關(guān)檢驗來完成。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)轉(zhuǎn)換的一般方法專用工具數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換工具審計軟件的數(shù)據(jù)轉(zhuǎn)換工具SQL語言類型轉(zhuǎn)換值域
38、轉(zhuǎn)換程序編碼審計數(shù)據(jù)采集與分析技術(shù)概要wxf必須運用程序編碼的場合對非關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)進行轉(zhuǎn)換對復雜的數(shù)據(jù)文件中的數(shù)據(jù)進行轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換的要求固定而使用頻繁時審計數(shù)據(jù)采集與分析技術(shù)概要wxf五、審計數(shù)據(jù)驗證審計數(shù)據(jù)采集與分析技術(shù)概要wxf不同階段的數(shù)據(jù)驗證 數(shù)據(jù)采集階段 檢查被審計單位提供資料的完整性,保證數(shù)據(jù)采集工作準確有效地進行,同時對采集到的數(shù)據(jù)進行確認,排除遺漏和失誤。數(shù)據(jù)清理階段確認數(shù)據(jù)清理工作沒有損害數(shù)據(jù)整體的完整性和正確性。 數(shù)據(jù)轉(zhuǎn)換階段 數(shù)據(jù)轉(zhuǎn)換中,審計人員會將原始電子數(shù)據(jù)中表名、字段名、記錄值代碼以及表表關(guān)聯(lián)的經(jīng)濟含義明確標識出來,這需要進行大量的查詢、替換修改、插入數(shù)據(jù)、
39、更新數(shù)據(jù)、刪除數(shù)據(jù)等操作,每一步轉(zhuǎn)換工作都有可能影響到數(shù)據(jù)的完整性和正確性,所以在這一階段進行數(shù)據(jù)驗證確有必要。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)驗證的技術(shù)和方法 數(shù)據(jù)采集階段核對總記錄數(shù)、總金額,檢查借貸是否平衡,順序碼斷號、重號驗證等。數(shù)據(jù)清理階段核對總金額、保持借貸平衡等。數(shù)據(jù)轉(zhuǎn)換階段核對總金額、勾稽關(guān)系,數(shù)據(jù)結(jié)構(gòu)確認等。審計數(shù)據(jù)采集與分析技術(shù)概要wxf六、審計數(shù)據(jù)分析審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計數(shù)據(jù)分析的具體操作核對:將具有內(nèi)在聯(lián)系的數(shù)據(jù),按照勾稽關(guān)系進行相互核對,達到驗證被審計單位業(yè)務處理是否正確,有無人為違規(guī)調(diào)整等目的。檢查:按照政策或法律法規(guī),對業(yè)務數(shù)據(jù)進行檢查,達到確
40、定業(yè)務處理是否合法、合規(guī)的目的。審計數(shù)據(jù)采集與分析技術(shù)概要wxf審計數(shù)據(jù)分析的具體操作復算:對某一類業(yè)務數(shù)據(jù),按照與被審計單位相同或相似的處理方法重新計算,驗證被審計單位提供的數(shù)據(jù)是否真實與正確,達到判斷被審計單位業(yè)務處理是否正確、完整的目的。判斷:根據(jù)審計人員經(jīng)驗,分析業(yè)務數(shù)據(jù)的某些特征,再根據(jù)這些特征對可能是問題的情況給出一個參考性結(jié)論,達到搜索審計線索的目的。審計數(shù)據(jù)采集與分析技術(shù)概要wxf分析模型的演變隨著用戶對數(shù)據(jù)分析的深度和靈活程度要求越來越高,數(shù)據(jù)分析漸漸從靜態(tài)數(shù)值的相互比較轉(zhuǎn)變到從多個數(shù)據(jù)源中綜合數(shù)據(jù),從多個角度觀察數(shù)據(jù)的復雜、動態(tài)的分析。根據(jù)處理數(shù)據(jù)的范圍、用戶分析人員的交互
41、需要、多維分析需求及現(xiàn)有工具的支持等因素,可以將數(shù)據(jù)分析分為4種模型,這4種數(shù)據(jù)分析模型一種比一種深入,從描述基本事實到尋找原因,從代入變量值進行預測到尋找關(guān)鍵變量。審計數(shù)據(jù)采集與分析技術(shù)概要wxf四種數(shù)據(jù)分析模型由E.F.Codd提出的四種數(shù)據(jù)分析模型:絕對模型(Categorical Model) 解釋模型(Exegetical Model) 思考模型(Contemplative Model) 公式模型(Formulaic Model) 審計數(shù)據(jù)采集與分析技術(shù)概要wxf絕對模型(Categorical Model)它屬于靜態(tài)數(shù)據(jù)分析它通過比較歷史數(shù)據(jù)值或行為來描述過去發(fā)生的事實查詢比較簡單
42、,僅是值的比較綜合路徑是原有數(shù)據(jù)庫設計時定義好的,用戶交互少支持工具廣泛(包括一般的查詢表格工具)。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf解釋模型(Exegetical Model) 主要還是靜態(tài)數(shù)據(jù)分析用戶分析人員利用系統(tǒng)已有的多層次的綜合路徑層層細化,找出事實發(fā)生的原因如果分析人員感興趣的數(shù)據(jù)不能通過已有路徑進行綜合,則需要臨時建立多維視圖。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf思考模型(Contemplative Model) 它屬于動態(tài)數(shù)據(jù)分析它旨在說明在一維或多維上引入一組具體變量或參數(shù)后會發(fā)生什么需要較高層次的數(shù)據(jù)分析人員介入分析人員在引入確定的變量或公式關(guān)系時,須創(chuàng)建大量的綜合路徑這類模
43、型的支持工具相當少,大多只提供單一維上的數(shù)據(jù)子集處理。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf公式模型(Formulaic Model) 公式模型是動態(tài)性最高的一類模型,用于表示在多個維上,需要引入哪些變量或參數(shù),以及引入后所產(chǎn)生的結(jié)果。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf舉例一家百貨公司在建立了自己的數(shù)據(jù)倉庫之后,希望構(gòu)造一個OLAP系統(tǒng)輔助決策。決策者最關(guān)心的一個問題是“如何最大限度地擴大商品的銷售量?”因而他希望盡可能地找出與銷售量相關(guān)的因素,從而可采取相應的促銷手段。但是,他能獲得多大的幫助卻要取決于采用何種分析模型。審計數(shù)據(jù)采集與分析技術(shù)概要wxf絕對模型絕對模型只能對歷史數(shù)據(jù)進行比較,利用
44、回歸分析等一些分析方法得出趨勢信息。回答諸如“某種商品今年的銷售情況與以往相比有怎樣的變化?今后的趨勢怎樣”此類問題。審計數(shù)據(jù)采集與分析技術(shù)概要wxf解釋模型解釋模型能夠在當前多維視圖的基礎上找出事件發(fā)生的原因。例如該公司按時間、地區(qū)、商品及銷售渠道建立了多維數(shù)據(jù)庫,假設今年的銷售量有所下滑,那么解釋模型應能夠找出原因,即這次下滑與時間、地區(qū)、商品及銷售渠道四者中何種因素有關(guān)。審計數(shù)據(jù)采集與分析技術(shù)概要wxf思考模型思考模型可以在決策者的參與下,找出關(guān)鍵變量。例如該公司決策者為了了解某商品的銷售是否與顧客的年齡有關(guān),引入新的變量年齡,即在當前的多維視圖上增加了顧客的年齡維。解釋模型就能分析出年
45、齡的引入是否必要,即商品的銷售與顧客的年齡有關(guān)或無關(guān)。審計數(shù)據(jù)采集與分析技術(shù)概要wxf公式模型公式模型自動完成上述變量的引入工作,從而最終找出與銷量有關(guān)的全部因素,并給出引入后的結(jié)果。審計數(shù)據(jù)采集與分析技術(shù)概要wxf3種類型的數(shù)據(jù)分析方法與工具查詢型分析(Query) 以MIS為代表的查詢工具,可以進行日常事務操作驗證型分析(Verification)以OLAP為代表的驗證工具 ,可以深入了解事務并作出結(jié)論性、總結(jié)性分析發(fā)掘型分析(Discovery)以DM為代表的挖掘工具 ,可以作出預測性分析審計數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析(Query)主要指用戶對數(shù)據(jù)庫中的記錄進行訪問查詢;關(guān)系
46、數(shù)據(jù)庫管理系統(tǒng)是目前數(shù)據(jù)庫管理系統(tǒng)的主流,查詢型分析主要的對象就是關(guān)系數(shù)據(jù)庫中的二維表。要進行查詢型分析,必須先對目標系統(tǒng)的數(shù)據(jù)模型有所了解??梢圆捎肧QL等語言來交互描述查詢要求;采用SQL可以十分靈活地進行交互式查詢,但要求用戶掌握SQL語言,并對訪問的數(shù)據(jù)庫的結(jié)構(gòu)有所了解;審計數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)相關(guān)法律法規(guī)建立模型根據(jù)交通部規(guī)定,國產(chǎn)車車輛購置附加費應按發(fā)票價的10%計征;后來為杜絕因一輛車開具多張票據(jù)而造成少征車購費的現(xiàn)象,交通部又頒布了車購費最低征收額標準,明確只要發(fā)票價的10%小于最低征收額的,就按最低征收額征收車購費。車購費的的數(shù)據(jù)模型:應征金
47、額MAX 發(fā)票價0.1,最低征收額 違規(guī)金額abs(應征金額實際征收額 )審計數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)系統(tǒng)數(shù)據(jù)之間的勾稽關(guān)系建立模型如資產(chǎn)負債表的資產(chǎn)合計應等于負債與所有者權(quán)益之和; 借款金額應等于借款收回數(shù)、借款余額、核銷金額之和等。根據(jù)不同系統(tǒng)數(shù)據(jù)之間的關(guān)系建立模型如金融審計中,在信貸管理系統(tǒng)與會計核算系統(tǒng)之間通過借據(jù)號碼建立數(shù)據(jù)模型,分析信貸管理系統(tǒng)中數(shù)據(jù)的準確性。審計數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)審計業(yè)務流程建立模型根據(jù)信貸業(yè)務流程,借款人在信貸部門辦理相關(guān)審批手續(xù)后,才可以在會計柜臺進行會計核算處理。據(jù)此可以建立模型,檢查是否存在
48、核算在前,審批在后的貸款業(yè)務。根據(jù)以往審計經(jīng)驗建立模型如在銀行承兌匯票業(yè)務的審計過程中,如果發(fā)現(xiàn)有單個客戶的頻繁或同一時段連續(xù)大額的業(yè)務記錄時,就應特別關(guān)注,核實是否存在滾動辦理、無貿(mào)易背景辦理等問題。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)自然規(guī)律建立模型如對日期類型的字段進行檢查時,小月只有30天,一年只有12個月等,人的年齡不可能小于0等。根據(jù)相關(guān)分析指標建立模型如財務審計中的賬齡分析、比較分析(趨勢分析)、比率分析、因素分析、敏感度分析、回歸分析等。審計數(shù)據(jù)采集與分析技術(shù)概要wxf驗證型分析指用戶先提出自己的假設,然后利用各種工具通過反復的、遞歸的檢索查詢以驗證或否
49、定自己的假設。從用戶的觀點來看,他們是在從數(shù)據(jù)中發(fā)現(xiàn)事實。多維分析工具進行的就是典型的驗證型分析。它通過對信息的多種可能的觀察角度進行快速,一致和交互性的存取,從而能夠?qū)?shù)據(jù)進行深入地分析和觀察。驗證型分析(Verification)審計數(shù)據(jù)采集與分析技術(shù)概要wxf發(fā)掘型分析(Discovery)發(fā)掘型分析是指用戶從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式,預測趨勢和行為的一種數(shù)據(jù)分析方法。發(fā)掘型數(shù)據(jù)分析工具主要指數(shù)據(jù)挖掘(Data Mining)軟件工具。發(fā)掘型分析能挖掘數(shù)據(jù)間潛在的模式,發(fā)現(xiàn)用戶可能忽略的信息,并為審計業(yè)務人員做出前瞻性的、基于知識的決策做出貢獻。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf三種分析方
50、法的特點比較查詢型分析、驗證型分析和發(fā)掘型分析結(jié)合在一起構(gòu)成了面向數(shù)據(jù)的計算機審計的數(shù)據(jù)分析,它們各自有著不同的側(cè)重點,因此適用范圍和針對的用戶也各不相同。從數(shù)據(jù)分析的深度來看:查詢型分析基本上是在已知數(shù)據(jù)結(jié)構(gòu)的情況下對細節(jié)信息的存取,數(shù)據(jù)分析的成分很少驗證型分析處于較淺的層次發(fā)掘型分析是較深層次的數(shù)據(jù)分析。審計數(shù)據(jù)采集與分析技術(shù)概要wxf三種分析方法涉及的分析模型查詢型分析基本上不涉及數(shù)據(jù)分析模型;驗證型分析主要實現(xiàn)了絕對模型、解釋模型和思考模型;發(fā)掘型分析則實現(xiàn)了公式模型。審計數(shù)據(jù)采集與分析技術(shù)概要wxf操作型處理和分析型處理近年來,人們逐漸認識到計算機系統(tǒng)中存在著兩類不同的處理:操作型處
51、理(OLTP)和分析型處理(OLAP)。操作型處理也叫事務處理,是指對數(shù)據(jù)庫聯(lián)機地進行日常操作,通常是對一個或一組記錄的查詢和修改,主要是為特定的應用服務。人們關(guān)心的是響應時間、數(shù)據(jù)的安全性和完整性。分析型處理用于管理人員的決策分析,經(jīng)常要訪問大量的歷史數(shù)據(jù)。審計數(shù)據(jù)采集與分析技術(shù)概要wxfOLTP與OLAP的比較表OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導出數(shù)據(jù)細節(jié)性數(shù)據(jù)綜合性或提煉性數(shù)據(jù)當前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新,但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應用,事務驅(qū)動面向分析,分析驅(qū)動面向操作人員,支持日常操作面向決策人員,支持管理需求審計數(shù)據(jù)采集與分析技術(shù)概要wxf分析型處理涉
52、及的技術(shù)數(shù)據(jù)倉庫(Data Warehouse)聯(lián)機分析處理(Online Analytical Processing,OLAP)數(shù)據(jù)挖掘(Data Mining)審計數(shù)據(jù)采集與分析技術(shù)概要wxf什么是數(shù)據(jù)倉庫 數(shù)據(jù)倉庫的創(chuàng)始人Inmon對數(shù)據(jù)倉庫的定義是:數(shù)據(jù)倉庫就是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合,用以支持經(jīng)營管理中的決策制定過程。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫的特征 與聯(lián)機事務處理領(lǐng)域的數(shù)據(jù)庫技術(shù)相比,數(shù)據(jù)倉庫具有以下特征: 數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的 數(shù)據(jù)倉庫的數(shù)據(jù)是集成的 數(shù)據(jù)倉庫的數(shù)據(jù)是穩(wěn)定(不可更新)的 數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間變化的 審計數(shù)據(jù)采集與分析技術(shù)
53、概要wxf面向主題數(shù)據(jù)倉庫中數(shù)據(jù)以面向主題方式組織。主題是某一分析領(lǐng)域所涉及的分析對象。面向主題的數(shù)據(jù)組織方式就是在較高層次上對分析對象的數(shù)據(jù)作一個完整、一致的描述,能有效地刻畫出分析對象所涉及的各項數(shù)據(jù)及數(shù)據(jù)間的聯(lián)系。這種數(shù)據(jù)組織方式更能適合于較高層次的數(shù)據(jù)分析,便于發(fā)現(xiàn)數(shù)據(jù)中蘊涵的模式和規(guī)律。它是按照數(shù)據(jù)分析的意圖來組織數(shù)據(jù)的一種方式。審計數(shù)據(jù)采集與分析技術(shù)概要wxf集成的數(shù)據(jù)倉庫的數(shù)據(jù)是從原有的、分散的事務處理系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)中抽取得來。數(shù)據(jù)倉庫中每一主題對應的源數(shù)據(jù)在原有的各分散數(shù)據(jù)庫中有很多重復和不一致的地方。事務處理系統(tǒng)中的操作型數(shù)據(jù)在進入數(shù)據(jù)倉庫之前,必須經(jīng)過統(tǒng)一和綜合,演變?yōu)榉?/p>
54、析型數(shù)據(jù)。審計數(shù)據(jù)采集與分析技術(shù)概要wxf集成數(shù)據(jù)抽取這是數(shù)據(jù)倉庫建設中最復雜的一步,需要完成以下工作:統(tǒng)一源數(shù)據(jù)中所有矛盾之處,如字段的同名異義、異名同義、單位不統(tǒng)一、長度不一致等;對源數(shù)據(jù)進行綜合和計算,生成面向主題分析用的高層、綜合的數(shù)據(jù),便于綜合統(tǒng)計分析。審計數(shù)據(jù)采集與分析技術(shù)概要wxf穩(wěn)定(不可更新)的數(shù)據(jù)倉庫中存放的是供分析決策用的歷史數(shù)據(jù),涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一般不進行數(shù)據(jù)的增、刪、改操作,業(yè)務系統(tǒng)中的數(shù)據(jù)經(jīng)集成后進入數(shù)據(jù)倉庫極少或根本不再更新。如果對數(shù)據(jù)倉庫中的數(shù)據(jù)進行了修改,就失去了統(tǒng)計分析正確性的基礎數(shù)據(jù)的真實性。由于數(shù)據(jù)倉庫中的數(shù)據(jù)量往往很大,因此數(shù)據(jù)倉庫系統(tǒng)要
55、采用各種復雜的索引技術(shù),以提高數(shù)據(jù)查詢的性能,數(shù)據(jù)更新之后重建索引的代價很高。審計數(shù)據(jù)采集與分析技術(shù)概要wxf隨時間變化的不可更新是對數(shù)據(jù)倉庫的應用而言,即用戶在進行分析處理時不進行數(shù)據(jù)更新操作。數(shù)據(jù)倉庫數(shù)據(jù)是隨時間變化的,數(shù)據(jù)倉庫系統(tǒng)需要不斷獲取聯(lián)機事務處理系統(tǒng)不同時點的數(shù)據(jù),經(jīng)集成后追加到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫中數(shù)據(jù)的碼(主鍵)都包含時間項,以表明數(shù)據(jù)的歷史時期,并可在時間維度上對數(shù)據(jù)進行分析;數(shù)據(jù)倉庫中的數(shù)據(jù)也有時間期限,在新數(shù)據(jù)不斷進入的同時,過期的數(shù)據(jù)也要刪除。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫的體系結(jié)構(gòu)審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫系統(tǒng)的八個組成部分數(shù)據(jù)源 數(shù)據(jù)抽取、
56、轉(zhuǎn)換、裝載和刷新工具 數(shù)據(jù)建模工具 監(jiān)控和管理工具 元數(shù)據(jù)倉儲 數(shù)據(jù)倉庫和數(shù)據(jù)集市的目標數(shù)據(jù)庫 OLAP服務器 前端數(shù)據(jù)訪問和分析工具 審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫系統(tǒng)的一般應用過程從業(yè)務處理信息系統(tǒng)等外部數(shù)據(jù)源獲取數(shù)據(jù),經(jīng)加工整理后進入數(shù)據(jù)倉庫根據(jù)數(shù)據(jù)分析挖掘的需求特性對數(shù)據(jù)進行建模和組織,用戶利用各種前端數(shù)據(jù)分析和挖掘工具,通過OLAP服務器,對數(shù)據(jù)倉庫中的數(shù)據(jù)作各種查詢、分析、挖掘工作審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫技術(shù)在數(shù)據(jù)審計中的應用審計數(shù)據(jù)的采集和獲取審計數(shù)據(jù)在數(shù)據(jù)倉庫中的組織和存儲 審計數(shù)據(jù)的訪問和分析 審計數(shù)據(jù)采集與分析技術(shù)概要wxf聯(lián)機分析處理(OLAP)
57、OLAP是一類軟件技術(shù),它使用戶能夠從多種角度(維)對原始數(shù)據(jù)進行分析;通過快速、一致、交互地存取來獲得對原始數(shù)據(jù)的深入了解。OLAP的目標是滿足決策支持或多維查詢和報表的需求,它的技術(shù)核心是“維”這個概念,因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。OLTP強調(diào)的是更新數(shù)據(jù)庫向數(shù)據(jù)庫中添加信息,而OLAP就是從數(shù)據(jù)庫中獲取信息、利用信息。審計數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉庫與OLAP的關(guān)系建立數(shù)據(jù)倉庫的目的是為了支持數(shù)據(jù)分析和決策制定過程。數(shù)據(jù)倉庫中存儲的數(shù)據(jù)是面向分析目標的、經(jīng)過提煉、加工后的數(shù)據(jù)集合,這種數(shù)據(jù)的存儲結(jié)構(gòu)為OLAP的實施提供了理想的環(huán)境;OLAP作為一種多維查詢和分析
58、工具,是數(shù)據(jù)倉庫功能的自然擴展,也是數(shù)據(jù)倉庫中的大容量數(shù)據(jù)得以有效利用的重要保障。審計數(shù)據(jù)采集與分析技術(shù)概要wxfOLAP的關(guān)鍵特性(1)快速性快速性是OLAP的一項重要特性; 如果用戶不能得到系統(tǒng)的及時響應就會變得不耐煩,因而可能失去分析主線索,影響分析質(zhì)量;對于大量的數(shù)據(jù)分析要達到這個速度并不容易,因此就更需要一些技術(shù)上的支持,如專門的數(shù)據(jù)存儲格式、大量的事先運算、特別的系統(tǒng)設計等。審計數(shù)據(jù)采集與分析技術(shù)概要wxfOLAP的關(guān)鍵特性(2)可分析性 OLAP系統(tǒng)應能處理與應用有關(guān)的任何邏輯分析和統(tǒng)計分析。用戶可以在OLAP平臺上進行數(shù)據(jù)分析,也可以連接到其他外部分析工具上,如時間序列分析工具
59、、數(shù)據(jù)挖掘等。(3)多維性多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)分析的多維視圖和分析。多維分析是分析數(shù)據(jù)最有效的方法之一,是OLAP的靈魂。(4)信息性不論數(shù)據(jù)量有多大,也不管數(shù)據(jù)存儲在何處,OLAP系統(tǒng)應能及時獲得信息,并且管理大容量信息。審計數(shù)據(jù)采集與分析技術(shù)概要wxf驗證型分析與多維分析多維分析的基本概念 變量 維 多維視圖 多維分析的基本操作 切片(Slice)和切塊(Dice) 鉆取(Drill) 旋轉(zhuǎn)(Pivot) 審計數(shù)據(jù)采集與分析技術(shù)概要wxf變量 變量是一個數(shù)值型的度量指標,如“銷售額”,“單價”,“人數(shù)”等,說明某一數(shù)據(jù)的實際意義。用戶在開始驗證型分析之前,對變量的
60、數(shù)據(jù)含義已經(jīng)確定,并且對分析中可能出現(xiàn)的結(jié)果有了預期。例如,用戶預期本年度的銷售額比去年的銷售額增長了30。在分析的過程中,用戶就會去比較本年度的銷售額和去年的銷售額,此即“驗證型分析”的含義。 審計數(shù)據(jù)采集與分析技術(shù)概要wxf維維是人們觀察數(shù)據(jù)的特定角度;維是相同類型數(shù)據(jù)的集合;維有自己固有的屬性,如層次結(jié)構(gòu)、排序、計算邏輯;例如,每個網(wǎng)點、每段時間、每種商品都是某一維的一個成員。每個銷售事實由一個特定的網(wǎng)點、特定的時間和特定的商品組成。審計數(shù)據(jù)采集與分析技術(shù)概要wxf多維分析的基本操作 切片(Slice)切塊(Dice) 旋轉(zhuǎn)(Pivot)審計數(shù)據(jù)采集與分析技術(shù)概要wxf發(fā)掘分析什么是數(shù)據(jù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 小學一年級20以內(nèi)連加連減口算練習題75道一張
- 小學數(shù)學一年級以內(nèi)加減法口算
- 自然辯證法復習題含答案完整版
- 內(nèi)蒙古阿拉善銀星風力發(fā)電有限公司事故應急預案
- 職稱述職報告
- 高考新課標語文模擬試卷系列之72
- 《教育工作者的境界》課件
- 技能競賽與課外拓展活動計劃
- 寵物用品行業(yè)安全工作總結(jié)
- 旅游行業(yè)的保安工作總結(jié)
- (完整版)人教版高中物理新舊教材知識對比
- 最好用高速公路機電維修手冊
- 家庭管理量表(FaMM)
- 土默特右旗高源礦業(yè)有限責任公司高源煤礦2022年度礦山地質(zhì)環(huán)境年度治理計劃
- 【金屬非金屬礦山(地下礦山)安全管理人員】考題
- 腰椎間盤突出癥的射頻治療
- 神經(jīng)外科手術(shù)的ERAS管理策略
- mt煤礦用氮氣防滅火技術(shù)
- ASTM-B117-16-鹽霧實驗儀的標準操作規(guī)程(中文版)
- 【超星爾雅學習通】《老子》《論語》今讀網(wǎng)課章節(jié)答案
- 配電箱采購技術(shù)要求
評論
0/150
提交評論