大數(shù)據(jù)環(huán)境下的審計(jì)信息化思路篇

1、大數(shù)據(jù)環(huán)境下的審計(jì)信息化(思路篇)前言：審計(jì)信息化工作十余年， 面臨著云計(jì)算、 物聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)通訊和社交網(wǎng)絡(luò)等新技術(shù)的挑戰(zhàn)。本文希望通過對(duì)大數(shù)據(jù)的理解、審計(jì)中的應(yīng)用分析，提出大數(shù)據(jù)服務(wù)與審計(jì)的一個(gè)角度或方向，進(jìn)而形成相關(guān)信息化配套建設(shè)的思 路。本文的編寫希望得到讀者的回饋，能夠收到您的批評(píng)、 指正。 一、大數(shù)據(jù)的定義和理解(一)廣泛定義對(duì)于大數(shù) 據(jù)的理解現(xiàn)在并沒有一個(gè)標(biāo)準(zhǔn)的定義，不過大家對(duì)于大數(shù)據(jù) 都有一個(gè)共同的認(rèn)識(shí)， 那就是 4V( Volume 、Velocity 、Variety 、Veracity )：1.(Volume )數(shù)據(jù)量大， TB，PB ，乃至 EB 等 數(shù)據(jù)量的數(shù)據(jù)需

2、要分析處理。 2.( Velocity )要求快速響應(yīng)， 市場(chǎng)變化快，要求能及時(shí)快速的響應(yīng)變化，那對(duì)數(shù)據(jù)的分析 也要快速，在性能上有更高要求，所以數(shù)據(jù)量顯得對(duì)速度要 求有些“大”。3( Variety )數(shù)據(jù)多樣性：不同的數(shù)據(jù)源，非 結(jié)構(gòu)化數(shù)據(jù)越來越多，需要進(jìn)行清洗，整理，篩選等操作， 變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)。 4.(Veracity )價(jià)值密度低， 由于數(shù)據(jù)采集的 不及時(shí)，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能 會(huì)失真，但當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，可以通過更多的數(shù)據(jù)達(dá) 到更真實(shí)全面的反饋。而簡(jiǎn)化一下描述，其實(shí)“大數(shù)據(jù)”是 個(gè)體量特別大，數(shù)據(jù)類別特別多的數(shù)據(jù)集，并且這樣的數(shù)據(jù) 集無法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)

3、其內(nèi)容進(jìn)行抓取、管理和處理。二）審計(jì)的大數(shù)據(jù)特征從“大數(shù)據(jù)”概念產(chǎn)生的緣由來看審 計(jì)行業(yè)是一個(gè)天然需要大數(shù)據(jù)概念及其實(shí)現(xiàn)技術(shù)的行業(yè)。我 們分析如下：首先，審計(jì)行業(yè)的“生產(chǎn)對(duì)象”是被審計(jì)對(duì)象的 數(shù)據(jù)，雖然說審計(jì)是對(duì)財(cái)政財(cái)務(wù)收支的監(jiān)督。但是為了了解 財(cái)務(wù)的真實(shí)情況，必然需要關(guān)注業(yè)務(wù)數(shù)據(jù)，這些行業(yè)的數(shù)據(jù) 每一個(gè)都可以說是數(shù)據(jù)體量巨大。同時(shí)這些數(shù)據(jù)也是復(fù)雜多 樣的，結(jié)構(gòu)化數(shù)據(jù)不用說了（二維表數(shù)據(jù)、立方體數(shù)據(jù)、空 間數(shù)據(jù)等），非結(jié)構(gòu)化數(shù)據(jù)例如：被審計(jì)單位的各種制度、 文件、影像等。其次，審計(jì)的職責(zé)是查處財(cái)政財(cái)務(wù)的真實(shí)、 合法和效益問題。查處過程中，需要在這些海量數(shù)據(jù)中進(jìn)行 關(guān)聯(lián)、匯聚的查詢或計(jì)算工作，而

4、且這些計(jì)算需要同時(shí)作用 在結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之上。在沒有大數(shù)據(jù)技 術(shù)支撐之前，采用抽樣或按領(lǐng)域分開的方式進(jìn)行審計(jì)分析， 無形中形成了數(shù)據(jù)之間的壁壘和分析的局限性。最后，審計(jì) 工作中的審計(jì)思路、方法，雖然有章可循，但最終還要依賴 于具體參與審計(jì)工作的人的智慧。這也就決定了所有的分析 工作不能像其他的數(shù)據(jù)中心、數(shù)據(jù)分析、數(shù)據(jù)挖掘、決策支 持系統(tǒng)一樣， 是相對(duì)“固化”的。而思路的火花是稍縱即逝的， 對(duì)任何一個(gè)突然閃出的分析思路都應(yīng)該在“秒級(jí)”響應(yīng)。大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)包括數(shù)據(jù)抽取與集成、數(shù) 據(jù)分析、數(shù)據(jù)解釋 3 個(gè)領(lǐng)域。 1數(shù)據(jù)抽取與集成。大數(shù)據(jù)的一個(gè)重要特點(diǎn)是多樣性。意味著其

5、數(shù)據(jù)來源極其廣泛。數(shù)據(jù)類型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境要求必須對(duì)數(shù)據(jù)源中 的數(shù)據(jù)進(jìn)行抽取和集成。并采用統(tǒng)一定義的結(jié)構(gòu)來存儲(chǔ)這些 數(shù)據(jù)。為保證數(shù)據(jù)質(zhì)量，需要在數(shù)據(jù)抽取與集成后進(jìn)行數(shù)據(jù) 清洗。（ 1 ）數(shù)據(jù)采集： ETL 工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源 中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后 進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中， 成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 （ 2）數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)、 NOSQL 、 SQL 等。（3）數(shù)據(jù)處理：自然語言處理(NLP ，NaturalLanguageProcessing) 是研究人與計(jì)算機(jī)交互 的語言問題的一門學(xué)科。處理自然

6、語言的關(guān)鍵是要讓計(jì)算機(jī)理解自然語言，所以自然語言處理又叫做自然語言理解(NLU ， NaturalLanguage Understanding) ，也稱為計(jì)算語言學(xué) (Computational Linguistics方面它是語言信息處理的個(gè)分支，另一方面它是人工智能 （AI, Artificial Intelligence）的核心課題之一。 2 數(shù)據(jù)分析數(shù)據(jù)分析是大數(shù)據(jù)發(fā)揮其核心價(jià)值的重要流程， 主要的分析技術(shù)有統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)等，分析的結(jié)論可用于推薦系統(tǒng)、專家系統(tǒng)、商業(yè) 智能和決策支持系統(tǒng)等。 （1）統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性 檢驗(yàn)、差異分析、 相關(guān)分析、 T 檢驗(yàn)、 方差分析

7、、 卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對(duì)應(yīng)分析、多 元對(duì)應(yīng)分析（最優(yōu)尺度分析） 、 bootstrap 技術(shù)等等。（ 2 ）數(shù)Estimation ）、預(yù)測(cè)據(jù)挖掘：分類 （ Classification ）、估計(jì)（Prediction ）、相關(guān)性分組或關(guān)聯(lián)規(guī)則 （ Affinity grouping or association rules ）、聚類（ Clustering ）、描述和可視化、Description

8、 and Visualization ）、復(fù)雜數(shù)據(jù)類型挖掘（Text,Web , 圖形圖像，視頻，音頻等 ）（3）模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。 3數(shù)據(jù)解釋在數(shù)據(jù)分析的基礎(chǔ)上，終端用戶往往最關(guān)心的是數(shù)據(jù)的展示方式，如果分析 結(jié)果沒有采用適當(dāng)?shù)慕忉尫椒?，所得到的分析結(jié)論往往讓用戶難以理解，極端情況下甚至?xí)`導(dǎo)用戶。傳統(tǒng)的解釋方法僅是文本、圖表等電腦終端上的直觀顯示，未來提升數(shù)據(jù)解釋能力可以引入標(biāo)簽云 （tag cloud） 、關(guān)系圖等可視化技術(shù)解 決，甚至可以采用人機(jī)交互技術(shù)，在交互過程中逐步引導(dǎo)用戶進(jìn)入分析流程，達(dá)到最佳的數(shù)據(jù)解釋效果。4基礎(chǔ)架構(gòu)大數(shù)據(jù)價(jià)值的完整體現(xiàn)需要多種技術(shù)的協(xié)同

9、。為了便于數(shù)據(jù)管理，需要建立云存儲(chǔ)系統(tǒng)等存儲(chǔ)結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化類型的數(shù)據(jù)。為了加速數(shù)據(jù)處理，需要采用云計(jì)算、云 存儲(chǔ)、分布式文件存儲(chǔ)等分布式計(jì)算技術(shù)。通過索引與查詢 技術(shù)，提供搜索引擎服務(wù)，提高用戶對(duì)大數(shù)據(jù)的使用效率。二、大數(shù)據(jù)技術(shù)為審計(jì)打開的“窗”我們都知道傳統(tǒng)的審計(jì)， 無論是計(jì)算機(jī)輔助審計(jì)、計(jì)算機(jī)審計(jì)、自動(dòng)化審計(jì)，都是在既定計(jì)劃、既定方向上開展的，這對(duì)于制定計(jì)劃、制定審計(jì) 方案的人是一個(gè)考驗(yàn)，同時(shí)執(zhí)行人也將艱難的去踐行。原來 在電子審計(jì)體系發(fā)展的研究中，有人曾提出過智能審計(jì)和智 慧審計(jì)的概念，如何定義智能、智慧呢，如何實(shí)現(xiàn)智能、智 慧呢？其實(shí)一直沒有很好的可執(zhí)行方案，大數(shù)據(jù)時(shí)代的來

10、臨， 大數(shù)據(jù)技術(shù)的發(fā)展為我們破題了。我覺得大數(shù)據(jù)技術(shù)的運(yùn)用 至少能夠帶來以下幾個(gè)方面的進(jìn)化： （一）審計(jì)計(jì)劃徹底放 開看到這個(gè)小標(biāo)題，大家不要誤會(huì)，不是說不要計(jì)劃、隨性 開展審計(jì)項(xiàng)目。今后的計(jì)劃分為兩類：一是固定審計(jì)工作， 二是專題審計(jì)工作。 1 固定審計(jì)類似現(xiàn)在每年都要開展的 部門預(yù)算執(zhí)行審計(jì)一樣，今后像社保、稅收、環(huán)資、投資等 審計(jì)都會(huì)進(jìn)入固定審計(jì)工作。就因?yàn)榇髷?shù)據(jù)時(shí)代的來臨，對(duì) 于審計(jì)來說數(shù)據(jù)已經(jīng)極大豐富，而且能夠提供應(yīng)對(duì)這些數(shù)據(jù) 的采集、存儲(chǔ)、處理、分析的大數(shù)據(jù)技術(shù)。 2專題審計(jì)（或者叫隨機(jī)審計(jì)）不再像原來一樣，年初制定計(jì)劃，年中調(diào)整計(jì)劃。而是采用征集審計(jì)專題，組織評(píng)審后形成專題審計(jì)工

11、 已經(jīng)不再是一個(gè)思路，而是有大數(shù)據(jù)分析的結(jié)論依據(jù)支撐的 審計(jì)方案。這也就意味著，專題審計(jì)的方向、形成時(shí)間都不 固定了，雖然是無計(jì)劃性的，但是很有“市場(chǎng)味”，不但廣開 思路，而且對(duì)外界響應(yīng)更快、更靈活。 （二）審計(jì)思路徹底 解放大數(shù)據(jù)時(shí)代來臨，審計(jì)工作已經(jīng)不再是計(jì)劃經(jīng)濟(jì)了，對(duì) 于審計(jì)人員來說可以去研究自己擅長(zhǎng)的、關(guān)注的數(shù)據(jù)，通過 大數(shù)據(jù)分析去尋找審計(jì)專題，形成審計(jì)項(xiàng)目。審計(jì)署通過鼓 勵(lì) 10 萬審計(jì)人員進(jìn)行“科研”，并擇優(yōu)支持 （即形成專題審計(jì) 項(xiàng)目）。專題提出人或團(tuán)隊(duì)獲得支持（數(shù)據(jù)、資金、人員、 政策等），開展審計(jì)實(shí)踐，形成審計(jì)成果和審計(jì)研究成果， 即完成審計(jì)的揭示、預(yù)防功能，又形成審計(jì)抵御積

12、累。在現(xiàn) 今的社會(huì)，已經(jīng)不強(qiáng)求全面發(fā)展的人才，木桶原理也已經(jīng)略 顯過時(shí)了。所以對(duì)于審計(jì)思路，也不要用條條框框去限制， 讓所有審計(jì)人員像創(chuàng)業(yè)者一樣去發(fā)揮自己的特長(zhǎng)，做某一點(diǎn) 的冒尖者，何愁沒有審計(jì)思路，沒審計(jì)成果。 （三）審計(jì)效 能進(jìn)入藍(lán)海我們都知道全國(guó)審計(jì)機(jī)關(guān)的人數(shù)已經(jīng)有很多年 沒有增加了， 但國(guó)民生產(chǎn)總值、 財(cái)政資金總量都在大幅增長(zhǎng)， 經(jīng)濟(jì)社會(huì)的復(fù)雜度更是呈幾何增長(zhǎng)。通過計(jì)算機(jī)審計(jì)、數(shù)字 化審計(jì)等方式，讓審計(jì)效能也獲得了大幅度提升。但是隨著 互聯(lián)網(wǎng)時(shí)代的信息大爆炸（即摩爾第三定律） ，現(xiàn)有的信息 化技術(shù)已經(jīng)無法持續(xù)提升審計(jì)效能。審計(jì)效能的評(píng)價(jià)通常以 審計(jì)人員數(shù)量作為基數(shù)，而提升審計(jì)效能的方法

13、卻不是以審 計(jì)人員數(shù)量為基數(shù)。在大數(shù)據(jù)時(shí)代來臨，我們將審計(jì)工作轉(zhuǎn) 向每一個(gè)審計(jì)人員都是效能提升的一個(gè)節(jié)點(diǎn)，才能使我們能 夠適應(yīng)幾何式的增長(zhǎng)。而且效能提升節(jié)點(diǎn)之間可以進(jìn)行網(wǎng)狀作（當(dāng)然這里會(huì)有一些安全保密的問題需要處理）。征集的能，連接，獲得更強(qiáng)的效能提升可能，也是下一步效能提升的重 點(diǎn)，只有讓每個(gè)節(jié)點(diǎn)（審計(jì)人員）的都是效能提升因素，才能使審計(jì)效能進(jìn)入藍(lán)海。三、利用大數(shù)據(jù)服務(wù)審計(jì)工作的思 路從上述分析，如果利用大數(shù)據(jù)服務(wù)審計(jì)，將形成怎樣的審 計(jì)工作方式：（一）審計(jì)模式的變化之前已經(jīng)提到過，今后 的審計(jì)沒有什么計(jì)劃規(guī)定，而只有固定和專題（隨機(jī)）審計(jì) 兩類，固定的不需要計(jì)劃，專題的無法計(jì)劃。作為固定的

14、審 計(jì)工作，就像走流程一樣，安排人去執(zhí)行，類似巡邏，發(fā)現(xiàn) 異常拉響警報(bào)，派人去調(diào)查。作為隨機(jī)的審計(jì)工作，首先是 由思路提出人申報(bào)（當(dāng)然也可以安排專門的團(tuán)隊(duì)去研究） 然后通過評(píng)審確定為審計(jì)項(xiàng)目。審計(jì)項(xiàng)目也往往不再是一個(gè) 點(diǎn)、一個(gè)區(qū)域的項(xiàng)目，全部都是跨領(lǐng)域、跨地域（全國(guó)性） 的綜合性審計(jì)項(xiàng)目。（二）審計(jì)工作的工作變化可以說審計(jì) 人員不再像傳統(tǒng)審計(jì)項(xiàng)目，在項(xiàng)目執(zhí)行階段不斷地去尋找審 計(jì)思路。而是在項(xiàng)目確定之前，通過數(shù)據(jù)分析確定好審計(jì)思 路（想明白如何審計(jì)），真的下項(xiàng)目了，更多的是“體力活”。審計(jì)項(xiàng)目的執(zhí)行方式也不再是派項(xiàng)目組到處跑，而是通過將 專題審計(jì)分析的方案發(fā)給相關(guān)審計(jì)區(qū)域、領(lǐng)域的接口人，由 他

15、們幫助完成“體力活”。（三）審計(jì)成果的變化審計(jì)成果的內(nèi) 容也將得到極大的擴(kuò)展：首先成果的梳理方式都要像全國(guó)統(tǒng)組織項(xiàng)目的成果一樣進(jìn)行梳理；其次由于所有的成果都不 再是單點(diǎn)的，所以數(shù)額都會(huì)成線性增長(zhǎng)；最后每年提出的專 題審計(jì)數(shù)量、質(zhì)量將直接影響當(dāng)年的審計(jì)成果數(shù)量和質(zhì)量。四、大數(shù)據(jù)信息化的基礎(chǔ)配套建設(shè)內(nèi)容（一）以大數(shù)據(jù)方式建設(shè)的數(shù)據(jù)中心大數(shù)據(jù)信息化，首先必須有一個(gè)大數(shù)據(jù)的數(shù) 據(jù)中心。主要有以下幾個(gè)特征： 1 任何數(shù)據(jù)都是中心、又 不是中心，數(shù)據(jù)之間的關(guān)聯(lián)性是核心特征之一。數(shù)據(jù)之間的 關(guān)聯(lián)不會(huì)因?yàn)閿?shù)據(jù)量、 數(shù)據(jù)類型、 數(shù)據(jù)形態(tài)而受影響。 2數(shù)據(jù)的檢索速度都在秒級(jí)。對(duì)于數(shù)據(jù)的檢索與查詢都在秒級(jí)完成，這樣才能提供最基礎(chǔ)的數(shù)據(jù)服務(wù)。 (二)大數(shù)據(jù)的應(yīng)用建設(shè)思路大數(shù)據(jù)應(yīng)用功能可以拆分為四個(gè)層次：1統(tǒng)計(jì)展示。此階段的目的是描述“發(fā)生了什么(whathappened)