對(duì)孤立點(diǎn)分析方法在現(xiàn)代審計(jì)中的運(yùn)用技巧分析

1、對(duì)孤立點(diǎn)分析方法在現(xiàn)代審計(jì)中的運(yùn)用技巧分析 一、引言 隨著計(jì)算機(jī)信息技術(shù)的迅猛發(fā)展,大型企業(yè)和信息型產(chǎn)業(yè)大多都正在使用供應(yīng)鏈管理(supply chain management,scm)系統(tǒng)或企業(yè)資源計(jì)劃(enterpriseresource planiling,erp)系統(tǒng)或客戶關(guān)系管理(customer relationshipmanagement,crm)系統(tǒng)或財(cái)務(wù)管理(financial management)系統(tǒng)等,使企業(yè)的管理制度更加完善,同時(shí)企業(yè)所有運(yùn)營環(huán)節(jié)都充斥著信息資源(包含各個(gè)部門大量財(cái)務(wù)數(shù)據(jù)和經(jīng)營管理數(shù)據(jù)的數(shù)據(jù)倉庫)。審計(jì)人員從被審計(jì)單位的信息系統(tǒng)數(shù)據(jù)倉庫中獲取大量審計(jì)數(shù)

2、據(jù),面對(duì)被審計(jì)單位海量數(shù)據(jù)中蘊(yùn)含著極其豐富信息的挑戰(zhàn),僅僅依靠只是將傳統(tǒng)手工的審計(jì)流程計(jì)算機(jī)化的信息技術(shù),如結(jié)構(gòu)化查詢語言(sql)等,很難滿足信息時(shí)代審計(jì)的需求。 計(jì)算機(jī)輔助審計(jì)技術(shù)的不斷發(fā)展,數(shù)據(jù)挖掘技術(shù)為被審計(jì)單位在面對(duì)海量數(shù)據(jù)時(shí)提供了新的思路,在審計(jì)工作中引入對(duì)海量數(shù)據(jù)進(jìn)行“輕松處理”的數(shù)據(jù)挖掘技術(shù)(如決策樹算法、聚類算法、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法等),是對(duì)計(jì)算機(jī)審計(jì)方法的補(bǔ)充,“減弱”傳統(tǒng)審計(jì)方法的限制條件,為現(xiàn)代審計(jì)開拓了便捷的路徑。可以說是現(xiàn)代計(jì)算機(jī)審計(jì)方法一個(gè)里程碑式的突破,也是計(jì)算機(jī)審計(jì)方法探索的悄然趨勢(shì)。審計(jì)人員在面對(duì)存在著復(fù)雜的審計(jì)環(huán)境和海量的財(cái)務(wù)數(shù)據(jù)時(shí),若利用數(shù)據(jù)挖掘技術(shù),可以

3、在短時(shí)間內(nèi)發(fā)現(xiàn)異常數(shù)據(jù)(因它在發(fā)現(xiàn)審計(jì)線索特征方面可以發(fā)揮其特有的功能),有助于對(duì)被審計(jì)單位進(jìn)行系統(tǒng)全面的審計(jì),把風(fēng)險(xiǎn)盡可能降低,進(jìn)而拓寬審計(jì)領(lǐng)域。 本文基于數(shù)據(jù)挖掘技術(shù)中的孤立點(diǎn)分析方法來發(fā)現(xiàn)一些異常的審計(jì)現(xiàn)象,孤立點(diǎn)分析方法先對(duì)這些大量的審計(jì)數(shù)據(jù)進(jìn)行預(yù)處理(除噪),然后建立數(shù)據(jù)挖掘模型,運(yùn)用此模型分析出具有一定特征且小比例的異常數(shù)據(jù),供審計(jì)人員決策分析時(shí)參考。 二、孤立點(diǎn)分析方法 孤立點(diǎn)分析是數(shù)據(jù)挖掘技術(shù)中用來檢測(cè)審計(jì)數(shù)據(jù)中異常數(shù)據(jù)的一項(xiàng)重要技術(shù)。由于審計(jì)分析中的疑點(diǎn)數(shù)據(jù)往往表現(xiàn)為孤立點(diǎn),通常情況下,在對(duì)被審計(jì)數(shù)據(jù)進(jìn)行分析時(shí),常常選擇孤立點(diǎn)分析技術(shù)。 (一)孤立點(diǎn) 孤立點(diǎn)是數(shù)據(jù)集中與眾不同

4、的數(shù)據(jù),使人懷疑這些數(shù)據(jù)并非隨機(jī)偏差,而是產(chǎn)生于完全不同的機(jī)制。在聚類分析中,有的數(shù)據(jù)對(duì)象不屬于任何的類或簇,這樣的數(shù)據(jù)對(duì)象在聚類中稱為噪聲,而在孤立點(diǎn)分析中,則稱為孤立點(diǎn)。孤立點(diǎn)是個(gè)相對(duì)的定義,特別地,在審計(jì)領(lǐng)域,審計(jì)數(shù)據(jù)初始分布模型假設(shè)的不同,或研究者在不同的檢測(cè)背景下,都會(huì)得出不同的結(jié)論。 鑒于很多人為或非人為的原因都會(huì)導(dǎo)致孤立點(diǎn)的產(chǎn)生,如人為執(zhí)行錯(cuò)誤或人為故意操縱數(shù)據(jù)為達(dá)到某種目的而致使孤立點(diǎn)的產(chǎn)生,再如儀器測(cè)量錯(cuò)誤、系統(tǒng)故障、數(shù)據(jù)總體中的自然偏差或固有的數(shù)據(jù)變異都會(huì)導(dǎo)致孤立點(diǎn)的產(chǎn)生,我們要對(duì)孤立點(diǎn)產(chǎn)生的原因進(jìn)行全面分析。但最重要的是,審計(jì)人員要對(duì)這些孤立點(diǎn)保持敏感性,并分析出孤立點(diǎn)背

5、后產(chǎn)生的深層次原因,來獲取有價(jià)值的審計(jì)信息。 (二)孤立點(diǎn)分析方法 1.孤立點(diǎn)分析方法的概念 孤立點(diǎn)分析方法可簡(jiǎn)述為:給定一個(gè)有n個(gè)數(shù)據(jù)點(diǎn)或?qū)ο蟮募霞邦A(yù)期的孤立點(diǎn)數(shù)目k,發(fā)現(xiàn)與剩余的數(shù)據(jù)相比是顯著異常的、孤立的、或不一致的前k個(gè)對(duì)象的過程。因此,孤立點(diǎn)分析實(shí)際上可以被看作兩個(gè)子問題: (1)在給定的數(shù)據(jù)集合中定義什么樣的數(shù)據(jù)是不一致的; (2)找到一個(gè)有效的方法來檢測(cè)這樣的不一致數(shù)據(jù)。 2.孤立點(diǎn)分析方法介紹 (1)基于統(tǒng)計(jì)的方法 當(dāng)數(shù)據(jù)集的概率分布及參數(shù)(如正態(tài)分布、泊松分布等,均值、方差)已知或需經(jīng)多次驗(yàn)證并試圖得出數(shù)據(jù)真實(shí)的概率分布或參數(shù)特征時(shí),一般使用基于統(tǒng)計(jì)的方法。此方法尤其用于數(shù)

6、值型數(shù)據(jù)。孤立點(diǎn)的確定主要是通過檢驗(yàn)偏離統(tǒng)計(jì)模型的不一致數(shù)據(jù),并統(tǒng)計(jì)出其個(gè)數(shù),分析其性態(tài)。 (2)基于距離的方法 knorr和ng提出了一種體現(xiàn)孤立點(diǎn)本質(zhì)的定義,即若一個(gè)數(shù)據(jù)對(duì)象與數(shù)據(jù)域中大多數(shù)對(duì)象之間的距離(相異度)都大于某個(gè)閾值,將此數(shù)據(jù)對(duì)象確認(rèn)為一個(gè)孤立點(diǎn)。閾值的設(shè)定是在對(duì)被審計(jì)數(shù)據(jù)清洗,并檢驗(yàn)其有效性之后,據(jù)審計(jì)數(shù)據(jù)所屬行業(yè)的特點(diǎn),將行業(yè)常規(guī)值預(yù)先設(shè)定為閾值,或經(jīng)公式計(jì)算得出閾值。此方法有效的避免了基于統(tǒng)計(jì)方法中數(shù)據(jù)分布特征確定的問題。 (3)基于偏離的方法 基于偏離的孤立點(diǎn)挖掘是通過檢查一組對(duì)象的主要特征來確定孤立點(diǎn)。與給出的描述“偏離”的對(duì)象被認(rèn)為是孤立點(diǎn)。此孤立點(diǎn)挖掘有兩種常用的

7、技術(shù):第一種序列異常技術(shù),是一種基于相異度函數(shù)(往往是審計(jì)數(shù)據(jù)集的總方差)的有效方法,預(yù)先定義樣本集的一般特征,其余“偏離”這些特征的樣本屬于異常樣本。第二種olap數(shù)據(jù)立方體技術(shù),在審計(jì)時(shí),對(duì)那些標(biāo)為異常的單元下鉆,可能會(huì)發(fā)現(xiàn)更細(xì)節(jié)或較低層次的異常。 (4)基于密度的方法 breuning等人基于密度聚類思想的啟發(fā),于2000年提出了一種基于局部密度來檢測(cè)孤立點(diǎn)的新方法,通過該數(shù)據(jù)對(duì)象周圍區(qū)域的局部密度,與它鄰近的局部密度之比來確定該對(duì)象的局部孤立點(diǎn)因子(locai outlierfactor,lof),lof的值越大說明該對(duì)象越可能是孤立點(diǎn),需引起審計(jì)人員多加注意。該方法對(duì)發(fā)現(xiàn)局部孤立點(diǎn)有

8、很好的效果。 (5)基于距離和密度的聚類和孤立點(diǎn)檢測(cè)方法 基于距離和密度的聚類和孤立點(diǎn)檢測(cè)算法(distance & density based clusteringand outlier detection algorithm,簡(jiǎn)稱ddbcob),是將基于距離和密度這兩種方法融合來確定聚類和孤立點(diǎn)。經(jīng)過反復(fù)驗(yàn)證,證明融合了兩者優(yōu)點(diǎn)的ddbcob算法可以對(duì)任意形狀的聚類進(jìn)行識(shí)別,可以有效地識(shí)別出高維數(shù)據(jù)中的孤立點(diǎn)。 (6)基于人工神經(jīng)網(wǎng)絡(luò)模型的孤立點(diǎn) williams等提出的人工神經(jīng)網(wǎng)絡(luò)孤立點(diǎn)檢測(cè)算法(repntor neural networks,rnn),數(shù)據(jù)源往往使用通用統(tǒng)計(jì)數(shù)據(jù)集(一般

9、較小)和專用數(shù)據(jù)挖掘數(shù)據(jù)集(較大,并且是現(xiàn)實(shí)的數(shù)據(jù)集),rnn算法對(duì)大的或小的數(shù)據(jù)集的孤立點(diǎn)檢測(cè)結(jié)果都達(dá)到了預(yù)期效果,但它不適于檢測(cè)含有放射狀的孤立點(diǎn)數(shù)據(jù)集。 孤立點(diǎn)分析技術(shù)在審計(jì)中的具體應(yīng)用在兩方面:一是審計(jì)數(shù)據(jù) 預(yù)處理過程中,審計(jì)人員對(duì)審計(jì)數(shù)據(jù)清理和檢測(cè)之后,通過規(guī)則集中預(yù)定義的孤立點(diǎn)識(shí)別規(guī)則,來識(shí)別此類數(shù)據(jù)是否為孤立點(diǎn)。二是異常檢測(cè)(即讓經(jīng)驗(yàn)豐富的審計(jì)人員判別孤立點(diǎn)是否可疑)。 審計(jì)人員在進(jìn)行審計(jì)時(shí),對(duì)可用的原始數(shù)據(jù)進(jìn)行采集、清洗以及驗(yàn)證,使之達(dá)到建模的需求,然而最關(guān)鍵的一步是在明確了挖掘任務(wù)之后,據(jù)數(shù)據(jù)的類型和特征,尋找與之相適應(yīng)的孤立點(diǎn)算法,則審計(jì)人員選取以上介紹的孤立點(diǎn)分析方法的一

10、種或幾種的組合,來滿足客戶對(duì)尋求異常數(shù)據(jù)的審計(jì)需求。 三、孤立點(diǎn)分析方法在審計(jì)運(yùn)用中的一般流程 圖1是孤立點(diǎn)分析方法在審計(jì)中運(yùn)用的一般流程,具體流程如下: 審計(jì)人員提出需求,此需求往往是據(jù)審計(jì)人員的經(jīng)驗(yàn)和敏銳的洞察力識(shí)別出被審計(jì)單位財(cái)務(wù)數(shù)據(jù)或經(jīng)營業(yè)務(wù)有些異常,需找出數(shù)據(jù)或業(yè)務(wù)中的噪點(diǎn)(孤立點(diǎn)),數(shù)據(jù)挖掘人員通過和審計(jì)人員的溝通來加深對(duì)審計(jì)需求的理解。在此進(jìn)行的理解具體有業(yè)務(wù)理解和數(shù)據(jù)理解,其中業(yè)務(wù)理解包括據(jù)需求確定審計(jì)項(xiàng)目目標(biāo)、評(píng)估審計(jì)目標(biāo)的資源和審計(jì)人員的假設(shè)、確定數(shù)據(jù)挖掘目標(biāo)、生成項(xiàng)目計(jì)劃,數(shù)據(jù)理解包括對(duì)被審計(jì)單位的信息系統(tǒng)和業(yè)務(wù)流程進(jìn)行理解、采集原始數(shù)據(jù)并分析、初步檢測(cè)數(shù)據(jù)質(zhì)量、探索數(shù)據(jù)

11、變量。 數(shù)據(jù)挖掘人員在理解需求的前提下檢驗(yàn)此需求能否用孤立點(diǎn)分析方法解決。一般情況下都是可以采用孤立點(diǎn)分析方法來分析疑點(diǎn)數(shù)據(jù)的,首先對(duì)孤立點(diǎn)檢測(cè)算法的參數(shù)和孤立點(diǎn)識(shí)別規(guī)則進(jìn)行預(yù)定義,然后調(diào)用數(shù)據(jù)清理算法對(duì)被審計(jì)數(shù)據(jù)進(jìn)行清理,來提高定位孤立點(diǎn)的精準(zhǔn)度。 數(shù)據(jù)挖掘人員提出挖掘模型,并向?qū)徲?jì)人員詳細(xì)的介紹此模型的功能和作用,進(jìn)而他們可以對(duì)模型的算法細(xì)節(jié)進(jìn)行商討并加以確認(rèn),最后對(duì)數(shù)據(jù)挖掘模型進(jìn)行試用; 審計(jì)人員在理解挖掘模型的基礎(chǔ)上,對(duì)模型所產(chǎn)生的挖掘結(jié)果進(jìn)行評(píng)價(jià)。 審計(jì)人員對(duì)所試用的數(shù)據(jù)挖掘模型得出的結(jié)果進(jìn)行評(píng)價(jià)時(shí),若此數(shù)據(jù)挖掘模型不符合審計(jì)需求,此時(shí),要對(duì)模型以及模型的輸入?yún)?shù)值等進(jìn)行反復(fù)的修正和

12、完善,即不斷調(diào)試模型的輸入?yún)?shù)值,不斷完善模型來迎合審計(jì)需求。 若數(shù)據(jù)挖掘結(jié)果是異常并且是重要的,則符合審計(jì)需求。 若數(shù)據(jù)挖掘結(jié)果是異常但是合理的(若由于固有數(shù)據(jù)變異性引起的結(jié)果等),或異常但影響較小,達(dá)不到重要性水平,此時(shí)審計(jì)人員對(duì)原來假設(shè)審計(jì)數(shù)據(jù)有異常的情況不予處理。此重要性水平,主要依據(jù)審計(jì)人員的職業(yè)判斷和對(duì)審計(jì)項(xiàng)目的了解情況等。 另外,在建立數(shù)據(jù)挖掘模型初期,審計(jì)人員對(duì)審計(jì)數(shù)據(jù)的理解與把握程度,審計(jì)人員提出的需求與孤立點(diǎn)算法的融合程度,這兩個(gè)方面的因素對(duì)數(shù)據(jù)挖掘模型的建立起著決定性的作用。因此,審計(jì)人員和數(shù)據(jù)挖掘人員對(duì)審計(jì)需求的理解、孤立點(diǎn)分析算法及數(shù)據(jù)挖掘模型的確定、算法與審計(jì)需求的

13、融合,這些過程將是一個(gè)不斷反饋、不斷論證的過程,以確保最終形成針對(duì)性強(qiáng)、實(shí)時(shí)的、最優(yōu)的挖掘模型及方案。 綜上所述,建立數(shù)據(jù)挖掘模型是一個(gè)與或的過程,需要進(jìn)行不斷的論證,通過分析提出的不同特征的數(shù)據(jù)或目標(biāo),來確定最佳孤立點(diǎn)分析的算法,從而達(dá)到審計(jì)的目的。當(dāng)然,最佳算法只是相對(duì)的,只是符合當(dāng)前挖掘出的數(shù)據(jù)、目標(biāo)及審計(jì)環(huán)境。對(duì)于實(shí)時(shí)的用戶需求及實(shí)際的審計(jì)目標(biāo),作為審計(jì)人員要深刻理解各類算法的相似點(diǎn)和相異您的專屬秘書，中國最強(qiáng)免費(fèi)文秘網(wǎng)！點(diǎn),集各類算法之所長,合理的組合或改進(jìn),形成符合審計(jì)需求的孤立點(diǎn)分析算法?？梢哉f,在數(shù)據(jù)挖掘過程,人的因素是最重要的,在算法選擇和模型建立時(shí)都需要人的參與,同時(shí)需要具

14、備扎實(shí)的專業(yè)技能和經(jīng)驗(yàn)豐富的審計(jì)人員和數(shù)據(jù)挖掘人員,需要他們時(shí)時(shí)溝通和配合。對(duì)于挖掘得出的結(jié)果,審計(jì)人員還需結(jié)合自己對(duì)審計(jì)項(xiàng)目的了解程度,并證實(shí)先前的孤立點(diǎn)假設(shè),尋找出疑點(diǎn),并分析出現(xiàn)這些異常現(xiàn)象的原因,給客戶一個(gè)滿意的、可以正常使用的數(shù)據(jù)挖掘模型。對(duì)于挖掘結(jié)果可能是審計(jì)問題線索證據(jù)的,需要審計(jì)人員進(jìn)一步追蹤、查閱相關(guān)資料進(jìn)行延伸調(diào)查,對(duì)新的疑點(diǎn)運(yùn)用恰當(dāng)?shù)墓铝Ⅻc(diǎn)算法進(jìn)行深入挖掘,探尋異常問題的本質(zhì)。 四、總結(jié) 數(shù)據(jù)挖掘技術(shù),已從研究階段逐步走向了實(shí)際應(yīng)用階段。數(shù)據(jù)挖掘技術(shù)中有可能用于審計(jì)的技術(shù)可以和孤立點(diǎn)分析方法結(jié)合起來使用,可能會(huì)達(dá)到較好的效果,可能用于審計(jì)中的技術(shù)如統(tǒng)計(jì)分析技術(shù),常運(yùn)用在信

15、息系統(tǒng)開發(fā)審計(jì)階段,它可發(fā)現(xiàn)偏差數(shù)據(jù),即對(duì)審計(jì)數(shù)據(jù)分析得出的預(yù)測(cè)值和預(yù)定義的審計(jì)值進(jìn)行比較,易于發(fā)現(xiàn)異常審計(jì)數(shù)據(jù),獲得審計(jì)線索,又如聚類分析技術(shù)可確定審計(jì)重點(diǎn),在審計(jì)過程中,通過聚類分析技術(shù)對(duì)被審計(jì)單位的同類型的財(cái)務(wù)數(shù)據(jù)或業(yè)務(wù)數(shù)據(jù)進(jìn)行分類,使其成為有相似特性的聚類,進(jìn)而發(fā)現(xiàn)審計(jì)中需要重點(diǎn)關(guān)注的異常區(qū)域特征。并且借助該技術(shù)對(duì)計(jì)算機(jī)日志的審查,可對(duì)系統(tǒng)安全運(yùn)行起到重要保護(hù)作用;再如關(guān)聯(lián)分析技術(shù),用于發(fā)現(xiàn)大量數(shù)據(jù)集合間隱藏的有意義的關(guān)聯(lián),常運(yùn)用在財(cái)務(wù)和業(yè)務(wù)數(shù)據(jù)審計(jì)中,挖掘出財(cái)務(wù)報(bào)表數(shù)據(jù)屬性間可能的相互影響,減小審計(jì)工作量,并為后續(xù)審計(jì)活動(dòng)提供參考和支持。數(shù)據(jù)挖掘的主要目的是向管理者提供分析決策上的支持,能夠幫助管理人員在較短的時(shí)