信息系統(tǒng)審計 課件 【ch08】信息系統(tǒng)績效審計

信息系統(tǒng)績效審計第八章高等院校公共課系列精品教材信息系統(tǒng)審計信息系統(tǒng)績效評價指標設計0101信息系統(tǒng)績效評價指標設計信息系統(tǒng)績效評價指標的設計原則在設計信息系統(tǒng)績效評價指標時，應考慮以下原則。(1)實用性原則。各項指標要能夠被明確衡量，且衡量所用的計算方法應盡可能簡便，以便于績效評價工作的開展(2)廣泛性原則。績效評價框架和指標的設計必須得到實踐者廣泛的認可和接受，管理者的認可是評價指標得以實施的前提，而審計人員的接受是評價體系具體實施的基礎。(3)結(jié)合IT治理的目標。IT治理最重要的任務是保證信息技術(shù)與各種業(yè)務的有效結(jié)合，使其與被審計單位戰(zhàn)略保持一致，促進組織利益最大化，實現(xiàn)信息化風險的最有效控制。(4)體現(xiàn)信息系統(tǒng)審計的獨特價值。全面性和系統(tǒng)性是設計績效評價指標的目的之一。同時，信息系統(tǒng)審計的績效難以量化，這是指標設計的難點。在設計評價指標時，需要充分考慮信息系統(tǒng)審計的業(yè)務流程，使評價指標能夠反映信息系統(tǒng)審計的戰(zhàn)略價值。01信息系統(tǒng)績效評價指標設計信息系統(tǒng)績效評價指標設計(1)量化與非量化指標。量化指標就是將所要評價的目標予以數(shù)量化，通常用貨幣、產(chǎn)銷量、百分比、完成階段、處理件數(shù)等來表示。但并非所有評價對象均能很容易地予以數(shù)量化。例如，信息系統(tǒng)增進部門間的溝通、促進組織結(jié)構(gòu)重組等方面的評價就難以用數(shù)字來表達，因此通常將難以量化的指標稱為非量化指標。(2)財務與非財務指標。對于量化指標而言，如果能以金額表示的即為財務性指標，反之為非財務性指標。(3)衡量過程與衡量結(jié)果指標。衡量結(jié)果的指標體現(xiàn)戰(zhàn)略執(zhí)行的結(jié)果(如營業(yè)收入的增長、質(zhì)量改善等),這些指標是典型的事后指標，它告訴管理者過去行動的結(jié)果。相對的，衡量過程的指標是事中指標，顯示在執(zhí)行某一策略時的關鍵因素。衡量結(jié)果的指標僅能指出最終結(jié)果，而衡量過程的指標能夠指出實現(xiàn)最終結(jié)果的變化過程。01信息系統(tǒng)績效評價指標設計信息系統(tǒng)績效評價指標對于信息系統(tǒng)的績效評價研究是從對企業(yè)制造資源計劃(ManufucturingResourcePlanning,MRP)項目的績效評價體系研究開始的。1976年，MRPⅡ的創(chuàng)始人懷特(OliveWight)提出，把實施MRP系統(tǒng)的企業(yè)分別評為A、B、C、D四個等級。1992年，Delone和Mclean提出了關于信息系統(tǒng)成功的六種主要的因變量：系統(tǒng)質(zhì)量(SystemQuality)、信息質(zhì)量(InformationQuality)、系統(tǒng)使用(InformationSystemUse)、用戶滿意度(UserSatisfaction)、個人影響(IndividualImpact)和組織影響(OrganizationalImpact)。根據(jù)“3E”的國際審計評價標準，信息系統(tǒng)績效評價主要分析信息系統(tǒng)建設資金使用的經(jīng)濟性(Economy)、效益性(Efficiency)和效果性(Effectiveness)。信息系統(tǒng)的性能、成本、效益的綜合比是綜合衡量系統(tǒng)質(zhì)量的指標。評價信息系統(tǒng)成功的最重要指標是信息系統(tǒng)給企業(yè)帶來的利益，而這些利益又包括運作利益、管理利益、戰(zhàn)略利益、組織利益和IT基礎利益等五大類。網(wǎng)絡安全控制審計0201經(jīng)濟維度下的績效評價經(jīng)濟性即以最低的資源耗費獲得一定數(shù)量和質(zhì)量的產(chǎn)出，即節(jié)省的程度。庫存管理系統(tǒng)將使原材料和在制品的庫存量得到壓縮，減少流動資金的占用。生產(chǎn)管理系統(tǒng)將實現(xiàn)均衡生產(chǎn)，提高勞動生產(chǎn)率，減少產(chǎn)品工時成本，按期交貨，減少非正常支出(如延期罰金等)。財務管理系統(tǒng)將加速資金周轉(zhuǎn)，提高準確率，避免不必要的經(jīng)濟損失。各類信息系統(tǒng)能及時、準確地提供對決策有重要影響的信息，從而提高決策的科學性和可行性，節(jié)省投資，避免不必要的開支。效益性指以最小的投入獲得一定的產(chǎn)出，或者以一定的投入獲得最大的產(chǎn)出。也就是說，投入了信息化建設項目的資源，應努力實現(xiàn)產(chǎn)出最大化，或者確保以最少的資源投入獲得一定數(shù)量的產(chǎn)出。01經(jīng)濟維度下的績效評價控制維度下的績效評價0301控制維度下的績效評價信息系統(tǒng)運行過程中需通過一系列的內(nèi)部控制和維護措施來為信息系統(tǒng)正常運行提供支持，這些措施包括組織和制度設計、崗位設置、人員管理、信息系統(tǒng)安全管理、信息技術(shù)咨詢、招標與采購管理、開發(fā)與實施、運行維護和運營服務，以及與其他系統(tǒng)的數(shù)據(jù)共享與通信等。信息系統(tǒng)的內(nèi)部控制對于信息系統(tǒng)的正常運行和組織目標的達成至關重要?？梢哉f，沒有內(nèi)部控制就沒有信息系統(tǒng)。從信息系統(tǒng)上線運行開始，就與組織的制度、文化、目標和行為規(guī)則等緊密結(jié)合。決定信息化建設成敗的關鍵除了系統(tǒng)本身，還有信息系統(tǒng)的管理控制環(huán)境，二者同等重要。信息系統(tǒng)績效評價在控制維度下應主要考慮控制對于信息系統(tǒng)達成組織目標的保障功能，具體包括：信息系統(tǒng)建設過程(生命周期)評價、一般控制評價、應用控制評價、信息系統(tǒng)安全管理評價。01控制維度下的績效評價01控制維度下的績效評價服務維度下的績效評價0401服務維度下的績效評價對信息系統(tǒng)服務效果的評價可以從用戶滿意度的評價著手，用戶又包括內(nèi)部用戶與公眾用戶。對于內(nèi)部用戶來說，可操作、高容錯、易掌握是多數(shù)人的基本要求，而要達到內(nèi)部用戶的業(yè)務需求則是其根本目標。公眾用戶的需求要復雜得多，不僅包括內(nèi)部用戶的基本需求，還反映了公眾用戶的期望，即信息系統(tǒng)服務的形式期望、結(jié)果期望和心理期望。形式期望是目標用戶對信息系統(tǒng)界面、功能、色彩等直觀內(nèi)容的心理感受；結(jié)果期望是目標用戶對信息系統(tǒng)提供的結(jié)果內(nèi)容的深層心理感受；心理期望是指目標用戶對信息系統(tǒng)的功能和用途的更深層次的心理感受。在用戶滿意度評價的審計實踐中，問卷調(diào)查、訪談和實地觀察是解決這一問題的比較好的方法，統(tǒng)計分析是重要手段。01服務維度下的績效評價信息系統(tǒng)績效審計的方法與技術(shù)0501成本一效益分析法成本的構(gòu)成收益的構(gòu)成根據(jù)信息系統(tǒng)的特點，信息化項目建設的成本構(gòu)成涵蓋了信息系統(tǒng)的整個生命周期，包括有形成本和無形成本，具體成本構(gòu)成項目見表8-1。與成本相對應，信息系統(tǒng)的收益用可量化或定性的標準來衡量，主要包括直接收益和間接收益，具體收益構(gòu)成項目見表8-1。01成本一效益分析法成本一收益分析的量化方法01成本一效益分析法成本一收益增量法02系統(tǒng)運行前后對比法成本一效益分析法的另一種擴展應用是系統(tǒng)運行前后對比法。即根據(jù)信息系統(tǒng)項目建設前后的情況，比較項目的效益和成本。具體而言，通過對項目實施前后兩個不同歷史時期相關特征量的變化進行比較，從而確定項目直接經(jīng)濟效益的方法。該方法適用于信息化建設項目后評價或項目實際效益估算。系統(tǒng)運行前后對比法基于價值工程原理，側(cè)重于系統(tǒng)的功能與所需成本的比較。系統(tǒng)的功能是指信息系統(tǒng)提供給用戶的生產(chǎn)力工具，成本是指信息系統(tǒng)在其生命周期中的生產(chǎn)成本、運行成本和維護成本。根據(jù)價值工程原理，價值=功能/成本。為了獲得最佳的經(jīng)濟效益，系統(tǒng)必須使價值方程式中的功能和成本達到最佳比例。而最佳比例的達成不僅需要系統(tǒng)提供必要的功能，而且成本最低，因此存在權(quán)衡和合理選擇的問題。03平衡計分卡內(nèi)容框架和指標體系的建立由于平衡計分卡的四個方面都是圍繞企業(yè)的戰(zhàn)略目標展開的，所以有必要首先明確企業(yè)當前的戰(zhàn)略目標。根據(jù)平衡計分卡的基本模板，評價指標應從四個方面進行選擇。指標可以通過問卷的方式初步建立，問卷可以分發(fā)給各個部門，最好是部門領導。各部門的調(diào)查結(jié)果按照財務、客戶滿意度、內(nèi)部流程及成長與學習四個方面進行分類，根據(jù)企業(yè)的戰(zhàn)略目標篩選出一些相對重要的指標，得到初始指標組。同時必須指出，由于信息系統(tǒng)應用的成本效益的復雜性，在選擇指標時必須充分考慮其隱性成本效益的重要性。03平衡計分卡指標權(quán)重的建立平衡計分卡不僅是一種管理手段，也體現(xiàn)了一種管理思想，即只有量化的指標才是可以考核的，必須將要考核的指標進行量化。對于信息系統(tǒng)績效評價而言，它也是較為切實可行的方法，其優(yōu)點具體表現(xiàn)在以下幾個方面：(1)克服了其他評估方法的短期行為，其評價指標具有長期性；(2)通過指標的全面化綜合衡量信息系統(tǒng)的顯性和隱性效益；(3)評價的同時，對信息系統(tǒng)的建設和改進也有一定的指導作用。平衡計分卡的缺點表現(xiàn)在以下幾個方面：(1)從指標的建立到指標數(shù)據(jù)的獲取，管理者評估信息系統(tǒng)的應用要花費大量的時間和資金；(2)定性指標很難產(chǎn)生定量結(jié)果。04層次分析法層次分析法的基本步驟收益的構(gòu)成(1)建立問題的層次結(jié)構(gòu)；(2)形成成對比較判斷矩陣；(3)分層單項排序；(4)分層綜合總排序；層次分析方法有以下幾種計算方法：第一種是乘冪法，通過計算機可以得到任意精度的數(shù)值；第二種方法是一種近似方法——和積法可以使計算變得簡單，并保證足夠的精度。還有一種近似方法——平方根法；第三種方法是最小二乘法或?qū)?shù)最小二乘法，這種方法使用較少。為了評價分層總排序計算結(jié)果的一致性，還需要計算出與單項排序相似的檢驗量。04層次分析法層次分析法的優(yōu)點(1)系統(tǒng)性的分析方法：層次分析法把研究對象作為一個系統(tǒng)，按照分解、比較判斷、綜合的思維方式進行決策，成為繼機理分析、統(tǒng)計分析之后發(fā)展起來的系統(tǒng)分析的重要工具。(2)簡潔實用的決策方法：這種方法既不單純追求高深數(shù)學，也不片面地注重行為、邏輯、推理，而是把定性方法與定量方法有機地結(jié)合起來。(3)所需定量數(shù)據(jù)信息較少：層次分析法主要是從評價者對評價問題的本質(zhì)、要素的理解出發(fā)，比一般的定量方法更講求定性的分析和判斷。04層次分析法層次分析法的缺點(1)不能為決策提供新方案：層次分析法的作用是從備選方案中選擇較優(yōu)者。這個作用正好說明了層次分析法只能從原有方案中進行選取，而不能為決策者提供解決問題的新方案。(2)定量數(shù)據(jù)較少，定性成分多，不易令人信服：在如今對科學的方法的評價中，一般都認為一門科學需要比較嚴格的數(shù)學論證和完善的定量分析。但現(xiàn)實世界的問題和人腦考慮問題的過程很多時候并不能簡單地用數(shù)字來說明。(3)指標過多時數(shù)據(jù)統(tǒng)計量大，且權(quán)重難以確定：當期望能解決較普遍的問題時，指標的選取數(shù)量很可能也就隨之增加。(4)特征值和特征向量的精確求法比較復雜：在求判斷矩陣的特征值和特征向量時，所用的方法和多元統(tǒng)計所用的方法是一樣的。05模糊綜合法模糊綜合法的步驟(1)確定對象集、因子集：確定評估對象，準備從幾個方面考慮，評估具體評估的評分。(2)確定權(quán)重分布：權(quán)重的確定必須審慎、科學、可靠，并盡可能符合或接近實際。一般對評價目標影響較大的因素(評價指標)權(quán)重較大；對評價目標影響不大的因素，權(quán)重相對較小。(3)建立各因素(評價指標)的評分隸屬函數(shù)和綜合評價矩陣：為了得到模糊矩陣，需要根據(jù)被評價對象的指標數(shù)據(jù)，為每一個評價指標分別構(gòu)造出一系列評價等級的隸屬函數(shù)。(4)計算各對象的綜合評價結(jié)果。(5)向量的歸一化處理：歸一化即向量的單位化，可以讓人直觀地對最終的評價結(jié)果有更深入的了解。(6)模糊分析結(jié)果：如果想要得到更直觀的評價分數(shù)，還可以根據(jù)相應的等級設置分數(shù)重心，從而計算出被評價對象的績效綜合評價分數(shù)，這樣就可以根據(jù)最終分數(shù)的大小來評價事物或?qū)ο蟆?5模糊綜合法模糊綜合法的優(yōu)點模糊綜合法的缺點(1)模糊綜合評判理論模型考慮了分級模糊性，用隸屬度來描述分級界限，還考慮了各參數(shù)指標的作用而給予不同的權(quán)重，從而使評價結(jié)果更加客觀。(2)模糊評價通過精確的數(shù)字手段處理模糊的評價對象，能對蘊藏信息呈現(xiàn)模糊性的資料做出比較科學、合理、貼近實際的量化評價。(3)評價結(jié)果是一個矢量，而不是一個點值，包含的信息比較豐富，既可以比較準確地刻畫被評價對象，又可以進一步加工，得到參考信息。(4)由于模糊綜合法是一種全面評價法，可以選擇出最好的運算模型，使運算結(jié)果能盡可能科學地體現(xiàn)產(chǎn)品的質(zhì)量狀況。(1)計算復雜，對指標權(quán)重的確定主觀性較強。(2)模糊綜合法在模糊矩陣復合運算中取大取小運算的結(jié)果，沒有充分考慮中間項，從而會影響評價結(jié)果的精度，而且有的評價結(jié)果常常趨于均化。06Delphi法Delphi法的步驟(1)確定專家組成員：按照課題所需要的知識范圍，確定專家。專家人數(shù)的多少，可根據(jù)預測課題的大小和涉及面的寬窄而定，一般不超過20人。(2)向所有專家提出所要預測的問題及有關要求，并附上有關問題的所有背景材料，同時請專家提出還需要什么材料。然后，由專家做書面答復。(3)各位專家根據(jù)他們所收到的材料，提出自己的預測意見，并說明自己是怎么利用這些材料得出預測值的。(4)將各位專家的第一次判斷意見匯總，列成圖表，進行對比，再分發(fā)給各位專家，讓專家比較自己同他人的不同意見，再修改自己的意見和判斷。(5)將所有專家的修改意見收集起來，匯總，再次分發(fā)給各位專家，以便做第二次修改。收集意見和信息反饋一般要經(jīng)過三四輪。這一過程反復進行，直到每一位