政府大數(shù)據(jù)質(zhì)量評價框架分析,信息管理論文

大數(shù)據(jù)質(zhì)量評價框架分析,信息管理論文題目第一章第二章第三章大數(shù)據(jù)質(zhì)量評價框架分析第四章5.1-5.45.5第六章結(jié)論/以下為參考文獻第3章大數(shù)據(jù)質(zhì)量評價框架分析3.1大數(shù)據(jù)質(zhì)量評價維度。人們對于統(tǒng)計數(shù)據(jù)質(zhì)量的要求越來越嚴，進而對統(tǒng)計數(shù)據(jù)質(zhì)量內(nèi)涵的認識也從狹義向廣義轉(zhuǎn)變。對于統(tǒng)計數(shù)據(jù)的提供者、生產(chǎn)者和用戶也會進行多維度考察和衡量。盡管華而不實的某些維度在業(yè)界得到了廣泛的認可和關(guān)注，但數(shù)據(jù)使用者對于數(shù)據(jù)質(zhì)量的主觀判定不盡一樣，所以是研究人員還是數(shù)據(jù)質(zhì)量的從業(yè)人員都未對數(shù)據(jù)質(zhì)量維度集構(gòu)成共鳴。不同環(huán)境和不同個體對于大數(shù)據(jù)質(zhì)量的要求各不一樣，因而，在特定的環(huán)境中確定數(shù)據(jù)質(zhì)量是極為必要的。而對于大數(shù)據(jù)，含有大數(shù)據(jù)特點質(zhì)量維度得到認同的程度，特別依靠確定的方式方法和經(jīng)過。這些標準之間既存在密切聯(lián)絡(luò)，又存在矛盾和沖突，如知足了準確性很可能會無法知足實時性或者知足了實時性又無法完全知足效益性。我們要避免為了知足了某一方面的質(zhì)量而損害其他方面的質(zhì)量。而不同用戶對大數(shù)據(jù)可以能存在不同的要求，有的可能側(cè)重大數(shù)據(jù)的實時性，有的則會側(cè)重準確性。因而，在做大數(shù)據(jù)處理的時候，就要對大數(shù)據(jù)的質(zhì)量進行選擇和平衡，以知足用戶的需求。而數(shù)據(jù)質(zhì)量是一個相對的屬性概念，而大數(shù)據(jù)更是還處于發(fā)展之中，無法準確解讀用戶需求，片面理解和追求數(shù)據(jù)的某些方面，可能會對整體數(shù)據(jù)質(zhì)量構(gòu)成反效果。只要準確理解需求，用科學的衡量標準界定，才使得大數(shù)據(jù)質(zhì)量有明確的意義和內(nèi)涵。華而不實準確性、及時性、可獲得性、可比性和可銜接性是國際統(tǒng)計界公認的數(shù)據(jù)質(zhì)量基本構(gòu)成要素和各國統(tǒng)計機構(gòu)對數(shù)據(jù)進行質(zhì)量檢測、監(jiān)管的重要內(nèi)容和根據(jù)。3.1.1大數(shù)據(jù)質(zhì)量評價一般維度?！瞝〕準確性。準確性是用來描繪敘述得到的數(shù)據(jù)與的真實數(shù)據(jù)之間的接近程度，一般情況下用誤差來衡量這個范圍。準確性是數(shù)據(jù)質(zhì)量的核心內(nèi)容與基礎(chǔ)，數(shù)據(jù)本身就是描繪敘述特征的符號，通常來講，有些理論把誤差分為系統(tǒng)誤差和隨機誤差兩部分，一些情況也用導致不準確性的主要潛在原因〔如抽樣誤差、無回答誤差等〕來分類描繪敘述。絕對準確的測量一般會遭到成本的制約，而且多數(shù)情況是無法做到的。所以關(guān)鍵的是用戶能否能夠接受這樣的誤差?！?〕時效性。時效性又叫做及時性。用戶做出決策前，假如用戶所需的相關(guān)準確的統(tǒng)計數(shù)據(jù)無法送達用戶手中，那么這些數(shù)據(jù)對于用戶來講，是無用的。所以，及時性也是統(tǒng)計數(shù)據(jù)能否知足用戶需求的一個重要特征。假如統(tǒng)計現(xiàn)象本身具有較強的變化性，則該類統(tǒng)計數(shù)據(jù)的時效性要求會很高；假如統(tǒng)計現(xiàn)象本身變化較為緩慢，則該類統(tǒng)計數(shù)據(jù)的時效性要求較低。數(shù)據(jù)集合中每一個信息都要有一定的時效性，由于統(tǒng)計工作有明確的時間概念，數(shù)據(jù)的產(chǎn)生是都是有頻率的：月、季、年，大數(shù)據(jù)信息較好的時效性能夠保證處理過的統(tǒng)計信息更為有用、可靠，能夠充分發(fā)揮價值，過期的數(shù)據(jù)在實際應(yīng)用中作用不大。數(shù)據(jù)跟新聞一樣具有時效性。很多傳感器的數(shù)據(jù)產(chǎn)生幾秒之后就失去意義了?！?〕相關(guān)性。相關(guān)性，是指用戶對于統(tǒng)計數(shù)據(jù)的感興趣程度。統(tǒng)計數(shù)據(jù)的相關(guān)性反映了它知足用戶需求的程度，相關(guān)性與可用統(tǒng)計數(shù)據(jù)能否切合了用戶最關(guān)注的核心有關(guān)。通常而言，對于相關(guān)性的評價是特別主觀的，往往會隨用戶需求的改變而改變。所以統(tǒng)計部門所要做的是平衡不同用戶各不一樣的需求目的，在給定的資源條件的制約下，盡可能的知足大部門用戶的需求?！?〕客觀性?？陀^性可以以叫真實性，是指數(shù)據(jù)的能夠很好地描繪敘述、定義研究對象的特征和狀態(tài)，也就是數(shù)據(jù)能否能比擬非主觀的表示出信息，如實的反映符合確認和計量要求的各項統(tǒng)計要素，保證數(shù)據(jù)信息真實可靠，內(nèi)容貼切?！?〕可銜接性?？摄暯有允侵竿唤y(tǒng)計機構(gòu)內(nèi)部不同統(tǒng)計調(diào)查項目之間、不同機構(gòu)之間以及與國際組織之間統(tǒng)計數(shù)據(jù)的銜接程度?？摄暯有砸笕珖秶鷥?nèi)所有專業(yè)統(tǒng)計項目在統(tǒng)一的統(tǒng)計框架體系、類標準下，按統(tǒng)一的方式方法編制統(tǒng)計數(shù)據(jù)，在統(tǒng)計調(diào)查和數(shù)據(jù)處理中使用統(tǒng)一的程序和方式方法，同時采用國際統(tǒng)計標準，如聯(lián)合國1993年SNA的框架體系等。大數(shù)據(jù)的應(yīng)用，標準特別關(guān)鍵，包含大數(shù)據(jù)的分類標準與統(tǒng)計的分類標準能否一致，怎樣統(tǒng)一規(guī)范，怎樣進行交換，采集與挖掘，這些都需要統(tǒng)計部門的認真調(diào)研和琢磨?！?〕完好性。完好性是統(tǒng)計數(shù)據(jù)質(zhì)量在信息內(nèi)容含量的具體表現(xiàn)出，就是要求數(shù)據(jù)在內(nèi)容上應(yīng)包括數(shù)據(jù)使用者所需的全部項目，做到?jīng)]有殘缺和疏漏。必須強調(diào)的是，完好不意味越多越好的無所不含，完好性必須結(jié)合用戶和數(shù)據(jù)使用者的需求而言。換而言之，統(tǒng)計數(shù)據(jù)能否完好，要看需求能否被知足。假如數(shù)據(jù)能從不同側(cè)面系統(tǒng)地反映所研究事物的總體相貌及其發(fā)展趨勢，能知足使用者分析、預測、決策和科學研究的需要，那么就到達了完好性的要求。一旦數(shù)據(jù)不全或缺失，使數(shù)據(jù)的完好性不夠良好，將對統(tǒng)計數(shù)據(jù)結(jié)果產(chǎn)生重大影響，甚至出現(xiàn)謬論。〔7〕可理解性?？衫斫庑允怯脕砻枥L敘述用戶對于統(tǒng)計數(shù)據(jù)的正確理解程度。統(tǒng)計數(shù)據(jù)究其根本是為用戶服務(wù)的，用戶對于統(tǒng)計數(shù)據(jù)和統(tǒng)計分析報告的理解對于統(tǒng)計部門來講，至關(guān)重要。為了充分地使用統(tǒng)計數(shù)據(jù)，用戶必須了解這些統(tǒng)計數(shù)據(jù)的性質(zhì)和統(tǒng)計分析報告的本質(zhì)。這就要求統(tǒng)計部門給用戶提供相關(guān)數(shù)據(jù)的同時，應(yīng)該附帶相關(guān)的補充講明，如提供隱含在有關(guān)概念下面的講明、已使用的分類法、數(shù)據(jù)收集和加工經(jīng)過中所使用的方式方法以及統(tǒng)計機構(gòu)本身對數(shù)據(jù)質(zhì)量的評價?！?〕透明性。透明性一般用作衡量統(tǒng)計數(shù)據(jù)的質(zhì)量。根據(jù)國際上對數(shù)據(jù)透明性的解釋，數(shù)據(jù)的透明性包含四個方面的基本要求：第一是要明確作用和職責。第二是公開預算程序。第三是公眾應(yīng)能獲得全面的統(tǒng)計數(shù)據(jù)信息。第四是保證統(tǒng)計數(shù)據(jù)的真實性。第一方面是數(shù)據(jù)透明度的前提和基礎(chǔ)，第二方面是數(shù)據(jù)透明的程序條件，第三、四方面是對數(shù)據(jù)透明度的內(nèi)容和質(zhì)量的要求?！?〕可操作性。可操作性是對使用者對于統(tǒng)計數(shù)據(jù)處理經(jīng)過的一種描繪敘述，對使用者而言，統(tǒng)計數(shù)據(jù)的簡明和易用性至關(guān)重要。數(shù)據(jù)不僅要及時、準確、完好且有用，而且要有較強的處理可行性，到達易懂易用。因而，統(tǒng)計指標的設(shè)計要科學，含義要明確，數(shù)據(jù)的提供要優(yōu)選，流程要明晰，能夠被操作?！瞝0〕可獲得性?？色@得性一般是指用戶從統(tǒng)計部門獲得統(tǒng)計數(shù)據(jù)的便捷程度。用戶在使用數(shù)據(jù)時，必然會考慮能得到那些數(shù)據(jù)和怎樣得到這些數(shù)據(jù)。所以，統(tǒng)計數(shù)據(jù)必須以一種便捷且和負擔的形式提供應(yīng)用戶。統(tǒng)計部門提供數(shù)據(jù)時，必須列明用戶可得到的統(tǒng)計數(shù)據(jù)內(nèi)容，同時為用戶提供更便捷的數(shù)據(jù)支持服務(wù)?！?1〕可解釋性。可解釋性是指對對數(shù)的可講明性的定義。一般情況下在好的數(shù)據(jù)環(huán)境下是能夠忽略數(shù)據(jù)的講明性的，但是對于數(shù)據(jù)為有目的的收集數(shù)據(jù)來講，數(shù)據(jù)還需要一些講明和補充。部門最好能夠?qū)?shù)據(jù)類目的設(shè)置有一定的合理性披露解釋，而被調(diào)查者的數(shù)據(jù)來源必須真實，才能保證數(shù)據(jù)的質(zhì)量。〔12〕效益性。效益性是用來描繪敘述統(tǒng)計數(shù)據(jù)的所產(chǎn)生的效益與獲得該數(shù)據(jù)的成本之間的費用關(guān)系。假如情況其成本大于產(chǎn)出，那么這種數(shù)據(jù)是缺乏經(jīng)濟價值的。固然當前處理數(shù)據(jù)的效益和成本十分是后者還不很容易實現(xiàn)準確的核算，但這樣的效益指導思想是還是特別重要的。這具體表現(xiàn)出一種數(shù)據(jù)的經(jīng)濟效應(yīng)，要求數(shù)據(jù)在的其他質(zhì)量不受大影響的前提下，要盡可能降低數(shù)據(jù)的儲存、處理等費用，提高效率?！?3〕安全性。安全性包含兩個方面，一方面是指數(shù)據(jù)使用本身的安全，指采用先進的密碼算法對數(shù)據(jù)進行主動保衛(wèi)，如采用數(shù)據(jù)保密、數(shù)據(jù)完好性、雙向強身份認證等，另一方面是指數(shù)據(jù)防護安全，指采用當代信息存儲手段增加對數(shù)據(jù)進行主動防護，如通過磁盤陣列、數(shù)據(jù)備份等方式保衛(wèi)數(shù)據(jù)的安全[41].3.1.2大數(shù)據(jù)特征質(zhì)量評價維度?！?〕大數(shù)據(jù)規(guī)模質(zhì)量維度。隨著時代的發(fā)展，各種設(shè)備連成一個整體，而每個個體在這個整體中既是信息的收集者也是信息的傳播者，大大加速了數(shù)據(jù)量的爆炸式增長數(shù)據(jù)從TB級逐步上升到PB級。眾所周知，大數(shù)據(jù)具有數(shù)據(jù)規(guī)模宏大的特點，其數(shù)據(jù)源規(guī)模也同樣是宏大的，當前，還沒有大數(shù)據(jù)的數(shù)據(jù)規(guī)模上的要求。但是根據(jù)已有大數(shù)據(jù)描繪敘述行定義來講，在數(shù)據(jù)源規(guī)模上，大數(shù)據(jù)必定有特定的高數(shù)據(jù)源量級要求，這種數(shù)據(jù)源的要求是大數(shù)據(jù)的界定和質(zhì)量保證。如今，宏大的數(shù)據(jù)源與數(shù)據(jù)完好性不再受存儲方式、科技手段等限制，使得絕大多數(shù)信號得以以最原始的狀態(tài)保存下來，也就能夠進行各部門數(shù)據(jù)之間的分和比對。統(tǒng)計與分析這些牽涉面廣、量大的環(huán)節(jié)，需要運行系統(tǒng)資源占用律很高，十分是輸入和輸出資源。如今，數(shù)據(jù)的采集大多采用模擬信號，利用很多個數(shù)據(jù)庫同時接收，很有可能會同時成千上萬的用戶正在進行訪問和操作，數(shù)據(jù)實時產(chǎn)生。這就要求大數(shù)據(jù)的采集端需要有效、科學的進行數(shù)據(jù)庫之間負載平衡和分片處理。〔2〕大數(shù)據(jù)數(shù)據(jù)構(gòu)造質(zhì)量維度。大數(shù)據(jù)的多樣性特點，也容易導致數(shù)據(jù)構(gòu)造不一致的沖突。大數(shù)據(jù)意味著要在種類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)，促使我們要在各種各樣的數(shù)據(jù)中挖掘數(shù)據(jù)信息之間的互相關(guān)聯(lián)，把看似無用的數(shù)據(jù)轉(zhuǎn)變?yōu)橛行У男畔ⅲ@就要求在數(shù)據(jù)的構(gòu)造質(zhì)量上我們要有特殊要求。數(shù)據(jù)構(gòu)造至少能到達通過分布式計算或分布式數(shù)據(jù)庫集群，對已存儲的巨量數(shù)據(jù)庫，分步驟進行簡單的分類匯總、統(tǒng)計分析等，實現(xiàn)常見的分析需求，而那些基于半構(gòu)造化或非構(gòu)造化數(shù)據(jù)，我們需要借助高度集成技術(shù)，對視頻和圖像使用的大數(shù)據(jù)分析工具進行批量處理。如今政領(lǐng)導對決策的數(shù)據(jù)支持越來越重視，信息多樣性必然要求我們處理好構(gòu)造化和非構(gòu)造化的數(shù)據(jù)，尤其是對大數(shù)據(jù)的構(gòu)造化、半構(gòu)造化、非構(gòu)造化數(shù)據(jù)能夠高效進行處理和分析挖掘，才能夠有效提取重要數(shù)據(jù)、顯示合成圖像。解決可視化分析技術(shù)的擴展性，知足大數(shù)據(jù)的需求?！?〕大數(shù)據(jù)時效質(zhì)量維度。大數(shù)據(jù)具有高速性的特點，從數(shù)據(jù)的角度來講，與之對應(yīng)的便是數(shù)據(jù)的時效質(zhì)量。數(shù)據(jù)隨著運算而快速的更新，就導致過時數(shù)據(jù)的產(chǎn)生不斷增加，導致數(shù)據(jù)質(zhì)量降低。數(shù)據(jù)融合是一種多層次、多方面的處理經(jīng)過，在多信息源、多平臺和多用戶系統(tǒng)內(nèi)起著重要的處理和協(xié)調(diào)作用，保證了數(shù)據(jù)處理系統(tǒng)各單元與聚集中心間的連通性與及時通信這個復雜的經(jīng)過，還要對多源數(shù)據(jù)進行檢測、結(jié)合、相關(guān)、估計和組合以到達精到準確的狀態(tài)估計和身份估計，也要完成完好、及時的態(tài)勢評估和威脅估計[59].大數(shù)據(jù)需要對各種構(gòu)造化數(shù)據(jù)、非構(gòu)造化數(shù)據(jù)、半構(gòu)造化數(shù)據(jù)進行各種需求的處理方式，就必然存在在數(shù)據(jù)的內(nèi)涵方面難以統(tǒng)一、含有噪聲〔數(shù)據(jù)中存在錯誤和異常值〕、數(shù)據(jù)擬處理的屬性指標不夠完好、或者記錄重復等各種問題，必須實時知足清洗和預處理的要求，而去掉噪聲和剔除無關(guān)數(shù)據(jù)，都能夠為后續(xù)的分析處理打下基礎(chǔ)，這就對數(shù)據(jù)的融合質(zhì)量提出了要求，必須充分利用多源數(shù)據(jù)的互補性和電子計算機的高速運算與智能來提高信息的質(zhì)量。也就是講，對與大數(shù)據(jù)而言，數(shù)據(jù)的融合質(zhì)量是至關(guān)重要的，而融合經(jīng)過中對與數(shù)據(jù)的實時處理就與數(shù)據(jù)的時效質(zhì)量息息相關(guān)。〔4〕大數(shù)據(jù)價值密度質(zhì)量維度。大數(shù)據(jù)具有價值密度低的特點，也就是講對于數(shù)據(jù)量總體來講，真正有價值的數(shù)據(jù)只是少數(shù)。怎樣在海量數(shù)據(jù)中大浪淘沙是大數(shù)據(jù)的關(guān)鍵處理環(huán)節(jié)。除了辨別出有價值的數(shù)據(jù)外，很多本來沒有具體表現(xiàn)出價值的數(shù)據(jù)還是那樣是值得研究處理的對象。由于在大數(shù)據(jù)時代，數(shù)據(jù)的價值并非是一成不變的，很多數(shù)據(jù)隨著時間的變化、研究目的的特性等等產(chǎn)生新的價值，這就是數(shù)據(jù)的增值性。因而，我們應(yīng)當根據(jù)不同的主體需求，選擇不同的數(shù)據(jù)，不同的客體之間可以以通過不同的數(shù)據(jù)處理帶來有形或無形的價值，實現(xiàn)數(shù)據(jù)的分享和價值增值。3.2大數(shù)據(jù)質(zhì)量評價指標影響因素分析。數(shù)據(jù)質(zhì)量影響因素是多方面的，既有技術(shù)性因素，也有非技術(shù)性的因素；既有主觀方面因素，也有客觀方面的因素；既有外部影響因素，也有部門的內(nèi)部因素。但是從質(zhì)量評價每個指標來講，多方面的影響能夠從部門、被調(diào)查者和制度性因素的角度三方面來討論，部門是大數(shù)據(jù)的采集存儲的擁有者；被調(diào)查者是大數(shù)據(jù)的提供者；而制度性因素是影響兩者在背景下最根本的影響因素。3.2.1部門的角度分析。部門在數(shù)據(jù)處理的經(jīng)過中既是整合資源的執(zhí)行者，也是對大數(shù)據(jù)質(zhì)量的監(jiān)督者和控制者。在大數(shù)據(jù)的管理經(jīng)過中，部門不可避免的會或多或少的影響數(shù)據(jù)質(zhì)量。首先，從部門是大數(shù)據(jù)的來源，以數(shù)據(jù)類目來講，大數(shù)據(jù)質(zhì)量就會在標準和方向上遭到一些影響，如數(shù)據(jù)質(zhì)量的相關(guān)性會遭到的設(shè)置類目內(nèi)容的影響，而數(shù)據(jù)質(zhì)量的可解釋性容易遭到數(shù)據(jù)類目設(shè)置的合理性影響。其次，無論是由于硬件條件還是軟件條件的限制，從部門的大數(shù)據(jù)處理能力來講，都對數(shù)據(jù)質(zhì)量有重大的影響。如部門處理大數(shù)據(jù)的速度對數(shù)據(jù)的實時性產(chǎn)生影響，部門數(shù)據(jù)挖掘能力對數(shù)據(jù)的增殖性產(chǎn)生影響，而部門能夠承受的采集、整理、存儲、傳輸?shù)拇髷?shù)據(jù)數(shù)量對大數(shù)據(jù)數(shù)量級的影響。再者，從部門的操作來講，日常的操作活動也會對數(shù)據(jù)質(zhì)量產(chǎn)生影響，如部門操作造成的一般性數(shù)據(jù)誤差對數(shù)據(jù)準確性的影響，而部門對數(shù)據(jù)防止泄露的防備措施也會對數(shù)據(jù)的安全性產(chǎn)生影響。3.2.2被調(diào)查者的角度分析。被調(diào)查者是一個相對概念，是針對部門而言：既能夠指被調(diào)查的企業(yè)，可以以是上下同級單位，甚至能夠是個人?？傊?，被調(diào)查者是原始數(shù)據(jù)的來源，提供的數(shù)據(jù)對其質(zhì)量具有非常大的影響。其影響主要表如今兩方面：一個是利益驅(qū)動，被調(diào)查對象因其利益需要，比方上報數(shù)據(jù)與依法納稅存在著突出矛盾，往往會影響被調(diào)查者提供真實數(shù)據(jù)的意愿。盡管(統(tǒng)計法〕已經(jīng)明確規(guī)定了統(tǒng)計部門的數(shù)據(jù)不會作為諸如稅務(wù)部門納稅，其它部門行政處理懲罰的根據(jù)，也不會以個體為單位頒布被調(diào)查者的詳細信息，但是仍然有因被調(diào)查者主觀對數(shù)據(jù)的修改、刪減等處理造成的誤差。另一個是數(shù)據(jù)基礎(chǔ)統(tǒng)計工作薄弱的現(xiàn)象，客觀的講，現(xiàn)前階段的數(shù)據(jù)環(huán)境仍不樂觀，即便進來獲得了長足的進步，但部分被調(diào)查者距離大數(shù)據(jù)的要求還有很大的發(fā)展空間。除此之外，有些基層部門對數(shù)據(jù)處理工作還是那樣重視缺乏、認識不夠，工作的硬件條件得不到保證。很多數(shù)據(jù)處理人員還身