關(guān)于大數(shù)據(jù)思想在統(tǒng)計(jì)工作中的應(yīng)用之我見獲獎(jiǎng)科研報(bào)告

關(guān)于大數(shù)據(jù)思想在統(tǒng)計(jì)工作中的應(yīng)用之我見獲獎(jiǎng)科研報(bào)告摘

要：隨著IT新技術(shù)的迅速發(fā)展，全球信息化都進(jìn)入了一個(gè)新的歷史階段，而大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。如何推動(dòng)大數(shù)據(jù)思想在統(tǒng)計(jì)工作中應(yīng)用，利用大數(shù)據(jù)推動(dòng)統(tǒng)計(jì)工作再上新臺階，更好地發(fā)揮“參謀部”、“信息窗”、“晴雨表”的作用，如何搶抓數(shù)字經(jīng)濟(jì)變革的新時(shí)代機(jī)遇成為一個(gè)課題。作者擬就大數(shù)據(jù)思想如何在統(tǒng)計(jì)工作中應(yīng)用談點(diǎn)個(gè)人看法，供參考。

關(guān)鍵詞：大數(shù)據(jù);智能時(shí)代;統(tǒng)計(jì)工作

黨的十九大對建設(shè)現(xiàn)代化經(jīng)濟(jì)體系作出重要部署，提出建設(shè)網(wǎng)絡(luò)強(qiáng)國、數(shù)字中國、智慧社會，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合。利用大數(shù)據(jù)推動(dòng)政府治理能力的提升，加快公共數(shù)據(jù)開放共享，推動(dòng)大數(shù)據(jù)在科學(xué)決策、政府管理和公共服務(wù)等領(lǐng)域的應(yīng)用，助推簡政放權(quán)和萬眾創(chuàng)新勢在必行。筆者認(rèn)為推動(dòng)大數(shù)據(jù)思想在統(tǒng)計(jì)工作中應(yīng)用必須要做到以下三點(diǎn)：

一、充分認(rèn)識大數(shù)據(jù)的“4V”實(shí)質(zhì)，為大數(shù)據(jù)順利應(yīng)用打牢思想認(rèn)識基礎(chǔ)

大數(shù)據(jù)顧名思義數(shù)據(jù)量必須大，建設(shè)什么樣的數(shù)據(jù)庫用何種方式來承載海量數(shù)據(jù)成為需解決的第一個(gè)問題;大數(shù)據(jù)類型繁多，不僅僅包括字符、數(shù)值等數(shù)據(jù)，還包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，對多類型的數(shù)據(jù)如何進(jìn)行數(shù)據(jù)處理也是必須解決的問題;第三個(gè)特征是海量數(shù)據(jù)價(jià)值密度相對較低，無處不在的信息感知和采集終端為我們收集了海量的數(shù)據(jù)，但這些數(shù)據(jù)價(jià)值密度較低，如何使用新算法、新技術(shù)高效的完成數(shù)據(jù)的價(jià)值“提純”，是亟待解決的第三個(gè)問題;傳統(tǒng)數(shù)據(jù)的采集、挖掘和應(yīng)用對實(shí)效性沒有要求，而大數(shù)據(jù)對時(shí)效性要求高，數(shù)據(jù)處理要求速度快，如何及時(shí)取得數(shù)據(jù)并根據(jù)數(shù)據(jù)快速挖掘分析得到所需結(jié)果成為第四個(gè)問題。

在大數(shù)據(jù)時(shí)代，我們必須要轉(zhuǎn)變傳統(tǒng)觀念，改變傳統(tǒng)思維模式，才能確保為大數(shù)據(jù)在統(tǒng)計(jì)工作中順利應(yīng)用掃清思想觀念障礙。

首先顛覆觀念的轉(zhuǎn)變是，大數(shù)據(jù)處理的是全體數(shù)據(jù)而不是隨機(jī)樣本，以前在統(tǒng)計(jì)工作中常常用到的隨機(jī)抽樣、樣本推算整體在大數(shù)據(jù)里面被摒棄掉了，大數(shù)據(jù)時(shí)代，我們可以利用更多的數(shù)據(jù)，甚至就是對能采集到的全部數(shù)據(jù)進(jìn)行數(shù)據(jù)處理;第二個(gè)顛覆觀念的轉(zhuǎn)變是從對數(shù)據(jù)的精確性要求變?yōu)榻邮軘?shù)據(jù)的不精確性或者說混雜性，以前我們盡可能對采集到的數(shù)據(jù)要求精確，主要原因是因?yàn)閿?shù)據(jù)量太小，而現(xiàn)在擁有了大數(shù)據(jù)，通過技術(shù)手段哪怕忽略了部分微觀層面上的精確度，但依然可以掌握事物大體的發(fā)展方向，依然可以在宏觀層面做出正確判斷;第三個(gè)顛覆觀念的轉(zhuǎn)變是由尋找事物之間的因果關(guān)系轉(zhuǎn)變?yōu)閷ふ沂挛镏g的相關(guān)關(guān)系，在統(tǒng)計(jì)工作中我們以前都是希望通過已有的數(shù)據(jù)來推斷未知的數(shù)據(jù)就是典型的尋找因果關(guān)系，而在大數(shù)據(jù)分析的幫助下，通過相關(guān)關(guān)系，我們雖然不能準(zhǔn)確地找出某件事情發(fā)生的原因，但是會提前知道這件事情即將發(fā)生。

二、統(tǒng)一標(biāo)準(zhǔn)規(guī)范，推動(dòng)大數(shù)據(jù)思想在統(tǒng)計(jì)工作中的應(yīng)用

（一）構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系。通過新的信息技術(shù)構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系，打造具有完整數(shù)據(jù)承載能力的數(shù)據(jù)中心（系統(tǒng)）勢在必行。通過將元數(shù)據(jù)描述數(shù)據(jù)的思想引入數(shù)據(jù)中心建設(shè)中，建立起通用的元數(shù)據(jù)指標(biāo)體系，確保每個(gè)指標(biāo)橫向可比、縱向可追溯;通過自定義建表、自定義審核、自定義匯總、自定義查詢、自定義導(dǎo)出五個(gè)“自定義”功能構(gòu)建起統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，將不同格式的數(shù)據(jù)通過數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范轉(zhuǎn)化為固定格式的數(shù)據(jù);根據(jù)對統(tǒng)計(jì)數(shù)據(jù)來源不同將數(shù)據(jù)劃分為五種類型，分別為自采數(shù)據(jù)、部門數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、購買數(shù)據(jù)、政務(wù)大數(shù)據(jù)，根據(jù)統(tǒng)計(jì)工作的實(shí)際情況，做好不同的類型數(shù)據(jù)的接收，是實(shí)現(xiàn)大數(shù)據(jù)思想應(yīng)用的前提條件，打造的數(shù)據(jù)中心可以通過接收、清洗、轉(zhuǎn)換、裝載的方式將任何數(shù)據(jù)處理成統(tǒng)計(jì)調(diào)查需要的數(shù)據(jù)，面對復(fù)雜多樣的數(shù)據(jù)來源打造出符合統(tǒng)計(jì)工作要求的數(shù)據(jù)源。

（二）構(gòu)建統(tǒng)一的軟件系統(tǒng)標(biāo)準(zhǔn)接口規(guī)范體系。當(dāng)前數(shù)字經(jīng)濟(jì)正在顛覆傳統(tǒng)商業(yè)模式和資源利用方式，加速向經(jīng)濟(jì)社會各領(lǐng)域、各環(huán)節(jié)滲透和覆蓋，深刻改變著傳統(tǒng)經(jīng)濟(jì)的生產(chǎn)方式、商業(yè)模式和發(fā)展軌跡，在這個(gè)互聯(lián)互通和開放共享的時(shí)代，作為數(shù)字的權(quán)威發(fā)布者，我們需要各行各業(yè)的數(shù)據(jù)，需要不同形式的數(shù)據(jù)，建立統(tǒng)一的軟件系統(tǒng)標(biāo)準(zhǔn)接口規(guī)范體系勢在必行，通過軟件系統(tǒng)雙方互相認(rèn)可的數(shù)據(jù)交換機(jī)制、數(shù)據(jù)傳輸加密驗(yàn)證機(jī)制建立統(tǒng)一API接口，對接不同軟件系統(tǒng)，實(shí)現(xiàn)不同軟件系統(tǒng)數(shù)據(jù)的自由流轉(zhuǎn)和實(shí)時(shí)交換，可以解決大數(shù)據(jù)應(yīng)用場景中不同數(shù)據(jù)源、非結(jié)構(gòu)化數(shù)據(jù)不可實(shí)時(shí)使用的問題，為在統(tǒng)計(jì)調(diào)查工作中實(shí)時(shí)分析處理大數(shù)據(jù)打通壁障。

（三）構(gòu)建統(tǒng)一的數(shù)據(jù)安全體系。在推動(dòng)大數(shù)據(jù)思想在統(tǒng)計(jì)工作應(yīng)用時(shí)，除了保質(zhì)保量高效的完成采集和處理數(shù)據(jù)任務(wù)，同時(shí)也要注意數(shù)據(jù)的整體安全性，在建設(shè)系統(tǒng)時(shí)一定要構(gòu)建數(shù)據(jù)安全中心，安全中心負(fù)責(zé)對所有系統(tǒng)進(jìn)行統(tǒng)一安全管理，強(qiáng)化安全管理和數(shù)據(jù)隱私保護(hù)，增強(qiáng)安全技術(shù)支撐和保障能力，依靠完備的數(shù)據(jù)安全標(biāo)準(zhǔn)，建立管理嚴(yán)密、措施完備的數(shù)據(jù)安全防護(hù)體系，在推動(dòng)數(shù)據(jù)的快速、實(shí)時(shí)、無縫流動(dòng)的同時(shí)，實(shí)現(xiàn)數(shù)據(jù)安全事件快速響應(yīng)和應(yīng)急處置。

（四）堅(jiān)持用系統(tǒng)性思維、平臺性思維做指導(dǎo)。推動(dòng)大數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理體系，絕對不是一個(gè)程序或者兩個(gè)系統(tǒng)就能獨(dú)立完成的，必須要用系統(tǒng)性思維、平臺性思維做指導(dǎo)，整體考慮數(shù)據(jù)處理體系的建設(shè)工作，并堅(jiān)持循序漸進(jìn)原則，充分考慮體系需具備完整的數(shù)據(jù)承載能力、多系統(tǒng)數(shù)據(jù)的自由流轉(zhuǎn)和實(shí)時(shí)交換能力、以“微服務(wù)”形式將各業(yè)務(wù)系統(tǒng)融合的能力、保障系統(tǒng)數(shù)據(jù)的整體安全性能力、適用對不同媒體發(fā)布數(shù)據(jù)的能力。樹立系統(tǒng)性思維、平臺性思維，在更高的層面上思考如何全方位、多視角、多維度認(rèn)知大數(shù)據(jù)，如何集合更多人的智慧與力量、集中方方面面的數(shù)據(jù)、整合多種新技術(shù)來提高更為深刻、全面的數(shù)據(jù)洞察能力，才能搭建起一體化高可用的平臺，才能更好的掌握和使用大數(shù)據(jù)。

三、遵循大數(shù)據(jù)發(fā)展規(guī)律，結(jié)合工作實(shí)際，推動(dòng)統(tǒng)計(jì)工作水平大提升

隨著大數(shù)據(jù)時(shí)代的來臨，大數(shù)據(jù)技術(shù)呈現(xiàn)井噴狀態(tài)，大數(shù)據(jù)的商業(yè)價(jià)值正在被充分挖掘并在市場競爭中成為新的利潤增長點(diǎn)，大數(shù)據(jù)標(biāo)準(zhǔn)體系初步形成，數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)挖掘這些詞匯也被大家熟知。

一是對現(xiàn)有數(shù)據(jù)來源與生產(chǎn)過程進(jìn)行更好的把握，通過業(yè)務(wù)系統(tǒng)完全掌握現(xiàn)有數(shù)據(jù)的產(chǎn)生過程和評估方法;二是要建立外部數(shù)據(jù)的網(wǎng)絡(luò)采集或者交換渠道，用網(wǎng)絡(luò)采集數(shù)據(jù)和交換到的數(shù)據(jù)對現(xiàn)有數(shù)據(jù)開展評估，在成熟的時(shí)候建立相關(guān)指數(shù)，對現(xiàn)有發(fā)布數(shù)據(jù)進(jìn)行佐證與評估;三是通過標(biāo)準(zhǔn)化的流程提高數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理能力，做到上述數(shù)據(jù)的跨專業(yè)的開放共享;四是在上述過程實(shí)現(xiàn)后，將工作向大數(shù)據(jù)推進(jìn)，數(shù)據(jù)庫升級為數(shù)據(jù)倉庫，提升裝載能力和清洗能力;將數(shù)據(jù)規(guī)范化升級為數(shù)據(jù)語義引擎，解決非結(jié)構(gòu)化數(shù)據(jù)的多樣提取性解析帶來的挑戰(zhàn);將數(shù)據(jù)查詢升級為可視化分析，實(shí)現(xiàn)直觀展示數(shù)據(jù)，讓數(shù)據(jù)自己說話;將業(yè)務(wù)流程邏輯審核升級嵌入數(shù)據(jù)挖掘算法，深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值，不斷提高預(yù)測性分析能力。

四、結(jié)束語

大數(shù)據(jù)為