大數(shù)據(jù)平臺建設(shè)方案詳細

1、大數(shù)據(jù)平臺建設(shè)方案詳細大數(shù)據(jù)平臺建設(shè)方案（項目需求與技術(shù)方案）一、項目背景“十三五”期間，隨著我國現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變,一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應(yīng)用等技術(shù)為核心的“新it”浪潮風(fēng)起云涌，信息化應(yīng)用進入一個“新常態(tài)”。*（某政府部門）為積極應(yīng)對“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時代的機遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟社會發(fā)展與改革要求，大數(shù)據(jù)平臺應(yīng)運而生。大數(shù)據(jù)平臺整合省社會經(jīng)濟發(fā)展資源，打造集數(shù)據(jù)采集、數(shù)據(jù)處理、監(jiān)測管理、預(yù)測預(yù)警、應(yīng)急指揮、可視化平臺于一體的大數(shù)據(jù)平臺，以信息化提升數(shù)據(jù)化管理與服務(wù)能力，及時準(zhǔn)確掌握社會經(jīng)濟發(fā)展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、

2、用數(shù)據(jù)創(chuàng)新”，牢牢把握社會經(jīng)濟發(fā)展主動權(quán)和話語權(quán)。二、建設(shè)目標(biāo)大數(shù)據(jù)平臺是順應(yīng)目前信息化技術(shù)水平發(fā)展、服務(wù)政府職能改革的架構(gòu)平臺。它的主要目標(biāo)是強化經(jīng)濟運行監(jiān)測分析，實現(xiàn)企業(yè)信用社會化監(jiān)督，建立規(guī)化共建共享投資項目管理體系，推進政務(wù)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策提供及時、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和針對性，加大宏觀調(diào)控力度，促進經(jīng)濟持續(xù)健康發(fā) 展。 1、制定統(tǒng)一信息資源管理規(guī)，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化數(shù)據(jù)庫，為平臺打下堅實穩(wěn)固的數(shù)據(jù)基礎(chǔ)。2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，

3、在業(yè)務(wù)可行性的基礎(chǔ)上，實現(xiàn)數(shù)據(jù)信息共享，推進信息公開，建立跨部門跨領(lǐng)域經(jīng)濟形勢分析制度。3、在大數(shù)據(jù)分析監(jiān)測基礎(chǔ)上，為政府把握經(jīng)濟發(fā)展趨勢、預(yù)見經(jīng)濟發(fā)展?jié)撛趩栴}、輔助經(jīng)濟決策提供基礎(chǔ)支撐。三、建設(shè)原則大數(shù)據(jù)平臺以信息資源整合為重點，以大數(shù)據(jù)應(yīng)用為核心，堅持“統(tǒng)籌規(guī)劃、分步實施，整合資源、協(xié)同共享，突出重點、注重實效，深化應(yīng)用、創(chuàng)新驅(qū)動”的原則，全面提升信息化建設(shè)水平，促進全省經(jīng)濟持續(xù)健康發(fā)展。 1、統(tǒng)籌規(guī)劃、分步實施。結(jié)合我省經(jīng)濟發(fā)展與改革領(lǐng)域?qū)嶋H需求，明確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)項目。先期完成大數(shù)據(jù)平臺的整體架構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間數(shù)據(jù)共享問題。 2、整合資源、

4、協(xié)同共享。對信息資源統(tǒng)一梳理，建立經(jīng)濟發(fā)展與改革信息標(biāo)準(zhǔn)資源庫和數(shù)據(jù)規(guī)，逐步消滅“信息孤島”，加快推進數(shù)據(jù)資源整合，建設(shè)共享共用的大數(shù)據(jù)中心，實現(xiàn)業(yè)務(wù)協(xié)同。3、突出重點、注重實效。以用戶為中心，以需求為導(dǎo)向，以服務(wù)為目的，突出重點，注重實效，加強平臺可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動。深入了解用戶需求，密切跟蹤信息技術(shù)發(fā)展趨勢，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進跨界融合，豐富管理和服務(wù)手段。四、建設(shè)方案為了保證項目的順利進行和建設(shè)目標(biāo)的可行性，我們采取如下幾種建設(shè)方案。1、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)，建立多維度數(shù)據(jù)庫，拓寬數(shù)據(jù)來源，通過不同的方式匯聚數(shù)據(jù)，增強分析

5、力度，提高監(jiān)測預(yù)警的準(zhǔn)確性和時效性。 1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)經(jīng)濟運行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時效數(shù)據(jù)，通過上傳數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器數(shù)據(jù)庫等方式采集起來，在本平臺上復(fù)用。 2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理。可以將企業(yè)單位或定點監(jiān)測機構(gòu)的數(shù)據(jù)通過同樣的方式采集起來，在本平臺上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。大數(shù)據(jù)之大并不是難點所在，其真正難以對付的挑戰(zhàn)來自于數(shù)據(jù)類型多樣、要求及時響應(yīng)和數(shù)據(jù)的不確定性，而我們所面臨的也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、

6、知識計算和可視化等大數(shù)據(jù)分析技術(shù)，通過對數(shù)據(jù)的批量處理挖掘其中的價值來支持決策和發(fā)現(xiàn)新的洞察。3、業(yè)務(wù)整合方案。在對社會發(fā)展相關(guān)業(yè)務(wù)子系統(tǒng)充分調(diào)研基礎(chǔ)上，結(jié)合項目需求，可對其進行整合或嵌入處理（本方案整合公共信用信息服務(wù)平臺、投資項目信息管理平臺等）。1、整合處理。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M行采集， 原有功能模塊整合到本平臺中，合二為一，完美的將數(shù)據(jù)匯聚起來。缺點是耗時較長。 2、嵌入處理。以單點登錄的方式將原有系統(tǒng)嵌入到本平臺中，作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共享難以實現(xiàn)。五、建設(shè)容1、宏觀經(jīng)濟監(jiān)測預(yù)測及可視化平臺政府信息化的最終目標(biāo)是提高政府的決策水平，其中經(jīng)濟決策是核心容。為了提高宏觀調(diào)控決策水平，我們必須從依靠傳統(tǒng)統(tǒng)計數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測預(yù)測宏觀經(jīng)濟總量向監(jiān)測預(yù)測宏觀經(jīng)濟先行指標(biāo)轉(zhuǎn)變，從中長期監(jiān)測預(yù)測向?qū)崟r監(jiān)測預(yù)測轉(zhuǎn)變。 宏觀經(jīng)濟監(jiān)測預(yù)測及可視化平臺圍繞網(wǎng)絡(luò)搜索、社交媒體、電子商務(wù)、終端定位和業(yè)務(wù)交易等五個方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資源，建設(shè)以“容量大、形式多、分類細、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟監(jiān)測預(yù)測數(shù)據(jù)庫，構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟非統(tǒng)計指標(biāo)監(jiān)測預(yù)測應(yīng)用平臺。圍繞重點產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟關(guān)聯(lián)度、宏觀經(jīng)濟走向社會預(yù)期、社會消費熱點、大宗商品供求及價格走勢