大數(shù)據(jù)平臺(tái)建設(shè)方案

大數(shù)據(jù)平臺(tái)建設(shè)方案（項(xiàng)目需求與技術(shù)方案)一、項(xiàng)目背景等技術(shù)為核心的“新IT”浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個(gè)“新**(某政府部門）為積極應(yīng)對(duì)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的牢牢把握社會(huì)經(jīng)濟(jì)發(fā)展主動(dòng)權(quán)和話語權(quán)。二、建設(shè)目標(biāo)務(wù)工作的前瞻性和針對(duì)性，加大宏觀調(diào)控力度,促進(jìn)經(jīng)濟(jì)持續(xù)健康發(fā)展。12共享，推進(jìn)信息公開，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢(shì)分析制度。3、在大數(shù)據(jù)分析監(jiān)測(cè)基礎(chǔ)上，為政府把握經(jīng)濟(jì)發(fā)展趨勢(shì)、預(yù)見經(jīng)濟(jì)發(fā)展?jié)撛趩栴}、輔助經(jīng)濟(jì)決策提供基礎(chǔ)支撐。三、建設(shè)原則深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)”的原則,全面提升信息化建設(shè)水平，促進(jìn)全省經(jīng)濟(jì)持續(xù)健康發(fā)展。1、統(tǒng)籌規(guī)劃、分步實(shí)施。結(jié)合我省經(jīng)濟(jì)發(fā)展與改革領(lǐng)域?qū)嶋H需求,明確總體目標(biāo)和階段性任務(wù),科學(xué)規(guī)劃建設(shè)項(xiàng)目.先期完成大據(jù)共享問題。2、整合資源、協(xié)同共享.對(duì)信息資源統(tǒng)一梳理,建立經(jīng)濟(jì)發(fā)3、突出重點(diǎn)、注重實(shí)效.以用戶為中心，以需求為導(dǎo)向,以服務(wù)為目的，突出重點(diǎn)，注重實(shí)效，加強(qiáng)平臺(tái)可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)。深入了解用戶需求，密切跟蹤信四、建設(shè)方案種建設(shè)方案。1、數(shù)據(jù)采集方案。來源，通過不同的方式匯聚數(shù)據(jù),增強(qiáng)分析力度，提高監(jiān)測(cè)預(yù)警1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將采集起來，在本平臺(tái)上復(fù)用。2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點(diǎn)監(jiān)測(cè)機(jī)構(gòu)的數(shù)據(jù)通過同樣的方式采集起來，在本平臺(tái)上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。數(shù)據(jù)類型多樣、要求及時(shí)響應(yīng)和數(shù)據(jù)的不確定性,而我們所面臨的也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng),借助于深度學(xué)習(xí)、知識(shí)計(jì)算和值來支持決策和發(fā)現(xiàn)新的洞察。3、業(yè)務(wù)整合方案.。1、整合處理。將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M(jìn)行采集，2、嵌入處理。以單點(diǎn)登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺(tái)中，作為子系統(tǒng)單獨(dú)存在。缺點(diǎn)在于數(shù)據(jù)共享難以實(shí)現(xiàn)。五、建設(shè)內(nèi)容1、宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)政府信息化的最終目標(biāo)是提高政府的決策水平,其中經(jīng)濟(jì)決策是核心內(nèi)容。為了提高宏觀調(diào)控決策水平，我們必須從依靠傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計(jì)數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)總量向監(jiān)測(cè)預(yù)測(cè)宏觀經(jīng)濟(jì)先行指標(biāo)轉(zhuǎn)變,從中長(zhǎng)期監(jiān)測(cè)預(yù)測(cè)向?qū)崟r(shí)監(jiān)測(cè)預(yù)測(cè)轉(zhuǎn)變。宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)及可視化平臺(tái)圍繞網(wǎng)絡(luò)搜索、社交媒體、電子商務(wù)、終端定位和業(yè)務(wù)交易等五個(gè)方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資源,建設(shè)以“容量大、形式多、分類細(xì)、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟(jì)監(jiān)測(cè)預(yù)測(cè)數(shù)據(jù)庫，構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟(jì)非統(tǒng)計(jì)指標(biāo)監(jiān)測(cè)預(yù)測(cè)應(yīng)用平臺(tái)。圍繞重點(diǎn)產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會(huì)外貿(mào)訂單變化趨勢(shì)等方面，構(gòu)建大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時(shí)預(yù)測(cè)指標(biāo)庫，研究能客觀、準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運(yùn)行狀況的指標(biāo)體系，編制“ft東指數(shù)”.在健全完善監(jiān)測(cè)預(yù)警數(shù)據(jù)庫的基礎(chǔ)上，充分運(yùn)用大數(shù)據(jù)技術(shù)列模型，切實(shí)提高預(yù)測(cè)分析的前瞻性、準(zhǔn)確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化平臺(tái),采用Unity3D引擎，三維界面高度仿真，所見即所得。平臺(tái)針對(duì)多源易構(gòu)的海量數(shù)據(jù),通過數(shù)據(jù)處理、存儲(chǔ)管理、可視化交互分析等技術(shù)，實(shí)現(xiàn)圖利用預(yù)測(cè)信號(hào)燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟(jì)總體運(yùn)行狀況，分析經(jīng)濟(jì)波動(dòng)原因，及時(shí)了解各地區(qū)經(jīng)濟(jì)發(fā)展的不平衡性，準(zhǔn)確判斷和測(cè)定經(jīng)濟(jì)景氣循環(huán)運(yùn)行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。2、企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)業(yè)信用危機(jī)進(jìn)行有效的預(yù)警及管理是十分重要的。企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)，全面整合社會(huì)信用監(jiān)管信息和社會(huì)公眾反映信息，通過整理歸類與加工，將這些信用危機(jī)信息轉(zhuǎn)化為可以量化的指標(biāo)體系，按照失信行為的嚴(yán)重程度和影響范圍劃分三個(gè)預(yù)警級(jí)別，分別向企業(yè)自身、金融機(jī)構(gòu)、其他政府部門及全社會(huì)進(jìn)行通報(bào)。納入企業(yè)信用預(yù)警體系的企業(yè)信息包括侵犯消費(fèi)者權(quán)益且不履行相關(guān)義務(wù)的信息、消費(fèi)者投訴未及時(shí)處理信息、行政處罰逾23企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)以信息技術(shù)為支撐,以信用監(jiān)管為手段，全面提高信用監(jiān)管信息共享程度，及時(shí)預(yù)警影響社會(huì)交易安全和社會(huì)公共安全的不良信用信息，遵循“對(duì)外警示社會(huì)和3、投資項(xiàng)目信息管理平臺(tái)和應(yīng)用，可有效解決投資建設(shè)項(xiàng)目管理動(dòng)態(tài)過程的信息分析、信投資項(xiàng)目信息管理平臺(tái)，支持重大項(xiàng)目推介，建立規(guī)范的項(xiàng)目審批流程和項(xiàng)目信息庫，管理項(xiàng)目啟動(dòng)、計(jì)劃、執(zhí)行、監(jiān)控和收尾的整個(gè)生命周期，覆蓋進(jìn)度、質(zhì)量、成本、資源、風(fēng)險(xiǎn)等項(xiàng)目管理的各個(gè)要素，構(gòu)建集成項(xiàng)目、流程、知識(shí)的信息化平臺(tái)。逐步實(shí)現(xiàn)與相關(guān)部門業(yè)務(wù)系統(tǒng)的接入，形成全覆蓋的投資項(xiàng)目管理統(tǒng)一工作平臺(tái)，真正做好資源共享，為項(xiàng)目的后期評(píng)價(jià)、領(lǐng)導(dǎo)決策提供支持服務(wù)。圍繞設(shè)計(jì)、招標(biāo)、監(jiān)理、質(zhì)量、安全、進(jìn)項(xiàng)目進(jìn)行事前計(jì)劃、事中控制、事后評(píng)估、全程管理的有效管控模投資項(xiàng)目信息管理平臺(tái)，以現(xiàn)代項(xiàng)目管理方法論為基礎(chǔ)；以項(xiàng)目管理為主線，全面組織、全程貫穿各個(gè)業(yè)務(wù)環(huán)節(jié)；以項(xiàng)目計(jì)劃為依據(jù)，科學(xué)協(xié)調(diào)各個(gè)部門的工作；以成本、進(jìn)度、質(zhì)量為最終控制目標(biāo)；以完整、及時(shí)、準(zhǔn)確的項(xiàng)目信息和科學(xué)的分析模型為項(xiàng)目管理、決策提供依據(jù)；遵循“以計(jì)劃為龍頭，以合同為中心,以投資控制為目的”的現(xiàn)代項(xiàng)目管理理念，構(gòu)建高效、實(shí)用的項(xiàng)目協(xié)同管理綜合平臺(tái).4、政務(wù)數(shù)據(jù)共享交換平臺(tái)政務(wù)數(shù)據(jù)共享交換平臺(tái)是各個(gè)平臺(tái)中的基礎(chǔ)性和綜合性平臺(tái)，是解決“信息孤島提高各類信息資源整合共享，以及信息資源的綜合利用。建設(shè)政務(wù)數(shù)據(jù)共享交換平臺(tái)的首要目標(biāo)就是要?jiǎng)?chuàng)造一個(gè)信息交換、信息共享的方式和環(huán)境，按照統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，建立信息快捷、方便的進(jìn)行信息交換的同時(shí)精準(zhǔn)的保證數(shù)據(jù)的一致性和準(zhǔn)確性。安全可靠的分布式系統(tǒng),對(duì)各類政務(wù)資源進(jìn)行組織和管理。解決六、技術(shù)支持與平臺(tái)性能1、系統(tǒng)架構(gòu)結(jié)合該項(xiàng)目以大數(shù)據(jù)平臺(tái)為核心，多業(yè)務(wù)子系統(tǒng)并存的業(yè)務(wù)需求，以及存在不同種類操作系統(tǒng)、應(yīng)用軟件、系統(tǒng)軟件的現(xiàn)狀，我們采用面向服務(wù)的體系結(jié)構(gòu)，即SOA架構(gòu)。SOA是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱為系統(tǒng)和編程語言。這使得構(gòu)建在這樣系統(tǒng)中的服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互.它的本質(zhì)是實(shí)現(xiàn)服務(wù)和技術(shù)的完全分離,從而最大程度上實(shí)現(xiàn)服務(wù)的集成和重組。SOA技術(shù)處于從屬地位,采用SOA1SOA制。2SOA的影響較低，在各個(gè)系統(tǒng)不斷變化情況下，節(jié)省的費(fèi)用會(huì)越來越多。3SOASOA服務(wù)交互示意圖如下：2、技術(shù)支持1、技術(shù)領(lǐng)先的J2EE框架。Java2平臺(tái)企業(yè)版（Java2PlatformEnterpriseEdition，J2EE）Java2署，進(jìn)而提高可移植性、安全與再用價(jià)值。基核心是一組技術(shù)規(guī)范與指南，其中包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共J2EE基主要的技術(shù)規(guī)范有JDBC、EJB、JSP、JavaServlet、XMLJDBC問具有平臺(tái)無關(guān)性。EJB提供了一個(gè)框架來開發(fā)和實(shí)施分布式商務(wù)邏輯,簡(jiǎn)化了具有可伸縮性和高度復(fù)雜的企業(yè)級(jí)應(yīng)用程序的開發(fā)。JSPHTMLJava.Servlet是一種小JavaWeb.XML2、強(qiáng)大靈活的SSM整合框架。SSMSpringMVCSpring和Mybatis其中SpringMVCSpringFarmeWorkMVCSpring的編程支持和聲明式事務(wù)支持，其主要優(yōu)點(diǎn)有低侵入式設(shè)計(jì)、獨(dú)立于應(yīng)用服務(wù)器、允許將一些通用任務(wù)如.Mybatis是輕量級(jí)ORMJDBC的XMLJava的POJOsSSH,SpringMVCStruts解的使用減少開發(fā)消耗，數(shù)據(jù)庫操作層采用Mybatis，統(tǒng)一管理SQL3、平臺(tái)性能1、先進(jìn)性、開放性.B/SJavaSOA二次開發(fā)和擴(kuò)充，最大限度降低因上游技術(shù)升級(jí)帶來的系統(tǒng)實(shí)施風(fēng)險(xiǎn),保證