大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目需求與技術(shù)方案

第第頁(yè)大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目需求與技術(shù)方案大數(shù)據(jù)平臺(tái)建設(shè)方案（項(xiàng)目需求與技術(shù)方案）一、項(xiàng)目背景“十三五”期間，隨著我國(guó)現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生根天性變動(dòng),一場(chǎng)以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用等技術(shù)為核心的“新IT”浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個(gè)“新常態(tài)”。***（某政府部門）為樂(lè)觀應(yīng)對(duì)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟(jì)社會(huì)發(fā)展與改革要求，大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生。大數(shù)據(jù)平臺(tái)整合省社會(huì)經(jīng)濟(jì)發(fā)展資源，打造集數(shù)據(jù)手記、數(shù)據(jù)處理、監(jiān)測(cè)管理、猜測(cè)預(yù)警、應(yīng)急指揮、可視化平臺(tái)于一體的大數(shù)據(jù)平臺(tái)，以信息化提升數(shù)據(jù)化管理與服務(wù)本領(lǐng)，及時(shí)準(zhǔn)確掌握社會(huì)經(jīng)濟(jì)發(fā)展情況，做到“用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”，牢牢把握社會(huì)經(jīng)濟(jì)發(fā)展自動(dòng)權(quán)和話語(yǔ)權(quán)。二、建設(shè)目標(biāo)大數(shù)據(jù)平臺(tái)是順應(yīng)目前信息化技術(shù)水平發(fā)展、服務(wù)政府職能改革的架構(gòu)平臺(tái)。它的緊要目標(biāo)是強(qiáng)化經(jīng)濟(jì)運(yùn)行監(jiān)測(cè)分析，實(shí)現(xiàn)企業(yè)信用社會(huì)化監(jiān)督，建立規(guī)范化共建共享投資項(xiàng)目管理體系，推動(dòng)政務(wù)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策供應(yīng)及時(shí)、準(zhǔn)確、可靠的信息依據(jù)，提高政務(wù)工作的前瞻性和針對(duì)性，加大宏觀調(diào)控力度，促進(jìn)經(jīng)濟(jì)連續(xù)健康發(fā)展。1、訂立統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)取得渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化數(shù)據(jù)庫(kù)，為平臺(tái)打下堅(jiān)實(shí)穩(wěn)固的數(shù)據(jù)基礎(chǔ)。2、梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)信息共享，推動(dòng)信息公開(kāi)，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢(shì)分析制度。3、在大數(shù)據(jù)分析監(jiān)測(cè)基礎(chǔ)上，為政府把握經(jīng)濟(jì)發(fā)展趨勢(shì)、預(yù)見(jiàn)經(jīng)濟(jì)發(fā)展?jié)撛趩?wèn)題、輔佑襄助經(jīng)濟(jì)決策供應(yīng)基礎(chǔ)支撐。三、建設(shè)原則大數(shù)據(jù)平臺(tái)以信息資源整合為重點(diǎn)，以大數(shù)據(jù)應(yīng)用為核心，堅(jiān)持“統(tǒng)籌規(guī)劃、分步實(shí)施，整合資源、協(xié)同共享，突出重點(diǎn)、重視實(shí)效，深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)”的原則，全面提升信息化建設(shè)水平，促進(jìn)全省經(jīng)濟(jì)連續(xù)健康發(fā)展。1、統(tǒng)籌規(guī)劃、分步實(shí)施。結(jié)合我省經(jīng)濟(jì)發(fā)展與改革領(lǐng)域?qū)嶋H需求，明確總體目標(biāo)和階段性任務(wù)，科學(xué)規(guī)劃建設(shè)項(xiàng)目。先期完成大數(shù)據(jù)平臺(tái)的整體架構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間數(shù)據(jù)共享問(wèn)題。2、整合資源、協(xié)同共享。對(duì)信息資源統(tǒng)一梳理，建立經(jīng)濟(jì)發(fā)展與改革信息標(biāo)準(zhǔn)資源庫(kù)和數(shù)據(jù)規(guī)范，漸漸除去“信息孤島”，加快推動(dòng)數(shù)據(jù)資源整合，建設(shè)共享共用的大數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。3、突出重點(diǎn)、重視實(shí)效。以用戶為中心，以需求為導(dǎo)向，以服務(wù)為目的，突出重點(diǎn)，重視實(shí)效，加強(qiáng)平臺(tái)可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)。深入了解用戶需求，緊密跟蹤信息技術(shù)發(fā)展趨勢(shì)，不絕深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進(jìn)跨界融合，豐富管理和服務(wù)手段。四、建設(shè)方案為了保證項(xiàng)目的順利進(jìn)行和建設(shè)目標(biāo)的可行性，我們采取如下幾種建設(shè)方案。1、數(shù)據(jù)手記方案。我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)范，建立多維度數(shù)據(jù)庫(kù)，拓寬數(shù)據(jù)來(lái)源，通過(guò)不同的方式匯聚數(shù)據(jù)，加強(qiáng)分析力度，提高監(jiān)測(cè)預(yù)警的準(zhǔn)確性和時(shí)效性。1、預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)經(jīng)濟(jì)運(yùn)行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時(shí)效數(shù)據(jù)，通過(guò)上傳數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器數(shù)據(jù)庫(kù)等方式手記起來(lái)，在本平臺(tái)上復(fù)用。2、支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點(diǎn)監(jiān)測(cè)機(jī)構(gòu)的數(shù)據(jù)通過(guò)同樣的方式手記起來(lái)，在本平臺(tái)上復(fù)用。3、支持非結(jié)構(gòu)化數(shù)據(jù)，即搜尋引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。大數(shù)據(jù)之大并不是難點(diǎn)所在，其真正難以應(yīng)付的挑戰(zhàn)來(lái)自于數(shù)據(jù)類型多樣、要求及時(shí)響應(yīng)和數(shù)據(jù)的不確定性，而我們所面對(duì)的也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識(shí)計(jì)算和可視化等大數(shù)據(jù)分析技術(shù)，通過(guò)對(duì)數(shù)據(jù)的批量處理挖掘其中的價(jià)值來(lái)支持決策和發(fā)現(xiàn)新的洞察。3、業(yè)務(wù)整合方案。在對(duì)社會(huì)發(fā)展相關(guān)業(yè)務(wù)子系統(tǒng)充分調(diào)研基礎(chǔ)上，結(jié)合項(xiàng)目需求，可對(duì)其進(jìn)行整合或嵌入處理（本方案整合公共信用信息服務(wù)平臺(tái)、投資項(xiàng)目信息管理平臺(tái)等）。1、整合處理。將原有數(shù)據(jù)通過(guò)上傳或?qū)敕绞竭M(jìn)行手記，原有功能模塊整合到本平臺(tái)中，合二為一，完美的將數(shù)據(jù)匯聚起來(lái)。缺點(diǎn)是耗時(shí)較長(zhǎng)。2、嵌入處理。以單點(diǎn)登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺(tái)中，作為子系統(tǒng)單獨(dú)存在。缺點(diǎn)在于數(shù)據(jù)共享難以實(shí)現(xiàn)。五、建設(shè)內(nèi)容1、宏觀經(jīng)濟(jì)監(jiān)測(cè)猜測(cè)及可視化平臺(tái)政府信息化的最終目標(biāo)是提高政府的決策水平，其中經(jīng)濟(jì)決策是核心內(nèi)容。為了提高宏觀調(diào)控決策水平，我們必需從依靠傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計(jì)數(shù)據(jù)變動(dòng)，從監(jiān)測(cè)猜測(cè)宏觀經(jīng)濟(jì)總量向監(jiān)測(cè)猜測(cè)宏觀經(jīng)濟(jì)先行指標(biāo)變動(dòng)，從中長(zhǎng)期監(jiān)測(cè)猜測(cè)向?qū)崟r(shí)監(jiān)測(cè)猜測(cè)變動(dòng)。宏觀經(jīng)濟(jì)監(jiān)測(cè)猜測(cè)及可視化平臺(tái)圍繞網(wǎng)絡(luò)搜尋、社交媒體、電子商務(wù)、終端定位和業(yè)務(wù)交易等五個(gè)方面全面整合互聯(lián)網(wǎng)相關(guān)數(shù)據(jù)資源，建設(shè)以“容量大、形式多、分類細(xì)、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟(jì)監(jiān)測(cè)猜測(cè)數(shù)據(jù)庫(kù)，構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟(jì)非統(tǒng)計(jì)指標(biāo)監(jiān)測(cè)猜測(cè)應(yīng)用平臺(tái)。圍繞重點(diǎn)資產(chǎn)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會(huì)預(yù)期、社會(huì)消費(fèi)熱點(diǎn)、大宗商品供求及價(jià)格走勢(shì)、全國(guó)就業(yè)形勢(shì)、外貿(mào)訂單更改趨勢(shì)等方面，構(gòu)建大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時(shí)猜測(cè)指標(biāo)庫(kù)，研究能客觀、準(zhǔn)確反映我省宏觀經(jīng)濟(jì)運(yùn)行情形的指標(biāo)體系，編制“山東指數(shù)”。在健全完善監(jiān)測(cè)預(yù)警數(shù)據(jù)庫(kù)的基礎(chǔ)上，充分運(yùn)用大數(shù)據(jù)技術(shù)和理念，加強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析系列模型，切實(shí)提高猜測(cè)分析的前瞻性、準(zhǔn)確性和可靠性。樂(lè)觀拓寬信息發(fā)布渠道，建立可視化平臺(tái)，采用Unity3D引擎，三維界面高度仿真，所見(jiàn)即所得。平臺(tái)針對(duì)多源易構(gòu)的海量數(shù)據(jù)，通過(guò)數(shù)據(jù)處理、存儲(chǔ)管理、可視化交互分析等技術(shù)，實(shí)現(xiàn)圖形化數(shù)據(jù)查詢、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報(bào)線索發(fā)掘等功能。利用猜測(cè)信號(hào)燈系統(tǒng)，形象地刻畫(huà)出宏觀經(jīng)濟(jì)總體運(yùn)行情形，分析經(jīng)濟(jì)波動(dòng)原因，及時(shí)了解各地區(qū)經(jīng)濟(jì)發(fā)展的不平衡性，準(zhǔn)確推斷和測(cè)定經(jīng)濟(jì)景氣循環(huán)運(yùn)行狀態(tài)，提高宏觀經(jīng)濟(jì)決策水平。2、企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)企業(yè)信用危機(jī)不但給社會(huì)帶來(lái)嚴(yán)重危害，也是關(guān)系到企業(yè)自身生死存亡的重點(diǎn)事件，它是中國(guó)企業(yè)乃至中國(guó)市場(chǎng)經(jīng)濟(jì)發(fā)展的巨大障礙。因此，建立企業(yè)信用危機(jī)的預(yù)警機(jī)制和管理機(jī)制，對(duì)企業(yè)信用危機(jī)進(jìn)行有效的預(yù)警及管理是十分緊要的。企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)，全面整合社會(huì)信用監(jiān)管信息和社會(huì)公眾反映信息，通過(guò)整理歸類與加工，將這些信用危機(jī)信息轉(zhuǎn)化為可以量化的指標(biāo)體系，依照失信行為的嚴(yán)重程度和影響范圍劃分三個(gè)預(yù)警級(jí)別，分別向企業(yè)自身、金融機(jī)構(gòu)、其他政府部門及全社會(huì)進(jìn)行通報(bào)。納入企業(yè)信用預(yù)警體系的企業(yè)信息包含侵害消費(fèi)者權(quán)益且不履行相關(guān)義務(wù)的信息、消費(fèi)者投訴未及時(shí)處理信息、行政懲罰逾期未執(zhí)行信息、查無(wú)下落企業(yè)信息等23種信息?？梢詣?dòng)態(tài)配置預(yù)警信息項(xiàng)目和相應(yīng)預(yù)警等級(jí)，加強(qiáng)監(jiān)測(cè)預(yù)警的全面性和快捷性。企業(yè)信用監(jiān)測(cè)預(yù)警服務(wù)平臺(tái)以信息技術(shù)為支撐，以信用監(jiān)管為手段，全面提高信用監(jiān)管信息共享程度，及時(shí)預(yù)警影響社會(huì)交易安全和社會(huì)公共安全的不良信用信息，遵奉并服從“對(duì)外警示社會(huì)和企業(yè)；對(duì)內(nèi)明確重點(diǎn)，樂(lè)觀采取應(yīng)對(duì)措施”的原則，強(qiáng)化企業(yè)信用監(jiān)管防范機(jī)制，有力推動(dòng)“信用保稅區(qū)”建設(shè)，加強(qiáng)企業(yè)信用監(jiān)督管理的自動(dòng)性、前瞻性，更好地服務(wù)經(jīng)濟(jì)發(fā)展，減少交易風(fēng)險(xiǎn)，促進(jìn)企業(yè)信用監(jiān)管到位，實(shí)現(xiàn)企業(yè)信用的社會(huì)化監(jiān)督。3、投資項(xiàng)目信息管理平臺(tái)建設(shè)投資項(xiàng)目（特別是一些大型項(xiàng)目）具有管理上的多而雜性特點(diǎn)，緊要是建設(shè)周期長(zhǎng)、參建方多。投資項(xiàng)目信息管理平臺(tái)的建立和應(yīng)用，可有效解決投資建設(shè)項(xiàng)目管理動(dòng)態(tài)過(guò)程的信息分析、信息構(gòu)建，實(shí)現(xiàn)各參建方信息共享的目的。投資項(xiàng)目信息管理平臺(tái)，支持重點(diǎn)項(xiàng)目推介，建立規(guī)范的項(xiàng)目審批流程和項(xiàng)目信息庫(kù)，管理項(xiàng)目啟動(dòng)、計(jì)劃、執(zhí)行、監(jiān)控和收尾的整個(gè)生命周期，掩蓋進(jìn)度、質(zhì)量、本錢、資源、風(fēng)險(xiǎn)等項(xiàng)目管理的各個(gè)要素，構(gòu)建集成項(xiàng)目、流程、知識(shí)的信息化平臺(tái)。漸漸實(shí)現(xiàn)與相關(guān)部門業(yè)務(wù)系統(tǒng)的接入，形成全掩蓋的投資項(xiàng)目管理統(tǒng)一工作平臺(tái)，真正做好資源共享，為項(xiàng)目的后期評(píng)價(jià)、領(lǐng)導(dǎo)決策供應(yīng)支持服務(wù)。圍繞設(shè)計(jì)、招標(biāo)、監(jiān)理、質(zhì)量、安全、進(jìn)度、施工、資金、更改、合同管理“十大環(huán)節(jié)”，建立起對(duì)投資項(xiàng)目進(jìn)行事前計(jì)劃、事中掌控、事后評(píng)估、全程管理的有效管控模式，促進(jìn)投資項(xiàng)目管理體系發(fā)揮全方位、全過(guò)程的計(jì)劃、組織、協(xié)調(diào)與掌控作用。投資項(xiàng)目信息管理平臺(tái)，以現(xiàn)代項(xiàng)目管理方法論為基礎(chǔ)；以項(xiàng)目管理為主線，全面組織、全程貫穿各個(gè)業(yè)務(wù)環(huán)節(jié)；以項(xiàng)目計(jì)劃為依據(jù)，科學(xué)協(xié)調(diào)各個(gè)部門的工作；以本錢、進(jìn)度、質(zhì)量為最終掌控目標(biāo)；以完整及時(shí)、準(zhǔn)確的項(xiàng)目信息和科學(xué)的分析模型為項(xiàng)目管理、決策供應(yīng)依據(jù)；遵奉并服從“以計(jì)劃為龍頭，以合同為中心，以投資掌控為目的”的現(xiàn)代項(xiàng)目管理理念，構(gòu)建高效、應(yīng)用的項(xiàng)目協(xié)同管理綜合平臺(tái)。4、政務(wù)數(shù)據(jù)共享交換平臺(tái)政務(wù)數(shù)據(jù)共享交換平臺(tái)是各個(gè)平臺(tái)中的基礎(chǔ)性和綜合性平臺(tái)，是解決“信息孤島”、實(shí)現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于提高各類信息資源整合共享，以及信息資源的綜合利用。建設(shè)政務(wù)數(shù)據(jù)共享交換平臺(tái)的首要目標(biāo)就是要?jiǎng)?chuàng)造一個(gè)信息交換、信息共享的方式和環(huán)境，依照統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，建立信息資源整合機(jī)制，規(guī)范數(shù)據(jù)手記口徑、手記方式，規(guī)范數(shù)據(jù)的服務(wù)方式，建立統(tǒng)一的資源信息整合與交換機(jī)制。我們依照統(tǒng)一、集約、高效的數(shù)據(jù)開(kāi)發(fā)利用理念，通過(guò)研究建立多級(jí)交換管理體系，形成政務(wù)信息資源物理分散、邏輯集中的信息共享模式，通過(guò)以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足政府部門多方位、多層次的數(shù)據(jù)需求，為跨地域、跨部門、跨平臺(tái)不同應(yīng)用系統(tǒng)、不同數(shù)據(jù)庫(kù)之間的互連互通供應(yīng)包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換服務(wù)。通過(guò)分布式部署和集中式管理架構(gòu)，有效解決各節(jié)點(diǎn)間數(shù)據(jù)的及時(shí)、高效上傳下達(dá)，在安全、快捷、方便的進(jìn)行信息交換的同時(shí)精準(zhǔn)的保證數(shù)據(jù)的全都性和準(zhǔn)確性。政務(wù)數(shù)據(jù)共享交換平臺(tái)的全局目標(biāo)是建立“一個(gè)系統(tǒng)”，解決“兩個(gè)問(wèn)題”，支持“三個(gè)應(yīng)用”，面向“四個(gè)服務(wù)”。建立“一個(gè)系統(tǒng)”，即建立一個(gè)可擴(kuò)展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和安全可靠的分布式系統(tǒng)，對(duì)各類政務(wù)資源進(jìn)行組織和管理。解決“兩個(gè)問(wèn)題”，即解決政務(wù)信息資源的發(fā)現(xiàn)與定位問(wèn)題，解決政務(wù)信息資源規(guī)劃與整理問(wèn)題。支持“三個(gè)應(yīng)用”，即支持信息集成整合應(yīng)用、各業(yè)務(wù)部門辦公應(yīng)用和政府職能決策應(yīng)用。面向“四個(gè)服務(wù)”，即面向政務(wù)協(xié)作、宏觀決策、市場(chǎng)監(jiān)管和社會(huì)管理服務(wù)。六、技術(shù)支持與平臺(tái)性能1、系統(tǒng)架構(gòu)結(jié)合該項(xiàng)目以大數(shù)據(jù)平臺(tái)為核心，多業(yè)務(wù)子系統(tǒng)并存的業(yè)務(wù)需求，以及存在不同種類操作系統(tǒng)、應(yīng)用軟件、系統(tǒng)軟件的近況，我們采用面向服務(wù)的體系結(jié)構(gòu)，即SOA架構(gòu)。SOA是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱為服務(wù)）通過(guò)這些服務(wù)之間定義良好的接口和契約聯(lián)系起來(lái)。接口是采用中立的方式進(jìn)行定義的，它獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言。這使得構(gòu)建在這樣系統(tǒng)中的服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互。它的本質(zhì)是實(shí)現(xiàn)服務(wù)和技術(shù)的完全分別，從而最大程度上實(shí)現(xiàn)服務(wù)的集成和重組。SOA實(shí)施是以業(yè)務(wù)服務(wù)為導(dǎo)向的，業(yè)務(wù)服務(wù)獨(dú)立于技術(shù)之上，技術(shù)處于附屬地位，采用SOA架構(gòu)的緊要優(yōu)勢(shì)有：1、SOA與平臺(tái)無(wú)關(guān)，減少了業(yè)務(wù)應(yīng)用及業(yè)務(wù)子系統(tǒng)整合的限制。2、SOA具有低耦合的特點(diǎn)，各個(gè)業(yè)務(wù)子系統(tǒng)對(duì)整個(gè)業(yè)務(wù)系統(tǒng)的影響較低，在各個(gè)系統(tǒng)不絕更改情況下，節(jié)省的費(fèi)用會(huì)越來(lái)越多。3、SOA具有可按模塊分階段進(jìn)行實(shí)施的優(yōu)勢(shì)。可以成功一步再做下一步，將實(shí)施造成的撞擊減少到最小。SOA服務(wù)交互示意圖如下：2、技術(shù)支持1、技術(shù)領(lǐng)先的J2EE框架。Java2平臺(tái)企業(yè)版（JavaPlatformEnterpriseEdition，J2EE）是一種利用Java2平臺(tái)來(lái)簡(jiǎn)化且規(guī)范應(yīng)用系統(tǒng)的開(kāi)發(fā)與部署，進(jìn)而提高可移植性、安全與再用價(jià)值?；诵氖且唤M技術(shù)規(guī)范與指南，其中包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共同的標(biāo)準(zhǔn)及規(guī)格，讓各種依循J2EE架構(gòu)的不同平臺(tái)之間，存在良好的兼容性，解決過(guò)去企業(yè)后端使用的信息產(chǎn)品相互之間無(wú)法兼容，企業(yè)內(nèi)部或外部難以互通的窘境?；o要的技術(shù)規(guī)范有JDBC、EJB、JSP、JavaServlet、*ML等。JDBC為訪問(wèn)不同數(shù)據(jù)庫(kù)供應(yīng)了統(tǒng)一的路徑，使對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)具有平臺(tái)無(wú)關(guān)性。EJB供應(yīng)了一個(gè)框架來(lái)開(kāi)發(fā)和實(shí)施分布式商務(wù)邏輯，簡(jiǎn)化了具有可伸縮性和高度多而雜的企業(yè)級(jí)應(yīng)用程序的開(kāi)發(fā)。JSP頁(yè)面由HTML代碼和嵌入其中的Java代碼構(gòu)成，簡(jiǎn)化了頁(yè)面的輸出，保管了腳本語(yǔ)言易于使用的優(yōu)點(diǎn)。Servlet是一種小型Java程序，擴(kuò)展了Web服務(wù)器的功能。*ML供應(yīng)了一種描述結(jié)構(gòu)數(shù)據(jù)的格式，簡(jiǎn)化了網(wǎng)絡(luò)中數(shù)據(jù)交換和表示，使得代碼、數(shù)據(jù)和表示分別，作為數(shù)據(jù)交換的標(biāo)準(zhǔn)格式。2、強(qiáng)大快捷的SSM整合框架。SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC屬于SpringFarmeWork的后續(xù)產(chǎn)品，它供應(yīng)了構(gòu)建Web應(yīng)用程序的全功能MVC模塊，分別了掌控器、模型對(duì)象、過(guò)濾器以及處理程序?qū)ο蟮慕巧@種分別讓它們更容易進(jìn)行定制。Spring是一個(gè)輕量級(jí)開(kāi)源框架，它的緊要特點(diǎn)是方便解耦、簡(jiǎn)化開(kāi)發(fā)、面向切面（AOP）的編程支持和聲明式事務(wù)支持，其緊要優(yōu)點(diǎn)有低侵入式設(shè)計(jì)、獨(dú)立于應(yīng)用服務(wù)器、允許將一些通用任務(wù)如日志等進(jìn)行集中處理。Mybatis是輕量級(jí)ORM框架，它除掉了將近全部的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索，使用簡(jiǎn)單的*ML或注解用于配置和原始映射，將接口和Java的POJOs映射成數(shù)據(jù)庫(kù)中的記錄。其框架架構(gòu)圖如下：相比于傳統(tǒng)SSH整合，SpringMVC相比Struts更輕量級(jí)，注解的使用減少開(kāi)發(fā)消耗，數(shù)據(jù)庫(kù)操作層采用Mybatis，統(tǒng)一管理SQL甚是方便。3、平臺(tái)性能1、先進(jìn)性、開(kāi)放性?；贐/S結(jié)構(gòu)的Java應(yīng)用技術(shù)和SOA開(kāi)放式的體系框架，結(jié)構(gòu)化設(shè)計(jì)，快捷可拆分，具有快捷的可擴(kuò)充接口，易于修改調(diào)整、二次開(kāi)發(fā)和擴(kuò)充，最大限度降低因上游技術(shù)升級(jí)帶來(lái)的系統(tǒng)實(shí)施風(fēng)險(xiǎn)，保證投資的有效性和連續(xù)性。2、可擴(kuò)展性。由于采用了平臺(tái)化構(gòu)建思想，整個(gè)系統(tǒng)可做到與底層多種硬件環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫(kù)的自由適配，保證系統(tǒng)在軟件、硬件環(huán)境方面的快捷配置以及將來(lái)的拓展應(yīng)用。采用基于SOA思想的模塊化設(shè)計(jì)，可依據(jù)需要進(jìn)行快捷動(dòng)態(tài)的模塊擴(kuò)充，并保證原系統(tǒng)環(huán)境不受影響。系統(tǒng)供應(yīng)開(kāi)放的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)與外圍業(yè)務(wù)系統(tǒng)的無(wú)縫集成應(yīng)用，快捷擴(kuò)展系統(tǒng)的業(yè)務(wù)應(yīng)用范圍。3、穩(wěn)定性、可靠性。系統(tǒng)采用B/S結(jié)構(gòu)應(yīng)用模式，集中安裝部署，客戶端零安裝，所以系統(tǒng)的運(yùn)行不受任何客戶端單點(diǎn)故障的影響。技術(shù)框架的支撐，可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的長(zhǎng)期、穩(wěn)定連接，確保事務(wù)處理的連續(xù)和完整，保證業(yè)務(wù)數(shù)據(jù)準(zhǔn)確完全。4、其他優(yōu)勢(shì)。篇2:軟件研發(fā)大數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)說(shuō)明軟件研發(fā)大數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)說(shuō)明崗位名稱：軟件研發(fā)大數(shù)據(jù)開(kāi)發(fā)工程師崗位代碼：T03崗位類別：技術(shù)設(shè)計(jì)技術(shù)實(shí)施崗位職責(zé):1）負(fù)責(zé)公司云計(jì)算及大數(shù)據(jù)分析基礎(chǔ)性平臺(tái)搭建；2）負(fù)責(zé)海量數(shù)據(jù)手記、處理及存儲(chǔ)、應(yīng)用方案的技術(shù)選型及架構(gòu)實(shí)現(xiàn)；3）負(fù)責(zé)海量數(shù)據(jù)分析/查詢、分布式存儲(chǔ)、流式/實(shí)時(shí)計(jì)算等應(yīng)用層核心代碼實(shí)現(xiàn)及服務(wù)化封裝；4）按業(yè)務(wù)開(kāi)發(fā)部門要求，完成大數(shù)據(jù)分析結(jié)果的動(dòng)態(tài)交付；5）大數(shù)據(jù)新技術(shù)難點(diǎn)公關(guān)，技術(shù)連續(xù)性研究與更新。篇3:金融大數(shù)據(jù)平臺(tái)建設(shè)方案大數(shù)據(jù)平臺(tái)建設(shè)（一）大數(shù)據(jù)平臺(tái)框架概述大數(shù)據(jù)平臺(tái)建設(shè)充分整合信息化資源，打破行業(yè)、部門之間的信息壁壘，運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行手記、加工、建模、分析，將數(shù)據(jù)價(jià)值融入到金融之中，從而提升創(chuàng)新本領(lǐng)和產(chǎn)品服務(wù)本領(lǐng)。緊要包含以下三部分：1.大數(shù)據(jù)分析基礎(chǔ)平臺(tái)依照功能劃分?jǐn)?shù)據(jù)區(qū)，設(shè)計(jì)數(shù)據(jù)模型，在統(tǒng)一流程調(diào)度下，整合各類數(shù)據(jù)，同現(xiàn)有的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和歷史數(shù)據(jù)存儲(chǔ)系統(tǒng)一起，形成基礎(chǔ)數(shù)據(jù)體系，供應(yīng)支撐經(jīng)營(yíng)管理的各類數(shù)據(jù)應(yīng)用，支撐上層應(yīng)用。2.大數(shù)據(jù)應(yīng)用系統(tǒng)基于基礎(chǔ)數(shù)據(jù)平臺(tái)，連續(xù)建設(shè)各類數(shù)據(jù)應(yīng)用系統(tǒng)，通過(guò)數(shù)據(jù)挖掘、計(jì)量分析和機(jī)器學(xué)習(xí)等手段，對(duì)豐富的大數(shù)據(jù)資源進(jìn)行開(kāi)發(fā)使用，并將數(shù)據(jù)決策化過(guò)程結(jié)合到風(fēng)控、營(yíng)銷、營(yíng)運(yùn)等經(jīng)營(yíng)管理活動(dòng)，充分發(fā)揮大數(shù)據(jù)價(jià)值。3.大數(shù)據(jù)管控建立數(shù)據(jù)標(biāo)準(zhǔn)，提升數(shù)據(jù)質(zhì)量，加強(qiáng)元數(shù)據(jù)管理本領(lǐng)，為平臺(tái)建設(shè)及安全供應(yīng)保障（二）大數(shù)據(jù)平臺(tái)建設(shè)原則大數(shù)據(jù)平臺(tái)是大數(shù)據(jù)運(yùn)用的基礎(chǔ)實(shí)施，其設(shè)計(jì)、建設(shè)和系統(tǒng)實(shí)現(xiàn)過(guò)程中，應(yīng)遵奉并服從如下引導(dǎo)原則：經(jīng)濟(jì)性：基于現(xiàn)有場(chǎng)景分析，對(duì)數(shù)據(jù)量進(jìn)行合理評(píng)估，確定大數(shù)據(jù)平臺(tái)規(guī)模，后續(xù)依據(jù)實(shí)際情況再漸漸優(yōu)化擴(kuò)容?？蓴U(kuò)展性：架構(gòu)設(shè)計(jì)與功能劃分模塊化，考慮各接口的開(kāi)放性、可擴(kuò)展性，便于系統(tǒng)的快速擴(kuò)展與維護(hù)，便于第三方系統(tǒng)的快速接入?？煽啃裕合到y(tǒng)采用的系統(tǒng)結(jié)構(gòu)、技術(shù)措施、開(kāi)發(fā)手段都應(yīng)建立在已經(jīng)相當(dāng)成熟的應(yīng)用基礎(chǔ)上，在技術(shù)服務(wù)和維護(hù)響應(yīng)上同用戶樂(lè)觀搭配，確保系統(tǒng)的可靠；對(duì)數(shù)據(jù)指標(biāo)要保證完整性，準(zhǔn)確性。安全性：針對(duì)系統(tǒng)級(jí)、應(yīng)用級(jí)、網(wǎng)絡(luò)級(jí)，均供應(yīng)合理的安全手段和措施，為系統(tǒng)供應(yīng)全方位的安全實(shí)施方案，確保企業(yè)內(nèi)部信息的安全。大數(shù)據(jù)技術(shù)必需自主可控。先進(jìn)性：涵蓋結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和分析的特點(diǎn)。借鑒互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)及分析的實(shí)踐，使平臺(tái)具有良好的先進(jìn)性和彈性。支撐當(dāng)前及將來(lái)數(shù)據(jù)應(yīng)用需求，引入對(duì)應(yīng)大數(shù)據(jù)相關(guān)技術(shù)。平臺(tái)性：歸納整理大數(shù)據(jù)需求，形成統(tǒng)一的大數(shù)據(jù)存儲(chǔ)服務(wù)和大數(shù)據(jù)分析服務(wù)。利用多租戶,實(shí)現(xiàn)計(jì)算負(fù)荷和數(shù)據(jù)訪問(wèn)負(fù)荷隔離。多集群統(tǒng)一管理。分層解耦：大數(shù)據(jù)平臺(tái)供應(yīng)開(kāi)放的、標(biāo)準(zhǔn)的接口，實(shí)現(xiàn)與各應(yīng)用產(chǎn)品的無(wú)縫對(duì)接（三）基礎(chǔ)數(shù)據(jù)來(lái)源1.銀行內(nèi)部大數(shù)據(jù)資源客戶自身信息以及其金融交易行為，依照目前積累沉淀的數(shù)量資源情況，將數(shù)據(jù)緊要分為三大類：第一類：客戶基礎(chǔ)數(shù)據(jù)客戶信息數(shù)據(jù)，即客戶基礎(chǔ)數(shù)據(jù)，緊要是指描述客戶自身特點(diǎn)的數(shù)據(jù)。個(gè)人客戶信息數(shù)據(jù)包含：個(gè)人姓名、性別、年齡、身份信息、聯(lián)系方式、職業(yè)、生活城市、工作地方、家庭住址、所屬行業(yè)、實(shí)在職業(yè)、婚姻情形、教育情況、工作經(jīng)過(guò)、工作技能、賬戶信息、產(chǎn)品信息、個(gè)人喜好等等。企業(yè)客戶信息數(shù)據(jù)包含：企業(yè)名稱、關(guān)聯(lián)企業(yè)、所屬行業(yè)、銷售金額、注冊(cè)資本、賬戶信息、企業(yè)規(guī)模、企業(yè)地方、分公司情況、客戶和供應(yīng)商、信用評(píng)價(jià)、主營(yíng)業(yè)務(wù)、法人信息等等。將這些割裂的數(shù)據(jù)整合到大數(shù)據(jù)平臺(tái)，形成全局?jǐn)?shù)據(jù)，再依照自身需要進(jìn)行歸類和打標(biāo)簽，由于都是結(jié)構(gòu)化數(shù)據(jù)因此將有利于數(shù)據(jù)分析。可以將這些信息集中在大數(shù)據(jù)管理平臺(tái)，對(duì)客戶進(jìn)行分類，依據(jù)其他的交易數(shù)據(jù)，進(jìn)行產(chǎn)品開(kāi)發(fā)和決策支持。第二類：支出信息交易信息數(shù)據(jù)，可以稱之為支出信息，緊要是指客戶通過(guò)渠道發(fā)生的交易以及現(xiàn)金流信息。個(gè)人客戶交易信息：包含工資收入、個(gè)人消費(fèi)、公共事業(yè)繳費(fèi)、信貸還款、轉(zhuǎn)賬交易、委托扣款、購(gòu)買理資產(chǎn)品、購(gòu)買保險(xiǎn)產(chǎn)品、信用卡還款等。企業(yè)客戶交易信息：包含供應(yīng)鏈應(yīng)收款項(xiàng)、供應(yīng)鏈應(yīng)付款項(xiàng)、員工工資、企業(yè)運(yùn)營(yíng)支出、同分公司之間交易、同總公司之間交易、稅金支出、理資產(chǎn)品買賣、金融衍生產(chǎn)品購(gòu)買、公共費(fèi)用支出、其他轉(zhuǎn)賬等。第三類：資產(chǎn)信息資產(chǎn)信息緊要是指客戶在金融機(jī)構(gòu)端資產(chǎn)和負(fù)債信息，同時(shí)也包含金融機(jī)構(gòu)自身資產(chǎn)負(fù)債信息，其中數(shù)據(jù)大多來(lái)自銀行。個(gè)人客戶資產(chǎn)負(fù)債信息包含：購(gòu)買的理資產(chǎn)品、定期存款、活期存款、信用貸款、抵押貸款、信用卡負(fù)債、抵押房產(chǎn)、企業(yè)年金等。企業(yè)客戶資產(chǎn)負(fù)債信息包含：企業(yè)定期存款、活期存款、信用貸款、抵押貸款、擔(dān)保額度、應(yīng)收賬款、應(yīng)付賬款、理資產(chǎn)品、票據(jù)、債券、固定資產(chǎn)等。銀行自身端資產(chǎn)負(fù)債信息包含：自身資產(chǎn)和負(fù)債例如活期存款、定期存款、借入負(fù)債、結(jié)算負(fù)債、現(xiàn)金資產(chǎn)、固定資產(chǎn)貸款證券投資等。第四類：新型業(yè)務(wù)數(shù)據(jù)此類數(shù)據(jù)包含系統(tǒng)的運(yùn)行日志、客服語(yǔ)音、視頻影像、網(wǎng)站日志等。2.外部大數(shù)據(jù)來(lái)源為了贏得差別化競(jìng)爭(zhēng)，就必需考慮其他數(shù)據(jù)源的輸入，這些數(shù)據(jù)是自身不具有的，但是對(duì)其數(shù)據(jù)分析和決策起到了很緊要的作用。線上交易、電商平臺(tái)、社交網(wǎng)絡(luò)等互聯(lián)網(wǎng)數(shù)據(jù)來(lái)源，司法、工商、財(cái)稅等政府部門依法公開(kāi)的信息，緊要包含：互聯(lián)網(wǎng)消費(fèi)行為數(shù)據(jù)，了解客戶消費(fèi)本領(lǐng)和消費(fèi)偏好等；個(gè)人嚴(yán)重行政懲罰記錄（如行政拘留等）、刑事犯罪記錄、涉訴情況（人身關(guān)系、資產(chǎn)關(guān)系）、交通嚴(yán)重違規(guī)違章記錄等；客戶征信信息、客戶在其他銀行或金融機(jī)構(gòu)的貸款記錄、信用記錄等信息等；客戶的第三方征信評(píng)級(jí)情況，客戶的社保、納稅、公積金等信息，客戶的社會(huì)保障情況及經(jīng)濟(jì)本領(lǐng)，工作單位性質(zhì)，客戶社會(huì)身份等；客戶在第三方催收機(jī)構(gòu)的催收記錄、社會(huì)信息等；出入境記錄，客戶出入境目的地、出入境頻率等；國(guó)內(nèi)出行記錄，客戶出行習(xí)慣等；采用同大數(shù)據(jù)廠商合作的方式，通過(guò)自身平臺(tái)來(lái)手記數(shù)據(jù)或購(gòu)買第三方數(shù)據(jù)。（四）大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)功能大數(shù)據(jù)平臺(tái)功能架構(gòu)圖（1）批量實(shí)現(xiàn)較高水準(zhǔn)的個(gè)性化客戶產(chǎn)品服務(wù)，加添客戶粘性，推動(dòng)業(yè)務(wù)創(chuàng)新。有效地將大數(shù)據(jù)分析系統(tǒng)夠構(gòu)建客戶360度全方位視圖，設(shè)計(jì)更有競(jìng)爭(zhēng)力的創(chuàng)新產(chǎn)品。對(duì)企業(yè)型客戶的財(cái)務(wù)情形、相關(guān)資產(chǎn)鏈上下游數(shù)據(jù)分析，把握客現(xiàn)在的情形，更可以通過(guò)數(shù)據(jù)的交換、映射對(duì)其進(jìn)行短期、中期猜測(cè)將來(lái)發(fā)展情形。同時(shí)通過(guò)與同行業(yè)中的企業(yè)比較，以及利用公共平臺(tái)收集企業(yè)的上、游對(duì)其評(píng)價(jià)，取得多維度的評(píng)估，對(duì)中小企業(yè)風(fēng)險(xiǎn)進(jìn)行有效的識(shí)別，從而緩解銀行與中小企業(yè)信息不對(duì)稱問(wèn)題，更好地推動(dòng)中小企業(yè)市場(chǎng)業(yè)務(wù)創(chuàng)新。（2）針對(duì)客戶需求，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷。銀行借助大數(shù)據(jù)分析平臺(tái)，通過(guò)對(duì)客戶的瀏覽記錄、購(gòu)買路徑、消費(fèi)數(shù)據(jù)，進(jìn)行挖掘、追蹤、分析，將不同的客戶群體進(jìn)行聚類，依據(jù)不同的客戶特性打造個(gè)性化產(chǎn)品營(yíng)銷服務(wù)，將最適合的產(chǎn)品服務(wù)推介給最需要的客戶。提高客戶對(duì)銀行服務(wù)的認(rèn)可程度以及客戶經(jīng)理在營(yíng)銷過(guò)程中的專業(yè)程度。（3）加強(qiáng)風(fēng)險(xiǎn)管控本領(lǐng)。大數(shù)據(jù)分析幫忙銀行摒棄原來(lái)過(guò)度依靠貸款人供應(yīng)財(cái)務(wù)報(bào)表取得信息的業(yè)務(wù)方式，轉(zhuǎn)而對(duì)其資產(chǎn)價(jià)格、賬務(wù)流水、相關(guān)業(yè)務(wù)活動(dòng)等流動(dòng)性數(shù)據(jù)進(jìn)行動(dòng)態(tài)監(jiān)控，了解客戶的自然屬性和行為屬性，結(jié)合客戶行為分析、客戶信用度分析、客戶風(fēng)險(xiǎn)分析以及客戶的資產(chǎn)負(fù)債情形，從而有效提升客戶信息透亮度，建立完善的風(fēng)險(xiǎn)防范體系。（4）促進(jìn)銀行內(nèi)部管理流程化，降低管理運(yùn)營(yíng)本錢。運(yùn)用大數(shù)據(jù)能夠加添銀行內(nèi)部的透亮度，使企業(yè)上下級(jí)之間的信息流通更順暢；同時(shí)，基于大數(shù)據(jù)優(yōu)化企業(yè)內(nèi)部的各種流程，以及通過(guò)自身和社會(huì)信息歸集渠道，了解客戶真實(shí)反映，樂(lè)觀改進(jìn)和提高，大大縮短信息收集、反饋時(shí)間，提高企業(yè)運(yùn)作效率。而通過(guò)大數(shù)據(jù)應(yīng)用和分析，能夠準(zhǔn)確定位內(nèi)部管理缺陷，訂立有針對(duì)性的改進(jìn)措施，實(shí)行符合自身特點(diǎn)的管理模式，進(jìn)而降低管理運(yùn)營(yíng)本錢。（五）平臺(tái)的技術(shù)架構(gòu)為實(shí)現(xiàn)上述功能經(jīng)多方考察研討擬采用FusionInsightHD平臺(tái)作為大數(shù)據(jù)基礎(chǔ)平臺(tái)。FusionInsight是企業(yè)級(jí)大數(shù)據(jù)存儲(chǔ)、查詢和分析的統(tǒng)一平臺(tái)。它以海量數(shù)據(jù)處理引擎和實(shí)時(shí)數(shù)據(jù)處理引擎為核心，并針對(duì)金融、運(yùn)營(yíng)商等數(shù)據(jù)密集型行業(yè)的運(yùn)行維護(hù)、應(yīng)用開(kāi)發(fā)等需求，打造了快捷、智慧、可信的平臺(tái)軟件、建模中心件及OM系統(tǒng)，讓企業(yè)可以更快、更準(zhǔn)、更穩(wěn)的從各類繁雜無(wú)序的海量數(shù)據(jù)中發(fā)現(xiàn)全新價(jià)值點(diǎn)和企業(yè)商機(jī)。大數(shù)據(jù)平臺(tái)架構(gòu)圖大數(shù)據(jù)平臺(tái)與其他相關(guān)系統(tǒng)接口描述圖（七）大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)拓?fù)?/p>