大數(shù)據(jù)統(tǒng)計平臺建設方案

統(tǒng)計大數(shù)據(jù)統(tǒng)計平臺建設方案目錄CONTENTS1大數(shù)據(jù)統(tǒng)計平臺綜述2大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)3大數(shù)據(jù)統(tǒng)計平臺演進路線4大數(shù)據(jù)統(tǒng)計平臺建設實施5大數(shù)據(jù)統(tǒng)計平臺治理統(tǒng)計基礎設施有待完善市政治理效能有待提升政府要提升公共服務質(zhì)量，提高行政效能產(chǎn)業(yè)經(jīng)濟有待發(fā)展市民生活質(zhì)量有待提高資源環(huán)境有待改善要完善統(tǒng)計交通、信息化基礎設施等需要優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)、發(fā)展新興產(chǎn)業(yè)、改進傳統(tǒng)產(chǎn)業(yè)統(tǒng)計污染、氣候變暖、資源可持續(xù)性統(tǒng)計居民社保、教育、文化和衛(wèi)生等基礎日益重要統(tǒng)計問題大數(shù)據(jù)統(tǒng)計平臺利用面臨的困惑和挑戰(zhàn)大數(shù)據(jù)統(tǒng)計平臺利用面臨的困惑和挑戰(zhàn)01缺乏理念03缺乏工具 04

缺乏機制 02

缺乏標準缺乏政府數(shù)據(jù)共享的理念對治理現(xiàn)代化認識不足缺乏政府數(shù)據(jù)共享機制的責任主體，怕犯泄密錯誤，寧可不作為缺乏數(shù)據(jù)共享的技術(shù)支撐能力和基礎平臺缺乏政府數(shù)據(jù)共享的統(tǒng)一標準和規(guī)范，缺乏治理機制設計智慧統(tǒng)計智慧的醫(yī)療智慧的教育與科技智慧的市民服務智慧的公共安全智慧的交通自動收費票務管理運輸信息管理電子病歷家庭健康服務醫(yī)療費用管理犯罪信息倉庫突發(fā)事件響應數(shù)字監(jiān)控系統(tǒng)智慧的公共事業(yè)高速寬帶網(wǎng)路智慧的電力建筑能耗評估監(jiān)測水處理/水資源管理開放式學習先進教室智慧的科技園區(qū)失業(yè)保險金管理就業(yè)服務家庭服務住宅信息管理全面感知充分整合智能處理協(xié)同運作精確管控創(chuàng)新應用大數(shù)據(jù)統(tǒng)計平臺中心建設定位大數(shù)據(jù)統(tǒng)計平臺中心建設定位

依托統(tǒng)計大數(shù)據(jù)中心相關平臺和應用支撐，匯聚統(tǒng)計管理各相關部門業(yè)務數(shù)據(jù)，進行集中展示和分析，提升統(tǒng)計運行管理、政務服務、統(tǒng)計綜合管理決策和產(chǎn)業(yè)轉(zhuǎn)型升級等方面的綜合能力。惠民興業(yè)善政通過大數(shù)據(jù)推動產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級，催生基于大數(shù)據(jù)、網(wǎng)絡經(jīng)濟的新興產(chǎn)業(yè)，促進投資，拉動經(jīng)濟增長推動公共服務便利化，讓百姓辦事不求人，實現(xiàn)衣食住行醫(yī)療教育等公共服務便捷化，市民生活幸福指數(shù)明顯提升基于大數(shù)據(jù)推進政府各項改革，轉(zhuǎn)變執(zhí)政理念，創(chuàng)新治理方式，由電子政務向智慧政務升級，不斷提高政府工作的效率和效能統(tǒng)計管理共享歷史-傳統(tǒng)共享對管理和內(nèi)控主要是人為監(jiān)控，沒有太大幫助票據(jù)傳遞造成很大成本，對成本降低的作用有限共享財務標準業(yè)務流程各部門共享平臺共享中心/共享分中心建設目標-業(yè)財資稅數(shù)字化生態(tài)圈業(yè)務數(shù)據(jù)稅務數(shù)據(jù)資金數(shù)據(jù)財務信息數(shù)據(jù)控制數(shù)據(jù)驅(qū)動數(shù)據(jù)驅(qū)動數(shù)據(jù)驅(qū)動業(yè)、財、資、稅及數(shù)據(jù)分析建設業(yè)務系統(tǒng)財務系統(tǒng)資金系統(tǒng)稅務系統(tǒng)負責業(yè)務管理及業(yè)務數(shù)據(jù)采集驅(qū)動財務信息負責增值稅進項銷項管理負責資金統(tǒng)一支付負責財務信息生成及處理反饋及控制業(yè)務數(shù)據(jù)規(guī)劃01數(shù)據(jù)分析03數(shù)據(jù)采集02通過主數(shù)據(jù)管理規(guī)劃、數(shù)據(jù)采集載體設計、數(shù)據(jù)分析挖掘及建模，支撐管理會計指標體系分析，支撐財務管理報表。生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力支撐精準決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值

推動管理會計體系建設提升價值創(chuàng)造能力生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力提升價值創(chuàng)造能力支撐精準決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值提升全面預算管控能力提升資金集中管控能力提升制度執(zhí)行力提升工作質(zhì)量和效率提升風險管控能力推動管理會計體系建設生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力提升價值創(chuàng)造能力支撐精準決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值業(yè)務數(shù)據(jù)財務數(shù)據(jù)財務部門財務信息業(yè)務信息業(yè)務部門業(yè)財生態(tài)圈加工生產(chǎn)驅(qū)動業(yè)務業(yè)務支撐支撐反映控制分析推動管理會計體系建設生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力戰(zhàn)略財務業(yè)務財務共享財務協(xié)同和推動決策和配置通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建立支撐精準決策創(chuàng)造價值提升價值創(chuàng)造能力記錄和控制財務賬務查詢、年初、年末處理費用報銷業(yè)務系統(tǒng)財務共享平臺核算系統(tǒng)網(wǎng)報系統(tǒng)資金系統(tǒng)查詢分析系統(tǒng)影像系統(tǒng)接口資金支付管理、資金業(yè)務管理、……影像附件管理……財務業(yè)務查詢……業(yè)務相關系統(tǒng)【核心業(yè)務處理】主數(shù)據(jù)平臺組織機構(gòu)、供應商主數(shù)據(jù)、物資、機械、周轉(zhuǎn)材主數(shù)據(jù)……接口信息化生態(tài)圈體系架構(gòu)-工業(yè)板塊信息化體系部署架構(gòu)二級云平臺集成門戶影像系統(tǒng)報賬平臺共享平臺核算系統(tǒng)專項核算報表系統(tǒng)股份云平臺財務頂層平臺資金平臺微信平臺數(shù)字生態(tài)共享建設方案預警模型數(shù)據(jù)采集風險預警建模工具領導查詢展現(xiàn)設置移動展現(xiàn)數(shù)據(jù)分析數(shù)據(jù)分析門戶組件數(shù)據(jù)組件權(quán)限體系表單引擎基礎數(shù)據(jù)流程引擎通訊組件業(yè)務引擎移動組件制證組件任務組件影像組件集成組件建模組件支撐環(huán)境共享接口系統(tǒng)報賬平臺資金系統(tǒng)賬戶管理資金管理票據(jù)指令付款指令報表系統(tǒng)報表設置報表填報合并報表基礎數(shù)據(jù)標準化業(yè)務規(guī)范業(yè)務流程標準化業(yè)務模式標準化業(yè)務數(shù)據(jù)標準化中鐵財務共享平臺數(shù)據(jù)池業(yè)務數(shù)據(jù)數(shù)據(jù)分析財務數(shù)據(jù)財務報表任務池流程管理分發(fā)機制任務管理績效考核票據(jù)池影像管理附件管理影像采集影像查看核算系統(tǒng)賬齡分析資產(chǎn)管理稅務系統(tǒng)對賬平臺數(shù)據(jù)接口數(shù)據(jù)接口工業(yè)業(yè)務系統(tǒng)采購管理生產(chǎn)管理銷售管理合同管理主數(shù)據(jù)平臺人員信息客商信息機構(gòu)信息頂層數(shù)據(jù)為統(tǒng)計提供專業(yè)化核算服務收入資金資產(chǎn)費用成本以“互聯(lián)網(wǎng)+財務”的模式，為企業(yè)統(tǒng)計提供專業(yè)化財務核算服務，涵蓋財務核算的方方面面，包括收入、成本、資產(chǎn)、費用、資金、稅務等?；ヂ?lián)網(wǎng)+財務負責統(tǒng)計資金風險監(jiān)控2資金支付控制1財務控制業(yè)務4形成財務信息3統(tǒng)一支付出口1、用核算系統(tǒng)的財務信息控制業(yè)務系統(tǒng)的業(yè)務發(fā)生，產(chǎn)生資金支付計劃或額度4、資金平臺支付完成，共享平臺形成正式憑證給核算系統(tǒng)，形成閉環(huán)3、共享平臺生成預憑證后，共享資金組監(jiān)控支付風險，審批資金支付指令后推送到資金平臺，資金平臺提供統(tǒng)一支付出口2、報賬平臺根據(jù)資金支付額度進行資金支付控制負責業(yè)統(tǒng)計策解讀與標準化4、標準化業(yè)財處理流程加強統(tǒng)計管控政策的解讀，標準化企業(yè)流程：將業(yè)財審批流程標準化，由系統(tǒng)控制流程風險，推進內(nèi)控制度落地。3、標準化財務處理政策加強政策解讀與細化，標準化財務核算政策：根據(jù)業(yè)務表單設計和配置憑證模版，由系統(tǒng)自動制證，標準化統(tǒng)計財務核算政策與標準，實現(xiàn)業(yè)財數(shù)據(jù)縱向一致性，提高統(tǒng)計內(nèi)部財務數(shù)據(jù)的橫向可比性。1、標準化基礎數(shù)據(jù)強化財務主數(shù)據(jù)管理：標準化機構(gòu)、人員、客商、科目、字典等基礎數(shù)據(jù)，為系統(tǒng)集成和數(shù)據(jù)分析打好基礎。2、標準化業(yè)務數(shù)據(jù)采集標準化業(yè)務數(shù)據(jù)的填寫與采集：將業(yè)務數(shù)據(jù)用標準化的表單進行采集，加強業(yè)務規(guī)范性、橫向可比性，強化核算依據(jù)的標準與規(guī)范，為自動制證和賬轉(zhuǎn)表的實現(xiàn)打好基礎。負責統(tǒng)計數(shù)據(jù)資產(chǎn)的采集和管理數(shù)據(jù)挖掘及風險管理數(shù)據(jù)資產(chǎn)經(jīng)營指標分析數(shù)據(jù)資產(chǎn)形成管理報表數(shù)據(jù)資產(chǎn)形成財務報表風險控制數(shù)據(jù)分析管理報表財務報表數(shù)據(jù)資產(chǎn)管理與應用根據(jù)數(shù)據(jù)資產(chǎn)應用要求優(yōu)化數(shù)據(jù)采集數(shù)據(jù)資產(chǎn)管理分析建模數(shù)據(jù)資產(chǎn)挖掘進行風險管理股份數(shù)據(jù)中心及主數(shù)據(jù)建設組織架構(gòu)體系組織機構(gòu)、職能部門、企業(yè)職員、系統(tǒng)用戶、崗位職責等。核算政策體系會計科目、輔助類別、銀行賬戶、客商往來、業(yè)務板塊等。其他標準字典國家地區(qū)、企業(yè)類型、單位隸屬關系、營業(yè)狀態(tài)、職稱等?；A數(shù)據(jù)申請及審批機構(gòu)、部門、人員、客商、字典新增及變更審批，申請審批功能?？缇株P聯(lián)交易跨局管理交易的數(shù)據(jù)的抽取及對賬。股份數(shù)據(jù)分析各局共享數(shù)據(jù)抽取及分析展現(xiàn)。共享平臺建設共享站點共享站點及分中心管理；共享業(yè)務分組及崗位設置。共享會計共享會計注冊及管理。任務處理共享任務的分發(fā)機制；共享標準節(jié)點：初審、符合、資金處理節(jié)點。影像系統(tǒng)影像采集、發(fā)票識別、影像上傳、影像管理、影像補掃、電子文檔等。01030402資金處理組資金相關的核算及管理工作，主要負責資金中心的收支業(yè)務。綜合核算組應收應付賬齡分析、營業(yè)外收支、質(zhì)保金折現(xiàn)、金融資產(chǎn)確認轉(zhuǎn)移處置、投資、融資、稅務保險、期末結(jié)轉(zhuǎn)等業(yè)務。資產(chǎn)費用組資產(chǎn)（臨時設施、在建工程、固定資產(chǎn)、無形資產(chǎn)、投資性房地產(chǎn)）新增、折舊、攤銷、處置等業(yè)務；職工薪酬及差旅費、會議費等經(jīng)費報銷業(yè)務。收入成本組收入確認、成本確認、勞務結(jié)算、材料領用、攤銷及處置、機械費結(jié)算、其他直接費結(jié)算、專項儲備、研發(fā)支出、其他業(yè)務收入及成本等業(yè)務。任務分發(fā)大數(shù)據(jù)統(tǒng)計平臺建設目標精準治理政府可借助大數(shù)據(jù)實現(xiàn)統(tǒng)計管理、社會管理、應急指揮等精準化治理。大數(shù)據(jù)將通過全息的數(shù)據(jù)呈現(xiàn)，使政府從“主觀主義”“經(jīng)驗主義”的模糊治理方式，轉(zhuǎn)向“實事求是”“數(shù)據(jù)驅(qū)動”的精準治理方式。簡政放權(quán)政府可借助大數(shù)據(jù)，助力簡政放權(quán)，支持從事前審批向事中事后監(jiān)管轉(zhuǎn)變，借助大數(shù)據(jù)實現(xiàn)政府負面清單、權(quán)力清單和責任清單的透明化管理，通過大數(shù)據(jù)實現(xiàn)精準監(jiān)督。產(chǎn)業(yè)聚集把大數(shù)據(jù)產(chǎn)業(yè)與大眾創(chuàng)業(yè)、萬眾創(chuàng)新結(jié)合起來。建立大數(shù)據(jù)創(chuàng)業(yè)公司、大數(shù)據(jù)產(chǎn)業(yè)園、大數(shù)據(jù)重點實驗室等大數(shù)據(jù)生態(tài)環(huán)境。經(jīng)濟發(fā)展政府借助大數(shù)據(jù)提高經(jīng)濟治理水平，融合稅務、財政、金融等多部門數(shù)據(jù)，同時結(jié)合社會化大數(shù)據(jù)，建立經(jīng)濟大數(shù)據(jù)決策支持體系，為產(chǎn)業(yè)結(jié)構(gòu)調(diào)整升級提供支持。服務民生政府運用大數(shù)據(jù)推動民生服務，實現(xiàn)基于大數(shù)據(jù)的智慧交通、智慧環(huán)保、智慧醫(yī)療、智慧教育、智慧養(yǎng)老、智慧旅游等。政府管理分析類應用建設現(xiàn)狀基本分析關注的內(nèi)容存在的問題基本的現(xiàn)狀大數(shù)據(jù)統(tǒng)計平臺累積數(shù)據(jù)沒有充分利用缺乏面向整個政府的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐政府日常應急運轉(zhuǎn)的風險評估體系；缺乏政府服務360度視圖，服務行為分析和預測無法實現(xiàn)；缺乏面向銀行應急運營管理的關鍵績效指標體系；……統(tǒng)計已建立面向整個統(tǒng)計服務的數(shù)據(jù)倉庫，整合了前臺應急運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向統(tǒng)計服務的管理分析應用；政府已開展服務民生等多種應急，積累了一定量的應急數(shù)據(jù)，同時應急人員也從服務管理、風險評級和經(jīng)營規(guī)模預測等方面，提出了大量分析預測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應用、數(shù)據(jù)管控……基礎數(shù)據(jù)平臺和BI應用建設是未來一段時間的重點！數(shù)據(jù)平臺整體架構(gòu)；數(shù)據(jù)平臺各層建設的標準；較成熟的銀行業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；

數(shù)據(jù)標準建設數(shù)據(jù)整合；

數(shù)據(jù)應用建設；數(shù)據(jù)平臺的軟硬環(huán)境……大數(shù)據(jù)統(tǒng)計平臺建設目標外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一制定目標和分析模型統(tǒng)一劃分分析主題統(tǒng)一設計數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術(shù)基礎統(tǒng)一定義BI應用自定義報表工具行＋列的簡單定義方式多種格式報表政府決策層政府職能管控層各級應急操作層關注政府主要經(jīng)營指標應急人員使用BI應用實現(xiàn)應急協(xié)作和創(chuàng)新BI分析工具供應鏈銀行系統(tǒng)POP系統(tǒng)其他應急系統(tǒng)云數(shù)據(jù)推送平臺已實現(xiàn)了主要統(tǒng)計服務及銀行應急系統(tǒng)數(shù)據(jù)清洗、整合，為未來政府數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應用建設，政府將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類應急進行前瞻性預測及分析，為政府各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購管理系統(tǒng)查看職能單位的應急經(jīng)營情況大數(shù)據(jù)統(tǒng)計平臺頂層框架大數(shù)據(jù)統(tǒng)計平臺建設預期收益2.加強應急協(xié)作實現(xiàn)分散在服務民生等各個應急系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、服務等數(shù)據(jù)的政府級視圖，有效促進應急的集成和協(xié)作，并為政府級分析、交叉銷售提供基礎3.促進應急創(chuàng)新政府應急人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為銀行應急創(chuàng)新（服務服務創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預測類等系統(tǒng)提供一致的數(shù)據(jù)基礎，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復雜的現(xiàn)狀，實現(xiàn)應用系統(tǒng)建設模式的轉(zhuǎn)變，提升相關IT系統(tǒng)的建設和運行效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對政府分散在各個應急系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于政府整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保政府各級單位均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為政府重要資產(chǎn)的應急價值1.實現(xiàn)數(shù)據(jù)共享大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準（數(shù)據(jù)標準、質(zhì)量要求、安全要求）遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質(zhì)量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標，去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術(shù)平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關標準和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理應急元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。目錄大數(shù)據(jù)統(tǒng)計平臺綜述1大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)2大數(shù)據(jù)統(tǒng)計平臺演進路線3大數(shù)據(jù)統(tǒng)計平臺建設實施重點4大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺5數(shù)據(jù)融合分析數(shù)據(jù)采集交換共享信息應用交換數(shù)據(jù)數(shù)據(jù)融合跨部門數(shù)據(jù)整合加工數(shù)據(jù)質(zhì)量處理跨部門數(shù)據(jù)關聯(lián)融合按需服務融合數(shù)據(jù)服務數(shù)據(jù)數(shù)據(jù)交換平臺政府部門數(shù)據(jù)社會化數(shù)據(jù)管理對象基礎屬性信息業(yè)務狀態(tài)信息大數(shù)據(jù)基礎平臺統(tǒng)計運行大數(shù)據(jù)個人企業(yè)數(shù)據(jù)服務大數(shù)據(jù)統(tǒng)計平臺建設思路公共服務大數(shù)據(jù)產(chǎn)業(yè)升級大數(shù)據(jù)政府決策大數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應用集市數(shù)據(jù)區(qū)統(tǒng)計統(tǒng)計服務公檢法系統(tǒng)輿情控制系統(tǒng)金融系統(tǒng)……系統(tǒng)政府內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應用層實時數(shù)據(jù)區(qū)服務主題協(xié)議主題產(chǎn)品主題應急沙盤演練數(shù)據(jù)增值產(chǎn)品統(tǒng)計服務數(shù)據(jù)供應鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層服務匯總賬戶匯總機構(gòu)匯總……社交媒體移動互聯(lián)用戶評價訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實時數(shù)據(jù)查詢服務管理財務管理……外部用戶貼源數(shù)據(jù)區(qū)……內(nèi)部管理分析內(nèi)部用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風險管理大數(shù)據(jù)平臺總體架構(gòu)委辦局數(shù)據(jù)庫政務數(shù)據(jù)分析數(shù)據(jù)源終端設備物聯(lián)網(wǎng)監(jiān)控設備事件信息實時監(jiān)測流數(shù)據(jù)采集整合空間數(shù)據(jù)統(tǒng)計運行監(jiān)控中心大數(shù)據(jù)統(tǒng)計平臺門戶建筑數(shù)據(jù)法人庫人口庫經(jīng)濟數(shù)據(jù)專題數(shù)據(jù)視頻數(shù)據(jù)氣象監(jiān)測環(huán)保監(jiān)測交通流量位置信息社會事件災害事件輿情事件政務決策支持平臺統(tǒng)計運行大數(shù)據(jù)的資源采集監(jiān)控34基礎設施：地下管網(wǎng)、統(tǒng)計部件交通出行：交通路況、車輛監(jiān)控、客流量監(jiān)控生態(tài)環(huán)境：氣象、空氣、水質(zhì)、污染源、水位、雨量監(jiān)測數(shù)據(jù)匯聚委辦局數(shù)據(jù)打造統(tǒng)計資源基礎平臺實時可視化展示和預警

整合統(tǒng)計管理相關部門數(shù)據(jù)，建設專題數(shù)據(jù)庫接入天地圖地圖資源，全面展示統(tǒng)計綜合運行視圖監(jiān)測數(shù)據(jù)實時更新，掌握最新動態(tài)重要場所視頻監(jiān)控，及時查看現(xiàn)場狀況預警閾值設置和上報，提高保障能力…統(tǒng)計大數(shù)據(jù)總體體征分析35

基于統(tǒng)計大數(shù)據(jù)的采集分析，建立一套經(jīng)專家論證的、符合統(tǒng)計實際的、科學合理的統(tǒng)計運行評價指標體系，基本涵蓋了統(tǒng)計運行的主要方面。通過儀表盤、雷達圖、柱狀圖、樹狀圖等多種呈現(xiàn)方式，使得市領導能夠全面、直觀、多視角、快速地了解整個統(tǒng)計的總體運行狀態(tài)。

統(tǒng)計供水指數(shù)統(tǒng)計排水指數(shù)統(tǒng)計能源指數(shù)統(tǒng)計環(huán)境指數(shù)統(tǒng)計通信指數(shù)管網(wǎng)安全指數(shù)基礎設施

1交通擁堵指數(shù)統(tǒng)計客運指數(shù)交通出行2生產(chǎn)安全指數(shù)統(tǒng)計治安指數(shù)交通安全指數(shù)消防安全指數(shù)公共衛(wèi)生指數(shù)城管綜合指數(shù)公共安全3統(tǒng)計宜居指數(shù)污染源排放指數(shù)氣象指數(shù)太湖藍藻指數(shù)生態(tài)環(huán)境4統(tǒng)計體征指標智慧交通：交通信息實時采集、匯總、分析、發(fā)布36統(tǒng)計綜合交通管理解決方案統(tǒng)計交通數(shù)據(jù)采集發(fā)布智能公交、智能停車交通信號的智能控制交通應急指揮平臺高速公路解決方案綜合視頻監(jiān)控ETC聯(lián)網(wǎng)收費智能卡口與攔截收費軟件通行卡加密軌道交通解決方案地鐵綜合通信售檢票系統(tǒng)地鐵清分系統(tǒng)乘客向?qū)到y(tǒng)鐵路行業(yè)解決方案集裝箱貨運管理鐵路旅客經(jīng)濟運行動態(tài)監(jiān)控經(jīng)營分析與資產(chǎn)管理系統(tǒng)航空行業(yè)解決方案客票銷售電子商務平臺航空代理人銷售平臺機場旅客服務平臺機場信息管理系統(tǒng)航空協(xié)會與管理機構(gòu)信息系統(tǒng)社區(qū)服務中心區(qū)域中心醫(yī)院地區(qū)大型綜合醫(yī)療醫(yī)院社區(qū)熙康健康小屋上門診療/隨訪雙向轉(zhuǎn)診雙向轉(zhuǎn)診轉(zhuǎn)診/遠程醫(yī)療轉(zhuǎn)診/遠程醫(yī)療個人/家庭健康檔案區(qū)域診療平臺全科醫(yī)生隨診包政府公衛(wèi)監(jiān)控/決策平臺全方位支持/協(xié)同區(qū)域醫(yī)療信息網(wǎng)平臺個人/家庭健康檔案智慧醫(yī)療：可穿戴設備、電子病歷、遠程醫(yī)療、移動支付HIS（HIS、公衛(wèi)系統(tǒng)）個人/家庭健康檔案智慧教育：整合各類教育資源，實現(xiàn)教育資源平衡學校老師家長教育主管部門學生校校通光纖寬帶無線網(wǎng)絡班班通電子教輔+教學端電子教材+教學端人人通幼學通、翼校通飛Young人人通教育管理公共服務平臺對接國家平臺平安校園綜合辦公教育管理信息系統(tǒng)教育資源公共服務平臺教材資源測評系統(tǒng)網(wǎng)絡實驗品牌資源智慧教室智慧校園電子書包校園一卡通遠程教育平安校園智慧圖書館基礎資源云計算大數(shù)據(jù)應用服務健康感知器物聯(lián)網(wǎng)醫(yī)療設備終端無線寬帶、3G、4G網(wǎng)絡、物聯(lián)網(wǎng)智慧養(yǎng)老智慧社區(qū)養(yǎng)老檔案智慧政務政務審批政務服務門戶用戶門戶管理門戶移動終端智能終端PC終端用戶居民政府企業(yè)智慧社區(qū)建設標準政府信息接口第三方服務接口智慧社區(qū)：智慧政務、智慧網(wǎng)格、智慧養(yǎng)老、O2O養(yǎng)老服務緊急救援養(yǎng)老健康網(wǎng)格化管理政務服務平安社區(qū)智能物業(yè)智能家居社區(qū)O2O智慧監(jiān)管：整合數(shù)據(jù)實現(xiàn)企業(yè)信用監(jiān)管企業(yè)監(jiān)管安全監(jiān)管經(jīng)濟市場工商質(zhì)檢安監(jiān)食品安全衛(wèi)生安全公共安全宏觀經(jīng)濟節(jié)能減排價格指數(shù)傳感器監(jiān)控攝像GPSRFID移動設備….無線網(wǎng)關企業(yè)行為基礎設施市場行為經(jīng)濟行為……水電氣熱交通運輸市政設施基礎設施智慧政務：數(shù)據(jù)開放、權(quán)利公開、政務協(xié)同6智慧政務全面整合政府門戶及下屬單位子網(wǎng)站的信息資源，實現(xiàn)有序互聯(lián)、有效共享，政府各部門通過重置流程及資源，以提供市民及公司便捷、優(yōu)質(zhì)、低成本的服務增加創(chuàng)新的溝通渠道，提供市民與領導，企業(yè)與政府之間互動交流的平臺機制，加強與各界代表人士的協(xié)商，樹立一個公平、公正、公開，并且響應快速高效的政府形象利用網(wǎng)上行政監(jiān)察和法制監(jiān)督系統(tǒng)對“服務”的治理，對行政執(zhí)法信息公開的程度和執(zhí)行效率進行監(jiān)督，確保行政行為依法、透明、廉潔、高效運行政府各聯(lián)網(wǎng)部門實現(xiàn)數(shù)據(jù)整合和信息資源共享，對政府工作流程進行優(yōu)化和改造，以標準化服務的方式實現(xiàn)各類跨部門的聯(lián)動業(yè)務，提高政府辦事效率一站式服務：互動溝通：并聯(lián)審批：權(quán)力公開：安全管理42

實時監(jiān)控統(tǒng)計安全事件，顯示事件名稱、緊急程度、類別、上報部門、發(fā)生時間等信息，支持在GIS上進行定位顯示。提供事件周邊應急資源的分析功能，包括醫(yī)院床位數(shù)、應急物資、避難場所等，便于市領導對現(xiàn)場進行應急指揮。大數(shù)據(jù)統(tǒng)計平臺預測分析、決策支持預測模型預測結(jié)果管理者可以實現(xiàn)管理者可以實現(xiàn)民生資源：社會保險收支預測價格波動預測市場經(jīng)濟預測…….基礎設施：安全生產(chǎn)預測…公眾服務：統(tǒng)計交通容量預測…安全監(jiān)管：衛(wèi)生疫情預測…歷史數(shù)據(jù)輿情報告年度報告監(jiān)測數(shù)據(jù)……目標庫行動指揮宏觀調(diào)控交通規(guī)劃安全通告……可視化決策管理統(tǒng)計報表分析政務數(shù)據(jù)分析統(tǒng)計運行態(tài)勢客觀評價小李，咱們統(tǒng)計的生態(tài)環(huán)境總體狀況怎么樣？哪些環(huán)節(jié)需要重點關注和改進？好的，馬上給您整理報告。層層分析各領域運行狀態(tài)細化到最原始的指標數(shù)據(jù)，并提供指標變化趨勢分析。統(tǒng)計綜合體征領域指標三級指標監(jiān)測指標公共安全交通出行生態(tài)環(huán)境基礎設施綜合評價全面、直觀、多視角、快速了解統(tǒng)計的總體運行狀態(tài)。發(fā)現(xiàn)不足確定需要重點關注和改進的指標數(shù)據(jù)，安排專項整治。點擊播放大數(shù)據(jù)統(tǒng)計平臺總體產(chǎn)品框架非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺（X86MPP集群）應急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)基礎計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺（Hadoop集群）數(shù)據(jù)大腦管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（Hadoop集群）歷史歸檔查詢平臺（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層內(nèi)部應急系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)統(tǒng)計日常統(tǒng)計服務處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：……政府日常應急處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：……政府內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常應急處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評……政府外部數(shù)據(jù)政府外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……

源數(shù)據(jù)內(nèi)容在本次項目實施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)統(tǒng)計和政府應急系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負責，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)交換層設計目標傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性的設計工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件政府系統(tǒng)數(shù)據(jù)服務層外部大數(shù)據(jù)統(tǒng)計系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導入臨時區(qū)數(shù)據(jù)平臺導出臨時區(qū)NAS存儲ETL程序區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)政府數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的應急系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)銀行數(shù)據(jù)平臺加工計算結(jié)果返回給應急系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務器通過文件系統(tǒng)Link建立映射大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件政府內(nèi)部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等政府外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等批量采集：大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應用，調(diào)用大據(jù)源API，或以網(wǎng)絡平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)組件以實時和批量兩種模式實現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入大數(shù)據(jù)區(qū)處理對象實現(xiàn)技術(shù)實現(xiàn)功能應用場景大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件政府內(nèi)部應急系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：統(tǒng)計統(tǒng)計服務數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫政府互聯(lián)網(wǎng)銀行應急數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)的HiveTable組件以實時和批量模式實現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文件進行質(zhì)量校驗數(shù)據(jù)加載，加載數(shù)據(jù)到臨時數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺連接供應鏈銀行系統(tǒng)數(shù)據(jù)庫，分析供應鏈銀行MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到銀行平臺NAS存儲的指定目錄，銀行平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表處理對象實現(xiàn)技術(shù)實現(xiàn)功能應用場景大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)Sqoop實現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換組件以批量方式實現(xiàn)下列數(shù)據(jù)交換功能：貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)處理對象實現(xiàn)技術(shù)實現(xiàn)功能應用場景大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：獲取應急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取政府內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標準化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應用大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對象包括應急系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進行歸檔貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層應急系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機貼源數(shù)據(jù)模型不保存歷史應急系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水數(shù)據(jù)數(shù)據(jù)標準化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）政府內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲數(shù)據(jù)，進行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行智慧統(tǒng)計大數(shù)據(jù)云MapReduce分布式計算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問應急人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計算，HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨立的Hadoop集群（HDFS+Hive）無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）應急系統(tǒng)歷史明細數(shù)據(jù)打破應急條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求第三范式模型保留長期歷史，需要根據(jù)主題細化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預加工后的結(jié)果數(shù)據(jù)針對應用需求進行數(shù)據(jù)預連接、預匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）按沙盤演練需求，準備的明細或匯總應急數(shù)據(jù)為數(shù)據(jù)科學家的挖掘預測操作提供數(shù)據(jù)服務數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級應急人員進行靈活查詢、挖掘預測I/O敏感，終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF獨立的Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、應急人員訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享

MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障，7×24小時+非工作日有限停機維度數(shù)據(jù)模型依賴應急需求面向政府內(nèi)部管理分析類應用需求的匯總數(shù)據(jù)為服務、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務沙盤演練數(shù)據(jù)區(qū)應用集市數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結(jié)果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的政府內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求應用模型，依賴于用戶應急需求依賴于用戶應急需求政府外部人員，如：服務通過自己部署在Paas平臺上的應用訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨立的Paas平臺，部署Hadoop集群無單點故障，7×24小時+非工作日有限停機政府應急人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感，BI工具或應急系統(tǒng)高并發(fā)、高時效查詢，以及準實時連續(xù)ETL處理+SQL批量處理獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，365×24小時不停機貼源數(shù)據(jù)模型依賴用戶應急需求面向應用的應急系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準實時分析應用提供數(shù)據(jù)服務增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)區(qū)銀行應急數(shù)據(jù)主題數(shù)據(jù)區(qū)政府管理集市財務管理集市運營管理集市風險管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應鏈系統(tǒng)數(shù)據(jù)財務審計數(shù)據(jù)財務研發(fā)數(shù)據(jù)操作型明細據(jù)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)應用層大數(shù)據(jù)平臺應用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎，實現(xiàn)的查詢類應用歷史查詢類應用通常使用BI工具或自主開發(fā)實現(xiàn)服務經(jīng)理等最終應急人員針對當前應急的發(fā)生（如：用戶交易、用戶訪問日志），進行實時查詢、分析的應用管理分析類應用主要實現(xiàn)了政府服務管理、運營管理、財務管理、風險管理、監(jiān)管信息披露五大分析體系功能管理分析類應用通常采用套裝軟件和BI工具（MicroStrategy等）實現(xiàn)應急人員根據(jù)應急需求或自己對應急的理解，設計計算模型，準備各類明細或匯總數(shù)據(jù)，導入模型運算，驗證應急結(jié)果沙盤演練類應用通常使用R語言在Hadoop分布式體系下實現(xiàn)政府數(shù)據(jù)科學家根據(jù)自己對應急需求的理解或者對市場的判斷，設計并運行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向政府內(nèi)外部用戶管理分析類應用1沙盤演練類應用3歷史查詢類應用4高時效類分析應用5數(shù)據(jù)增值類產(chǎn)品2實時分析類應用通常使用CEP、ESB等技術(shù)實現(xiàn)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——平臺發(fā)展不同階段對應應用工作負載復雜度大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生？動態(tài)數(shù)據(jù)倉庫階段

讓正確的事情發(fā)生！分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預測為主階段將會發(fā)生什么？批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復雜度增長ETL處理復雜度增長管理分析類應用歷史查詢類應用實時分析類應用沙盤演練類應用數(shù)據(jù)增值類產(chǎn)品大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——管理分析類應用總賬分析資產(chǎn)負債表分析損益表分析現(xiàn)金流量表分析財務指標分析盈利分析機構(gòu)貢獻度產(chǎn)品貢獻度服務細分貢獻度渠道績效資產(chǎn)負債分析主要指標報告，如：凈利息收入、凈收入、凈現(xiàn)值、市場價值等頭寸報告現(xiàn)金流報告風險價值（VaR）計算財務預算與計劃財務預算財務計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務計劃執(zhí)行分析預測與場景分析應急規(guī)模預測收益預測……領導管理駕駛艙機構(gòu)績效考核服務經(jīng)理考核服務經(jīng)理工作量評估服務經(jīng)理服務服務收益評估產(chǎn)品績效考核應急量考核供應鏈銀行應急人人貸應急保理應急基金應急其它中間應急……渠道成本與收益……風險監(jiān)控報表/信息披露流動性報表利率敏感性報表資本充足率報表……市場風險市場風險暴露值流動性管理、利率管理信用風險信用風險暴露值計算信用風險控制（貸前控制、貸中監(jiān)控、貸后分析）操作風險異常交易預警后督差錯檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預警欺詐交易分布分析全面風險管理……目前監(jiān)管機構(gòu)沒有明確要求服務單一視圖政府服務信息管理個人服務信息管理同業(yè)服務信息管理目標服務搜索重點服務關懷服務風險服務異動服務服務細分個人服務細分政府服務細分服務行為分析服務輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營銷活動管理營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果營銷活動自動化渠道接口與集成流程自動化……服務管理運營管理財務管理風險管理監(jiān)管披露示例大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語句，完成應急信息的即席查看多維分析：從多個維度靈活組合對目標值進行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)政府運營中的問題，通過手機、郵件等方式報警決策層管理層應急人員即席查詢靜態(tài)報表多維分析儀表盤挖掘預測儀表盤：通過儀表盤及其它展現(xiàn)方式對政府關鍵績效指標進行展示，為領導層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表：按照預先定義格式，批處理報表，在線查詢報表等Office集成：將分析應用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務挖掘預測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學家應急系統(tǒng)Web服務：將分析應用的功能發(fā)布為Web服務，注冊在政府服務總線上，供其它應急系統(tǒng)或分析應用調(diào)用，獲取分析結(jié)果多種展現(xiàn)形式滿足各層級用戶及應用系統(tǒng)使用需求大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控層銀行數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標準化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊考核指標責任評價標準執(zhí)行評價政策執(zhí)行評價評價標準數(shù)據(jù)類型數(shù)據(jù)格式應急分類真實性定義及時性定義完整性定義技術(shù)元數(shù)據(jù)流程評價與考核流程考核指標建立/維護流程標準建立/維護流程組織建立/維護流程評價與考核應急含義一致性定義數(shù)據(jù)認責平臺安全等級權(quán)限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建應急元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標準數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計定義保留策略……大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準（數(shù)據(jù)標準、質(zhì)量要求、安全要求）遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質(zhì)量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標，去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術(shù)平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關標準和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理應急元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負責定義和管理應急數(shù)據(jù)相關標準，制定遵尋標準所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領導的參與，是整個數(shù)據(jù)管控的成敗的關鍵。典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負責單位崗位角色數(shù)據(jù)管控主導方信息管理委員會

數(shù)據(jù)標準管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生單位數(shù)據(jù)管控參與方應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用單位應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有單位應急協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理單位運維組織實施項目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)標準管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標準的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標準管理工作可以分為以下幾個部分：數(shù)據(jù)標準建立和維護、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)標準管理的考評。數(shù)據(jù)標準建立和維護數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關鍵應急對象關鍵代碼數(shù)據(jù)維度代碼映射服務類數(shù)據(jù)標準產(chǎn)品類數(shù)據(jù)標準。。。類數(shù)據(jù)標準數(shù)據(jù)標準執(zhí)行數(shù)據(jù)標準管理的考評定性考評定量考評數(shù)據(jù)標準分析報告數(shù)據(jù)標準理念推廣歸檔系統(tǒng)……ODS大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的：數(shù)據(jù)質(zhì)量要求確認，根據(jù)應急要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標準的要求；數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實施相應的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求應急規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質(zhì)量標準數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)質(zhì)量考核指標數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補錄手工修正自動修正數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報告大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——元數(shù)據(jù)管理應急元數(shù)據(jù)：面向應急人員，從應急術(shù)語、應急描述、應急指標和應急規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級：根據(jù)應急要求，制定一系列的數(shù)據(jù)安全分級標準和政策，為數(shù)據(jù)應用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎。數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級標準，定義數(shù)據(jù)訪問的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權(quán)機制，實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權(quán)責數(shù)據(jù)訪問授權(quán)規(guī)則安全技術(shù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——高階工作流程應急數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認責流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標體系數(shù)據(jù)標準管理管理高階流程數(shù)據(jù)標準建立流程數(shù)據(jù)標準維護流程數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認責流程數(shù)據(jù)標準、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關基礎系統(tǒng)為主要信息來源，通過應用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口首頁標準管理主菜單指標速遞待辦事項信息地圖標準瀏覽標準維護工作管理流程管理績效指標系統(tǒng)管理用戶管理權(quán)限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標準知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫數(shù)據(jù)層應用層展現(xiàn)層大數(shù)據(jù)統(tǒng)計平臺總體產(chǎn)品框架非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺（X86MPP集群）應急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)基礎計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺（Hadoop集群）數(shù)據(jù)管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（Hadoop集群）歷史歸檔查詢平臺（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺目錄大數(shù)據(jù)統(tǒng)計平臺綜述1大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)2大數(shù)據(jù)統(tǒng)計平臺演進路線3大數(shù)據(jù)統(tǒng)計平臺建設實施重點4大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺5大數(shù)據(jù)統(tǒng)計平臺演進路線以基礎平臺搭建為主，配合政府初期應急開展，應用建設從服務信息管理、風險管理和運營管理三方面開展搭建大數(shù)據(jù)處理平臺和實時分析平臺，應用方面開展實時分析和數(shù)據(jù)產(chǎn)品封裝開展服務信息管理、信用風險評級和應急統(tǒng)計分析三類應用建設開展貼源數(shù)據(jù)整合，初步建立政府級數(shù)據(jù)視圖，實現(xiàn)對管理分析類應用和實時分析類應用的支撐規(guī)劃數(shù)據(jù)管控藍圖，初步實施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理2013年2014年——2015年2015年以后對政府價值的創(chuàng)造應管技應急分析框架基礎數(shù)據(jù)平臺數(shù)據(jù)管控體系應技管全面開展內(nèi)部管理分析、實時分析和沙盤演練應用建設，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展大數(shù)據(jù)統(tǒng)計平臺建設，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設隨著應用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設，開展數(shù)據(jù)標準化工作應技管深化分析體系，形成深度智能化應急分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成政府政府級的數(shù)據(jù)管控體系應技管一期2013.10當前位置未來持續(xù)優(yōu)化提升階段第一階段第二階段第三階段政務數(shù)據(jù)開放大數(shù)據(jù)統(tǒng)計平臺演進說明——基礎數(shù)據(jù)平臺階段劃分建設內(nèi)容預期效果第一階段搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎計算平臺，設計并實施貼源數(shù)據(jù)區(qū)，以T+1頻率整合統(tǒng)計和銀行應急數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔統(tǒng)計和銀行應急數(shù)據(jù)文件搭建內(nèi)部管理分析應用平臺，部署MPP集群和BI分析應用環(huán)境搭建實時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境實現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實現(xiàn)了應急數(shù)據(jù)按照貼源數(shù)據(jù)模整合實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實現(xiàn)了內(nèi)部管理分析環(huán)境搭建實現(xiàn)實時分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強和優(yōu)化，包括：大數(shù)據(jù)交換組件設計實施基礎計算平臺增強，包括：引入更多的數(shù)據(jù)源，增強貼源數(shù)據(jù)區(qū)；設計并實施主題數(shù)據(jù)區(qū)，打破應急條線整合數(shù)據(jù)；設計并實施大數(shù)據(jù)區(qū)，實現(xiàn)政府內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理搭建沙盤演練平臺實時分析平臺增強和優(yōu)化，包括：引入更多應用及相關數(shù)據(jù)源實現(xiàn)了基礎數(shù)據(jù)一次存儲、一次計算、多次使用建立了數(shù)據(jù)分析人員的實驗環(huán)境，實現(xiàn)了用戶自主用數(shù)為實時、準實時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎計算平臺持續(xù)增強和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺，設計并實施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化數(shù)據(jù)平臺納入盡可能多的政府內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應用大數(shù)據(jù)統(tǒng)計平臺演進說明——數(shù)據(jù)管控階段劃分建設內(nèi)容預期效果第一階段分析和梳理當前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍圖和路線圖設計，數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設計梳理政府大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標、管控流程，并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理政府大數(shù)據(jù)平臺包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務、ETL流程、BI語義層等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)同步大數(shù)據(jù)統(tǒng)計平臺ETL建設，實現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了政府所有技術(shù)元數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術(shù)元數(shù)據(jù)梳理政府大數(shù)據(jù)平臺包含的應急和管理類元數(shù)據(jù)，如應急術(shù)語、應急指標、應急定義等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)開展基礎類數(shù)據(jù)標準建設，基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實現(xiàn)了政府全方位的元數(shù)據(jù)管理，打通了應急和技術(shù)元數(shù)據(jù)關聯(lián)關系為政府數(shù)據(jù)平臺建設提供了基礎類數(shù)據(jù)標準第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強元數(shù)據(jù)管理持續(xù)優(yōu)化并增強基礎類數(shù)據(jù)標準逐步落地實施開展指標類數(shù)據(jù)標準建設基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關系，使得應急人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實用性大數(shù)據(jù)統(tǒng)計平臺演進說明——應用體系階段劃分建設內(nèi)容預期效果第一階段開展服務信息管理建設，設計并實施個人服務和供應商360°視圖、服務目標搜索、服務細分等功能開展風險管理建設，設計并實施供應商和個人服務風險評級模型開展運營管理建設，設計并實施服務民生等應急條線應急量統(tǒng)計分析初步梳理實時、準實時分析需求，進行高時效分析應用試點可以方便的對個人服務和供應商進行分群，以及全方位信息查詢和展示供應商和個人服務風險等級評定針對目前開展的應急進行經(jīng)營情況統(tǒng)計分析搭建并驗證高時效應用體系第二階段隨著政府應急的展開，逐步開展內(nèi)部管理分析體系的建設，本階段重點為服務關系管理、運營管理等高級應急人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預測和科學試驗進一步樹立實時、準實時分析需求，深化開展高時效分析應用開始梳理市場上的數(shù)據(jù)應用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析體系的建設、滿足了政府日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要實現(xiàn)了應急人員自主用數(shù)實現(xiàn)了高時效分析，與應急流程的整合實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值第三階段隨著政府應急的展開，進一步完善內(nèi)部管理分析體系的建設，包括：市場風險管理、操作風險管理、財務管理等收集實時分析需求，進一步增強并優(yōu)化實時分析應用體系增值數(shù)據(jù)產(chǎn)品設計逐漸成為重點，數(shù)據(jù)分析師收集政府內(nèi)外部數(shù)據(jù)需求，設計更完善的增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析應用體系建設進一步實現(xiàn)數(shù)據(jù)共享、應急協(xié)作與創(chuàng)新通過實時分析應用體系建設，實現(xiàn)大數(shù)據(jù)平臺應急系統(tǒng)的交互，與應急流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值目錄大數(shù)據(jù)統(tǒng)計平臺綜述1大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)2大數(shù)據(jù)統(tǒng)計平臺演進路線3大數(shù)據(jù)統(tǒng)計平臺建設實施重點4大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺5銀行大數(shù)據(jù)統(tǒng)計平臺一期架構(gòu)基礎計算平臺：基于Hadoop集群構(gòu)建，按照應急條線、以貼源數(shù)據(jù)模型存儲了應急系統(tǒng)明細數(shù)據(jù)數(shù)據(jù)交換平臺：NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的暫存，應急數(shù)據(jù)交換組件實現(xiàn)了應急系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)了基礎計算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺：自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務調(diào)度和運行管理分析平臺：由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應用構(gòu)成，實現(xiàn)了面向應用的數(shù)據(jù)加工、管理、分析服務實時分析平臺：由高檔X86服務器組成的集群，實現(xiàn)高時效、高并發(fā)的實時、準實時類管理分析需求基于大數(shù)據(jù)平臺實現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)的協(xié)同發(fā)展，以大數(shù)據(jù)運營的思路來落實信息惠民，拉動信息消費數(shù)據(jù)交換平臺—平臺邏輯架構(gòu)云數(shù)據(jù)推送平臺實現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲在MySQL集群平臺按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄POP銀行大數(shù)據(jù)統(tǒng)計平臺NAS集群物流財務供應鏈人人貸……云數(shù)據(jù)推送平臺數(shù)據(jù)交換平臺由FTP服務器、加載服務器和NAS存儲組成，完成應急系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務器：利用LVS構(gòu)成的FTP集群，接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)，存儲在NAS集群的指定目錄加載服務器：部署ETL任務，實現(xiàn)指定目錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)加載（HiveLoad）到臨時數(shù)據(jù)區(qū)，同時歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL…………LVS集群：FTP服務器#3加載服務器#1文件加載文件歸檔文件到達事件監(jiān)控文件級檢核加載服務器#4文件加載文件歸檔文件到達事件監(jiān)控文件級檢核LVS集群：FTP服務器#1LVS集群：負載均衡服務器…………數(shù)據(jù)交換平臺—參與方責任劃分設計并實施云數(shù)據(jù)推送平臺；按照政府接口定義，抽取應急系統(tǒng)數(shù)據(jù)；按照政府接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)政府更新接口規(guī)范提供數(shù)據(jù)；應及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；對于未盡事宜，應同政府協(xié)商解決。云計算安裝部署政府大數(shù)據(jù)統(tǒng)計平臺物理環(huán)境、應用軟件，并進行基礎設施運維；在應急系統(tǒng)數(shù)據(jù)庫服務器安裝并部署云數(shù)據(jù)推送平臺服務端，并提供數(shù)據(jù)庫訪問。運維單位制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；梳理應急系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對接收的數(shù)據(jù)提供驗證功能，并返回驗證結(jié)果到云數(shù)據(jù)推送平臺；根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；對于未盡事宜，應同云計算方協(xié)商解決。政府針對政府需求，指定接口人、提供文檔；應急系統(tǒng)因版本升級等原因?qū)е聰?shù)據(jù)模型發(fā)生變化，及時通知云數(shù)據(jù)推送平臺接口責任人。研發(fā)單位數(shù)據(jù)交換平臺—應急系統(tǒng)數(shù)據(jù)抽取實現(xiàn)方式每張源系統(tǒng)表都對應一個獨立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺應該生成空的數(shù)據(jù)接口傳輸方式FTP傳輸，利用LVS技術(shù)構(gòu)建FTP集群，接收數(shù)據(jù)傳輸頻率云數(shù)據(jù)推送平臺通常按照T+1頻率為政府提供數(shù)據(jù)，具體頻率要求參見接口定義接口處理模式云數(shù)據(jù)推送平臺根據(jù)不同接口單元定義，準備數(shù)據(jù)、生成接口數(shù)據(jù)文件；云數(shù)據(jù)推送平臺根據(jù)接口規(guī)范生成相應的接口控制文件；云數(shù)據(jù)推送平臺壓縮數(shù)據(jù)（LZO），并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；銀行大數(shù)據(jù)統(tǒng)計平臺部署在不同加載服務器上的數(shù)據(jù)交換組件完成：定時輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；執(zhí)行文件級檢核；通過檢核后，

將數(shù)據(jù)文件和控制文件移動到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；在TaskAutomation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務。數(shù)據(jù)交換平臺—平臺部署架構(gòu)數(shù)據(jù)交換平臺由8臺X86服務器和一個NAS集群構(gòu)成X86服務器按照功能分為2組，一組實現(xiàn)數(shù)據(jù)獲取，一組實現(xiàn)數(shù)據(jù)加載和歸檔NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務器共享訪問（讀寫）PythonruntimePythonJSSModuleFTPRedhatLinuxLVS服務器4HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器1HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器4LANPythonruntimePythonJSSModuleLVSRedhatLinuxLVS服務器1…………NAS集群負責源系統(tǒng)數(shù)據(jù)文件加載和歸檔每臺服務器負責多個源系統(tǒng)支持按需擴展/減少服務器LVS1負載均衡其它LVS服務器負責接收接口文件，寫入NAS集群目錄支持按需擴展/減少服務器部署數(shù)據(jù)交換平臺和流程調(diào)度平臺程序，各服務器通過文件鏈接使用按日期和源系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交換平臺訪問流程調(diào)度平臺—平臺邏輯架構(gòu)TaskAutomation驅(qū)動各個平臺、實現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理數(shù)據(jù)交換平臺負責數(shù)據(jù)抽取、文件級質(zhì)量檢核、調(diào)用HiveLoad加載數(shù)據(jù)基礎計算平臺使用HiveSQL實現(xiàn)貼源數(shù)據(jù)整合、公共匯總數(shù)據(jù)處理管理分析平臺使用關系型數(shù)據(jù)庫的SQL實現(xiàn)集市數(shù)據(jù)的處理歷史歸檔查詢平臺負責數(shù)據(jù)文件和Hadoop集群數(shù)據(jù)歸檔流程調(diào)度平臺—流程調(diào)度元數(shù)據(jù)TaskAutomation的元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中任務定義，包括任務名稱、描述、運行服務器、運行狀態(tài)、運行時間、相關數(shù)據(jù)源等屬性任務依賴，任務的執(zhí)行依賴與其他上游任務任務觸發(fā)，任務成功執(zhí)行后觸發(fā)的下游任務任務組，一組有相互關系的任務，全部完成后會觸發(fā)頭任務運行……元數(shù)據(jù)由所有流程調(diào)度服務器共享流程調(diào)度平臺—任務調(diào)度引擎通過偵測器偵測事件，按照任務定義和任務依賴關系觸發(fā)任務運行，觸發(fā)方式把主要包括自動觸發(fā)定時觸發(fā)，按照預先定義的時間周期，如每日、每周、每月，或任何有規(guī)律的時間間隔執(zhí)行任務。目前可明確的任務主要是每月執(zhí)行的基礎計算平臺、管理分析平臺數(shù)據(jù)歸檔。事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務。如：數(shù)據(jù)文件到達指定目錄，會觸發(fā)數(shù)據(jù)加載任務。同樣，流程失敗也會觸發(fā)新的job，如錯誤處理、例外處理等。手動觸發(fā)系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍的數(shù)據(jù)進行審計與驗證、對特定范圍的數(shù)據(jù)進行針對性很強的數(shù)據(jù)清洗、或者是對某流程失敗后的修復。每個要執(zhí)行的任務均由任務執(zhí)行代理啟動運行流程調(diào)度平臺—集群可靠性和可擴展性高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務器發(fā)生故障不會破壞元數(shù)據(jù)完整性。服務器故障時，只需要修改ET