大數(shù)據(jù)統(tǒng)計平臺建設(shè)方案

r 大數(shù)據(jù)統(tǒng)計平臺建設(shè)方案 CONTENTS CONTENTS 5大數(shù)據(jù)統(tǒng)計平臺治理善善 缺乏標(biāo)準(zhǔn)03缺乏機制缺乏理念缺乏工具缺乏理念協(xié)同運作精確管控創(chuàng)新應(yīng)用充分整合協(xié)同運作精確管控創(chuàng)新應(yīng)用充分整合全面感知智能處理共享歷史-傳統(tǒng)共享共享財務(wù)標(biāo)準(zhǔn)業(yè)務(wù)流程各部門共享平臺建設(shè)目標(biāo)-業(yè)財資稅數(shù)字化生態(tài)圈業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)稅務(wù)系統(tǒng)財務(wù)系統(tǒng)負(fù)責(zé)業(yè)務(wù)管理及業(yè)務(wù)數(shù)據(jù)采集驅(qū)動財務(wù)信息稅務(wù)系統(tǒng)財務(wù)系統(tǒng)負(fù)責(zé)財務(wù)信息生成及處理反饋及控制業(yè)務(wù)資金系統(tǒng)資金系統(tǒng)負(fù)責(zé)增值稅進項銷項管理負(fù)責(zé)資金統(tǒng)一支付通過主數(shù)據(jù)管理規(guī)劃、數(shù)據(jù)采集載體設(shè)計、通過主數(shù)據(jù)管理規(guī)劃、數(shù)據(jù)采集載體設(shè)計、數(shù)據(jù)分析挖掘及建模，支撐管理會計指標(biāo)體系分析，支撐財務(wù)管理報表。01數(shù)據(jù)規(guī)劃02數(shù)據(jù)采集03數(shù)據(jù)分析生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)推動管理會計體系建設(shè)生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)提升工作質(zhì)量和效率u提升價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建設(shè)提升工作質(zhì)量和效率提升全面預(yù)算管控能力提升全面預(yù)算管控能力提升資金集中管控能力提升制度執(zhí)行力提升風(fēng)險管控能力提升風(fēng)險管控能力生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力u提升價值創(chuàng)造能力財務(wù)數(shù)據(jù)生產(chǎn)驅(qū)動財務(wù)數(shù)據(jù)生產(chǎn)驅(qū)動業(yè)務(wù)數(shù)據(jù)支撐精準(zhǔn)決策創(chuàng)造價值支撐精準(zhǔn)決策創(chuàng)造價值加工加工通過管理提升創(chuàng)造價值財務(wù)部門業(yè)務(wù)部門業(yè)務(wù)業(yè)務(wù)支撐支撐生態(tài)良性循環(huán)創(chuàng)造價值分析通過管理提升創(chuàng)造價值財務(wù)部門業(yè)務(wù)部門業(yè)務(wù)業(yè)務(wù)支撐支撐生態(tài)良性循環(huán)創(chuàng)造價值分析業(yè)財生態(tài)圈推動管理會計體系建設(shè)推動管理會計體系建設(shè)財務(wù)信息反映財務(wù)信息反映控制業(yè)務(wù)信息生態(tài)圈提升企業(yè)統(tǒng)計價值創(chuàng)造能力u提升價值創(chuàng)造能力支撐精準(zhǔn)決策創(chuàng)造價值支撐精準(zhǔn)決策創(chuàng)造價值通過管理提升創(chuàng)造價值通過管理提升創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值生態(tài)良性循環(huán)創(chuàng)造價值推動管理會計體系建立推動管理會計體系建立信息化生態(tài)圈體系架構(gòu)-工業(yè)板塊信息化生態(tài)圈體系架構(gòu)-工業(yè)板塊業(yè)務(wù)相關(guān)系統(tǒng)業(yè)務(wù)相關(guān)系統(tǒng)財務(wù)共享財務(wù)共享查詢分析查詢分析主數(shù)據(jù)平臺主數(shù)據(jù)平臺信息化體系部署架構(gòu)微信平臺微信平臺財務(wù)頂層平臺財務(wù)頂層平臺資金平臺資金平臺集成門戶影像系統(tǒng)報賬平臺核算系統(tǒng)專項核算報表系統(tǒng)共享平臺報賬平臺核算系統(tǒng)專項核算報表系統(tǒng)共享平臺數(shù)字生態(tài)共享建設(shè)方案數(shù)據(jù)分析數(shù)據(jù)采集建模工具展現(xiàn)設(shè)置數(shù)據(jù)分析預(yù)警模型風(fēng)險預(yù)警領(lǐng)導(dǎo)查詢數(shù)據(jù)采集建模工具展現(xiàn)設(shè)置數(shù)據(jù)分析預(yù)警模型風(fēng)險預(yù)警領(lǐng)導(dǎo)查詢移動展現(xiàn)業(yè)務(wù)規(guī)范以“互聯(lián)網(wǎng)+財務(wù)”的模式，為企業(yè)統(tǒng)計提供2、報賬平臺根據(jù)資金支付額度進行資金支付控制1、用核算系統(tǒng)的財務(wù)信息控制業(yè)務(wù)系統(tǒng)的業(yè)務(wù)發(fā)生，2、報賬平臺根據(jù)資金支付額度進行資金支付控制4、資金平臺支付完成，共享平臺形成正式憑證給核算系統(tǒng)，形成閉環(huán)3、共享平臺生成預(yù)憑證后，4、資金平臺支付完成，共享平臺形成正式憑證給核算系統(tǒng)，形成閉環(huán)臺，資金平臺提供統(tǒng)一支付出口程標(biāo)準(zhǔn)化機構(gòu)、人員、客商、標(biāo)準(zhǔn)化機構(gòu)、人員、客商、系統(tǒng)集成和數(shù)據(jù)分析打好基將業(yè)財審批流程標(biāo)準(zhǔn)化，由系統(tǒng)控制流程風(fēng)險，推進內(nèi)將業(yè)務(wù)數(shù)據(jù)用標(biāo)準(zhǔn)化的表單進行采集，加強業(yè)務(wù)規(guī)范性將業(yè)務(wù)數(shù)據(jù)用標(biāo)準(zhǔn)化的表單進行采集，加強業(yè)務(wù)規(guī)范性、橫向可比性，強化核算依據(jù)的標(biāo)準(zhǔn)與規(guī)范，為自動制證和賬轉(zhuǎn)表的實現(xiàn)由系統(tǒng)自動制證，標(biāo)準(zhǔn)化統(tǒng)計財務(wù)核算政策與標(biāo)準(zhǔn)，實現(xiàn)業(yè)財數(shù)據(jù)縱向一致性，提高統(tǒng)計內(nèi)部財務(wù)數(shù)據(jù)數(shù)據(jù)挖掘及風(fēng)險管理數(shù)據(jù)挖掘及風(fēng)險管理數(shù)據(jù)資產(chǎn)經(jīng)營指標(biāo)分析數(shù)據(jù)資產(chǎn)經(jīng)營指標(biāo)分析數(shù)據(jù)資產(chǎn)形成管理報表數(shù)據(jù)資產(chǎn)形成管理報表數(shù)據(jù)資產(chǎn)形成財務(wù)報表數(shù)據(jù)資產(chǎn)形成財務(wù)報表根據(jù)數(shù)據(jù)資產(chǎn)應(yīng)用要求優(yōu)化數(shù)據(jù)采集數(shù)據(jù)資產(chǎn)管理分析建模數(shù)據(jù)資產(chǎn)挖掘進行風(fēng)險管理股份數(shù)據(jù)中心及主數(shù)據(jù)建設(shè)組織機構(gòu)、職能部門、企業(yè)職員、系統(tǒng)用戶、崗位職責(zé)等。會計科目、輔助類別、銀行賬戶、客商往來、業(yè)務(wù)板塊等。國家地區(qū)、企業(yè)類型、單位隸屬關(guān)系、營業(yè)狀態(tài)、職稱等。機構(gòu)、部門、人員、客商、字典新增及變更審批，申請審批功能。跨局管理交易的數(shù)據(jù)的抽取及對賬。各局共享數(shù)據(jù)抽取及分析展現(xiàn)。共享平臺建設(shè)共享站點及分中心管理；共享業(yè)務(wù)分組及崗位設(shè)置。共享會計注冊及管理。任務(wù)處理共享任務(wù)的分發(fā)機制；共享標(biāo)準(zhǔn)節(jié)點：初審、符合、資金處理節(jié)點。影像采集、發(fā)票識別、影像上傳、影像管理、影像補掃、電子文檔等。資金相關(guān)的核算及管理工作，主要負(fù)責(zé)資金中心的收支業(yè)務(wù)。資產(chǎn)（臨時設(shè)施、在建工程、資金相關(guān)的核算及管理工作，主要負(fù)責(zé)資金中心的收支業(yè)務(wù)。職工薪酬及差旅費、會議費等經(jīng)費報銷業(yè)務(wù)。經(jīng)費報銷業(yè)務(wù)。收入確認(rèn)、成本確認(rèn)、勞務(wù)結(jié)算、材料領(lǐng)用、攤銷及處置、機械費結(jié)算、其他直接費結(jié)算、專項儲備、研發(fā)支出、其他業(yè)務(wù)收入及成本等業(yè)務(wù)。應(yīng)收應(yīng)付賬齡分析、營業(yè)外收支、質(zhì)保金折現(xiàn)、金融資產(chǎn)確認(rèn)轉(zhuǎn)移處置、投資、收入確認(rèn)、成本確認(rèn)、勞務(wù)結(jié)算、材料領(lǐng)用、攤銷及處置、機械費結(jié)算、其他直接費結(jié)算、專項儲備、研發(fā)支出、其他業(yè)務(wù)收入及成本等業(yè)務(wù)。精準(zhǔn)治理精準(zhǔn)治理簡政放權(quán)簡政放權(quán)經(jīng)濟發(fā)展經(jīng)濟發(fā)展服務(wù)民生服務(wù)民生產(chǎn)業(yè)聚集 把大數(shù)據(jù)產(chǎn)業(yè)與大眾創(chuàng)業(yè)、萬眾創(chuàng)新結(jié)合起來。建立大數(shù)據(jù)創(chuàng)業(yè)公司、大數(shù)據(jù)產(chǎn)業(yè)園、大數(shù)據(jù)產(chǎn)業(yè)聚集政府管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析大數(shù)據(jù)統(tǒng)計平臺建設(shè)目標(biāo)通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，政府將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類應(yīng)急進行前瞻性預(yù)測及分析，為政府各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力應(yīng)急人員使用BI應(yīng)用實現(xiàn)應(yīng)急協(xié)作和創(chuàng)新查看職能單位的應(yīng)急經(jīng)營情況應(yīng)急人員使用BI應(yīng)用實現(xiàn)應(yīng)急協(xié)作和創(chuàng)新查看職能單位的應(yīng)急經(jīng)營情況云數(shù)據(jù)推送平臺已實現(xiàn)了主要統(tǒng)計服務(wù)及銀行應(yīng)急系統(tǒng)數(shù)據(jù)清洗、整合，為未來政府?dāng)?shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。外部非結(jié)構(gòu)化數(shù)據(jù)供應(yīng)鏈銀行系統(tǒng)外部非結(jié)構(gòu)化數(shù)據(jù)供應(yīng)鏈銀行系統(tǒng)POP系統(tǒng)采購管理系統(tǒng)其他應(yīng)急系統(tǒng)POP系統(tǒng)采購管理系統(tǒng)其他應(yīng)急系統(tǒng)大數(shù)據(jù)統(tǒng)計平臺頂層框架大數(shù)據(jù)統(tǒng)計平臺建設(shè)預(yù)期收益1.實現(xiàn)數(shù)據(jù)共享2.加強應(yīng)急協(xié)作3.促進應(yīng)急創(chuàng)新4.提升建設(shè)效率5.改善數(shù)據(jù)質(zhì)量通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保政府各級單位均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為政府重要資產(chǎn)的應(yīng)急價值實現(xiàn)分散在服務(wù)民生等各個應(yīng)急系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、服務(wù)等數(shù)據(jù)的政府級視圖，有效促進應(yīng)急的集成和協(xié)作，并為政府級分析、交叉銷售提供基礎(chǔ)政府應(yīng)急人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為銀行應(yīng)急創(chuàng)新（服務(wù)服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率從中長期看，數(shù)據(jù)倉庫對政府分散在各個應(yīng)急系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于政府整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。o數(shù)據(jù)產(chǎn)生者o數(shù)據(jù)使用者o數(shù)據(jù)管控委員會o數(shù)據(jù)所有人o數(shù)據(jù)認(rèn)責(zé)人o標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）o遵守標(biāo)準(zhǔn)所需要的政策o政策與標(biāo)準(zhǔn)遵從考評定義o應(yīng)急元數(shù)據(jù)管理o技術(shù)元數(shù)據(jù)管理o管理元數(shù)據(jù)分析o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o考核儀表盤o稽核規(guī)則管理o數(shù)據(jù)稽核o質(zhì)量報告大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺綜述33大數(shù)據(jù)統(tǒng)計平臺演進路線44大數(shù)據(jù)統(tǒng)計平臺建設(shè)實施重點大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)采集交換數(shù)據(jù)融合分析共享信息應(yīng)用政府部門數(shù)據(jù)社會化數(shù)據(jù)交換數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)政府部門數(shù)據(jù)社會化數(shù)據(jù)交換數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺基礎(chǔ)屬性信息跨部門數(shù)據(jù)關(guān)聯(lián)融合按需服務(wù)跨部門數(shù)據(jù)整合加工數(shù)據(jù)質(zhì)量處理基礎(chǔ)屬性信息跨部門數(shù)據(jù)關(guān)聯(lián)融合按需服務(wù)跨部門數(shù)據(jù)整合加工數(shù)據(jù)質(zhì)量處理企業(yè)個人管理對象業(yè)務(wù)狀業(yè)務(wù)狀態(tài)信息融合數(shù)據(jù)服務(wù)數(shù)據(jù)統(tǒng)計運行大數(shù)據(jù)政府決策大數(shù)據(jù)統(tǒng)計運行大數(shù)據(jù)政府決策大數(shù)據(jù)公共服務(wù)大數(shù)據(jù)公共服務(wù)大數(shù)據(jù)產(chǎn)業(yè)升級大數(shù)據(jù)產(chǎn)業(yè)升級大數(shù)據(jù)數(shù)據(jù)融合數(shù)據(jù)融合數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)大數(shù)據(jù)基礎(chǔ)平臺大數(shù)據(jù)基礎(chǔ)平臺大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)數(shù)據(jù)管控層用戶訪問層數(shù)據(jù)應(yīng)用層實時數(shù)據(jù)區(qū)用戶訪問層數(shù)據(jù)應(yīng)用層實時數(shù)據(jù)區(qū)數(shù)據(jù)計算層處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)數(shù)據(jù)交換層數(shù)據(jù)產(chǎn)生層統(tǒng)計統(tǒng)計服務(wù)公檢法系統(tǒng)流程調(diào)度層數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量元數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)安全分析 空間數(shù)據(jù) 空間數(shù)據(jù)經(jīng)濟數(shù)據(jù)法人庫經(jīng)濟數(shù)據(jù)法人庫社會事件社會事件視頻數(shù)據(jù)采集數(shù)據(jù)源統(tǒng)計運行大數(shù)據(jù)的資源采集監(jiān)控n基礎(chǔ)設(shè)施：地下管網(wǎng)、統(tǒng)計部件n整合統(tǒng)計管理相關(guān)部門數(shù)據(jù)，建設(shè)n基礎(chǔ)設(shè)施：地下管網(wǎng)、統(tǒng)計部件n整合統(tǒng)計管理相關(guān)部門數(shù)據(jù)，建設(shè)況統(tǒng)計大數(shù)據(jù)總體體征分析基于統(tǒng)計大數(shù)據(jù)的采集分析基于統(tǒng)計大數(shù)據(jù)的采集分析，建立一套經(jīng)專家論證的、符合統(tǒng)計實際的、科學(xué)合理的統(tǒng)計運行評價指標(biāo)體系，基本涵蓋了統(tǒng)計運行的主要方面。通過儀表盤、雷達圖、柱狀圖、樹狀圖等多種呈現(xiàn)方式，使得市領(lǐng)導(dǎo)能夠全面、直觀、多視角、快速地了解整個統(tǒng)計的總體運行狀態(tài)。 統(tǒng)計體征指標(biāo)統(tǒng)計宜居指數(shù)污染源排放指數(shù)氣象指數(shù)太湖藍藻指數(shù)統(tǒng)計宜居指數(shù)污染源排放指數(shù)氣象指數(shù)太湖藍藻指數(shù)交通擁堵指數(shù)統(tǒng)計客運指數(shù)統(tǒng)計供水指數(shù)統(tǒng)計排水指數(shù)統(tǒng)計能源指數(shù)統(tǒng)計環(huán)境指數(shù)統(tǒng)計通信指數(shù)管網(wǎng)安全指數(shù)1生產(chǎn)安全指數(shù)統(tǒng)計治安指數(shù)交通安全指數(shù)消防安全指數(shù)公共衛(wèi)生指數(shù)城管綜合指數(shù)423426智慧交通：交通信息實時采集、匯總、分析、發(fā)布3雙向轉(zhuǎn)診雙向轉(zhuǎn)診/遠程醫(yī)療政府公衛(wèi)監(jiān)控/決策平臺地區(qū)大型綜合醫(yī)療醫(yī)院轉(zhuǎn)診/遠程醫(yī)療個人/家庭健康檔案區(qū)域中心醫(yī)院全方位支持/協(xié)同區(qū)域醫(yī)療信息網(wǎng)平臺智慧醫(yī)療：可穿戴設(shè)備、電子病歷、遠程醫(yī)療、移動支付雙向轉(zhuǎn)診雙向轉(zhuǎn)診/遠程醫(yī)療政府公衛(wèi)監(jiān)控/決策平臺地區(qū)大型綜合醫(yī)療醫(yī)院轉(zhuǎn)診/遠程醫(yī)療個人/家庭健康檔案區(qū)域中心醫(yī)院全方位支持/協(xié)同區(qū)域醫(yī)療信息網(wǎng)平臺上門診療/隨訪全科醫(yī)生隨診包上門診療/隨訪全科醫(yī)生隨診包社區(qū)熙康健康小屋個人/家庭健康檔案社區(qū)服務(wù)中心個人/家庭健康檔案區(qū)域診療平臺個人/家庭健康檔案區(qū)域診療平臺智慧教育：整合各類教育資源，實現(xiàn)教育資源平衡教育主管部門學(xué)校老師智慧校園智慧教室智慧圖書館電子書包遠程教育校園一卡通平安校園教育資源公共服務(wù)平臺教育管理公共服務(wù)平臺教育資源公共服務(wù)平臺教育管理公共服務(wù)平臺校校通班班通人人通智慧社區(qū)：智慧政務(wù)、智慧網(wǎng)格、智慧養(yǎng)老、O2O政府信息接口政府居民企業(yè)用戶終端政府信息接口政府居民企業(yè)用戶終端管理門戶用戶門戶智慧政務(wù)管理門戶用戶門戶智慧政務(wù)智慧養(yǎng)老智慧社區(qū)智慧養(yǎng)老智慧社區(qū)應(yīng)用服務(wù)基礎(chǔ)資源健康感知器醫(yī)療設(shè)備終端大數(shù)據(jù)云計算無線寬帶、3G、4G網(wǎng)絡(luò)、物聯(lián)網(wǎng)物聯(lián)網(wǎng)健康感知器醫(yī)療設(shè)備終端大數(shù)據(jù)云計算智慧監(jiān)管：整合數(shù)據(jù)實現(xiàn)企業(yè)信用監(jiān)管…. ….移動設(shè)備移動設(shè)備無線網(wǎng)關(guān)無線網(wǎng)關(guān) 傳感器 傳感器監(jiān)控攝像企業(yè)行為企業(yè)行為市場行為市場行為經(jīng)濟行為經(jīng)濟行為基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施企業(yè)監(jiān)管工商質(zhì)檢安監(jiān)工商質(zhì)檢安全監(jiān)管食品安全衛(wèi)生安全公共安全經(jīng)濟市場宏觀經(jīng)濟節(jié)能減排價格指數(shù)水電氣熱交通運輸市政設(shè)施水電氣熱交通運輸市政設(shè)施基礎(chǔ)設(shè)施智慧政務(wù)：數(shù)據(jù)開放、權(quán)利公開、政務(wù)協(xié)同互動溝通：增加創(chuàng)新的溝通渠道互動溝通：增加創(chuàng)新的溝通渠道，提供市民與領(lǐng)導(dǎo)，企業(yè)與政府之間互動交流的平臺機制，加強與各界代表人士的協(xié)商，樹立一個公平、公正、公開，并且響應(yīng)快速高效的政府形象一站式服務(wù)：一站式服務(wù)：全面整合政府門戶及下屬單位子網(wǎng)站的信息資源，實現(xiàn)有序互聯(lián)、有效共享，政府各部門通過重置流程及資源,以提供市民及公司便捷、優(yōu)質(zhì)、低成本的服務(wù)權(quán)力公開：利用網(wǎng)上行政監(jiān)察和法制監(jiān)督系統(tǒng)對“服務(wù)”的治理權(quán)力公開：利用網(wǎng)上行政監(jiān)察和法制監(jiān)督系統(tǒng)對“服務(wù)”的治理，對行政執(zhí)法信息公開的程度和執(zhí)行效率進行監(jiān)督，確保行政行為依法、透明、廉潔、高效運行并聯(lián)審批：政府各聯(lián)網(wǎng)部門實現(xiàn)數(shù)據(jù)整合和信息資源共享，對政府工作流程進行優(yōu)化和改造，以標(biāo)準(zhǔn)化服務(wù)的方式實現(xiàn)各類跨部門的聯(lián)動業(yè)務(wù)，提高政府辦事效率安全管理大數(shù)據(jù)統(tǒng)計平臺預(yù)測分析、決策支持可視化決策管理統(tǒng)計報表分析政務(wù)數(shù)據(jù)分析據(jù)告告據(jù)數(shù)報報數(shù)據(jù)告告據(jù)數(shù)報報數(shù)史情度測歷輿年監(jiān)庫目宏觀調(diào)控交通規(guī)劃目宏觀調(diào)控交通規(guī)劃安全通告標(biāo)預(yù)測結(jié)果預(yù)測模型標(biāo)預(yù)測結(jié)果預(yù)測模型管理者可以實現(xiàn)社會保險收支預(yù)測價格波動預(yù)測市場經(jīng)濟預(yù)測…….小李，咱們統(tǒng)計的生態(tài)環(huán)境總體狀況怎么樣？哪些環(huán)節(jié)需要重點關(guān)注和改進？好的好的，馬上給您整理報告。綜合評價綜合評價全面、直觀、多視角、快速了解統(tǒng)計的總體運行狀態(tài)。統(tǒng)計綜合體征三級指標(biāo)監(jiān)測指標(biāo)統(tǒng)計綜合體征三級指標(biāo)監(jiān)測指標(biāo)領(lǐng)域指標(biāo)層層分析層層分析各領(lǐng)域運行狀態(tài)細化到最原始的指標(biāo)數(shù)據(jù)，并提供指標(biāo)變化趨勢分析。發(fā)現(xiàn)不足發(fā)現(xiàn)不足確定需要重點關(guān)注和改進的指標(biāo)數(shù)據(jù)，安排專項整治。交通出行大數(shù)據(jù)統(tǒng)計平臺總體產(chǎn)品框架SqoopSqoop數(shù)據(jù)大腦管控平臺流程調(diào)度平臺實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺管理分析平臺群）增值產(chǎn)品平臺DistcpHQL+LoadpSqoopDistcpHQL+LoadSqoop數(shù)據(jù)大腦管控平臺流程調(diào)度平臺實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺管理分析平臺群）增值產(chǎn)品平臺DistcpHQL+LoadpSqoopDistcpHQL+LoadSqoop基礎(chǔ)計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）MRDistcpHQL+Load歷史歸檔查詢平臺（Hadoop集群+Hive）CopyfromloalLoad（Hive）QueueCopyfromloal數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）FTP云數(shù)據(jù)推送平臺SFTP/HTTP/APIFTP云數(shù)據(jù)推送平臺應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)P非結(jié)構(gòu)化應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)P非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層源數(shù)據(jù)內(nèi)容源數(shù)據(jù)內(nèi)容源數(shù)據(jù)增量源數(shù)據(jù)增量大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性的設(shè)計工具，以追求卓越的性能數(shù)據(jù)交換層設(shè)計目標(biāo)保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)服務(wù)層數(shù)據(jù)服務(wù)層數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件↓NAS存儲Hadoop數(shù)據(jù)平臺導(dǎo)入數(shù)據(jù)平臺導(dǎo)出ETL程元數(shù)據(jù)序區(qū)據(jù)政府系統(tǒng)統(tǒng)計系統(tǒng)政府系統(tǒng)統(tǒng)計系統(tǒng)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)ee政府?dāng)?shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的應(yīng)急系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)e銀行數(shù)據(jù)平臺加工計算結(jié)果返回給應(yīng)急系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層批量處理流程l批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行l(wèi)整個流程主要完成如下工作：1.獲取應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)2.獲取政府內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)題或集市數(shù)據(jù)區(qū)3.按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）4.按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總5.數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層實時數(shù)據(jù)處理流程l實時數(shù)據(jù)處理強調(diào)的是實時或準(zhǔn)實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術(shù)構(gòu)建“數(shù)據(jù)流”l整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行l(wèi)整個流程主要完成如下工作：1.通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)2.通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)3.針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程l數(shù)據(jù)歸檔的對象包括應(yīng)急系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)l數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群l整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行l(wèi)整個流程主要完成如下工作：1.數(shù)據(jù)文件通過HDFS命令行copyfromlocal進行歸檔2.貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔3.集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)） 操作型聚合數(shù)據(jù)操作型聚合數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)數(shù)據(jù)集成層歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)操作型明細據(jù)源系統(tǒng)源系統(tǒng)數(shù)據(jù)文件增值產(chǎn)品數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)集市數(shù)據(jù)區(qū)財務(wù)審計數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財務(wù)研發(fā)數(shù)據(jù)銀行應(yīng)急數(shù)據(jù)主題數(shù)據(jù)運營管理集市風(fēng)險管理集市……集市集市數(shù)據(jù)高時效數(shù)據(jù)財務(wù)管理集市政府管理集市主題明細數(shù)據(jù)公共匯總數(shù)據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)集市數(shù)據(jù)區(qū)財務(wù)審計數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財務(wù)研發(fā)數(shù)據(jù)銀行應(yīng)急數(shù)據(jù)主題數(shù)據(jù)運營管理集市風(fēng)險管理集市……集市集市數(shù)據(jù)高時效數(shù)據(jù)財務(wù)管理集市政府管理集市主題明細數(shù)據(jù)公共匯總數(shù)據(jù)主題數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層l4歷史查詢類應(yīng)用4歷史查詢類應(yīng)用3沙盤演練類應(yīng)用5高時效類分析應(yīng)用），），1管理分析類應(yīng)用22數(shù)據(jù)增值類產(chǎn)品llll大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——平臺發(fā)展不同階段對應(yīng)應(yīng)用大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——管理分析類應(yīng)用服務(wù)管理風(fēng)險管理運營管理財務(wù)管理監(jiān)管披露服務(wù)管理風(fēng)險管理運營管理財務(wù)管理監(jiān)管披露o目前監(jiān)管機構(gòu)沒有明確要求示例示例o服務(wù)單一視圖o目標(biāo)服務(wù)搜索o服務(wù)細分o服務(wù)行為分析o營銷活動管理o營銷活動自動化o風(fēng)險監(jiān)控報表/信息披露o市場風(fēng)險理o信用風(fēng)險o操作風(fēng)險o防欺詐/反洗錢o全面風(fēng)險管理o領(lǐng)導(dǎo)管理駕駛艙o機構(gòu)績效考核o服務(wù)經(jīng)理考核o產(chǎn)品績效考核o應(yīng)急量考核o渠道成本與收益o總賬分析o盈利分析o資產(chǎn)負(fù)債分析、o財務(wù)預(yù)算與計劃析o預(yù)測與場景分析大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)訪問層多種展現(xiàn)形式滿足各層級用戶及應(yīng)用系統(tǒng)使用需求l主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)政府運營中的問題，lWeb服務(wù)：將分析應(yīng)用的功能發(fā)布為大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控層組織組織評價與考核流程平臺平臺大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。o數(shù)據(jù)產(chǎn)生者o數(shù)據(jù)使用者o數(shù)據(jù)管控委員會o數(shù)據(jù)所有人o數(shù)據(jù)認(rèn)責(zé)人o標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）o遵守標(biāo)準(zhǔn)所需要的政策o政策與標(biāo)準(zhǔn)遵從考評定義o應(yīng)急元數(shù)據(jù)管理o技術(shù)元數(shù)據(jù)管理o管理元數(shù)據(jù)分析o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o考核儀表盤o稽核規(guī)則管理o數(shù)據(jù)稽核o質(zhì)量報告大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控組織l數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理應(yīng)急數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。l數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個數(shù)據(jù)管控的成敗l典型的數(shù)據(jù)管控組織如下所示：信息管理委員會數(shù)據(jù)管控主導(dǎo)方數(shù)據(jù)管控主導(dǎo)方數(shù)據(jù)管控負(fù)責(zé)單位員員員數(shù)據(jù)管控參與方數(shù)據(jù)使用單位人員員數(shù)據(jù)管控參與方數(shù)據(jù)使用單位人員數(shù)據(jù)擁有單位人員數(shù)據(jù)管理單位人員數(shù)據(jù)產(chǎn)生單位大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理l消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。l數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評。數(shù)據(jù)標(biāo)準(zhǔn)建立和維護數(shù)據(jù)標(biāo)準(zhǔn)管理的考評關(guān)鍵應(yīng)急對象數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)質(zhì)量管理l數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量提升大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——元數(shù)據(jù)管理l應(yīng)急元數(shù)據(jù)：面向應(yīng)急人員，從應(yīng)急術(shù)語、應(yīng)急描述、應(yīng)急指標(biāo)和應(yīng)急規(guī)則等幾個方面對數(shù)據(jù)進行描述l管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息l技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)安全管理l數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級數(shù)據(jù)訪問授權(quán)數(shù)據(jù)安全分級數(shù)據(jù)訪問授權(quán)大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——高階工作流程l應(yīng)急數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)治理考核體系l數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)維護流程l數(shù)據(jù)質(zhì)量管理管理高階流程–數(shù)據(jù)質(zhì)量要求確定流程l元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程l數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)——數(shù)據(jù)管控平臺l數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口………………首頁工作管理系統(tǒng)管理標(biāo)準(zhǔn)管理元數(shù)據(jù)管理………………首頁工作管理系統(tǒng)管理標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)管控平臺知識庫數(shù)據(jù)標(biāo)準(zhǔn)知識庫元數(shù)據(jù)知識庫質(zhì)量管理大數(shù)據(jù)統(tǒng)計平臺總體產(chǎn)品框架SqoopSqoop數(shù)據(jù)管控平臺流程調(diào)度平臺實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺管理分析平臺群）增值產(chǎn)品平臺DistcpHQL+LoadpSqoopDistcpHQL+LoadSqoop數(shù)據(jù)管控平臺流程調(diào)度平臺實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺管理分析平臺群）增值產(chǎn)品平臺DistcpHQL+LoadpSqoopDistcpHQL+LoadSqoop基礎(chǔ)計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）MRDistcpHQL+Load歷史歸檔查詢平臺（Hadoop集群+Hive）CopyfromloalLoad（Hive）QueueCopyfromloal數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）FTP云數(shù)據(jù)推送平臺SFTP/HTTP/APIFTP云數(shù)據(jù)推送平臺應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)P非結(jié)構(gòu)化應(yīng)急系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)P非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)44大數(shù)據(jù)統(tǒng)計平臺建設(shè)實施重點大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺對政府價值的創(chuàng)造大數(shù)據(jù)統(tǒng)計平臺演進路線對政府價值的創(chuàng)造第一階段第二階段第三階段2013年2013年2014年——2015年2015年以后政務(wù)數(shù)據(jù)開放大數(shù)據(jù)統(tǒng)計平臺演進說明——階段劃分建設(shè)內(nèi)容預(yù)期效果大數(shù)據(jù)統(tǒng)計平臺演進說明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果大數(shù)據(jù)統(tǒng)計平臺演進說明——應(yīng)用體系階段劃分建設(shè)內(nèi)容預(yù)期效果大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)33大數(shù)據(jù)統(tǒng)計平臺演進路線大數(shù)據(jù)統(tǒng)計平臺數(shù)據(jù)質(zhì)量管理平臺銀行大數(shù)據(jù)統(tǒng)計平臺一期架構(gòu)l數(shù)據(jù)交換平臺：NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的基于大數(shù)據(jù)平臺實現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)的協(xié)同發(fā)展，以大數(shù)據(jù)運營的思路來落實信息惠民，拉動信息消費數(shù)據(jù)交換平臺—平臺邏輯架構(gòu)lFTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收lNAS集群：按照日期和源系統(tǒng)劃分目錄，緩銀行大數(shù)據(jù)統(tǒng)計平臺銀行大數(shù)據(jù)統(tǒng)計平臺加載服務(wù)器加載服務(wù)器加載服務(wù)器加載服務(wù)器NAS集群LVS集群：FTP服務(wù)器#1LVS集群：FTP服務(wù)器#3LVS集群：負(fù)載均衡服務(wù)器LVS集群：負(fù)載均衡服務(wù)器云數(shù)據(jù)推送平臺云數(shù)據(jù)推送平臺POP物流財務(wù)供應(yīng)鏈人人貸POP物流財務(wù)供應(yīng)鏈人人貸1.制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；2.梳理應(yīng)急系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；1.制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；2.梳理應(yīng)急系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；3.開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；4.對接收的數(shù)據(jù)提供驗證功能，并返回驗證結(jié)果到云數(shù)據(jù)推送平臺；5.根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；6.對于未盡事宜，應(yīng)同云計算方協(xié)商解決。1.設(shè)計并實施云數(shù)據(jù)推送平臺；2.按照政府接口定義，抽取應(yīng)急系統(tǒng)數(shù)據(jù)；3.按照政府接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；4.若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)政府更新接口規(guī)范提供數(shù)據(jù)；5.應(yīng)及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；6.對于未盡事宜，應(yīng)同政府協(xié)商解決。1.安裝部署政府大數(shù)據(jù)統(tǒng)計平臺物理環(huán)境、應(yīng)用軟件，并1.1.針對政府需求，指定接口人、提供文檔；2.應(yīng)急系統(tǒng)因版本升級等原因?qū)е聰?shù)據(jù)模型發(fā)生變化，及時通知云數(shù)據(jù)推送平臺接口責(zé)任人age852.在應(yīng)急系統(tǒng)數(shù)據(jù)庫服務(wù)器安裝并部署云數(shù)據(jù)推送平臺服務(wù)端，并提供數(shù)據(jù)庫訪問。數(shù)據(jù)交換平臺—應(yīng)急系統(tǒng)數(shù)據(jù)抽取實現(xiàn)方式l每張源系統(tǒng)表都對應(yīng)一個獨立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺應(yīng)該生成空的數(shù)據(jù)接口l傳輸方式FTP傳輸，利用LVS技術(shù)構(gòu)建FTP集群，接收數(shù)據(jù)l傳輸頻率云數(shù)據(jù)推送平臺通常按照T+1頻率為政府提供數(shù)據(jù)，具體頻率要求參見接口定義l接口處理模式1.云數(shù)據(jù)推送平臺根據(jù)不同接口單元定義，準(zhǔn)備數(shù)據(jù)、生成接口數(shù)據(jù)文件；2.云數(shù)據(jù)推送平臺根據(jù)接口規(guī)范生成相應(yīng)的接口控制文件；3.云數(shù)據(jù)推送平臺壓縮數(shù)據(jù)（LZO并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；4.銀行大數(shù)據(jù)統(tǒng)計平臺部署在不同加載服務(wù)器上的數(shù)據(jù)交換組件完成：a)定時輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；b)執(zhí)行文件級檢核；c)通過檢核后，將數(shù)據(jù)文件和控制文件移動到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；5.在TaskAutomation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務(wù)。Page86數(shù)據(jù)交換平臺—平臺部署架構(gòu)l數(shù)據(jù)交換平臺由8臺X86服務(wù)器和一個NAS集群構(gòu)成X86服務(wù)器按照功能分為2組，一組實現(xiàn)數(shù)據(jù)獲取，一組實現(xiàn)數(shù)據(jù)加載和歸檔NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務(wù)器共享訪問（讀寫）系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交流程調(diào)度平臺—平臺邏輯架構(gòu)lTaskAutomation驅(qū)動各個平臺、實現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理數(shù)據(jù)交換平臺負(fù)責(zé)數(shù)據(jù)抽取、文件級質(zhì)量檢核、調(diào)用HiveLoad加載數(shù)據(jù)基礎(chǔ)計算平臺使用HiveSQL實現(xiàn)貼源數(shù)據(jù)整合、公共匯總數(shù)據(jù)處理管理分析平臺使用關(guān)系型數(shù)據(jù)庫的SQL實現(xiàn)集市數(shù)據(jù)的處理歷史歸檔查詢平臺負(fù)責(zé)數(shù)據(jù)文件和Hadoop集群數(shù)據(jù)歸檔流程調(diào)度平臺—lTaskAutomation的元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中任務(wù)定義，包括任務(wù)名稱、描述、運行服務(wù)器、運行狀態(tài)、運行時間、相關(guān)數(shù)據(jù)源等屬性任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)任務(wù)組，一組有相互關(guān)系的任務(wù)，全部完成后會觸發(fā)頭任務(wù)運行l(wèi)元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享流程調(diào)度平臺—任務(wù)調(diào)度引擎l通過偵測器偵測事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運行，觸發(fā)方式把主要包括系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍l每個要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動運行流程調(diào)度平臺—集群可靠性和可擴展性高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務(wù)器發(fā)生故障不會破壞元數(shù)據(jù)完整性。服務(wù)器故障時，只需要修改ETL任務(wù)屬性，指定其他服務(wù)器執(zhí)行任務(wù)即可，故障不會影響任務(wù)依賴關(guān)系、任務(wù)組關(guān)系。擴展能力擴展能力流程調(diào)度集群由多臺服務(wù)器構(gòu)成，按工作負(fù)載劃分不同角色，分別實現(xiàn)ETL處理過程中不同類型任務(wù)的調(diào)度。當(dāng)某類調(diào)度工作負(fù)載較大時，可通過增加服務(wù)器的方式，實現(xiàn)集群的橫向擴展流程調(diào)度平臺—平臺部署架構(gòu)l流程調(diào)度平臺由八臺X86服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類兩臺X86服務(wù)器部署MySQL數(shù)據(jù)庫集群，存儲流程調(diào)度元數(shù)據(jù)六臺X86服務(wù)器部署流程調(diào)度引擎，負(fù)責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運行基礎(chǔ)計算平臺—平臺邏輯架構(gòu)HadoopHadoop拿拿l基礎(chǔ)計算平臺基于Hadoop集群搭建集群采用標(biāo)準(zhǔn)的X86服務(wù)器集群彈性架構(gòu)，按需分配計算資源，支持添加X86服務(wù)器的方式實現(xiàn)橫向擴展集群中的數(shù)據(jù)保留三份，保證任何節(jié)點故障，不影響集群對外提供服務(wù)l基礎(chǔ)計算平臺有三個數(shù)據(jù)區(qū)構(gòu)成臨時數(shù)據(jù)區(qū)，緩存當(dāng)日源系統(tǒng)變化（新增、修改、刪除）數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理貼源數(shù)據(jù)區(qū)，按照源系統(tǒng)數(shù)據(jù)模型整合的明細歷史數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)層實現(xiàn)數(shù)據(jù)一次整合、多次使用匯總數(shù)據(jù)區(qū)，根據(jù)應(yīng)用需求，對貼源數(shù)據(jù)區(qū)明細數(shù)據(jù)進行預(yù)連接、預(yù)聚合、預(yù)匯總處理的數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的一次計算、多次使用基礎(chǔ)計算平臺—臨時數(shù)據(jù)區(qū)包含內(nèi)容大數(shù)據(jù)統(tǒng)計平臺要整合的源系統(tǒng)，包括：POP、財務(wù)審計、財務(wù)研發(fā)、大物流、供應(yīng)鏈、銀行、網(wǎng)站交易、數(shù)據(jù)部和移動服務(wù)端等研發(fā)體系的各應(yīng)急系統(tǒng)。主要用途建立數(shù)據(jù)緩沖區(qū)，臨時存放從源系統(tǒng)抽取過來的增量/全量數(shù)據(jù)，支撐后續(xù)ELT處理。設(shè)計原則ll數(shù)據(jù)庫設(shè)計原則臨時數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限l模型設(shè)計原則邏輯模型參考源系統(tǒng)和接口規(guī)范定義，為每個接口單元設(shè)計實體、屬性物理模型與邏輯模型保持一致，每個實體對應(yīng)一張Hive表，表采用LZO壓縮存儲物理模型設(shè)計不建議考慮索引、物化視圖等技術(shù)特性以天為單位，按應(yīng)急日期建立分區(qū)l歷史保留原則緩存當(dāng)日應(yīng)急數(shù)據(jù)、為數(shù)據(jù)重跑方便可保留7天歷史過期數(shù)據(jù)直接刪除對應(yīng)分區(qū)，不需要歸檔基礎(chǔ)計算平臺—貼源數(shù)據(jù)區(qū)包含內(nèi)容與緩沖層相對應(yīng)，貼源整合層主要包括：POP、財務(wù)審計、財務(wù)研發(fā)、大物流、供應(yīng)鏈、銀行、網(wǎng)站交易、數(shù)據(jù)部和移動服務(wù)端等研發(fā)體系的各應(yīng)急系統(tǒng)，所有數(shù)據(jù)保留歷史。主要用途作為整個數(shù)據(jù)平臺的基礎(chǔ)數(shù)據(jù)層，累計歷史，為主題層、集市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐。設(shè)計原則ll數(shù)據(jù)庫設(shè)計原則貼源數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限l模型設(shè)計原則針對不需要記錄變化的實體，其邏輯模型參考緩沖層，按照貼源設(shè)計針對需要記錄變化的數(shù)據(jù)，需要增加時間字段，設(shè)計拉鏈數(shù)據(jù)模型，記錄歷史物理模型考慮分區(qū)，流水表按應(yīng)急日期建立分區(qū)，拉鏈表按終止日期建立分區(qū)l歷史保留原則拉鏈表數(shù)據(jù)保留最近37個月的歷史快照表數(shù)據(jù)永久保留交易流水表數(shù)據(jù)保留最近25個月的歷史過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷基礎(chǔ)計算平臺—匯總數(shù)據(jù)區(qū)包含內(nèi)容包含內(nèi)容對明細數(shù)據(jù)進行預(yù)匯總、預(yù)連對明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工，為應(yīng)用數(shù)據(jù)集市準(zhǔn)備數(shù)據(jù)。主要用途針對服務(wù)管理、風(fēng)險評級和應(yīng)急量統(tǒng)計設(shè)計明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工后的結(jié)果數(shù)據(jù)。設(shè)計原則ll數(shù)據(jù)庫設(shè)計原則匯總數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限l模型設(shè)計原則匯總層采用了逆范式寬表設(shè)計，某種程度上采用維度建模的方法模型設(shè)計首先需要根據(jù)應(yīng)急和應(yīng)用的需要盡量包含更多的屬性和指標(biāo)，同時兼顧空間匯總層需要針對維度數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理匯總層模型增加數(shù)據(jù)日期記錄歷史，建議根據(jù)數(shù)據(jù)日期建立分區(qū)l歷史保留原則不同實體采取不同的歷史保留策略建議以支持應(yīng)用為輸入，避免永久保留過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷基礎(chǔ)計算平臺—平臺部署架構(gòu)基礎(chǔ)計算平臺由73臺X86服務(wù)器構(gòu)成，3臺服務(wù)器作為NameNode和JobTrackerNode，70臺服務(wù)器作為DataNode基礎(chǔ)計算平臺由73臺X86服務(wù)器構(gòu)成，3臺服務(wù)器作為NameNode和JobTrackerNode，70臺服務(wù)器作為DataNode和TaskTrackerNode,轉(zhuǎn)化成MR任務(wù)基礎(chǔ)計算平臺—平臺網(wǎng)絡(luò)拓?fù)銷odeNodeNodeNodeNode20NodesRACK1NodeNodeNodeNodeNode20NodesRACK1……NodeNodeNodeNodeNode20NodesRACK3……NodeNodeNodeNodeNode20NodesRACK3……NodeNodeNodeNodeNode20NodesRACK2……管理分析平臺—平臺邏輯架構(gòu)l服務(wù)信息管理，采用J2EE框架自主開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群l運營績效管理，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群l統(tǒng)計服務(wù)靈活分析，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫集群HANABI應(yīng)用門戶管理分析平臺—安全管理BI應(yīng)用門戶用戶LDAP授權(quán)管理LDAP授權(quán)管理認(rèn)證管理安全管理員安全管理員賬戶管理安全管理員審計管理安全管理員安全管理員賬戶管理安全管理員審計管理個人服務(wù)信息管理政府服務(wù)信息管理銀行應(yīng)急規(guī)個人服務(wù)信息管理政府服務(wù)信息管理銀行應(yīng)急規(guī)模預(yù)測銀行應(yīng)急經(jīng)營分析大數(shù)據(jù)統(tǒng)計平臺物理架構(gòu)說明群PP大數(shù)據(jù)統(tǒng)計平臺一期硬件配置l所有服務(wù)器均采用開放的X86架構(gòu)，單臺服務(wù)器建議配置如下：服務(wù)器類型服務(wù)器功能數(shù)量CPU操作系統(tǒng)基礎(chǔ)計算平臺群）TaskTracker服務(wù)器2*1GbCentos6.312*2TB7200RPMJobTracker服務(wù)器32*1GbCentos6.34*600GB15KSASdisksRAID0+1歷史歸檔查詢集群）TaskTracker服務(wù)器24G2*1GbCentos6.316*3TB7200RPMJobTracker服務(wù)器324G2*1GbCentos6.34*600GB15KSASdisksRAID0+1沙盤演練平臺群）TaskTracker服務(wù)器2*1GbCentos6.312*2TB7200RPMJobTracker服務(wù)器32*1GbCentos6.34*600GB15KSASdisksRAID0+1大數(shù)據(jù)統(tǒng)計平臺一期硬件配置（續(xù)）3l所有服務(wù)器均采用開放的X86架構(gòu)，單臺服務(wù)器建議配置如下：3服務(wù)器類型服務(wù)器功能數(shù)量CPU操作系統(tǒng)數(shù)據(jù)交換平臺數(shù)據(jù)接口服務(wù)器564G2*10GbCentos6.32*600GB15KSASdisksRAID0+1流程調(diào)度&ETL平臺流程調(diào)度&ETL服務(wù)器764G2*10GbCentos6.32*600GB15KSASdisksRAID0+1元數(shù)據(jù)服務(wù)器Hive元數(shù)據(jù)庫服務(wù)器264G2*10GbCentos6.34*600GB15KSASdisksRAID0+1管理分析平臺數(shù)據(jù)集市服務(wù)器44*10GbCentos6.32*300GB15KSASdisksRAID0+12*10GbCentos6.314*300GB15KSASdisksRAID0+1內(nèi)存數(shù)據(jù)庫服務(wù)器4256G2*10GbSLESforSAPapplications11SP2BI應(yīng)用服務(wù)器264G2*10GbCentos6.32*600GB15KSASdisksRAID0+1WEB服務(wù)器264G2*10GbCentos6.32*600GB15KSAS大數(shù)據(jù)統(tǒng)計平臺一期硬件配置（續(xù)）千兆端口：278萬兆端口：100帶寬：8GB總存儲容量：40TB磁盤：15000RPMSASDisks網(wǎng)絡(luò)接口：萬兆網(wǎng)絡(luò)傳輸協(xié)議：TCP/IP網(wǎng)絡(luò)文件協(xié)議：CIFS、NFS單臺Cache：8GB大數(shù)據(jù)統(tǒng)計平臺一期軟件清單基礎(chǔ)計算平臺Centos6.3管理分析平臺數(shù)據(jù)集市服務(wù)器?Centos6.3歷史歸檔查詢平臺Centos6.3實時分析平臺內(nèi)存數(shù)據(jù)庫服務(wù)器Centos6.3沙盤演練平臺Hadoop0.2Centos6.3管理分析&實時分析平臺BI應(yīng)用服務(wù)器MicroStrategy9.3HanaClientDBClientCentos6.3數(shù)據(jù)交換平臺HadoopClient&HiveCentos6.3流程調(diào)度&ETL平臺TaskAutomationMySQLClientPerlRuntime&MySQLDBDCentos6.3管理分析&實時分析Tomcat7.0平臺WEB服務(wù)器Centos6.3大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺綜述大數(shù)據(jù)統(tǒng)計平臺總體架構(gòu)33大數(shù)據(jù)統(tǒng)計平臺演進路線44大數(shù)據(jù)統(tǒng)計平臺建設(shè)實施重點數(shù)據(jù)質(zhì)量管理平臺技術(shù)架構(gòu)Automation工作流調(diào)度服務(wù)由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運數(shù)據(jù)質(zhì)量檢查執(zhí)行服務(wù)檢查規(guī)則執(zhí)行服務(wù)檢查點1任務(wù)類型ETL任務(wù)——技術(shù)型檢查ETL階段云數(shù)據(jù)推送平臺->銀行數(shù)據(jù)交換平臺NAS存儲指定目錄執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在ETL服務(wù)器上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導(dǎo)出的應(yīng)急系統(tǒng)每日增量數(shù)據(jù)文件和控制文件檢查內(nèi)容接口文件是否存在，接口文件名稱是否正確，接口文件是否通過MD5校驗實現(xiàn)技術(shù)Linux腳本語言，Perl或Python成功閾值所有規(guī)則通過檢查依賴任務(wù)N/A觸發(fā)任務(wù)數(shù)據(jù)加載檢查規(guī)則執(zhí)行服務(wù)檢查點2任務(wù)類型ETL任務(wù)——技術(shù)型檢查ETL階段臨時數(shù)據(jù)區(qū)->貼源整合數(shù)據(jù)區(qū)執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導(dǎo)出的應(yīng)急系統(tǒng)每日增量數(shù)據(jù)檢查內(nèi)容日期、時間格式檢查；主鍵唯一型檢查；外鍵參照完整型檢查；關(guān)鍵字段取值完整性檢查實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)接口文件級規(guī)范性檢查任務(wù)觸發(fā)任務(wù)貼源數(shù)據(jù)整合任務(wù)檢查規(guī)則執(zhí)行服務(wù)檢查點3任務(wù)類型ETL任務(wù)——應(yīng)急型檢查ETL階段貼源整合數(shù)據(jù)區(qū)->匯總數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象匯總數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容應(yīng)急邏輯檢查：通過對若干個匯總值/指標(biāo)值的運算，來檢驗各個匯總值/指標(biāo)間潛在的平衡或其他比較關(guān)系實現(xiàn)技術(shù)HiveSQL成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)貼源整合數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)集市數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)生成檢查規(guī)則執(zhí)行服務(wù)檢查點4.1任務(wù)類型ETL任務(wù)——應(yīng)急型檢查ETL階段匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容主鍵唯一型檢查；外鍵參照完整型檢查；關(guān)鍵字段取值完整性檢查實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)N/A檢查規(guī)則執(zhí)行服務(wù)檢查點4.2任務(wù)類型ETL任務(wù)——應(yīng)急型檢查ETL階段匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容應(yīng)急邏輯檢查：通過對若干個指標(biāo)值的運算，來檢驗各個指標(biāo)間潛在的平衡或其他比較關(guān)系數(shù)值檢查：主要是通過對單個指標(biāo)值的監(jiān)控來發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況波動檢查：通過對單個指標(biāo)值一段時間內(nèi)的數(shù)值變化情況來檢查數(shù)據(jù)的波動、變化情況一致性檢查：通過對兩個指標(biāo)按某幾個維度展開后的增減幅度來發(fā)現(xiàn)數(shù)據(jù)的波動、變化情況實現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)N/A數(shù)據(jù)質(zhì)量管理分析報告生成服務(wù)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報平均值數(shù)據(jù)質(zhì)量匯總?cè)請髷?shù)據(jù)質(zhì)量匯總月報數(shù)據(jù)質(zhì)量管理分析報告指標(biāo)定義接口單元級評價指標(biāo)接口傳輸及指在最后截止時間前完成上傳的接口單元數(shù)量與時限內(nèi)要求上傳的接口單元數(shù)的比率。《源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報（XX系統(tǒng)）》接口傳輸完整率指在數(shù)據(jù)質(zhì)量日報告生成之前，成功上傳的接口單元數(shù)量與要求上傳的接口單元數(shù)量的比率?！对聪到y(tǒng)數(shù)據(jù)交換質(zhì)量日報（XX系統(tǒng)）》接口準(zhǔn)確率指與接口校驗內(nèi)容描述一致的接口單元數(shù)量與要求上傳的接口單元數(shù)量的比率?！对聪到y(tǒng)數(shù)據(jù)交換質(zhì)量日報（XX系統(tǒng)）》記錄級評價指標(biāo)記錄正確率正確的記錄數(shù)與全部記錄數(shù)的比值。每條記錄只要違反任一條檢查規(guī)則（例如：主鍵唯一、應(yīng)急規(guī)則等），就被計入錯誤日志。每個接口單元的最大允許出錯閾值由數(shù)據(jù)質(zhì)量檢查規(guī)則確定。計《源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報（XX系統(tǒng)）》《數(shù)據(jù)質(zhì)量匯總?cè)請蟆贰稊?shù)據(jù)質(zhì)量匯總月報》算公式如下：當(dāng)Ec<Emax時：記錄正確率=當(dāng)Ec>=Emax時：記錄正確率=0說明：Ec—出錯記錄數(shù)t—記錄總數(shù)max—最大允許出錯閾值分析報告生成服務(wù)：源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報任務(wù)類型ETL階段分析報告生成階段執(zhí)行頻率每日執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫上執(zhí)行評價對象數(shù)據(jù)質(zhì)量檢查點1、2對應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評價指標(biāo)接口傳輸及時率、接口傳輸完整率、接口準(zhǔn)確率實現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)ETL處理完成觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量匯總?cè)請笊扇蝿?wù)分析報告生成服務(wù)：數(shù)據(jù)質(zhì)量匯總?cè)請笕蝿?wù)類型ETL任務(wù)——匯總?cè)請笊蒃TL階段分析報告生成階段執(zhí)行頻率每日執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫上執(zhí)行評價對象數(shù)據(jù)質(zhì)量檢查點2、3、4對應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評價指標(biāo)記錄正確率實現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報生成觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量匯總月報生成任務(wù)分析報告生成服務(wù)：數(shù)據(jù)質(zhì)量匯總月報任務(wù)類型ETL任務(wù)——匯總月報生成ETL階段分析報告生成階段執(zhí)行頻率每月月初執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)庫上執(zhí)行評價對象當(dāng)月所有數(shù)據(jù)質(zhì)量檢查點對應(yīng)的檢查任務(wù)執(zhí)行結(jié)果評價指標(biāo)記錄正確率實現(xiàn)技術(shù)MySQLSQL命令依賴任務(wù)數(shù)據(jù)質(zhì)量匯總?cè)請笊扇蝿?wù)觸發(fā)任務(wù)數(shù)據(jù)質(zhì)量管理元信息庫源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報標(biāo)識源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報日期源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報標(biāo)識源系統(tǒng)數(shù)據(jù)交換質(zhì)量日報日期源系統(tǒng)名稱接口名稱傳輸及時標(biāo)志傳輸完整標(biāo)志數(shù)據(jù)日期準(zhǔn)確標(biāo)志名稱規(guī)范標(biāo)志記錄數(shù)準(zhǔn)確標(biāo)志數(shù)據(jù)格式出錯的記錄數(shù)違反數(shù)據(jù)值域的記錄數(shù)違反主鍵唯一性的記錄數(shù)違反參照完整性的記錄數(shù)出錯記錄數(shù)記錄準(zhǔn)確率IntegerVariablecharacters(32)Variablecharacters(32)Variablecharacters(32)ShortintegerShortintegerShortintegerShortintegerShortintegerIntegerIntegerIntegerIntegerIntegerDecimal(18,2)Identifier_1<pi>示例檢查結(jié)果檢查規(guī)則執(zhí)行ID檢查規(guī)則唯一號執(zhí)行日期開始執(zhí)行時間結(jié)束執(zhí)行時間結(jié)果編碼結(jié)果描述結(jié)果值<pi>IntegerCharacters(8)DateTimestampTimestamp示例檢查結(jié)果檢查規(guī)則執(zhí)行ID檢查規(guī)則唯一號執(zhí)行日期開始執(zhí)行時間結(jié)束執(zhí)行時間結(jié)果編碼結(jié)果描述結(jié)果值<pi>IntegerCharacters(8)DateTimestampTimestampCharacters(4)Variablecharacters(4096)Integer<M><M>Identifier_1<pi> Re(lt)ionship_2檢查規(guī)則檢查規(guī)則唯一號檢查規(guī)則簡單描述檢查規(guī)則類型檢查對象標(biāo)識檢查規(guī)則生效標(biāo)志檢查規(guī)則是否保存結(jié)果標(biāo)志檢查頻度ETL任務(wù)Identifier_1<pi><pi>Characters(8)Variablecharacters(2048)Characters(2)IntegerCharacters(1)Characters(1)Characters(2)Variablecharacters(32)<M> o(D)。Inheritance_1Relation(s)ip_3檢查對象對象標(biāo)識數(shù)據(jù)區(qū)數(shù)據(jù)對象閾值IntegerVariablecharacters(32)Variablecharacters(32)Integer檢查結(jié)果明細檢查規(guī)則執(zhí)行ID<ai>記錄序號記錄內(nèi)容1記錄內(nèi)容1Identifier_1<ai1>IntegerIntegerVariableVariable<M>characters(4000)characters(4000)接口級檢查規(guī)則檢查接口規(guī)定上傳時間TimeIdentifier_1<pi>數(shù)據(jù)庫記錄級檢查檢查規(guī)則對應(yīng)