交通大數(shù)據(jù)平臺概述相關(guān)兩份資料

交通大數(shù)據(jù)平臺概述一、發(fā)展背景二、現(xiàn)狀與需求分析三、綜合交通運輸大數(shù)據(jù)總體思路四、綜合交通運輸大數(shù)據(jù)建設(shè)內(nèi)容1、發(fā)展政策匯總2、政策解讀3、大數(shù)據(jù)建設(shè)部門4、大數(shù)據(jù)建設(shè)的必要性目錄12月12日，交通運輸部關(guān)于印發(fā)《推進綜合交通運輸大數(shù)據(jù)發(fā)展行動綱要（2020—2025年）。9月19日，中共中央國務(wù)院印發(fā)《交通強國建設(shè)綱要》。2015年09月05日，國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知（國發(fā)〔2015〕50號）2017年1月17日，工業(yè)和信息化部關(guān)于印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016－2020年）》的通知2019年7月25日，交通運輸部關(guān)于印發(fā)《數(shù)字交通發(fā)展規(guī)劃綱要》的通知2019年9月19日，中共中央國務(wù)院印發(fā)《交通強國建設(shè)綱要》2019年12月12日，交通運輸部關(guān)于印發(fā)《推進綜合交通運輸大數(shù)據(jù)發(fā)展行動綱要（2020—2025年）》的通知1、發(fā)展政策匯總政

策日期交通運輸部《推進綜合交通運輸大數(shù)據(jù)發(fā)展行動綱要（2020—2025年）》2019.12中共中央國務(wù)院《交通強國建設(shè)綱要》2019.9交通運輸部《數(shù)字交通發(fā)展規(guī)劃綱要》2019.7交通運輸部、國家旅游局《關(guān)于加快推進交通旅游服務(wù)大數(shù)據(jù)應(yīng)用試點工作的通知》2018.3工業(yè)和信息化部《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016－2020年）》2017.1國家發(fā)改委《關(guān)于組織實施促進大數(shù)據(jù)發(fā)展重大工程的通知》2016.1國務(wù)院《促進大數(shù)據(jù)發(fā)展行動綱要》2015.9國務(wù)院《關(guān)于積極推進“互聯(lián)網(wǎng)+”行動的指導(dǎo)意見》2015.71、發(fā)展政策匯總2、政策解讀中共中央國務(wù)院《交通強國建設(shè)綱要》主要建設(shè)任務(wù)《交通強國建設(shè)綱要》建設(shè)任務(wù)

一、基礎(chǔ)設(shè)施布局完善、立體互聯(lián)（一）建設(shè)現(xiàn)代化高質(zhì)量綜合立體交通網(wǎng)絡(luò)（二）構(gòu)建便捷順暢的城市（群）交通網(wǎng)（三）形成廣覆蓋的農(nóng)村交通基礎(chǔ)設(shè)施網(wǎng)（四）構(gòu)筑多層級、一體化的交通樞紐體系二、交通裝備先進適用、完備可控（一）加強新型載運工具研發(fā)（二）加強特種裝備研發(fā)（三）推進裝備技術(shù)升級三、運輸服務(wù)便捷舒適、經(jīng)濟高效（一）推進出行服務(wù)快速化、便捷化（二）打造綠色高效的現(xiàn)代物流系統(tǒng)（三）加速新業(yè)態(tài)新模式發(fā)展三、運輸服務(wù)便捷舒適、經(jīng)濟高效（一）推進出行服務(wù)快速化、便捷化（二）打造綠色高效的現(xiàn)代物流系統(tǒng)（三）加速新業(yè)態(tài)新模式發(fā)展四、科技創(chuàng)新富有活力、智慧引領(lǐng)（一）強化前沿關(guān)鍵科技研發(fā)（二）大力發(fā)展智慧交通（三）完善科技創(chuàng)新機制五、安全保障完善可靠、反應(yīng)快速（一）提升本質(zhì)安全水平（二）完善交通安全生產(chǎn)體系（三）強化交通應(yīng)急救援能力六、綠色發(fā)展節(jié)約集約、低碳環(huán)保（一）促進資源節(jié)約集約利用（二）強化節(jié)能減排和污染防治（三）強化交通生態(tài)環(huán)境保護修復(fù)七、開放合作面向全球、互利共贏（一）構(gòu)建互聯(lián)互通、面向全球的交通網(wǎng)絡(luò)（二）加大對外開放力度（三）深化交通國際合作八、人才隊伍精良專業(yè)、創(chuàng)新奉獻（一）培育高水平交通科技人才（二）打造素質(zhì)優(yōu)良的交通勞動者大軍（三）建設(shè)高素質(zhì)專業(yè)化交通干部隊伍九、完善治理體系，提升治理能力（一）深化行業(yè)改革（二）優(yōu)化營商環(huán)境（三）擴大社會參與（四）培育交通文明2、政策解讀《數(shù)字交通發(fā)展規(guī)劃綱要》建設(shè)七個體系一、構(gòu)建數(shù)字化的采集體系推動交通基礎(chǔ)設(shè)施全要素、全周期數(shù)字化布局重要節(jié)點的全方位交通感知網(wǎng)絡(luò)推動載運工具、作業(yè)裝備智能化二、構(gòu)建網(wǎng)絡(luò)化的傳輸體系推動交通運輸基礎(chǔ)設(shè)施與信息基礎(chǔ)設(shè)施一體化建設(shè)，促進交通專網(wǎng)與天網(wǎng)、公網(wǎng)深度融合，推進車聯(lián)網(wǎng)、5G、衛(wèi)星通信信息網(wǎng)絡(luò)等部署應(yīng)用，完善全國高速公路通信信息網(wǎng)絡(luò)，形成多網(wǎng)融合的交通信息通信網(wǎng)絡(luò)，提供廣覆蓋、低時延、高可靠、大帶寬的網(wǎng)絡(luò)通信服務(wù)。

三、構(gòu)建智能化的應(yīng)用體系打造數(shù)字化出行助手推動物流全程數(shù)字化推動行業(yè)治理現(xiàn)代化四、培育產(chǎn)業(yè)生態(tài)體系聚焦基礎(chǔ)設(shè)施和載運工具數(shù)字化的關(guān)鍵環(huán)節(jié)與核心技術(shù)，鼓勵優(yōu)勢企業(yè)整合電子、軟件、通信、衛(wèi)星、裝備制造、信息服務(wù)等領(lǐng)域資源，構(gòu)建強強聯(lián)合、優(yōu)勢互補、高效適配的協(xié)同創(chuàng)新體系。加快北斗導(dǎo)航、衛(wèi)星通信、高分辨率對地觀測等技術(shù)行業(yè)應(yīng)用。五、健全網(wǎng)絡(luò)和數(shù)據(jù)安全體系貫徹落實《中華人民共和國網(wǎng)絡(luò)安全法》以及國家關(guān)于數(shù)據(jù)安全的要求，落實各級交通運輸管理部門及相關(guān)機構(gòu)的網(wǎng)絡(luò)安全職責(zé)，健全信息通報、監(jiān)測預(yù)警、應(yīng)急處置、預(yù)案管理等工作機制，建立專家?guī)?。落實網(wǎng)絡(luò)安全等級保護制度，確保各級安全防護合規(guī)達標(biāo)。六、完善標(biāo)準(zhǔn)體系加快完善面向數(shù)字交通應(yīng)用的交通基礎(chǔ)設(shè)施工程建設(shè)標(biāo)準(zhǔn)。按照交通運輸信息化標(biāo)準(zhǔn)體系，持續(xù)完善相關(guān)標(biāo)準(zhǔn)。加快自動駕駛國家及行業(yè)標(biāo)準(zhǔn)體系建設(shè)，完善生產(chǎn)制造、測試評價、網(wǎng)絡(luò)安全、數(shù)據(jù)共享、運行使用等標(biāo)準(zhǔn)。七、完善支撐保障體系營造發(fā)展環(huán)境多渠道籌措資金促進創(chuàng)新應(yīng)用加強人才支持2、政策解讀交通運輸部《推進綜合交通運輸大數(shù)據(jù)發(fā)展行動綱要》主要內(nèi)容把握一條主線，關(guān)注四個重點，實施五大行動，加強四個保障新的發(fā)展共識——“一條主線”。推進綜合交通運輸大數(shù)據(jù)發(fā)展已經(jīng)成為新時代交通運輸信息化發(fā)展的核心內(nèi)容。新的發(fā)展特征——“四個重點”：（一）統(tǒng)籌推進、（二）加強采集、（三）充分匯聚、（四）綜合應(yīng)用”。怎么推進？——“五大行動”行動一：夯實大數(shù)據(jù)發(fā)展基礎(chǔ)行動二：深入推進大數(shù)據(jù)共享開放行動三：全面推動大數(shù)據(jù)創(chuàng)新應(yīng)用行動四：加強大數(shù)據(jù)安全保障行動五：完善大數(shù)據(jù)管理體系如何做好？——四個保障：（一）加強組織領(lǐng)導(dǎo)。（二）加強隊伍建設(shè)。（三）加強經(jīng)費保障。（四）加強效果評估。

2、政策解讀交通運輸部《推進綜合交通運輸大數(shù)據(jù)發(fā)展行動綱要》主要工作任務(wù)（一）夯實大數(shù)據(jù)發(fā)展基礎(chǔ)1.完善標(biāo)準(zhǔn)規(guī)范2.強化數(shù)據(jù)采集3.加強技術(shù)研發(fā)應(yīng)用（二）深入推進大數(shù)據(jù)共享開放4.完善信息資源目錄體系5.全面構(gòu)建政務(wù)大數(shù)據(jù)6.推動行業(yè)數(shù)字化轉(zhuǎn)型7.穩(wěn)步開放公共信息資源8.引導(dǎo)大數(shù)據(jù)開放創(chuàng)新（三）全面推動大數(shù)據(jù)創(chuàng)新應(yīng)用9.構(gòu)建綜合性大數(shù)據(jù)分析技術(shù)模型10.加強在服務(wù)國家戰(zhàn)略中的應(yīng)用11.提升安全生產(chǎn)監(jiān)測預(yù)警能力12.推動應(yīng)急管理綜合應(yīng)用13.加強信用監(jiān)管14.加快推動“互聯(lián)網(wǎng)+監(jiān)管”15.深化政務(wù)服務(wù)“一網(wǎng)通辦”16.促進出行服務(wù)創(chuàng)新應(yīng)用17.推動貨運物流數(shù)字化發(fā)展（四）加強大數(shù)據(jù)安全保障18.完善數(shù)據(jù)安全保障措施19.保障國家關(guān)鍵數(shù)據(jù)安全（五）完善大數(shù)據(jù)管理體系20.推動管理體制改革21.完善技術(shù)管理體系分類圖例基礎(chǔ)研究應(yīng)用系統(tǒng)大數(shù)據(jù)支撐管理體制3、大數(shù)據(jù)建設(shè)部門市交通運輸局是市人民政府主管全市交通行業(yè)的職能部門。下屬市港航管理（地方海事）局、公路管理局、道路運輸管理處和市地方公路管理處。行使全市水上交通港政管理、運政管理、海事管理、航道管理和船舶檢驗五項職能。市交通運輸局運政管理客運管理貨運管理駕校管理汽車維修管理運輸服務(wù)證照管理運政執(zhí)法運政信息管理行政辦公路政管理公路規(guī)劃公路改建和養(yǎng)護依法維護路產(chǎn)路權(quán)征收汽車輪渡渡運費港航海事交通港政管理運政管理海事管理航道管理船舶檢驗內(nèi)設(shè)機構(gòu)辦公室工程管理和質(zhì)量監(jiān)督科財務(wù)審計科法律和運輸管理科紀(jì)委（監(jiān)察室）行政審批科

強化綜合交通運輸運行監(jiān)測和行業(yè)監(jiān)管能力的需要

提升交通運輸行業(yè)服務(wù)水平的需要

實現(xiàn)城市交通運輸可持續(xù)發(fā)展的迫切需要推動綜合交通運輸行業(yè)數(shù)字化轉(zhuǎn)型的需要實現(xiàn)基于交通大數(shù)據(jù)的輔助決策的需要4、大數(shù)據(jù)建設(shè)的必要性目錄一、發(fā)展背景二、現(xiàn)狀與需求分析三、綜合交通運輸大數(shù)據(jù)總體思路四、綜合交通運輸大數(shù)據(jù)建設(shè)內(nèi)容1、交通運輸信息化現(xiàn)狀2、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀3、現(xiàn)狀問題分析4、大數(shù)據(jù)需求分析1、交通運輸信息化現(xiàn)狀近年來，交通運輸行業(yè)經(jīng)過努力已經(jīng)不同程度地建立交通運輸信息化系統(tǒng)。TOCC平臺應(yīng)急指揮平臺信息服務(wù)平臺公路養(yǎng)護管理系統(tǒng)公路路政管理系統(tǒng)公路運輸管理系統(tǒng)海事管理系統(tǒng)視頻監(jiān)視系統(tǒng)行政執(zhí)法系統(tǒng)物流信息服務(wù)系統(tǒng)辦公系統(tǒng)移動應(yīng)用系統(tǒng)2、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀大數(shù)據(jù)產(chǎn)業(yè)構(gòu)建可分為6個層次，分別為：硬件設(shè)施、基礎(chǔ)服務(wù)、數(shù)據(jù)來源、技術(shù)開發(fā)、融合應(yīng)用及產(chǎn)業(yè)支撐。產(chǎn)業(yè)結(jié)構(gòu)簡

介硬件設(shè)施采集設(shè)備傳感器、采集器、讀寫器、交互設(shè)備等傳輸設(shè)備光電傳輸設(shè)備、微波通信設(shè)備等計算存儲芯片、服務(wù)器、路由器、交換機、防火墻、入侵檢測防護設(shè)備、一體機等設(shè)計集成硬件設(shè)備及附帶軟件的設(shè)計、安裝、調(diào)試等基礎(chǔ)服務(wù)網(wǎng)絡(luò)服務(wù)電信運營、商業(yè)WIFI、網(wǎng)絡(luò)運維等云平臺服務(wù)數(shù)據(jù)中心：基礎(chǔ)設(shè)施即服務(wù)IaaS托管、租用等；云服務(wù)：平臺即服務(wù)PaaS、軟件即服務(wù)SaaS等系統(tǒng)開發(fā)架構(gòu)設(shè)計、系統(tǒng)集成、軟件定制等數(shù)據(jù)來源/政府?dāng)?shù)據(jù)、行業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、通信數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、第三方數(shù)據(jù)技術(shù)開發(fā)數(shù)據(jù)管理數(shù)據(jù)集成：中間件、數(shù)據(jù)庫等。數(shù)據(jù)清洗：數(shù)據(jù)填充、光滑噪聲等；數(shù)據(jù)規(guī)約：維度規(guī)約、數(shù)值規(guī)約等技術(shù)研究基礎(chǔ)研究：高性能計算、數(shù)據(jù)可視化、物聯(lián)網(wǎng)、5G、人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)等；應(yīng)用研究：圖像、文本、視頻、語音、空間地理、社交等信息安全數(shù)據(jù)監(jiān)管、數(shù)據(jù)加密、脫敏脫密、數(shù)據(jù)認(rèn)證等融合應(yīng)用/工業(yè)、農(nóng)業(yè)、政府、醫(yī)療、金融、電信、電商等行業(yè)需求相關(guān)的整體解決方案產(chǎn)業(yè)支撐/數(shù)據(jù)評估中心、數(shù)據(jù)交易中心、科研機構(gòu)、行業(yè)聯(lián)盟、咨詢機構(gòu)、論壇會展、融資平臺、孵化機構(gòu)等2840.83549.84384.55386.26605.88070.625.0%23.5%22.8%22.6%22.2%21%21%26%25%25%24%24%23%23%22%22%01000200030004000500060007000800020162017 2018 2019E中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模（億元）2020E2021E同比增長（%）華北27.6中南26.2華東20.1東北6.1西北6.12016-2021年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模（單位：億元，%） 2018年中國大數(shù)據(jù)產(chǎn)業(yè)區(qū)域分布情況（單位：%）9000西南14.22、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀2015年8月，國務(wù)院頒布《促進大數(shù)據(jù)發(fā)展行動綱要》，大數(shù)據(jù)正式上升為國家發(fā)展戰(zhàn)略。2016年，工信部印發(fā)了《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020年）》，全國引來大數(shù)據(jù)產(chǎn)業(yè)建設(shè)高峰，目前已形成八大大數(shù)據(jù)綜合試驗區(qū)，建成100多個大數(shù)據(jù)產(chǎn)業(yè)園。2018年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模為4384.5億元，同比增長23.5%；到2021年，中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將超過8000億元。從企業(yè)業(yè)務(wù)布局來看，大數(shù)據(jù)產(chǎn)業(yè)主要集中在華北、華東及中南地區(qū)。3.現(xiàn)狀問題分析1、在行業(yè)大數(shù)據(jù)規(guī)劃方面，缺少整體規(guī)劃和頂層設(shè)計。公路、鐵路、航空、航運等各個單一數(shù)據(jù)應(yīng)用較多，綜合交通大數(shù)據(jù)缺少整體的規(guī)劃和頂層設(shè)計。亟需加大對多源、多態(tài)、多維度大數(shù)據(jù)的整合和共享。2、在行業(yè)大數(shù)據(jù)治理的觀念方面，認(rèn)識不夠。對數(shù)據(jù)的使用還存在不敢用、不能用的問題。由于缺乏統(tǒng)一的數(shù)據(jù)治理體系，在數(shù)據(jù)采集、存儲、處理等環(huán)節(jié)可能存在不科學(xué)、不規(guī)范等問題，導(dǎo)致錯誤數(shù)據(jù)、異常數(shù)據(jù)、缺失數(shù)據(jù)產(chǎn)生，無法確保數(shù)據(jù)的完整性和準(zhǔn)確性。導(dǎo)致海量數(shù)據(jù)散落在不同的信息系統(tǒng)中，由于各系統(tǒng)數(shù)據(jù)接口不統(tǒng)一，不同機構(gòu)的數(shù)據(jù)難以互聯(lián)互通，嚴(yán)重阻礙數(shù)據(jù)開放共享，導(dǎo)致數(shù)據(jù)資產(chǎn)相互割裂、自成體系。3、數(shù)據(jù)質(zhì)量不高，數(shù)據(jù)不好用，不能用。數(shù)據(jù)質(zhì)量不高，標(biāo)準(zhǔn)化程度低，數(shù)據(jù)不好用，不能用。4、大數(shù)據(jù)標(biāo)準(zhǔn)不完備，難以形成協(xié)同共享的局面。由于業(yè)務(wù)種類多樣，各業(yè)務(wù)部門往往數(shù)據(jù)采集標(biāo)準(zhǔn)不一、統(tǒng)計口徑各異，同一數(shù)據(jù)源在不同部門的表述可能完全不同，看似相同的數(shù)據(jù)實際含義也可能大相徑庭，數(shù)據(jù)一致性難以保障。用戶需求宏觀決策：交通管理、協(xié)同應(yīng)急、資源共享公共服務(wù)：整合交通行業(yè)數(shù)據(jù)資源、為企業(yè)、公眾，提供精細人性化服務(wù)。管理范圍：公交、出租、客運、停車、駕培，維修，水運，公路等行業(yè)領(lǐng)域管理需求：運行情況（設(shè)施、運載工具）、客貨運信息、從業(yè)人員、企業(yè)、信息服務(wù)屬性特征：監(jiān)管對象、服務(wù)提供者自身需求：政策法規(guī)、行政資格辦理簡單快捷、調(diào)度管理、協(xié)同發(fā)展（降本增效）服務(wù)多源化：出行前規(guī)劃、出行中引導(dǎo)、個性化服務(wù)多樣服務(wù)精準(zhǔn)化：提升信息質(zhì)量，以認(rèn)同感為核心交通主管部門行業(yè)管理部門從業(yè)企業(yè)社會公眾4、大數(shù)據(jù)需求分析業(yè)務(wù)需求信息資源整合與管理，實現(xiàn)交通信息共享；完善城鄉(xiāng)公路監(jiān)測設(shè)備，加強行業(yè)監(jiān)管能力；加強公路服務(wù)水平，提高公眾信息服務(wù)。覆蓋全市交通運輸行業(yè)的信息資源整合和管理；完善對客貨運車輛的監(jiān)管；提高全市運輸行業(yè)安全性能，提升應(yīng)急保障能力。基礎(chǔ)設(shè)施建設(shè)：建設(shè)基于電子海圖的基礎(chǔ)設(shè)施系統(tǒng)；監(jiān)測管理：對所管轄的航道和渡口實現(xiàn)全面的監(jiān)測管理。公路業(yè)務(wù)運營業(yè)務(wù)港航業(yè)務(wù)4、大數(shù)據(jù)需求分析功能需求4、大數(shù)據(jù)需求分析運行監(jiān)測預(yù)警的服務(wù)需求安全生產(chǎn)監(jiān)管與安全應(yīng)急服務(wù)需求運營車、船運行狀況監(jiān)控和應(yīng)急需求危險品運輸監(jiān)控與應(yīng)急需求公眾信息服務(wù)需求大數(shù)據(jù)分析與輔助決策需求數(shù)據(jù)需求4、大數(shù)據(jù)需求分析民航客運鐵路客運道路客運停車公共自行車出租汽車地面公交軌道交通社會資源貨物運輸維修駕培交通大數(shù)據(jù)交通參與者運載工具交通設(shè)施交通環(huán)境水路客運公路城市道路接入接入道路交通、軌道交通、民航客運、鐵路客運、公安交警、高速公路視頻等信息化程度較高的交通要素信息整合整合公交、出租、“兩客一?！?、維修、駕培、自行車等已有信息系統(tǒng)的交通要素信息，建立和完善數(shù)據(jù)標(biāo)準(zhǔn)融合融合百度、騰訊、阿里等互聯(lián)網(wǎng)企業(yè)及通信運營商出行數(shù)據(jù)資源，強化交通出行服務(wù)能力目錄一、發(fā)展背景二、現(xiàn)狀與需求分析三、綜合交通運輸大數(shù)據(jù)總體思路四、綜合交通運輸大數(shù)據(jù)建設(shè)內(nèi)容1、發(fā)展目標(biāo)2、建設(shè)任務(wù)3、技術(shù)路線4、系統(tǒng)總體架構(gòu)5、項目建設(shè)工程界面1、發(fā)展目標(biāo)總體目標(biāo)綜合交通運輸大數(shù)據(jù)標(biāo)準(zhǔn)體系更加完善，基礎(chǔ)設(shè)施、運載工具等成規(guī)模、成體系的大數(shù)據(jù)集基本建成。政務(wù)大數(shù)據(jù)有效支撐綜合交通運輸體系建設(shè)，交通運輸行業(yè)數(shù)字化水平顯著提升。綜合交通運輸信息資源深入共享開放。大數(shù)據(jù)在綜合交通運輸各業(yè)務(wù)領(lǐng)域應(yīng)用更加廣泛。大數(shù)據(jù)安全得到有力保障。符合新時代信息化發(fā)展規(guī)律的大數(shù)據(jù)體制機制取得突破。綜合交通大數(shù)據(jù)中心體系基本構(gòu)建，為加快建設(shè)交通強國，助力數(shù)字經(jīng)濟勃興提供堅強支撐。具體目標(biāo)（一）夯實大數(shù)據(jù)發(fā)展基礎(chǔ)（二）深入推進大數(shù)據(jù)共享開放（三）全面推動大數(shù)據(jù)創(chuàng)新應(yīng)用（四）加強大數(shù)據(jù)安全保障2、建設(shè)任務(wù)建設(shè)內(nèi)容一個大數(shù)據(jù)中心平臺綜合交通大數(shù)據(jù)中心三個大數(shù)據(jù)應(yīng)用平臺大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管大數(shù)據(jù)交通服務(wù)大數(shù)據(jù)決策支持N個大數(shù)據(jù)創(chuàng)新應(yīng)用系統(tǒng)安全生產(chǎn)監(jiān)測預(yù)警交通運輸應(yīng)急管理交通信用監(jiān)管“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)政務(wù)服務(wù)“一網(wǎng)通辦”出行服務(wù)創(chuàng)新貨運物流數(shù)字化交通政策輔助決策交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸系統(tǒng)評價……一套支撐支撐軟件系統(tǒng)計算、存儲支撐網(wǎng)絡(luò)支撐

大數(shù)據(jù)安全支撐3、技術(shù)路線現(xiàn)狀調(diào)查綜合交通運輸發(fā)展情況交通運輸信息化發(fā)展現(xiàn)狀大數(shù)據(jù)應(yīng)用現(xiàn)狀需求分析用戶需求業(yè)務(wù)需求功能需求非功能需求頂層設(shè)計發(fā)展目標(biāo)建設(shè)任務(wù)總體架構(gòu)網(wǎng)絡(luò)架構(gòu)工程界面應(yīng)用系統(tǒng)設(shè)計大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管大數(shù)據(jù)交通服務(wù)大數(shù)據(jù)決策支持大數(shù)據(jù)平臺設(shè)計大數(shù)據(jù)基礎(chǔ)平臺系統(tǒng)數(shù)據(jù)資源管理系統(tǒng)數(shù)據(jù)采集與交換共享系統(tǒng)數(shù)據(jù)運行監(jiān)控系統(tǒng)標(biāo)準(zhǔn)規(guī)范體系設(shè)計基礎(chǔ)數(shù)據(jù)技術(shù)平臺/工具管理安全和隱私行業(yè)應(yīng)用項目實施規(guī)劃實施組織機構(gòu)實施進度計劃人才培訓(xùn)計劃4、系統(tǒng)總體架構(gòu)總體架構(gòu)大數(shù)據(jù)治理及共享交換源數(shù)據(jù)大數(shù)據(jù)技術(shù)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)存儲Map-ReduceSparkPhoenixHBASEHive大數(shù)據(jù)計算SQL計算流計算圖計算大數(shù)據(jù)分析挖掘指標(biāo)計算模型指標(biāo)參數(shù)優(yōu)化數(shù)據(jù)模型挖掘模型機器學(xué)習(xí)綜合交通運輸大數(shù)據(jù)創(chuàng)新應(yīng)用行業(yè)輔助監(jiān)管安全生產(chǎn)監(jiān)測預(yù)警能力應(yīng)急管理綜合應(yīng)用交通信用監(jiān)管“互聯(lián)網(wǎng)+監(jiān)管”大數(shù)據(jù)信息服務(wù)政務(wù)服務(wù)“一網(wǎng)通辦”出行服務(wù)創(chuàng)新貨運物流數(shù)字化大數(shù)據(jù)決策支持交通運輸政策輔助決策交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸系統(tǒng)評價大數(shù)據(jù)治理數(shù)據(jù)采集數(shù)據(jù)清洗元數(shù)據(jù)管理資源審核資源目錄管理數(shù)據(jù)安全管理結(jié)構(gòu)化數(shù)據(jù)電子航道圖數(shù)據(jù)航道數(shù)據(jù)航道設(shè)施數(shù)據(jù)航道維護數(shù)據(jù)航標(biāo)維護數(shù)據(jù)…非結(jié)構(gòu)化數(shù)據(jù)視頻監(jiān)測數(shù)據(jù)圖像數(shù)據(jù)綜合交通運輸大數(shù)據(jù)標(biāo)準(zhǔn)體系綜合交通運輸大數(shù)據(jù)安全體系數(shù)據(jù)工廠數(shù)據(jù)API數(shù)據(jù)模型大數(shù)據(jù)共享交換交換管理數(shù)據(jù)溯源質(zhì)量規(guī)則數(shù)據(jù)分發(fā)數(shù)據(jù)轉(zhuǎn)換其他部門共享交換數(shù)據(jù)AIS數(shù)據(jù)VTS數(shù)據(jù)水文數(shù)據(jù)能耗數(shù)據(jù)工程界面與系統(tǒng)接口綜合交通運輸大數(shù)據(jù)平臺省交通運輸廳公安交警運營企業(yè)運營車輛交通運輸狀態(tài)、交通運輸管理信息運營企業(yè)信息車輛信息交通、車輛、駕駛員信息5、項目建設(shè)工程界面行業(yè)監(jiān)管系統(tǒng)視頻監(jiān)控系統(tǒng)行政執(zhí)法系統(tǒng)統(tǒng)計分析系統(tǒng)綜合辦公平臺交通運輸部車輛、駕駛員信息視頻信息測量信息視頻信息決策、指令信息運行監(jiān)測系統(tǒng)行業(yè)信息……

其他信息出行者狀態(tài)市政務(wù)網(wǎng)目錄一、發(fā)展背景二、現(xiàn)狀與需求分析三、綜合交通運輸大數(shù)據(jù)總體思路四、綜合交通運輸大數(shù)據(jù)建設(shè)內(nèi)容1、綜合交通大數(shù)據(jù)資源2、綜合交通大數(shù)據(jù)平臺3、大數(shù)據(jù)應(yīng)用系統(tǒng)1、綜合交通大數(shù)據(jù)資源規(guī)劃綜合交通運輸大數(shù)據(jù)來源綜合交通運輸大數(shù)據(jù)交通運輸局運政數(shù)據(jù)客運數(shù)據(jù)貨運數(shù)據(jù)駕校管理數(shù)據(jù)汽車維修數(shù)據(jù)運輸服務(wù)數(shù)據(jù)證照管理數(shù)據(jù)運政執(zhí)法數(shù)據(jù)運政信息路政數(shù)據(jù)公路規(guī)劃公路養(yǎng)護路產(chǎn)路權(quán)數(shù)據(jù)港航海事數(shù)據(jù)港政管理運政管理海事管理航道管理船舶檢驗鐵路局規(guī)劃政策規(guī)劃路網(wǎng)規(guī)劃運輸客運數(shù)據(jù)貨運數(shù)據(jù)民航局規(guī)劃政策規(guī)劃路網(wǎng)規(guī)劃運輸客運數(shù)據(jù)貨運數(shù)據(jù)1、綜合交通大數(shù)據(jù)資源規(guī)劃綜合交通運輸大數(shù)據(jù)來源（運政部分）序號數(shù)據(jù)分類數(shù)據(jù)內(nèi)容數(shù)據(jù)來源采集方式更新頻率數(shù)據(jù)采集可行性分析1道路空間地理數(shù)據(jù)道路路網(wǎng)GIS空間數(shù)據(jù)和屬性數(shù)據(jù)、道路屬性基礎(chǔ)數(shù)據(jù)：道路名稱、等級、區(qū)間、長度、寬度、最大載重量、設(shè)計年限等；主要橋梁、隧道、涵洞的位置、長度、限重、通過資費等交通運輸局?jǐn)?shù)據(jù)交換平臺每年一次依托交通運輸局現(xiàn)有道路數(shù)據(jù)庫，通過人工補充采集道路詳細屬性數(shù)據(jù)2道路運輸車輛基礎(chǔ)數(shù)據(jù)車輛基本信息，車輛營運資質(zhì)信息（經(jīng)營許可、年審）、信息及通信設(shè)備（衛(wèi)星定位、電子標(biāo)簽、車載視頻）等信息交通運輸局?jǐn)?shù)據(jù)交換平臺每月一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入3道路運輸從業(yè)企業(yè)基礎(chǔ)數(shù)據(jù)業(yè)戶基本信息，經(jīng)營資質(zhì)、信用評價等信息交通運輸局?jǐn)?shù)據(jù)交換平臺每月一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入4道路運輸從業(yè)人員基礎(chǔ)數(shù)據(jù)從業(yè)人員基本信息，專業(yè)技術(shù)證書、從業(yè)資格及認(rèn)證、教育培訓(xùn)、考試、信用評價等信息交通運輸局?jǐn)?shù)據(jù)交換平臺/人工錄入每月一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入5道路運輸經(jīng)營線路基礎(chǔ)數(shù)據(jù)客運線路、班次信息交通運輸局?jǐn)?shù)據(jù)交換平臺每月一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入6道路運輸場站基礎(chǔ)數(shù)據(jù)客運場站信息、貨運場站信息交通運輸局?jǐn)?shù)據(jù)交換平臺每月一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入7應(yīng)急資源數(shù)據(jù)應(yīng)急管理機構(gòu)、應(yīng)急物資、應(yīng)急人員等信息交通運輸局?jǐn)?shù)據(jù)交換平臺/人工錄入每年一次從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入8動態(tài)路況數(shù)據(jù)道路擁堵信息、交通管制信息、施工養(yǎng)護信息、緊急突發(fā)事件信息、主要國、省、縣觀測站交通量信息交通運輸局?jǐn)?shù)據(jù)交換平臺/直接使用實時從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入9路網(wǎng)視頻監(jiān)控信息約80處重點地區(qū)自有視頻監(jiān)控數(shù)據(jù)交通運輸局直接使用/數(shù)據(jù)交換平臺實時約80處自有監(jiān)控可使用10道路運輸運行監(jiān)測數(shù)據(jù)客運場站、貨運場站運行數(shù)據(jù)，視頻監(jiān)控數(shù)據(jù)、道路運輸車輛動態(tài)數(shù)據(jù)交通運輸局?jǐn)?shù)據(jù)交換平臺/直接使用實時約80處自有監(jiān)控可使用11行政辦公數(shù)據(jù)公文信息、人員信息、后勤信息等交通運輸局?jǐn)?shù)據(jù)交換平臺/人工錄入每天一次通過本次工程建設(shè)獲取，可采集12投訴數(shù)據(jù)投訴信息、投訴電話信息交通運輸局?jǐn)?shù)據(jù)交換平臺/人工錄入實時從交通運輸局現(xiàn)有數(shù)據(jù)庫導(dǎo)入綜合交通運輸大數(shù)據(jù)動、靜態(tài)分類綜合交通運輸大數(shù)據(jù)結(jié)構(gòu)化分類1、綜合交通大數(shù)據(jù)資源規(guī)劃結(jié)構(gòu)化數(shù)據(jù)交通檢測數(shù)據(jù)ETC費數(shù)據(jù)GPS數(shù)據(jù)手機信令數(shù)據(jù)互聯(lián)網(wǎng)眾包數(shù)據(jù)出行者數(shù)據(jù)車輛數(shù)據(jù)道路網(wǎng)數(shù)據(jù)公交線路數(shù)據(jù)停車場數(shù)據(jù)交通調(diào)查數(shù)據(jù)售票數(shù)據(jù)……半結(jié)構(gòu)化數(shù)據(jù)交通新聞報道事件報警輿情數(shù)據(jù)……非機構(gòu)化數(shù)據(jù)視頻圖片音頻……動態(tài)數(shù)據(jù)交通檢測數(shù)據(jù)視頻數(shù)據(jù)ETC數(shù)據(jù)GPS數(shù)據(jù)手機信令數(shù)據(jù)互聯(lián)網(wǎng)眾包數(shù)據(jù)車路協(xié)同數(shù)據(jù)交通事件數(shù)據(jù)售票數(shù)據(jù)……靜態(tài)數(shù)據(jù)出行者基礎(chǔ)數(shù)據(jù)車輛基礎(chǔ)數(shù)據(jù)道路網(wǎng)數(shù)據(jù)公交線路數(shù)據(jù)停車場數(shù)據(jù)交通調(diào)查數(shù)據(jù)……2.綜合交通大數(shù)據(jù)平臺大數(shù)據(jù)基礎(chǔ)平臺總體框架2.綜合交通大數(shù)據(jù)平臺大數(shù)據(jù)基礎(chǔ)平臺系統(tǒng)大數(shù)據(jù)基礎(chǔ)平臺用于存儲應(yīng)用系統(tǒng)與基礎(chǔ)數(shù)據(jù)，相對于傳統(tǒng)的數(shù)據(jù)庫，大數(shù)據(jù)平臺因其對海量數(shù)據(jù)的存儲與計算優(yōu)勢，與分布式架構(gòu)的可擴展性，更符合綠色貨運配送運行監(jiān)測服務(wù)平臺的需求。大數(shù)據(jù)基礎(chǔ)平臺實時計算結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)存儲消息隊列NoSQL文件管理系統(tǒng)系統(tǒng)運行管理大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)2.綜合交通大數(shù)據(jù)平臺數(shù)據(jù)資源管理系統(tǒng)數(shù)據(jù)資源管理平臺作為本項目數(shù)據(jù)與信息資源的樞紐，對上為多個應(yīng)用系統(tǒng)提供數(shù)據(jù)資源管理服務(wù)，對下為數(shù)據(jù)供給方（數(shù)據(jù)源）和數(shù)據(jù)需求方提供管理平臺，是整個數(shù)據(jù)資源體系的軸心。數(shù)據(jù)資源管理平臺數(shù)據(jù)資源注冊數(shù)據(jù)資源編目數(shù)據(jù)資源目錄查詢數(shù)據(jù)資源審核數(shù)據(jù)資源發(fā)布數(shù)據(jù)資源共享數(shù)據(jù)資源瀏覽目錄維護用戶權(quán)限管理與分配接口定義2.綜合交通大數(shù)據(jù)平臺數(shù)據(jù)采集與交換共享系統(tǒng)數(shù)據(jù)交換平臺各交換節(jié)點各自負(fù)責(zé)部門內(nèi)縱向信息匯聚與分發(fā)，通過數(shù)據(jù)交換平臺實現(xiàn)交通管理、控制、服務(wù)各個應(yīng)用平臺的多部門、多平臺的數(shù)據(jù)共享與交換。數(shù)據(jù)采集與交換共享平臺數(shù)據(jù)來源分析數(shù)據(jù)對接配置數(shù)據(jù)交換組件數(shù)據(jù)傳輸方式數(shù)據(jù)傳輸協(xié)議用戶權(quán)限管理與分配協(xié)議對接：車載終端數(shù)據(jù)交換靜態(tài)數(shù)據(jù)接口：企業(yè)信息車輛信息從業(yè)者基礎(chǔ)信息場站信息駕培信息數(shù)據(jù)交換動態(tài)數(shù)據(jù)接口：GNSS定位信息過車圖片信息視頻監(jiān)控信息交通輿情信息數(shù)據(jù)交換交通信息數(shù)據(jù)接口：管控信息接口交通輿情信息接口車輛停車位接口道路交通流量接口2.綜合交通大數(shù)據(jù)平臺數(shù)據(jù)運行監(jiān)控系統(tǒng)數(shù)據(jù)運行監(jiān)控平臺平臺匯集了來自多個單位、企業(yè)、車輛、個人的動態(tài)、靜態(tài)數(shù)據(jù),平臺通過數(shù)據(jù)監(jiān)控與管理掌握數(shù)據(jù)服務(wù)質(zhì)量，實現(xiàn)數(shù)據(jù)質(zhì)量的提升，更好的服務(wù)于運行監(jiān)測服務(wù)平臺。數(shù)據(jù)運行監(jiān)控平臺數(shù)據(jù)傳輸監(jiān)控對數(shù)據(jù)流量和狀態(tài)的查詢、統(tǒng)計與審計對信息交換平臺自身運行狀態(tài)的查詢和監(jiān)控對信息交換平臺的遠程監(jiān)控數(shù)據(jù)傳輸監(jiān)控交換系統(tǒng)整體交換狀態(tài)的實時監(jiān)控與狀態(tài)查詢前置機狀態(tài)進行監(jiān)控與管理運行日志監(jiān)控交換狀態(tài)和任務(wù)階段的實時監(jiān)控2.綜合交通大數(shù)據(jù)平臺大數(shù)據(jù)可視化界面遵循雙屏畫面布局設(shè)計，分為4類主要區(qū)域。地圖展示區(qū)：包含和界面相關(guān)的地圖展示。綜合云圖地圖主要有城市客流、安全監(jiān)測、出行熱力三個圖層組成。指標(biāo)展示區(qū)采用模塊化設(shè)計，指標(biāo)以不同顏色突出顯示。以動態(tài)實時類指標(biāo)為主，以折線圖、餅狀圖、數(shù)字等方式顯示用戶關(guān)注的重要指標(biāo)。圖層控制區(qū)：右上角，通過點擊切換不同圖層。菜單切換區(qū)：在頁眉上方，通過點擊或懸浮下拉展示所有云圖圖標(biāo)，點擊圖標(biāo)切換不同主題界面。地圖展示區(qū)圖層控制區(qū)指標(biāo)展示區(qū)A指標(biāo)展示區(qū)B菜單切換區(qū)3、大數(shù)據(jù)應(yīng)用系統(tǒng)大數(shù)據(jù)應(yīng)用功能架構(gòu)綜合交通運輸大數(shù)據(jù)創(chuàng)新應(yīng)用大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管安全生產(chǎn)監(jiān)測預(yù)警重點營運車輛監(jiān)測超限車輛監(jiān)測重點船舶及水域監(jiān)測重點建設(shè)工程監(jiān)測客運碼頭監(jiān)測危險貨物港口裝卸存儲設(shè)施監(jiān)測鐵路運輸監(jiān)測民航運行監(jiān)測交通運輸應(yīng)急管理綜合交通運輸運行動態(tài)信息分析應(yīng)急資源管理應(yīng)急處置和指揮調(diào)度應(yīng)急評估交通信用監(jiān)管信用輿情監(jiān)測信用風(fēng)險預(yù)警信用指數(shù)分析“互聯(lián)網(wǎng)+監(jiān)管”交通綜合執(zhí)法業(yè)務(wù)流程數(shù)字化“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)大數(shù)據(jù)交通服務(wù)政務(wù)服務(wù)“一網(wǎng)通辦”電子證照信息共享“一窗式”業(yè)務(wù)辦理政務(wù)服務(wù)數(shù)據(jù)分析和展示新型出行服務(wù)出行即服務(wù)（MaaS）交通旅游服務(wù)定制公交貨運物流數(shù)字化多式聯(lián)運信息平臺快件數(shù)據(jù)監(jiān)測道路貨運行業(yè)運行監(jiān)測分析智能航運大數(shù)據(jù)決策支持交通政策輔助決策交通運輸需求管理交通發(fā)展政策評估交通建設(shè)項目排序公交補貼政策運價輔助決策交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸樞紐規(guī)劃公交線路規(guī)劃多式聯(lián)運線路規(guī)劃交通運輸系統(tǒng)評價交通運輸系統(tǒng)運營評估交通態(tài)勢研判交通安全生產(chǎn)評價綠色交通評價3、大數(shù)據(jù)應(yīng)用系統(tǒng)功能清單序號系統(tǒng)/子系統(tǒng)/模塊功能描述1運行監(jiān)測與行業(yè)監(jiān)管基于大數(shù)據(jù)的綜合交通運輸全流程監(jiān)管，實現(xiàn)重點營運車輛、超限車輛、重點船舶及水域、重點建設(shè)工程、客運碼頭、危險貨物港口裝卸存儲設(shè)施以及鐵路運輸、民航運行等重點領(lǐng)域安全生產(chǎn)風(fēng)險的監(jiān)測預(yù)警和重大風(fēng)險的防范化解。利用大數(shù)據(jù)研究推進綜合交通運輸信用輿情監(jiān)測、信用風(fēng)險預(yù)警、信用指數(shù)分析等。通過大數(shù)據(jù)實現(xiàn)行政檢查、行政處罰及行政強制全過程的數(shù)字化。1.1安全生產(chǎn)監(jiān)測預(yù)警通過對安全生產(chǎn)元素的全面透徹的感知，對安全生產(chǎn)數(shù)據(jù)和信息的全面互聯(lián)互通，對安全生產(chǎn)隱患和事故的智能化處置，實現(xiàn)對安全生產(chǎn)領(lǐng)域中的不安全行為、不安全狀態(tài)和不安全環(huán)境，迅速、靈活和正確的預(yù)測和解決的創(chuàng)新管理模式。1.2交通運輸應(yīng)急管理通過對全市各種交通運輸方式的監(jiān)測，對各種應(yīng)急事件進行預(yù)警，主要包括：事態(tài)評估子系統(tǒng)、應(yīng)急處置子系統(tǒng)、調(diào)度指揮子系統(tǒng)、應(yīng)急資源管理子系統(tǒng)。1.3交通信用監(jiān)管將征信的發(fā)展與交通行業(yè)相互融合，通過構(gòu)建考慮交通大數(shù)據(jù)的征信模型來達到既發(fā)展交通行業(yè)又發(fā)展征信行業(yè)的目標(biāo)，形成雙方共贏的局面。1.4“互聯(lián)網(wǎng)+監(jiān)管”優(yōu)化綜合執(zhí)法業(yè)務(wù)流程，推動實現(xiàn)行政檢查、行政處罰及行政強制等執(zhí)法活動全過程數(shù)字化。加快建立交通運輸“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)，實現(xiàn)與國家“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)對接，為實現(xiàn)綜合監(jiān)管、智慧監(jiān)管提供支撐。2大數(shù)據(jù)交通服務(wù)利用大數(shù)據(jù)實現(xiàn)交通運輸?shù)母咝Х?wù)，實現(xiàn)政務(wù)服務(wù)“一網(wǎng)通辦”、出行服務(wù)創(chuàng)新、物流信息服務(wù)智能化。2.1政務(wù)服務(wù)“一網(wǎng)通辦”依托一體化在線政務(wù)服務(wù)平臺，深入推進交通運輸政務(wù)服務(wù)“一網(wǎng)通辦”。推動電子證照信息共享，逐步實現(xiàn)統(tǒng)一身份認(rèn)證、統(tǒng)一電子印章和統(tǒng)一電子歸檔。2.2出行服務(wù)創(chuàng)新以數(shù)據(jù)銜接出行需求與服務(wù)資源，鼓勵各類市場主體培育“出行即服務(wù)（MaaS）”新模式。促進交通旅游服務(wù)大數(shù)據(jù)創(chuàng)新應(yīng)用。利用大數(shù)據(jù)分析評價道路客運、公共汽電車、出租汽車、汽車分時租賃等領(lǐng)域新老業(yè)態(tài)發(fā)展特征，推動新老業(yè)態(tài)動能轉(zhuǎn)化和融合發(fā)展。2.3貨運物流數(shù)字化推動交通運輸物流公共信息平臺、多式聯(lián)運公共信息系統(tǒng)、網(wǎng)絡(luò)貨運平臺等建設(shè)。完善全國快件數(shù)據(jù)監(jiān)測體系，為全程可跟蹤、可追溯的“一站式”快遞服務(wù)提供數(shù)據(jù)支撐。3大數(shù)據(jù)決策支持綜合運用跨行業(yè)、跨層級交通運輸大數(shù)據(jù)集，研究建立具有較強應(yīng)用價值的綜合性、全局性大數(shù)據(jù)分析模型，形成一系列易理解、有結(jié)論、實用性和權(quán)威性較強的大數(shù)據(jù)分析成果，有效支撐綜合交通運輸決策管理與服務(wù)。3.1交通政策輔助決策通過融合空間位置地理信息、社會活動信息數(shù)據(jù)、客貨運數(shù)據(jù)、個人行為數(shù)據(jù)在內(nèi)等多源數(shù)據(jù)挖掘城市交通供需關(guān)系變化對包括交通運輸需求管理、交通發(fā)展政策評估、交通建設(shè)項目排序、公交補貼政策、運價輔助決策在內(nèi)等多項政策進行決策支撐。3.2交通運輸網(wǎng)絡(luò)規(guī)劃通過采集包括公交刷卡數(shù)據(jù)、手機信令數(shù)據(jù)在內(nèi)數(shù)據(jù)，通過全樣本數(shù)據(jù)基于研究對象細分組群，實現(xiàn)對交通運輸網(wǎng)絡(luò)、交通運輸樞紐、公交線路、多式聯(lián)運線路等的精細化規(guī)劃。3.3交通運輸系統(tǒng)評價通過多種大數(shù)據(jù)算法模型從經(jīng)濟、安全、綠色、管理等角度對由多種運輸方式組成的客貨運系統(tǒng)進行評價。3、大數(shù)據(jù)應(yīng)用系統(tǒng)三個應(yīng)用平臺大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管安全生產(chǎn)監(jiān)測預(yù)警能力應(yīng)急管理綜合應(yīng)用交通信用監(jiān)管“互聯(lián)網(wǎng)+監(jiān)管”……大數(shù)據(jù)交通服務(wù)政務(wù)服務(wù)“一網(wǎng)通辦”新型出行服務(wù)貨運物流數(shù)字化大數(shù)據(jù)決策支持交通政策輔助決策交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸系統(tǒng)評價3、大數(shù)據(jù)應(yīng)用系統(tǒng)大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管基于大數(shù)據(jù)的綜合交通運輸全流程監(jiān)管，實現(xiàn)重點營運車輛、超限車輛、重點船舶及水域、重點建設(shè)工程、客運碼頭、危險貨物港口裝卸存儲設(shè)施以及鐵路運輸、民航運行等重點領(lǐng)域安全生產(chǎn)風(fēng)險的監(jiān)測預(yù)警和重大風(fēng)險的防范化解。利用大數(shù)據(jù)研究推進綜合交通運輸信用輿情監(jiān)測、信用風(fēng)險預(yù)警、信用指數(shù)分析等。通過大數(shù)據(jù)實現(xiàn)行政檢查、行政處罰及行政強制全過程的數(shù)字化。大數(shù)據(jù)運行監(jiān)測和行業(yè)監(jiān)管安全生產(chǎn)監(jiān)測預(yù)警重點營運車輛監(jiān)測超限車輛監(jiān)測重點船舶及水域監(jiān)測重點建設(shè)工程監(jiān)測客運碼頭監(jiān)測危險貨物港口裝卸存儲設(shè)施監(jiān)測鐵路運輸監(jiān)測民航運行監(jiān)測交通運輸應(yīng)急管理綜合交通運輸運行動態(tài)信息分析應(yīng)急資源管理應(yīng)急處置和指揮調(diào)度應(yīng)急評估交通信用監(jiān)管信用輿情監(jiān)測信用風(fēng)險預(yù)警信用指數(shù)分析“互聯(lián)網(wǎng)+監(jiān)管”交通綜合執(zhí)法業(yè)務(wù)流程數(shù)字化“互聯(lián)網(wǎng)+監(jiān)管”系統(tǒng)視頻管理界面運維管理界面告警界面交通擁堵監(jiān)測3、大數(shù)據(jù)應(yīng)用系統(tǒng)大數(shù)據(jù)交通服務(wù)通過本項目建設(shè)提供一個區(qū)域性出行服務(wù)基礎(chǔ)平臺，提供氣象、道路信息、施工信息、公交信息、客運信息等服務(wù)，實現(xiàn)一定的用戶體驗，為后續(xù)建設(shè)提供前瞻性的服務(wù)支撐。視頻信息信息查詢路徑規(guī)劃狀態(tài)顯示大數(shù)據(jù)交通服務(wù)政務(wù)服務(wù)“一網(wǎng)通辦”電子證照信息共享“一窗式”業(yè)務(wù)辦理政務(wù)服務(wù)數(shù)據(jù)分析和展示新型出行服務(wù)出行即服務(wù)（MaaS）交通旅游服務(wù)定制公交貨運物流數(shù)字化多式聯(lián)運信息平臺快件數(shù)據(jù)監(jiān)測道路貨運行業(yè)運行監(jiān)測分析智能航運大數(shù)據(jù)決策支持通過交互式模型配置、數(shù)據(jù)分析、機器學(xué)習(xí)、業(yè)務(wù)算法、可視化組件等多種類型的算子組件和模型工具，將數(shù)據(jù)分析算法步驟封裝成算子，通過前端交互式模型配置頁面來操作大數(shù)據(jù)分析流程。通過大數(shù)據(jù)可視化分析實現(xiàn)多源數(shù)據(jù)的分析。3、大數(shù)據(jù)應(yīng)用系統(tǒng)大數(shù)據(jù)決策支持交通政策輔助決策交通運輸需求管理交通發(fā)展政策評估交通建設(shè)項目排序公交補貼政策運價輔助決策交通運規(guī)劃輸網(wǎng)絡(luò)交通運輸網(wǎng)絡(luò)規(guī)劃交通運輸樞紐規(guī)劃公交線路規(guī)劃多式聯(lián)運線路規(guī)劃交通運輸系統(tǒng)評價交通運輸系統(tǒng)運營評估交通態(tài)勢研判交通安全生產(chǎn)評價綠色交通評價公共交通運營指標(biāo)分析交通政策輔助決策通過融合空間位置地理信息、社會活動信息數(shù)據(jù)、客貨運數(shù)據(jù)、個人行為數(shù)據(jù)在內(nèi)等多源數(shù)據(jù)挖掘城市交通供需關(guān)系變化對包括交通運輸需求管理、交通發(fā)展政策評估、交通建設(shè)項目排序、公交補貼政策、運價輔助決策在內(nèi)等多項政策進行決策支撐。3、大數(shù)據(jù)應(yīng)用系統(tǒng)交通運輸需求管理需求預(yù)測總量控制空間均衡時間調(diào)控交通運輸結(jié)構(gòu)優(yōu)化交通發(fā)展政策評估能源和運輸結(jié)構(gòu)公路鐵路建設(shè)規(guī)劃推動新能源汽車發(fā)展交通建設(shè)項目排序公路建設(shè)項目排序鐵路建設(shè)項目排序水路建設(shè)項目排序多類型項目排序公交補貼政策公交定價分析新能源公交補貼政策公交基礎(chǔ)設(shè)施建設(shè)公交專用道建設(shè)運輸補貼決策高鐵運輸補補貼政策物流基礎(chǔ)設(shè)施建設(shè)補貼政策交通運輸網(wǎng)絡(luò)規(guī)劃通過采集包括公交刷卡數(shù)據(jù)、手機信令數(shù)據(jù)在內(nèi)數(shù)據(jù)，通過全樣本數(shù)據(jù)基于研究對象細分組群，實現(xiàn)對交通運輸網(wǎng)絡(luò)、交通運輸樞紐、公交線路、多式聯(lián)運線路等的精細化規(guī)劃。3、大數(shù)據(jù)應(yīng)用系統(tǒng)交通運輸網(wǎng)絡(luò)規(guī)劃公路規(guī)劃鐵路規(guī)劃水路規(guī)劃民航規(guī)劃交通運輸樞紐規(guī)劃交通樞紐場站布局優(yōu)化樞紐系統(tǒng)設(shè)計社會經(jīng)濟評價公交線路規(guī)劃公交線路網(wǎng)規(guī)劃站場規(guī)劃公交車輛規(guī)劃多式聯(lián)運規(guī)劃多式聯(lián)運選址多式聯(lián)運路徑規(guī)劃交通運輸系統(tǒng)評價綜合運用跨行業(yè)、跨層級交通運輸大數(shù)據(jù)集，根據(jù)《交通強國建設(shè)綱要》要求，通過研究建立具有較強應(yīng)用價值的綜合性、全局性大數(shù)據(jù)分析模型，從經(jīng)濟、安全、便捷、高效、綠色等角度對由多種運輸方式組成的客貨運系統(tǒng)進行評價,形成一系列易理解、有結(jié)論、實用性和權(quán)威性較強的大數(shù)據(jù)分析成果，有效支撐綜合交通運輸決策管理與服務(wù)。3、大數(shù)據(jù)應(yīng)用系統(tǒng)經(jīng)濟貨物運輸成本旅客旅行成本公共交通投資比例社會折現(xiàn)率安全交通事故死亡數(shù)交通事故死亡率交通事故數(shù)交通事故財產(chǎn)損失便捷高速公路所占比重高速公路網(wǎng)密度公路網(wǎng)密度軌道交通網(wǎng)密度鐵路網(wǎng)密度高效干道高峰小時平均車速平均換乘次數(shù)居民出行時耗貨物運輸時間旅客旅行時間綠色路段空氣質(zhì)量超標(biāo)率地鐵噪聲分貝值運輸二氧化碳排放率道路綠地率結(jié)束金融集團大數(shù)據(jù)分析平臺總體架構(gòu)議程大數(shù)據(jù)分析平臺綜述1大數(shù)據(jù)分析平臺總體架構(gòu)2大數(shù)據(jù)分析平臺演進路線3大數(shù)據(jù)分析平臺一期實施重點4附錄：數(shù)據(jù)質(zhì)量管理平臺5金融集團管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析關(guān)注的內(nèi)容存在的問題基本的現(xiàn)狀商城數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個金融集團的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐金融集團日常業(yè)務(wù)運轉(zhuǎn)的風(fēng)險評估體系；缺乏金融集團客戶360度視圖，客戶行為分析和預(yù)測無法實現(xiàn)；缺乏面向金融業(yè)務(wù)運營管理的關(guān)鍵績效指標(biāo)體系；……商城已建立面向整個零售業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺業(yè)務(wù)運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向零售的管理分析應(yīng)用；金融集團已開展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時業(yè)務(wù)人員也從客戶管理、風(fēng)險評級和經(jīng)營規(guī)模預(yù)測等方面，提出了大量分析預(yù)測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點！數(shù)據(jù)平臺整體架構(gòu)；數(shù)據(jù)平臺各層建設(shè)的標(biāo)準(zhǔn)；較成熟的金融業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；

數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)整合；

數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)平臺的軟硬環(huán)境……大數(shù)據(jù)分析平臺建設(shè)目標(biāo)外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一制定目標(biāo)和分析模型統(tǒng)一劃分分析主題統(tǒng)一設(shè)計數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術(shù)基礎(chǔ)統(tǒng)一定義BI應(yīng)用自定義報表工具行＋列的簡單定義方式多種格式報表集團決策層集團職能管控層各級業(yè)務(wù)操作層關(guān)注集團主要經(jīng)營指標(biāo)業(yè)務(wù)人員使用BI應(yīng)用實現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新BI分析工具供應(yīng)鏈金融系統(tǒng)POP系統(tǒng)其他業(yè)務(wù)系統(tǒng)云數(shù)據(jù)推送平臺已實現(xiàn)了主要零售及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來金融集團數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，金融集團將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類業(yè)務(wù)進行前瞻性預(yù)測及分析，為集團各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購管理系統(tǒng)查看職能部門的業(yè)務(wù)經(jīng)營情況大數(shù)據(jù)分析平臺建設(shè)預(yù)期收益2.加強業(yè)務(wù)協(xié)作實現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級視圖，有效促進業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級分析、交叉銷售提供基礎(chǔ)3.促進業(yè)務(wù)創(chuàng)新金融集團業(yè)務(wù)人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為金融業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設(shè)效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對金融集團分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保金融集團各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價值1.實現(xiàn)數(shù)據(jù)共享議程大數(shù)據(jù)分析平臺綜述1大數(shù)據(jù)分析平臺總體架構(gòu)2大數(shù)據(jù)分析平臺演進路線3大數(shù)據(jù)分析平臺一期實施重點4附錄：數(shù)據(jù)質(zhì)量管理平臺5大數(shù)據(jù)分析平臺總體架構(gòu)歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應(yīng)用集市數(shù)據(jù)區(qū)商城零售供應(yīng)鏈金融人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應(yīng)用層實時數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層客戶匯總賬戶匯總機構(gòu)匯總……社交媒體移動互聯(lián)用戶評價訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實時數(shù)據(jù)查詢客戶管理財務(wù)管理……外部用戶貼源數(shù)據(jù)區(qū)……管理分析用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風(fēng)險管理大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)商城日常零售業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：供應(yīng)商信息、采購信息、商品信息、銷售流水……金融集團日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……企業(yè)非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評……企業(yè)外部數(shù)據(jù)企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……

源數(shù)據(jù)內(nèi)容在本次項目實施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)商城和金融集團業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負(fù)責(zé)，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)交換層設(shè)計目標(biāo)傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性的設(shè)計工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件金融集團系統(tǒng)數(shù)據(jù)服務(wù)層外部大數(shù)據(jù)商城系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導(dǎo)入臨時區(qū)數(shù)據(jù)平臺導(dǎo)出臨時區(qū)NAS存儲ETL程序區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)集團數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺加工計算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件企業(yè)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等企業(yè)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等批量采集：大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)組件以實時和批量兩種模式實現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務(wù)器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡(luò)爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入大數(shù)據(jù)區(qū)處理對象實現(xiàn)技術(shù)實現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件企業(yè)業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：商城零售業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫金融集團互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)的HiveTable組件以實時和批量模式實現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文件進行質(zhì)量校驗數(shù)據(jù)加載，加載數(shù)據(jù)到臨時數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺連接供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)庫，分析供應(yīng)鏈金融MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到金融平臺NAS存儲的指定目錄，金融平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表處理對象實現(xiàn)技術(shù)實現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)Sqoop實現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換組件以批量方式實現(xiàn)下列數(shù)據(jù)交換功能：貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)處理對象實現(xiàn)技術(shù)實現(xiàn)功能應(yīng)用場景大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準(zhǔn)實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進行歸檔貼源、主題和大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機貼源數(shù)據(jù)模型不保存歷史業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水?dāng)?shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲數(shù)據(jù)，進行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行大數(shù)據(jù)分析MapReduce分布式計算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計算，HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨立的Hadoop集群（HDFS+Hive）無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）業(yè)務(wù)系統(tǒng)歷史明細數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求第三范式模型保留長期歷史，需要根據(jù)主題細化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)針對應(yīng)用需求進行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）按沙盤演練需求，準(zhǔn)備的明細或匯總業(yè)務(wù)數(shù)據(jù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF獨立的Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務(wù)人員訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享

MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障，7×24小時+非工作日有限停機維度數(shù)據(jù)模型依賴業(yè)務(wù)需求面向企業(yè)管理分析類應(yīng)用需求的匯總數(shù)據(jù)為客戶、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)沙盤演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結(jié)果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持?jǐn)?shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求應(yīng)用模型，依賴于用戶業(yè)務(wù)需求依賴于用戶業(yè)務(wù)需求企業(yè)外部人員，如：京東客戶通過自己部署在Paas平臺上的應(yīng)用訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨立的Paas平臺，部署Hadoop集群無單點故障，7×24小時+非工作日有限停機企業(yè)業(yè)務(wù)人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時效查詢，以及準(zhǔn)實時連續(xù)ETL處理+SQL批量處理獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，365×24小時不停機貼源數(shù)據(jù)模型依賴用戶業(yè)務(wù)需求面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準(zhǔn)實時分析應(yīng)用提供數(shù)據(jù)服務(wù)增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)區(qū)金融業(yè)務(wù)數(shù)據(jù)主題數(shù)據(jù)區(qū)客戶管理集市財務(wù)管理集市運營管理集市風(fēng)險管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財務(wù)審計數(shù)據(jù)財務(wù)研發(fā)數(shù)據(jù)操作型明細據(jù)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層大數(shù)據(jù)平臺應(yīng)用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎(chǔ)，實現(xiàn)的查詢類應(yīng)用歷史查詢類應(yīng)用通常使用BI工具或自主開發(fā)實現(xiàn)客戶經(jīng)理等最終業(yè)務(wù)人員針對當(dāng)前業(yè)務(wù)的發(fā)生（如：用戶交易、用戶訪問日志），進行實時查詢、分析的應(yīng)用管理分析類應(yīng)用主要實現(xiàn)了集團客戶管理、運營管理、財務(wù)管理、風(fēng)險管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具（MicroStrategy等）實現(xiàn)業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對業(yè)務(wù)的理解，設(shè)計計算模型，準(zhǔn)備各類明細或匯總數(shù)據(jù)，導(dǎo)入模型運算，驗證業(yè)務(wù)結(jié)果沙盤演練類應(yīng)用通常使用R語言在Hadoop分布式體系下實現(xiàn)金融集團數(shù)據(jù)科學(xué)家根據(jù)自己對業(yè)務(wù)需求的理解或者對市場的判斷，設(shè)計并運行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向企業(yè)內(nèi)外部用戶管理分析類應(yīng)用1沙盤演練類應(yīng)用3歷史查詢類應(yīng)用4高時效類分析應(yīng)用5數(shù)據(jù)增值類產(chǎn)品2實時分析類應(yīng)用通常使用CEP、ESB等技術(shù)實現(xiàn)大數(shù)據(jù)分析平臺總體架構(gòu)——平臺發(fā)展不同階段對應(yīng)應(yīng)用工作負(fù)載復(fù)雜度大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生？動態(tài)數(shù)據(jù)倉庫階段

讓正確的事情發(fā)生！分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預(yù)測為主階段將會發(fā)生什么？批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復(fù)雜度增長ETL處理復(fù)雜度增長管理分析類應(yīng)用歷史查詢類應(yīng)用實時分析類應(yīng)用沙盤演練類應(yīng)用數(shù)據(jù)增值類產(chǎn)品大數(shù)據(jù)分析平臺總體架構(gòu)——管理分析類應(yīng)用總賬分析資產(chǎn)負(fù)債表分析損益表分析現(xiàn)金流量表分析財務(wù)指標(biāo)分析盈利分析機構(gòu)貢獻度產(chǎn)品貢獻度客戶細分貢獻度渠道績效資產(chǎn)負(fù)債分析主要指標(biāo)報告，如：凈利息收入、凈收入、凈現(xiàn)值、市場價值等頭寸報告現(xiàn)金流報告風(fēng)險價值（VaR）計算財務(wù)預(yù)算與計劃財務(wù)預(yù)算財務(wù)計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務(wù)計劃執(zhí)行分析預(yù)測與場景分析業(yè)務(wù)規(guī)模預(yù)測收益預(yù)測……領(lǐng)導(dǎo)管理駕駛艙機構(gòu)績效考核客戶經(jīng)理考核客戶經(jīng)理工作量評估客戶經(jīng)理服務(wù)客戶收益評估產(chǎn)品績效考核業(yè)務(wù)量考核供應(yīng)鏈金融業(yè)務(wù)人人貸業(yè)務(wù)保理業(yè)務(wù)基金業(yè)務(wù)其它中間業(yè)務(wù)……渠道成本與收益……風(fēng)險監(jiān)控報表/信息披露流動性報表利率敏感性報表資本充足率報表……市場風(fēng)險市場風(fēng)險暴露值流動性管理、利率管理信用風(fēng)險信用風(fēng)險暴露值計算信用風(fēng)險控制（貸前控制、貸中監(jiān)控、貸后分析）操作風(fēng)險異常交易預(yù)警后督差錯檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預(yù)警欺詐交易分布分析全面風(fēng)險管理……目前監(jiān)管機構(gòu)沒有明確要求客戶單一視圖公司客戶信息管理個人客戶信息管理同業(yè)客戶信息管理目標(biāo)客戶搜索重點客戶關(guān)懷客戶風(fēng)險客戶異動客戶客戶細分個人客戶細分公司客戶細分客戶行為分析客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營銷活動管理營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果營銷活動自動化渠道接口與集成流程自動化……客戶管理運營管理財務(wù)管理風(fēng)險管理監(jiān)管披露示例大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語句，完成業(yè)務(wù)信息的即席查看多維分析：從多個維度靈活組合對目標(biāo)值進行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運營中的問題，通過手機、郵件等方式報警決策層管理層業(yè)務(wù)人員即席查詢靜態(tài)報表多維分析儀表盤挖掘預(yù)測儀表盤：通過儀表盤及其它展現(xiàn)方式對企業(yè)關(guān)鍵績效指標(biāo)進行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表：按照預(yù)先定義格式，批處理報表，在線查詢報表等Office集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務(wù)挖掘預(yù)測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)Web服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊在企業(yè)服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果多種展現(xiàn)形式滿足各層級用戶及應(yīng)用系統(tǒng)使用需求大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊考核指標(biāo)責(zé)任評價標(biāo)準(zhǔn)執(zhí)行評價政策執(zhí)行評價評價標(biāo)準(zhǔn)數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類真實性定義及時性定義完整性定義技術(shù)元數(shù)據(jù)流程評價與考核流程考核指標(biāo)建立/維護流程標(biāo)準(zhǔn)建立/維護流程組織建立/維護流程評價與考核業(yè)務(wù)含義一致性定義數(shù)據(jù)認(rèn)責(zé)平臺安全等級權(quán)限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計定義保留策略……大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控體系運轉(zhuǎn)機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認(rèn)責(zé)人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標(biāo)準(zhǔn)/政策制定流程評價考核流程……評價與考核標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）遵守標(biāo)準(zhǔn)所需要的政策政策與標(biāo)準(zhǔn)遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負(fù)責(zé)制定管控的相關(guān)流程和評價考核指標(biāo)等內(nèi)容。考評制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標(biāo)，去評估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務(wù)處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術(shù)平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標(biāo)準(zhǔn)/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……工具支撐組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個數(shù)據(jù)管控的成敗的關(guān)鍵。典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負(fù)責(zé)部門崗位角色數(shù)據(jù)管控主導(dǎo)方信息管理委員會

數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)管控參與方業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運維組織實施項目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評。數(shù)據(jù)標(biāo)準(zhǔn)建立和維護數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)鍵業(yè)務(wù)對象關(guān)鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)。。。類數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管理的考評定性考評定量考評數(shù)據(jù)標(biāo)準(zhǔn)分析報告數(shù)據(jù)標(biāo)準(zhǔn)理念推廣歸檔系統(tǒng)……ODS大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的：數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實施相應(yīng)的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補錄手工修正自動修正數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報告大數(shù)據(jù)分析平臺總體架構(gòu)——元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎(chǔ)。數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權(quán)機制，實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)訪問授權(quán)規(guī)則安全技術(shù)大數(shù)據(jù)分析平臺總體架構(gòu)——高階工作流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)維護流程數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口首頁標(biāo)準(zhǔn)管理主菜單指標(biāo)速遞待辦事項信息地圖標(biāo)準(zhǔn)瀏覽標(biāo)準(zhǔn)維護工作管理流程管理績效指標(biāo)系統(tǒng)管理用戶管理權(quán)限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標(biāo)準(zhǔn)知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫數(shù)據(jù)層應(yīng)用層展現(xiàn)層大數(shù)據(jù)分析平臺總體產(chǎn)品框架非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺（X86MPP集群）京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析