《全國一體化政務(wù)大數(shù)據(jù)體系建設(shè)指南》解讀相關(guān)兩份資料

2022《全國一體化政務(wù)大數(shù)據(jù)體系建設(shè)指南》解讀目錄1.建設(shè)背景2.總體要求3.總體架構(gòu)4.主要內(nèi)容5.保障措施1建設(shè)背景建設(shè)現(xiàn)狀政務(wù)數(shù)據(jù)管理職能基本明確政務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施基本建成政務(wù)數(shù)據(jù)資源體系基本形成2016年以來，國務(wù)院出臺(tái)《政務(wù)信息資源共享管理暫行辦法》、《國務(wù)院辦公廳關(guān)于建立健全政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制加快推進(jìn)數(shù)據(jù)有序共享的意見》等一系列政策文件，加強(qiáng)頂層設(shè)計(jì)，統(tǒng)籌推進(jìn)政務(wù)數(shù)據(jù)共享和應(yīng)用工作目前，全國31個(gè)?。ㄗ灾螀^(qū)、直轄市）均已結(jié)合政務(wù)數(shù)據(jù)管理和發(fā)展要求明確政務(wù)數(shù)據(jù)主管部門，負(fù)責(zé)制定大數(shù)據(jù)發(fā)展規(guī)劃和政策措施，組織實(shí)施政務(wù)數(shù)據(jù)采集、歸集、治理、共享、開放和安全保護(hù)等工作，統(tǒng)籌推進(jìn)數(shù)據(jù)資源開發(fā)利用覆蓋國家、省、市、縣等層級(jí)的政務(wù)數(shù)據(jù)目錄體系初步形成，各地區(qū)各部門依托全國一體化政務(wù)服務(wù)平臺(tái)匯聚編制政務(wù)數(shù)據(jù)目錄超過300萬條，信息項(xiàng)超過2000萬個(gè)人口、法人、自然資源、經(jīng)濟(jì)等基礎(chǔ)庫初步建成國務(wù)院各有關(guān)部門積極推進(jìn)醫(yī)療健康、社會(huì)保障、生態(tài)環(huán)保、信用體系、安全生產(chǎn)等領(lǐng)域主題庫建設(shè)各地區(qū)積極探索政務(wù)數(shù)據(jù)管理模式，建設(shè)政務(wù)數(shù)據(jù)平臺(tái)截至目前，全國已建設(shè)26個(gè)省級(jí)政務(wù)數(shù)據(jù)平臺(tái)、257個(gè)市級(jí)政務(wù)數(shù)據(jù)平臺(tái)、355個(gè)縣級(jí)政務(wù)數(shù)據(jù)平臺(tái)國家電子政務(wù)外網(wǎng)基礎(chǔ)能力不斷提升，已實(shí)現(xiàn)縣級(jí)以上行政區(qū)域100%覆蓋，鄉(xiāng)鎮(zhèn)覆蓋率達(dá)到96.1%政務(wù)云基礎(chǔ)支撐能力不斷夯實(shí)，全國31個(gè)?。ㄗ灾螀^(qū)、直轄市）和新疆生產(chǎn)建設(shè)兵團(tuán)云基礎(chǔ)設(shè)施基本建成，超過70%的地級(jí)市建設(shè)了政務(wù)云平臺(tái)建成全國一體化政務(wù)數(shù)據(jù)共享樞紐，依托全國一體化政務(wù)服務(wù)平臺(tái)和國家數(shù)據(jù)共享交換平臺(tái)，構(gòu)建起覆蓋國務(wù)院部門、31個(gè)?。ㄗ灾螀^(qū)、直轄市）和新疆生產(chǎn)建設(shè)兵團(tuán)的數(shù)據(jù)共享交換體系全國一體化政務(wù)數(shù)據(jù)共享樞紐已接入各級(jí)政務(wù)部門5951個(gè)，發(fā)布53個(gè)國務(wù)院部門的各類數(shù)據(jù)資源1.35萬個(gè)，累計(jì)支撐全國共享調(diào)用超過4000億次國家公共數(shù)據(jù)開放體系加快構(gòu)建，21個(gè)省（自治區(qū)、直轄市）建成了省級(jí)數(shù)據(jù)開放平臺(tái)，提供統(tǒng)一規(guī)范的數(shù)據(jù)開放服務(wù)取得的成效經(jīng)濟(jì)調(diào)節(jié)數(shù)字技術(shù)在宏觀調(diào)控決策、經(jīng)濟(jì)社會(huì)發(fā)展分析、投資監(jiān)督管理、數(shù)字經(jīng)濟(jì)治理等方面應(yīng)用持續(xù)深化，政府經(jīng)濟(jì)調(diào)節(jié)數(shù)字化水平逐步提高各地區(qū)運(yùn)用大數(shù)據(jù)強(qiáng)化經(jīng)濟(jì)監(jiān)測預(yù)警，加強(qiáng)覆蓋經(jīng)濟(jì)運(yùn)行全周期的統(tǒng)計(jì)監(jiān)測和綜合分析，不斷提升對經(jīng)濟(jì)運(yùn)行“形”和“勢”的數(shù)字化研判能力市場監(jiān)管利用前端填報(bào)合并、后端數(shù)據(jù)共享等方式，推進(jìn)市場監(jiān)管與人力資源社會(huì)保障、海關(guān)、商務(wù)等多部門業(yè)務(wù)協(xié)同，實(shí)現(xiàn)企業(yè)年報(bào)事項(xiàng)“多報(bào)合一”，減輕企業(yè)負(fù)擔(dān)，助力優(yōu)化營商環(huán)境充分利用法人基礎(chǔ)信息，支持地方和部門開展企業(yè)違規(guī)行為監(jiān)管、行業(yè)動(dòng)態(tài)監(jiān)測和輔助決策分析，防范企業(yè)經(jīng)營風(fēng)險(xiǎn)社會(huì)管理以大數(shù)據(jù)算法建模、分析應(yīng)用為手段，推進(jìn)城市運(yùn)行“一網(wǎng)統(tǒng)管”，提高治理能力和水平通過數(shù)據(jù)融合支撐突發(fā)事件應(yīng)急處置，開展?；贰⒌V產(chǎn)等重點(diǎn)企業(yè)風(fēng)險(xiǎn)態(tài)勢分析和自然災(zāi)害監(jiān)測預(yù)警等工作，提升社會(huì)治理、應(yīng)急指揮的效率和質(zhì)量推進(jìn)社會(huì)信用體系建設(shè)，通過信用狀況分析，揭示社會(huì)主體信用優(yōu)劣，警示社會(huì)主體信用風(fēng)險(xiǎn)，整合全社會(huì)力量褒揚(yáng)誠信、懲戒失信公共服務(wù)各地區(qū)各部門深入挖掘、充分利用數(shù)據(jù)資源，促進(jìn)政務(wù)服務(wù)辦理方式不斷優(yōu)化、辦事效率不斷提升，創(chuàng)新個(gè)稅專項(xiàng)扣除、跨省轉(zhuǎn)學(xué)、精準(zhǔn)扶貧、普惠金融等服務(wù)模式，企業(yè)和群眾的滿意度、獲得感不斷提升目前，政務(wù)服務(wù)事項(xiàng)網(wǎng)上可辦率達(dá)到90%以上，政務(wù)服務(wù)“一網(wǎng)通辦”加速推進(jìn)生態(tài)環(huán)保建設(shè)生態(tài)環(huán)保主題庫，涵蓋環(huán)境質(zhì)量、污染源、環(huán)保產(chǎn)業(yè)、環(huán)?？萍嫉葦?shù)據(jù)通過跨部門數(shù)據(jù)共享，支撐環(huán)境質(zhì)量監(jiān)測、突發(fā)環(huán)境事件應(yīng)急處置等23類應(yīng)用，為打贏藍(lán)天、碧水、凈土保衛(wèi)戰(zhàn)，服務(wù)保障碳達(dá)峰、碳中和目標(biāo)實(shí)現(xiàn)提供了數(shù)據(jù)支持利用大數(shù)據(jù)加強(qiáng)經(jīng)濟(jì)監(jiān)測分析，提升研判能力通過數(shù)據(jù)共享減輕企業(yè)負(fù)擔(dān)，提升監(jiān)管能力推進(jìn)城市運(yùn)行“一網(wǎng)統(tǒng)管”和社會(huì)信用體系建設(shè)促進(jìn)政務(wù)服務(wù)模式創(chuàng)新，提升辦事效率強(qiáng)化環(huán)境監(jiān)測和應(yīng)急處理能力政務(wù)數(shù)據(jù)統(tǒng)籌管理機(jī)制有待完善政務(wù)數(shù)據(jù)共享供需對接不夠充分政務(wù)數(shù)據(jù)支撐應(yīng)用水平亟待提升政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系尚不健全政務(wù)數(shù)據(jù)安全保障能力亟需強(qiáng)化存在的主要問題目前，國家層面已明確建立政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制，但部分政務(wù)部門未明確政務(wù)數(shù)據(jù)統(tǒng)籌管理機(jī)構(gòu)，未建立有效的運(yùn)行管理機(jī)制各級(jí)政務(wù)部門既受上級(jí)主管部門業(yè)務(wù)指導(dǎo)，又歸屬于本地政府管理，政務(wù)數(shù)據(jù)管理權(quán)責(zé)需進(jìn)一步厘清，協(xié)調(diào)機(jī)制需進(jìn)一步理順基層仍存在數(shù)據(jù)重復(fù)采集、多次錄入和系統(tǒng)連通不暢等問題，影響政務(wù)數(shù)據(jù)統(tǒng)籌管理和高效共享當(dāng)前政務(wù)數(shù)據(jù)資源存在底數(shù)不清，數(shù)據(jù)目錄不完整、不規(guī)范，數(shù)據(jù)來源不一等問題，亟需進(jìn)一步加強(qiáng)政務(wù)數(shù)據(jù)目錄規(guī)范化管理數(shù)據(jù)需求不明確、共享制度不完備、供給不積極、供需不匹配、共享不充分、異議處理機(jī)制不完善、綜合應(yīng)用效能不高等問題較為突出有些部門以數(shù)據(jù)安全要求高、僅供特定部門使用為由，數(shù)據(jù)供需雙方自建共享渠道，需整合納入統(tǒng)一的數(shù)據(jù)共享交換體系政務(wù)云平臺(tái)建設(shè)與管理不協(xié)同，政務(wù)云資源使用率不高，缺乏一體化運(yùn)營機(jī)制。政務(wù)數(shù)據(jù)質(zhì)量問題較為突出，數(shù)據(jù)完整性、準(zhǔn)確性、時(shí)效性亟待提升跨地區(qū)、跨部門、跨層級(jí)數(shù)據(jù)綜合分析需求難以滿足，數(shù)據(jù)開放程度不高、數(shù)據(jù)資源開發(fā)利用不足地方對國務(wù)院部門垂直管理系統(tǒng)數(shù)據(jù)的需求迫切，數(shù)據(jù)返還難制約了地方經(jīng)濟(jì)調(diào)節(jié)、市場監(jiān)管、社會(huì)治理、公共服務(wù)、生態(tài)環(huán)保等領(lǐng)域數(shù)字化創(chuàng)新應(yīng)用由于各地區(qū)各部門產(chǎn)生政務(wù)數(shù)據(jù)所依據(jù)的技術(shù)標(biāo)準(zhǔn)、管理規(guī)范不盡相同，政務(wù)數(shù)據(jù)缺乏統(tǒng)一有效的標(biāo)準(zhǔn)化支撐，在數(shù)據(jù)開發(fā)利用時(shí)，需要投入大量人力財(cái)力對數(shù)據(jù)進(jìn)行清洗、比對，大幅增加運(yùn)營成本，亟需完善全國統(tǒng)一的政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)、提升數(shù)據(jù)質(zhì)量部分地方和部門對標(biāo)準(zhǔn)規(guī)范實(shí)施推廣、應(yīng)用績效評估等重視不足，一些標(biāo)準(zhǔn)規(guī)范形同虛設(shè)《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國個(gè)人信息保護(hù)法》、《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》等法律法規(guī)出臺(tái)后，亟需建立完善與政務(wù)數(shù)據(jù)安全配套的制度數(shù)據(jù)全生命周期的安全管理機(jī)制不健全，數(shù)據(jù)安全技術(shù)防護(hù)能力亟待加強(qiáng)缺乏專業(yè)化的數(shù)據(jù)安全運(yùn)營團(tuán)隊(duì)，數(shù)據(jù)安全管理的規(guī)范化水平有待提升，在制度規(guī)范、技術(shù)防護(hù)、運(yùn)行管理三個(gè)層面尚未形成數(shù)據(jù)安全保障的有機(jī)整體2總體要求指導(dǎo)思想以習(xí)近平新時(shí)代中國特色社會(huì)主義思想為指導(dǎo)，堅(jiān)持以人民為中心的發(fā)展思想立足新發(fā)展階段、貫徹新發(fā)展理念、構(gòu)建新發(fā)展格局建立健全權(quán)威高效的政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制，構(gòu)建全國一體化政務(wù)大數(shù)據(jù)體系推進(jìn)政務(wù)數(shù)據(jù)開放共享、有效利用構(gòu)建完善數(shù)據(jù)全生命周期質(zhì)量管理體系加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)，促進(jìn)數(shù)據(jù)高效流通使用推動(dòng)政府治理流程再造和模式優(yōu)化不斷提高政府管理水平和服務(wù)效能為推進(jìn)國家治理體系和治理能力現(xiàn)代化提供有力支撐基本原則12345堅(jiān)持系統(tǒng)觀念、統(tǒng)籌推進(jìn)堅(jiān)持繼承發(fā)展、迭代升級(jí)堅(jiān)持需求導(dǎo)向、應(yīng)用牽引堅(jiān)持創(chuàng)新驅(qū)動(dòng)、提質(zhì)增效堅(jiān)持整體協(xié)同、安全可控加強(qiáng)全局性謀劃、一體化布局、整體性推進(jìn)，更好發(fā)揮中央、地方和各方面積極性，聚焦政務(wù)數(shù)據(jù)歸集、加工、共享、開放、應(yīng)用、安全、存儲(chǔ)、歸檔各環(huán)節(jié)全過程，切實(shí)破解阻礙政務(wù)數(shù)據(jù)共享開放的制度性瓶頸，整體推進(jìn)數(shù)據(jù)共建共治共享，促進(jìn)數(shù)據(jù)有序流通和開發(fā)利用，提升數(shù)據(jù)資源配置效率充分整合利用各地區(qū)各部門現(xiàn)有政務(wù)數(shù)據(jù)資源，以政務(wù)數(shù)據(jù)共享為重點(diǎn)，適度超前布局，預(yù)留發(fā)展空間，加快推進(jìn)各級(jí)政務(wù)數(shù)據(jù)平臺(tái)建設(shè)和迭代升級(jí)，不斷提升政務(wù)數(shù)據(jù)應(yīng)用支撐能力從企業(yè)和群眾需求出發(fā)，從政府管理和服務(wù)場景入手，以業(yè)務(wù)應(yīng)用牽引數(shù)據(jù)治理和有序流動(dòng)，加強(qiáng)數(shù)據(jù)賦能，推進(jìn)跨部門、跨層級(jí)業(yè)務(wù)協(xié)同與應(yīng)用，使政務(wù)數(shù)據(jù)更好地服務(wù)企業(yè)和群眾堅(jiān)持新發(fā)展理念，積極運(yùn)用云計(jì)算、區(qū)塊鏈、人工智能等技術(shù)提升數(shù)據(jù)治理和服務(wù)能力，加快政府?dāng)?shù)字化轉(zhuǎn)型，提供更多數(shù)字化服務(wù)，推動(dòng)實(shí)現(xiàn)決策科學(xué)化、管理精準(zhǔn)化、服務(wù)智能化堅(jiān)持總體國家安全觀，樹立網(wǎng)絡(luò)安全底線思維，圍繞數(shù)據(jù)全生命周期安全管理，落實(shí)安全主體責(zé)任，促進(jìn)安全協(xié)同共治，運(yùn)用安全可靠技術(shù)和產(chǎn)品，推進(jìn)政務(wù)數(shù)據(jù)安全體系規(guī)范化建設(shè)，推動(dòng)安全與利用協(xié)調(diào)發(fā)展建設(shè)目標(biāo)全國一體化政務(wù)大數(shù)據(jù)體系初步形成，基本具備數(shù)據(jù)目錄管理、數(shù)據(jù)歸集、數(shù)據(jù)治理、大數(shù)據(jù)分析、安全防護(hù)等能力，數(shù)據(jù)共享和開放能力顯著增強(qiáng)，政務(wù)數(shù)據(jù)管理服務(wù)水平明顯提升全國一體化政務(wù)大數(shù)據(jù)體系更加完備，政務(wù)數(shù)據(jù)管理更加高效，政務(wù)數(shù)據(jù)資源全部納入目錄管理全面摸清政務(wù)數(shù)據(jù)資源底數(shù)，建立政務(wù)數(shù)據(jù)目錄動(dòng)態(tài)更新機(jī)制，政務(wù)數(shù)據(jù)質(zhì)量不斷改善建設(shè)完善人口、法人、自然資源、經(jīng)濟(jì)、電子證照等基礎(chǔ)庫和醫(yī)療健康、社會(huì)保障、生態(tài)環(huán)保、應(yīng)急管理、信用體系等主題庫，并統(tǒng)一納入全國一體化政務(wù)大數(shù)據(jù)體系政務(wù)大數(shù)據(jù)管理機(jī)制、標(biāo)準(zhǔn)規(guī)范、安全保障體系初步建立，基礎(chǔ)設(shè)施保障能力持續(xù)提升政務(wù)數(shù)據(jù)資源基本納入目錄管理，有效滿足數(shù)據(jù)共享需求，數(shù)據(jù)服務(wù)穩(wěn)定性不斷增強(qiáng)政務(wù)數(shù)據(jù)質(zhì)量顯著提升，“一數(shù)一源、多源校核”等數(shù)據(jù)治理機(jī)制基本形成，政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、安全保障制度更加健全政務(wù)數(shù)據(jù)共享需求普遍滿足，數(shù)據(jù)資源實(shí)現(xiàn)有序流通、高效配置，數(shù)據(jù)安全保障體系進(jìn)一步完善，有效支撐數(shù)字政府建設(shè)政務(wù)數(shù)據(jù)與社會(huì)數(shù)據(jù)融合應(yīng)用水平大幅提升，大數(shù)據(jù)分析應(yīng)用能力顯著增強(qiáng)，推動(dòng)經(jīng)濟(jì)社會(huì)可持續(xù)高質(zhì)量發(fā)展2023年前到2025年主要任務(wù)0105統(tǒng)籌管理一體化數(shù)據(jù)服務(wù)一體化0206數(shù)據(jù)目錄一體化算力設(shè)施一體化0307數(shù)據(jù)資源一體化標(biāo)準(zhǔn)規(guī)范一體化0408共享交換一體化安全保障一體化3總體架構(gòu)國家政務(wù)大數(shù)據(jù)平臺(tái)內(nèi)容構(gòu)成現(xiàn)有基礎(chǔ)共享平臺(tái)、開放平臺(tái)、供需對接系統(tǒng)、基礎(chǔ)庫、主題庫、算力設(shè)施、災(zāi)備設(shè)施新建系統(tǒng)組件數(shù)據(jù)服務(wù)、數(shù)據(jù)治理、數(shù)據(jù)分析、政務(wù)云監(jiān)測、數(shù)據(jù)安全管理相關(guān)應(yīng)用支撐組件數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)開放系統(tǒng)數(shù)據(jù)治理系統(tǒng)供需對接系統(tǒng)數(shù)據(jù)共享系統(tǒng)通用算法模型和控件政務(wù)區(qū)塊鏈服務(wù)政務(wù)云監(jiān)測數(shù)據(jù)安全管理算力設(shè)施災(zāi)備設(shè)施國家政務(wù)數(shù)據(jù)服務(wù)門戶基礎(chǔ)庫人口庫法人庫......主題庫醫(yī)療健康庫社會(huì)保障庫......國家平臺(tái)與地方和部門平臺(tái)關(guān)系數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)開放系統(tǒng)數(shù)據(jù)治理系統(tǒng)供需對接系統(tǒng)數(shù)據(jù)共享系統(tǒng)政務(wù)數(shù)據(jù)服務(wù)門戶國家政務(wù)大數(shù)據(jù)平臺(tái)主題庫基礎(chǔ)庫......主題庫1.注冊和修改目錄2.查找和定位數(shù)據(jù)地方和部門政務(wù)數(shù)據(jù)平臺(tái)數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)共享系統(tǒng)......數(shù)據(jù)資源庫2.數(shù)據(jù)分析服務(wù)2.開放數(shù)據(jù)服務(wù)2.開展供需協(xié)商1.物理匯聚數(shù)據(jù)處理2.發(fā)出共享指令1.留存數(shù)據(jù)2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)1.反饋數(shù)據(jù)要求2.提供數(shù)據(jù)服務(wù)1.數(shù)據(jù)全量注冊2.提出數(shù)據(jù)要求2.數(shù)據(jù)共享服務(wù)編號(hào)1為數(shù)據(jù)注冊和歸集鏈條編號(hào)2為數(shù)據(jù)共享和服務(wù)鏈條與相關(guān)系統(tǒng)的關(guān)系國家政務(wù)大數(shù)據(jù)平臺(tái)32個(gè)省級(jí)政務(wù)數(shù)據(jù)平臺(tái)N個(gè)國務(wù)院部門政務(wù)數(shù)據(jù)平臺(tái)全國一體化政務(wù)大數(shù)據(jù)體系業(yè)務(wù)應(yīng)用體系基礎(chǔ)設(shè)施體系政務(wù)云政務(wù)外網(wǎng)互聯(lián)網(wǎng)提供數(shù)據(jù)支撐提供基礎(chǔ)設(shè)施支撐黨委人大政協(xié)社會(huì)數(shù)據(jù)紀(jì)委監(jiān)委法院檢察院公共數(shù)據(jù)軍隊(duì)4主要內(nèi)容建立完善政務(wù)大數(shù)據(jù)管理體系統(tǒng)籌管理一體化建立健全政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制統(tǒng)籌協(xié)調(diào)本部門本行業(yè)，摸清數(shù)據(jù)資源底數(shù)，編制政務(wù)數(shù)據(jù)目錄，依托國家政務(wù)大數(shù)據(jù)平臺(tái)，與各地區(qū)各部門開展數(shù)據(jù)共享應(yīng)用，不得另建跨部門數(shù)據(jù)共享交換通道，已有通道納入國家政務(wù)大數(shù)據(jù)平臺(tái)數(shù)據(jù)共享系統(tǒng)管理國務(wù)院辦公廳各地區(qū)政務(wù)數(shù)據(jù)主管部門國務(wù)院各有關(guān)部門負(fù)責(zé)統(tǒng)籌、指導(dǎo)、協(xié)調(diào)、監(jiān)督各地區(qū)各部門的政務(wù)數(shù)據(jù)歸集、加工、共享、開放、應(yīng)用、安全、存儲(chǔ)、歸檔等工作統(tǒng)籌本地區(qū)編制政務(wù)數(shù)據(jù)目錄，按需歸集本地區(qū)數(shù)據(jù)，形成基礎(chǔ)庫、主題庫，滿足跨區(qū)域、跨層級(jí)數(shù)據(jù)共享需求，加強(qiáng)數(shù)據(jù)資源開發(fā)利用各地區(qū)各部門要建立健全本地區(qū)本部門政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制，明確管理機(jī)構(gòu)和主要職責(zé)，確保政務(wù)數(shù)據(jù)共享協(xié)調(diào)有力、職責(zé)明確、運(yùn)轉(zhuǎn)順暢、管理規(guī)范、安全有序加強(qiáng)政務(wù)數(shù)據(jù)供需對接，優(yōu)化審批流程，精簡審批材料，及時(shí)響應(yīng)數(shù)據(jù)共享需求，非因法定事由不得拒絕其他單位因依法履職提出的數(shù)據(jù)共享需求積極推動(dòng)政務(wù)數(shù)據(jù)屬地返還，按需回流數(shù)據(jù)，探索利用核查、模型分析、隱私計(jì)算等多種手段，有效支撐地方數(shù)據(jù)資源深度開發(fā)利用數(shù)據(jù)目錄一體化030201建設(shè)政務(wù)數(shù)據(jù)目錄系統(tǒng)，全面摸清政務(wù)數(shù)據(jù)資源底數(shù)，建立覆蓋國家、省、市、縣等層級(jí)的全國一體化政務(wù)數(shù)據(jù)目錄，形成全國政務(wù)數(shù)據(jù)“一本賬”建立數(shù)據(jù)目錄分類分級(jí)管理機(jī)制，按照有關(guān)法律、行政法規(guī)的規(guī)定確定重要政務(wù)數(shù)據(jù)具體目錄國務(wù)院辦公廳負(fù)責(zé)政務(wù)數(shù)據(jù)目錄的統(tǒng)籌管理，各地區(qū)各部門政務(wù)數(shù)據(jù)主管部門負(fù)責(zé)本地區(qū)本部門政務(wù)數(shù)據(jù)目錄的審核和匯總工作，各級(jí)政務(wù)部門應(yīng)按照本部門“三定”規(guī)定，梳理本部門權(quán)責(zé)清單和核心業(yè)務(wù)，將履職過程中產(chǎn)生、采集和管理的政務(wù)數(shù)據(jù)按要求全量編目全量編制政務(wù)數(shù)據(jù)目錄實(shí)現(xiàn)政務(wù)數(shù)據(jù)目錄清單化管理，支撐政務(wù)部門注冊、檢索、定位、申請政務(wù)數(shù)據(jù)資源政務(wù)部門在數(shù)據(jù)資源生成后要及時(shí)開展數(shù)據(jù)源鑒別、數(shù)據(jù)分類分級(jí)以及合規(guī)性、安全性、可用性自查，完成數(shù)據(jù)資源注冊，建立“目錄—數(shù)據(jù)”關(guān)聯(lián)關(guān)系，形成政務(wù)數(shù)據(jù)目錄政務(wù)數(shù)據(jù)資源注冊時(shí)，政務(wù)部門應(yīng)同時(shí)登記提供該數(shù)據(jù)資源的政務(wù)信息系統(tǒng)，建立“數(shù)據(jù)—系統(tǒng)”關(guān)聯(lián)關(guān)系，明確數(shù)據(jù)來源各地區(qū)各部門政務(wù)數(shù)據(jù)主管部門要根據(jù)政務(wù)數(shù)據(jù)目錄代碼規(guī)則、數(shù)據(jù)資源編碼規(guī)則、元數(shù)據(jù)規(guī)范等檢查目錄編制，切實(shí)規(guī)范目錄編制各地區(qū)在編制本地區(qū)政務(wù)數(shù)據(jù)目錄時(shí)，要確保同一政務(wù)數(shù)據(jù)目錄與國務(wù)院部門數(shù)據(jù)目錄所含信息基本一致規(guī)范編制政務(wù)數(shù)據(jù)目錄各地區(qū)各部門調(diào)整政務(wù)數(shù)據(jù)目錄時(shí)，要在國家政務(wù)大數(shù)據(jù)平臺(tái)實(shí)時(shí)同步更新政務(wù)部門職責(zé)發(fā)生變化的，要及時(shí)調(diào)整政務(wù)數(shù)據(jù)目錄；已注冊的數(shù)據(jù)資源要及時(shí)更新，并同步更新“數(shù)據(jù)—系統(tǒng)”關(guān)聯(lián)關(guān)系原則上目錄有新增關(guān)聯(lián)的政務(wù)數(shù)據(jù)資源，應(yīng)在20個(gè)工作日內(nèi)完成注冊；目錄信息發(fā)生變化的，應(yīng)在20個(gè)工作日內(nèi)完成更新加強(qiáng)目錄同步更新管理數(shù)據(jù)資源一體化2.加強(qiáng)政務(wù)數(shù)據(jù)治理國家政務(wù)大數(shù)據(jù)平臺(tái)建設(shè)覆蓋數(shù)據(jù)歸集、加工、共享、開放、應(yīng)用、安全、存儲(chǔ)、歸檔等各環(huán)節(jié)的數(shù)據(jù)治理系統(tǒng)，明確數(shù)據(jù)治理規(guī)則，對歸集的數(shù)據(jù)進(jìn)行全生命周期的規(guī)范化治理各地區(qū)各部門按照國家標(biāo)準(zhǔn)規(guī)范，細(xì)化數(shù)據(jù)治理規(guī)則，開展數(shù)據(jù)治理工作按照“誰管理誰負(fù)責(zé)、誰提供誰負(fù)責(zé)、誰使用誰負(fù)責(zé)”的原則，建立健全數(shù)據(jù)質(zhì)量反饋整改責(zé)任機(jī)制和激勵(lì)機(jī)制，加強(qiáng)數(shù)據(jù)質(zhì)量事前、事中和事后監(jiān)督檢查，實(shí)現(xiàn)問題數(shù)據(jù)可反饋、共享過程可追溯、數(shù)據(jù)質(zhì)量問題可定責(zé)強(qiáng)化數(shù)據(jù)提供部門數(shù)據(jù)治理職責(zé)，數(shù)據(jù)提供部門要按照法律法規(guī)和相關(guān)標(biāo)準(zhǔn)規(guī)范嚴(yán)格履行數(shù)據(jù)歸集、加工、共享等工作職責(zé)，確保數(shù)據(jù)真實(shí)、可用、有效共享；數(shù)據(jù)使用部門要合規(guī)、正確使用數(shù)據(jù)，確保數(shù)據(jù)有效利用、安全存儲(chǔ)、全面歸檔；數(shù)據(jù)管理部門要會(huì)同數(shù)據(jù)提供、使用部門，完善數(shù)據(jù)質(zhì)量管理制度，建立協(xié)同工作機(jī)制，細(xì)化數(shù)據(jù)治理業(yè)務(wù)流程，在數(shù)據(jù)共享使用過程中不斷提升數(shù)據(jù)質(zhì)量加強(qiáng)政務(wù)數(shù)據(jù)分類管理，規(guī)范數(shù)據(jù)業(yè)務(wù)屬性、來源屬性、共享屬性、開放屬性等。運(yùn)用多源比對、血緣分析、人工智能等技術(shù)手段，開展數(shù)據(jù)質(zhì)量多源校核和績效評價(jià)1.推進(jìn)政務(wù)數(shù)據(jù)歸集國家政務(wù)大數(shù)據(jù)平臺(tái)以政務(wù)數(shù)據(jù)目錄為基礎(chǔ)，推動(dòng)數(shù)據(jù)資源“按需歸集、應(yīng)歸盡歸”，通過邏輯接入與物理匯聚兩種方式歸集全國政務(wù)數(shù)據(jù)資源，并進(jìn)行統(tǒng)籌管理各地區(qū)應(yīng)依托政務(wù)數(shù)據(jù)平臺(tái)統(tǒng)籌推進(jìn)本區(qū)域政務(wù)數(shù)據(jù)的歸集工作，實(shí)現(xiàn)省市縣三級(jí)數(shù)據(jù)匯聚整合，并按需接入黨委、人大、政協(xié)、紀(jì)委監(jiān)委、法院、檢察院等機(jī)構(gòu)數(shù)據(jù)行業(yè)主管部門做好本行業(yè)政務(wù)數(shù)據(jù)的歸集工作，實(shí)現(xiàn)行業(yè)數(shù)據(jù)的匯聚整合，并按需歸集公共數(shù)據(jù)和社會(huì)數(shù)據(jù)，提升數(shù)據(jù)資源配置效率3.建設(shè)完善數(shù)據(jù)資源庫協(xié)同發(fā)展改革、公安、自然資源、市場監(jiān)管等國務(wù)院部門持續(xù)建設(shè)完善人口、法人、自然資源、經(jīng)濟(jì)、電子證照等國家級(jí)基礎(chǔ)庫協(xié)同人力資源社會(huì)保障、生態(tài)環(huán)境、應(yīng)急、自然資源、水利、氣象、醫(yī)保、國資等部門加快優(yōu)化完善醫(yī)療健康、政務(wù)服務(wù)、社會(huì)保障、生態(tài)環(huán)保、信用體系、應(yīng)急管理、國資監(jiān)管等主題庫建立健全政務(wù)數(shù)據(jù)歸集共享通報(bào)制度，支撐各地區(qū)各部門政務(wù)數(shù)據(jù)共享、開放和開發(fā)利用各地區(qū)要依托本級(jí)政務(wù)數(shù)據(jù)平臺(tái)，積極開展疫情防控、經(jīng)濟(jì)運(yùn)行監(jiān)測等領(lǐng)域主題庫建設(shè)，促進(jìn)數(shù)據(jù)資源按地域、按主題充分授權(quán)、自主管理共享交換一體化$依托全國一體化政務(wù)服務(wù)平臺(tái)和國家數(shù)據(jù)共享交換平臺(tái)，提升國家政務(wù)大數(shù)據(jù)平臺(tái)數(shù)據(jù)共享支撐能力，統(tǒng)一受理共享申請并提供服務(wù)形成覆蓋國家、省、市等層級(jí)的全國一體化政務(wù)數(shù)據(jù)共享交換體系，高效滿足各地區(qū)各部門數(shù)據(jù)共享需求，有序推進(jìn)國務(wù)院部門垂直管理業(yè)務(wù)系統(tǒng)向地方政務(wù)數(shù)據(jù)平臺(tái)共享數(shù)據(jù)各地區(qū)各部門按需建設(shè)政務(wù)數(shù)據(jù)實(shí)時(shí)交換系統(tǒng)，支持海量數(shù)據(jù)高速傳輸，實(shí)現(xiàn)數(shù)據(jù)分鐘級(jí)共享，形成安全穩(wěn)定、運(yùn)行高效的數(shù)據(jù)供應(yīng)鏈深入推進(jìn)政務(wù)數(shù)據(jù)協(xié)同共享國家政務(wù)大數(shù)據(jù)平臺(tái)支撐各?。ㄗ灾螀^(qū)、直轄市）之間、國務(wù)院各部門之間以及各?。ㄗ灾螀^(qū)、直轄市）與國務(wù)院部門之間的跨部門、跨地域、跨層級(jí)數(shù)據(jù)有效流通和充分共享各地方政務(wù)數(shù)據(jù)平臺(tái)支撐本行政區(qū)域門間、地區(qū)間數(shù)據(jù)流通和共享。各部門政務(wù)數(shù)據(jù)平臺(tái)支撐本部門內(nèi)、本行業(yè)內(nèi)數(shù)據(jù)流通和共享以應(yīng)用為牽引，全面提升數(shù)據(jù)共享服務(wù)能力，協(xié)同推進(jìn)公共數(shù)據(jù)和社會(huì)數(shù)據(jù)共享，探索社會(huì)數(shù)據(jù)“統(tǒng)采共用”，加強(qiáng)對政府共享社會(huì)數(shù)據(jù)的規(guī)范管理，形成國家、地方、部門、企業(yè)等不同層面的數(shù)據(jù)協(xié)同共享機(jī)制，提升數(shù)據(jù)資源使用效益構(gòu)建完善統(tǒng)一共享交換體系數(shù)據(jù)服務(wù)一體化優(yōu)化國家政務(wù)數(shù)據(jù)服務(wù)門戶依托國家政務(wù)大數(shù)據(jù)平臺(tái)的政務(wù)數(shù)據(jù)服務(wù)總門戶，為各地區(qū)各部門提供政務(wù)數(shù)據(jù)目錄編制、資源歸集、申請受理、審核授權(quán)、資源共享、統(tǒng)計(jì)分析、可視化展示和運(yùn)營管理等服務(wù)各地區(qū)各部門可按照國家政務(wù)數(shù)據(jù)服務(wù)總門戶管理要求和相關(guān)標(biāo)準(zhǔn)規(guī)范，統(tǒng)籌建設(shè)政務(wù)數(shù)據(jù)服務(wù)門戶，并做好與國家政務(wù)數(shù)據(jù)服務(wù)總門戶的對接，實(shí)現(xiàn)縱向貫通、橫向協(xié)同加強(qiáng)政務(wù)大數(shù)據(jù)基礎(chǔ)能力建設(shè)加強(qiáng)國家政務(wù)大數(shù)據(jù)平臺(tái)和各地區(qū)各部門政務(wù)數(shù)據(jù)平臺(tái)的共性基礎(chǔ)數(shù)據(jù)服務(wù)能力建設(shè)建設(shè)大數(shù)據(jù)處理分析系統(tǒng)，為多元、異構(gòu)、海量數(shù)據(jù)融合應(yīng)用創(chuàng)新提供技術(shù)支撐充分運(yùn)用大數(shù)據(jù)、人工智能等技術(shù)手段，提供標(biāo)準(zhǔn)化、智能化數(shù)據(jù)服務(wù)建設(shè)全國標(biāo)準(zhǔn)統(tǒng)一的政務(wù)區(qū)塊鏈服務(wù)體系,建立完善數(shù)據(jù)供給的可信安全保障機(jī)制，保障數(shù)據(jù)安全合規(guī)共享開放加大政務(wù)大數(shù)據(jù)應(yīng)用創(chuàng)新力度建立政務(wù)數(shù)據(jù)倉庫，為多行業(yè)和多跨場景應(yīng)用提供多樣化共享服務(wù)建立經(jīng)濟(jì)運(yùn)行監(jiān)測分析系統(tǒng)，即時(shí)分析預(yù)測經(jīng)濟(jì)運(yùn)行趨勢建立基層治理運(yùn)行分析和預(yù)警監(jiān)測模型，動(dòng)態(tài)感知基層治理狀態(tài)和趨勢建立城市運(yùn)行生命體征指標(biāo)體系，實(shí)現(xiàn)對城市運(yùn)行狀態(tài)的整體感知、全局分析和智能處置推動(dòng)開展政務(wù)大數(shù)據(jù)綜合分析應(yīng)用，為政府精準(zhǔn)施策和科學(xué)指揮提供數(shù)據(jù)支撐推進(jìn)政務(wù)數(shù)據(jù)資源開發(fā)利用基于全國一體化政務(wù)大數(shù)據(jù)體系，建設(shè)政務(wù)數(shù)據(jù)開放體系探索利用身份認(rèn)證授權(quán)、數(shù)據(jù)沙箱、安全多方計(jì)算等技術(shù)手段，逐步建立數(shù)據(jù)開放創(chuàng)新機(jī)制建立健全政務(wù)數(shù)據(jù)開放申請審批制度，加大政務(wù)數(shù)據(jù)開放利用創(chuàng)新力度各地區(qū)各部門政務(wù)數(shù)據(jù)主管部門會(huì)同相關(guān)部門制定年度政務(wù)數(shù)據(jù)開放重點(diǎn)清單推動(dòng)優(yōu)秀應(yīng)用項(xiàng)目落地孵化，形成示范效應(yīng)鼓勵(lì)依法依規(guī)開展政務(wù)數(shù)據(jù)授權(quán)運(yùn)營，積極推進(jìn)數(shù)據(jù)資源開發(fā)利用，培育數(shù)據(jù)要素市場算力設(shè)施一體化開展全國政務(wù)大數(shù)據(jù)算力資源普查，摸清算力總量、算力分布、算力構(gòu)成和技術(shù)選型等，形成全國政務(wù)大數(shù)據(jù)算力“一本賬”強(qiáng)化全國政務(wù)云監(jiān)測分析，掌握政務(wù)云資源使用情況，開展云資源分析評估，完善云資源管理運(yùn)營機(jī)制推進(jìn)政務(wù)云資源統(tǒng)籌管理、高效提供、集約使用，探索建立政務(wù)云資源統(tǒng)一調(diào)度機(jī)制，推動(dòng)建設(shè)全國一體化政務(wù)云平臺(tái)體系合理利用全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系，建設(shè)國家政務(wù)大數(shù)據(jù)平臺(tái)算力設(shè)施，構(gòu)建電子證照等數(shù)據(jù)庫，保障國家政務(wù)大數(shù)據(jù)平臺(tái)運(yùn)行整合建設(shè)國家政務(wù)大數(shù)據(jù)平臺(tái)災(zāi)備設(shè)施，完善基礎(chǔ)設(shè)施高可用保障體系，基于“兩地三中心”模式建立本地、異地雙容災(zāi)備份中心，面向業(yè)務(wù)連續(xù)性、穩(wěn)定性要求高的關(guān)鍵業(yè)務(wù)實(shí)現(xiàn)本地“雙活”、重要數(shù)據(jù)本地實(shí)時(shí)災(zāi)備、全量數(shù)據(jù)異地定時(shí)災(zāi)備合理利用全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系，推動(dòng)各地區(qū)各部門政務(wù)云建設(shè)科學(xué)布局、集約發(fā)展提升各地區(qū)各部門政務(wù)大數(shù)據(jù)云資源支撐能力，推動(dòng)政務(wù)數(shù)據(jù)中心整合改造，提高使用低碳、零碳能源比例，按需打造圖像顯示處理器（GPU）、專用集成電路芯片（ASIC）等異構(gòu)計(jì)算能力，構(gòu)建存算分離、圖計(jì)算、隱私計(jì)算等新型數(shù)據(jù)分析管理能力完善算力管理體系提升算力支撐能力建設(shè)國家主備節(jié)點(diǎn)標(biāo)準(zhǔn)規(guī)范一體化加快編制國家標(biāo)準(zhǔn)協(xié)同開展標(biāo)準(zhǔn)體系建設(shè)推進(jìn)標(biāo)準(zhǔn)規(guī)范落地實(shí)施重點(diǎn)圍繞政務(wù)數(shù)據(jù)管理、技術(shù)平臺(tái)建設(shè)和數(shù)據(jù)應(yīng)用服務(wù)等方面推進(jìn)國家標(biāo)準(zhǔn)編制，明確各地區(qū)各部門提升政務(wù)數(shù)據(jù)管理能力和開展數(shù)據(jù)共享開放服務(wù)的標(biāo)準(zhǔn)依據(jù)編制政務(wù)數(shù)據(jù)目錄、數(shù)據(jù)元、數(shù)據(jù)分類分級(jí)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范編制政務(wù)數(shù)據(jù)平臺(tái)建設(shè)指南、技術(shù)對接規(guī)范、基礎(chǔ)庫主題庫建設(shè)指引、運(yùn)行維護(hù)指南、安全防護(hù)基本要求等平臺(tái)技術(shù)標(biāo)準(zhǔn)編制數(shù)據(jù)服務(wù)管理、技術(shù)、運(yùn)營等制度規(guī)范編制政務(wù)云建設(shè)管理規(guī)范、政務(wù)云監(jiān)測指南等規(guī)范根據(jù)國家政務(wù)大數(shù)據(jù)標(biāo)準(zhǔn)體系框架和國家標(biāo)準(zhǔn)要求，各地區(qū)各部門、行業(yè)主管機(jī)構(gòu)結(jié)合自身業(yè)務(wù)特點(diǎn)和行業(yè)特色，積極開展政務(wù)數(shù)據(jù)相關(guān)行業(yè)標(biāo)準(zhǔn)、地方標(biāo)準(zhǔn)編制工作以國家標(biāo)準(zhǔn)為核心基礎(chǔ)、以地方標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)為有效補(bǔ)充，推動(dòng)形成規(guī)范統(tǒng)一、高效協(xié)同、支撐有力的全國一體化政務(wù)大數(shù)據(jù)標(biāo)準(zhǔn)體系完善標(biāo)準(zhǔn)規(guī)范落地推廣機(jī)制，各地區(qū)各部門制定出臺(tái)標(biāo)準(zhǔn)實(shí)施方案，依據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范建設(shè)完善政務(wù)數(shù)據(jù)平臺(tái)，提高數(shù)據(jù)管理能力和服務(wù)水平政務(wù)數(shù)據(jù)主管部門定期對標(biāo)準(zhǔn)執(zhí)行情況開展符合性審查，強(qiáng)化標(biāo)準(zhǔn)規(guī)范實(shí)施績效評估，充分發(fā)揮全國一體化政務(wù)大數(shù)據(jù)標(biāo)準(zhǔn)體系支撐作用安全保障一體化貫徹落實(shí)《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國個(gè)人信息保護(hù)法》等法律法規(guī)，明確數(shù)據(jù)分類分級(jí)、安全審查等具體制度和要求明確數(shù)據(jù)安全主體責(zé)任，按照“誰管理、誰負(fù)責(zé)”和“誰使用、誰負(fù)責(zé)”的原則，厘清數(shù)據(jù)流轉(zhuǎn)全流程中各方權(quán)利義務(wù)和法律責(zé)任圍繞數(shù)據(jù)全生命周期管理，以“人、數(shù)據(jù)、場景”關(guān)聯(lián)管理為核心，建立健全工作責(zé)任機(jī)制，促進(jìn)數(shù)據(jù)安全管理規(guī)范有效實(shí)施健全數(shù)據(jù)安全制度規(guī)范加強(qiáng)數(shù)據(jù)安全常態(tài)化檢測和技術(shù)防護(hù)，建立健全面向數(shù)據(jù)的信息安全技術(shù)保障體系充分利用電子認(rèn)證，數(shù)據(jù)加密存儲(chǔ)、傳輸和應(yīng)用手段，防止數(shù)據(jù)篡改，推進(jìn)數(shù)據(jù)脫敏使用，加強(qiáng)重要數(shù)據(jù)保護(hù)，加強(qiáng)個(gè)人隱私、商業(yè)秘密信息保護(hù)，嚴(yán)格管控?cái)?shù)據(jù)訪問行為，實(shí)現(xiàn)過程全記錄和精細(xì)化權(quán)限管理建設(shè)數(shù)據(jù)安全態(tài)勢感知平臺(tái)，挖掘感知各類威脅事件，實(shí)現(xiàn)高危操作及時(shí)阻斷，變被動(dòng)防御為主動(dòng)防御，提高風(fēng)險(xiǎn)防范能力，優(yōu)化安全技術(shù)應(yīng)用模式，提升安全防護(hù)監(jiān)測水平提升平臺(tái)技術(shù)防護(hù)能力完善數(shù)據(jù)安全運(yùn)維運(yùn)營保障機(jī)制，明確各方權(quán)責(zé)，加強(qiáng)數(shù)據(jù)安全風(fēng)險(xiǎn)信息的獲取、分析、研判、預(yù)警建立健全事前管審批、事中全留痕、事后可追溯的數(shù)據(jù)安全運(yùn)行監(jiān)管機(jī)制，加強(qiáng)數(shù)據(jù)使用申請合規(guī)性審查和白名單控制，優(yōu)化態(tài)勢感知規(guī)則和全流程記錄手段，提高對數(shù)據(jù)異常使用行為的發(fā)現(xiàn)、溯源和處置能力，形成數(shù)據(jù)安全管理閉環(huán)，筑牢數(shù)據(jù)安全防線加強(qiáng)政務(wù)系統(tǒng)建設(shè)安全管理，保障數(shù)據(jù)應(yīng)用健康穩(wěn)定運(yùn)行，確保數(shù)據(jù)安全強(qiáng)化數(shù)據(jù)安全運(yùn)行管理5保障措施保障措施鼓勵(lì)各地區(qū)各部門開展制度創(chuàng)新，完善數(shù)據(jù)要素法治環(huán)境，構(gòu)建數(shù)據(jù)要素市場化配置體制機(jī)制鼓勵(lì)各地區(qū)各部門開展應(yīng)用創(chuàng)新，在普惠金融、衛(wèi)生健康、社會(huì)保障、交通運(yùn)輸、應(yīng)急管理等領(lǐng)域開展試點(diǎn)，推進(jìn)重點(diǎn)領(lǐng)域政務(wù)數(shù)據(jù)深度應(yīng)用鼓勵(lì)各地區(qū)各部門推進(jìn)數(shù)據(jù)基礎(chǔ)能力建設(shè)，積極構(gòu)建數(shù)據(jù)安全存儲(chǔ)、數(shù)據(jù)存證、隱私計(jì)算等支撐體系，推動(dòng)大數(shù)據(jù)挖掘分析、智能計(jì)算、數(shù)據(jù)安全與隱私保護(hù)等核心技術(shù)攻關(guān)鼓勵(lì)探索創(chuàng)新04按照“管運(yùn)適度分離”原則，加大政務(wù)數(shù)據(jù)運(yùn)營力量投入加強(qiáng)專業(yè)力量建設(shè)，建立專業(yè)數(shù)據(jù)人才隊(duì)伍，提升其數(shù)字思維、數(shù)字技能和數(shù)字素養(yǎng)，補(bǔ)齊運(yùn)營主體缺位、專業(yè)能力不足短板，創(chuàng)新政務(wù)數(shù)據(jù)開發(fā)運(yùn)營模式，支持具備條件、信譽(yù)良好的第三方企事業(yè)單位開展運(yùn)營服務(wù)建立健全政務(wù)數(shù)據(jù)運(yùn)營規(guī)則，明確數(shù)據(jù)運(yùn)營非歧視、非壟斷原則，明確運(yùn)營機(jī)構(gòu)的安全主體責(zé)任，研究制定政務(wù)數(shù)據(jù)授權(quán)運(yùn)營管理辦法，強(qiáng)化授權(quán)場景、授權(quán)范圍和運(yùn)營安全監(jiān)督管理推進(jìn)數(shù)據(jù)運(yùn)營02強(qiáng)化督促落實(shí)03國務(wù)院辦公廳牽頭制定全國一體化政務(wù)大數(shù)據(jù)管理和應(yīng)用評估評價(jià)體系各地區(qū)各部門要研究制定本地區(qū)本部門政務(wù)大數(shù)據(jù)工作監(jiān)督評估辦法各地區(qū)各部門要對相關(guān)經(jīng)費(fèi)進(jìn)行全過程績效管理，把績效評價(jià)結(jié)果作為完善政策、改進(jìn)管理和安排預(yù)算的重要依據(jù)各地區(qū)各部門如有違規(guī)使用、超范圍使用、濫用、篡改、毀損、泄露數(shù)據(jù)等行為，按照有關(guān)規(guī)定追究責(zé)任加強(qiáng)組織實(shí)施01充分發(fā)揮國家政務(wù)數(shù)據(jù)共享協(xié)調(diào)機(jī)制作用，建立全國一體化政務(wù)大數(shù)據(jù)體系規(guī)劃、建設(shè)、運(yùn)維、運(yùn)營的領(lǐng)導(dǎo)責(zé)任制國務(wù)院各有關(guān)部門要指導(dǎo)、協(xié)調(diào)、監(jiān)督本部門本行業(yè)做好政務(wù)數(shù)據(jù)管理工作；各地區(qū)要加強(qiáng)政務(wù)數(shù)據(jù)管理，研究制定配套措施，推動(dòng)相關(guān)法規(guī)規(guī)章立改廢釋各地區(qū)各部門要合理安排項(xiàng)目與經(jīng)費(fèi)，加大對全國一體化政務(wù)大數(shù)據(jù)體系建設(shè)運(yùn)行的支持力度各地區(qū)各部門要加強(qiáng)宣傳引導(dǎo)和培訓(xùn)，不斷提升全國一體化政務(wù)大數(shù)據(jù)體系應(yīng)用成效感謝聆聽《全國一體化政務(wù)大數(shù)據(jù)體系建設(shè)指南》解讀上海聯(lián)通大數(shù)據(jù)平臺(tái)規(guī)劃方案匯報(bào)目錄二、大數(shù)據(jù)平臺(tái)整體規(guī)劃一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過高速獲取數(shù)據(jù)并對其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對于大數(shù)據(jù)的一個(gè)共識(shí)。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)。——Google首席經(jīng)濟(jì)學(xué)家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，對企業(yè)產(chǎn)生新的價(jià)值。大數(shù)據(jù)對電信運(yùn)營商的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動(dòng)，營銷實(shí)時(shí)，以業(yè)務(wù)效率提升為標(biāo)志。提升業(yè)務(wù)效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務(wù)支持，實(shí)時(shí)的決策和預(yù)測能力提升整體經(jīng)營管理水平。增強(qiáng)管理水平數(shù)據(jù)開放服務(wù)、與OTT廠商合作的后向收費(fèi)、廣告等新業(yè)務(wù).創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗(yàn)、個(gè)性化商品推薦、LBS位置營銷、面向客戶個(gè)體的深度洞察提升客戶體驗(yàn)以技術(shù)驅(qū)動(dòng)為標(biāo)志，內(nèi)存計(jì)算、MPP、CEP…分而治之的分布式計(jì)算讓運(yùn)營商實(shí)時(shí)高效決策….技術(shù)高效、低成本上海聯(lián)通數(shù)據(jù)平臺(tái)現(xiàn)狀精細(xì)化營銷數(shù)據(jù)中心營賬系統(tǒng)經(jīng)分(BI)GN口上網(wǎng)話單終端(DM)VAC短彩信中心語音通話詳單客服接觸記錄流媒體平臺(tái)詳單位置信令話單基站信息116114企業(yè)黃頁信息渠道應(yīng)用助銷信息經(jīng)過一二期的建設(shè)，精細(xì)化運(yùn)營平臺(tái)的數(shù)據(jù)中心，已經(jīng)成為上海聯(lián)通最大、內(nèi)容最豐富的數(shù)據(jù)倉庫；隨著數(shù)據(jù)量的增長，需要對基礎(chǔ)架構(gòu)做長遠(yuǎn)規(guī)劃；有必要深入挖掘數(shù)據(jù)價(jià)值，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤中心33擴(kuò)展性增量式的、幾乎無限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活性靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲(chǔ)分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制一致性不要使用分布式事務(wù)處理大數(shù)據(jù)處理的需求和特點(diǎn)低成本運(yùn)營一體化運(yùn)營精細(xì)化運(yùn)營全網(wǎng)運(yùn)營實(shí)時(shí)、智能化運(yùn)營集中化建設(shè)、管理和維護(hù)可不斷線性擴(kuò)展提高資源綜合利用率標(biāo)準(zhǔn)化功能組件，可共享可復(fù)用按業(yè)務(wù)量、按需支付BASS與BOSS、CRM的一體化BSS與MSS、OSS、VAS等跨域一體化對外部客戶和應(yīng)用的一體化片區(qū)化、網(wǎng)格化管理長尾市場、小眾市場的支撐個(gè)性化、短周期需求的滿足異地客戶、家庭客戶、集團(tuán)客戶一點(diǎn)接入、全網(wǎng)服務(wù)、全網(wǎng)客戶畫像全國統(tǒng)一套餐、全網(wǎng)營銷、統(tǒng)一客服實(shí)時(shí)數(shù)據(jù)獲取、處理、分析智能化主動(dòng)事件觸發(fā)智能管道移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)運(yùn)營發(fā)展趨勢對業(yè)務(wù)支撐平臺(tái)的集中化要求對數(shù)據(jù)架構(gòu)的集中化要求集中化、大容量、高擴(kuò)展、高可用數(shù)據(jù)庫平臺(tái)：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級(jí)數(shù)據(jù)中心高性能：支持3G時(shí)代更高的實(shí)時(shí)性要求、支持動(dòng)態(tài)資源共享：支持多租戶管理、資源動(dòng)態(tài)按需供應(yīng)可重用、標(biāo)準(zhǔn)化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益數(shù)據(jù)集中化趨勢使得運(yùn)營商面臨著海量數(shù)據(jù)的存儲(chǔ)及分析問題，大數(shù)據(jù)在支撐移動(dòng)業(yè)務(wù)發(fā)展趨勢中，充當(dāng)重要角色。電信運(yùn)營商數(shù)據(jù)集中化趨勢35電信運(yùn)營面臨的大數(shù)據(jù)挑戰(zhàn)移動(dòng)互聯(lián)網(wǎng)和個(gè)人消費(fèi)領(lǐng)域業(yè)務(wù)擴(kuò)展和CEM導(dǎo)致海量數(shù)據(jù)的及時(shí)分析帶來挑戰(zhàn)運(yùn)營商一體化集中運(yùn)營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù)倉庫，對大數(shù)據(jù)的存儲(chǔ)、性能、開放帶來挑戰(zhàn)DPI和信令監(jiān)測，產(chǎn)生的大量事件在存儲(chǔ)和用戶通信行為分析的實(shí)時(shí)處理性能帶來挑戰(zhàn)ICT融合，核心網(wǎng)絡(luò)、運(yùn)營支撐和VAS業(yè)務(wù)數(shù)據(jù)的融合催生海量UserProfile并集，對大數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算效能帶來挑戰(zhàn)移動(dòng)互聯(lián)網(wǎng)流量井噴與客戶行為分析業(yè)務(wù)融合、能力互通帶來數(shù)據(jù)融合提升客戶體驗(yàn)要求分析網(wǎng)絡(luò)服務(wù)數(shù)據(jù)IT系統(tǒng)集中化和行業(yè)數(shù)據(jù)價(jià)值挖掘BSSBI數(shù)據(jù)：河南17個(gè)地市，每天抽取正常用戶數(shù)7000多萬，撥備用戶數(shù)3000多萬，DW層用戶表總量1億多條；語音清單每天2.7億條數(shù)據(jù)，GPRS清單每天4.2億條數(shù)據(jù)；賬務(wù)每天4.7億條數(shù)據(jù)；GPRS文件每個(gè)100M左右，其它文件25M。日接口數(shù)據(jù)量：2000G，其中話單220G，WAP清單300G，

工單服務(wù)200G，

用戶、帳務(wù)300G，其它980G。每月124TB數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留1年，總數(shù)據(jù)量1.45PB。按照用戶數(shù)簡單測算,6.5億用戶下，總數(shù)據(jù)量》10PB!聯(lián)通總部3G互聯(lián)網(wǎng)訪問記錄查詢及分析系統(tǒng)：全國每日新增10TB數(shù)據(jù)，每月近萬億條記錄，要存放6個(gè)月，約2PB的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫時(shí)間小于30分鐘，原始上網(wǎng)記錄保留6個(gè)月。上網(wǎng)查詢速度不高于1秒，并發(fā)查詢數(shù)1000請求/秒。集群規(guī)模188個(gè)數(shù)據(jù)節(jié)點(diǎn)，存儲(chǔ)容量2.6PB傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲(chǔ)日益增長的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)需求基礎(chǔ)數(shù)據(jù)（用戶資料，產(chǎn)品訂購信息）：15G/日*365+40G*12月=5T/年考慮20%的業(yè)務(wù)增長率后為：6T/年用戶上網(wǎng)數(shù)據(jù)話單數(shù)據(jù)：250T/年考慮20%的業(yè)務(wù)增長率后為：300T/年MR數(shù)據(jù)話單數(shù)據(jù)：634G/日634G/日*365

=227T/年考慮20%的業(yè)務(wù)增長率后為：272T/年BSS數(shù)據(jù)新增新增評估中日使用流量（TB）6月10月隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力；數(shù)據(jù)倉庫無法線性擴(kuò)容，管理難度加大，成本高擴(kuò)容壓力大，效率下降等傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大數(shù)據(jù)架構(gòu)下需要對用戶原始話單進(jìn)行長期保存。需要擴(kuò)容大量存儲(chǔ)空間。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

用戶層現(xiàn)平臺(tái)的數(shù)據(jù)保存周期大數(shù)據(jù)的數(shù)據(jù)保存周期應(yīng)用層KR/CB/DM層永久保留至少2年數(shù)據(jù)存儲(chǔ)層MK層永久保留至少2年DW層5個(gè)月永久保留數(shù)據(jù)獲取層ODS層3~7天永久保留面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供可供線性擴(kuò)容的存儲(chǔ)能力。每個(gè)應(yīng)用需求的變化就是一場災(zāi)難。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)可能需要對中間每個(gè)處理環(huán)節(jié)進(jìn)行逐個(gè)調(diào)整。重新生成數(shù)據(jù)的周期也非常緩慢。由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)。整個(gè)數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲(chǔ)壓力在數(shù)據(jù)抽取和清洗階段會(huì)過濾掉與業(yè)務(wù)無關(guān)的數(shù)據(jù)記錄和字段。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題數(shù)據(jù)源明細(xì)數(shù)據(jù)層

（DW）匯總層（MK）報(bào)表數(shù)據(jù)標(biāo)簽庫指標(biāo)數(shù)據(jù)客戶統(tǒng)一視圖……應(yīng)用層DW&MK操作型數(shù)據(jù)ODS層Oracle數(shù)據(jù)庫精細(xì)化營銷架構(gòu)短信中心經(jīng)分DMVACGN話單流媒體客服系統(tǒng)計(jì)費(fèi)中心MC話單彩信中心MR數(shù)據(jù)BSS用戶互聯(lián)網(wǎng)聯(lián)系方式（總部研究院）241234現(xiàn)網(wǎng)數(shù)據(jù)平臺(tái)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫架構(gòu)。大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無法保存和處理，缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。傳統(tǒng)數(shù)據(jù)倉庫無法有效應(yīng)對大數(shù)據(jù)分析需求1現(xiàn)網(wǎng)每日用戶上網(wǎng)HTTP話單達(dá)14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動(dòng)互聯(lián)網(wǎng)正在迅猛增長，傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時(shí)限和事務(wù)處理需求。3面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供快速的處理能力。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸現(xiàn)網(wǎng)精細(xì)化營銷平臺(tái)的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承載所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算。缺乏對數(shù)據(jù)分層分級(jí)及生命周期的有效管理。系統(tǒng)核心架構(gòu)為Oracle數(shù)據(jù)庫+小型機(jī)+磁陣。數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫服務(wù)器從磁陣讀到本地后進(jìn)行計(jì)算結(jié)果。隨著數(shù)據(jù)量增長，磁盤I/O、網(wǎng)絡(luò)帶寬、數(shù)據(jù)庫服務(wù)器的處理能力將存在瓶頸，處理時(shí)延嚴(yán)重。由于傳統(tǒng)架構(gòu)的可擴(kuò)展性差，無法滿足大數(shù)據(jù)的計(jì)算的擴(kuò)容需求。為應(yīng)對海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進(jìn)行轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由x86服務(wù)器提供。因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，不同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行有效分析，傳統(tǒng)的架構(gòu)處理吃力。關(guān)系數(shù)據(jù)庫引入對XML的支持仍然無法有效處理ETL大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務(wù)數(shù)據(jù)主要關(guān)鍵技術(shù)

自然語言理解，文本分詞、語義分析，情感分析或者大規(guī)模計(jì)算技術(shù)

非結(jié)構(gòu)化數(shù)據(jù)索引技術(shù)，如搜索引擎倒排索引技術(shù)

多媒體處理，包括圖像識(shí)別，語音識(shí)別，多媒體索引等技術(shù)

……傳統(tǒng)數(shù)據(jù)倉庫無法有效支撐數(shù)據(jù)合作運(yùn)營由于保存原始話單數(shù)據(jù)周期較短，合作運(yùn)營無法追溯歷史原始數(shù)據(jù)?，F(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫的設(shè)計(jì)只適用與向上層提供既定好的數(shù)據(jù)分析任務(wù)結(jié)果。對外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時(shí)數(shù)據(jù)的處理方式及結(jié)果也恐難以滿足合作運(yùn)營的需要。大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運(yùn)營。同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來。目錄二、大數(shù)據(jù)平臺(tái)整體規(guī)劃一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢上海聯(lián)通大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)據(jù)倉庫分布式數(shù)據(jù)庫基于X86平臺(tái)數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營銷智能運(yùn)營物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時(shí)分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫（MPP）：存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉庫（與MPP合設(shè)）：存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺(tái)：負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫應(yīng)用層HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架?；诜?wù)器本地的計(jì)算與存儲(chǔ)資源，Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。大數(shù)據(jù)平臺(tái)：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理SharedNothing代表數(shù)據(jù)庫：GreenPlum、Vertica、Teradata適合大數(shù)據(jù)量的OLAP應(yīng)用缺點(diǎn)優(yōu)點(diǎn)線性擴(kuò)展：X86平臺(tái)高可用性較低新型MPP數(shù)據(jù)庫主要構(gòu)建在x86平臺(tái)上，為無共享架構(gòu)（ShareNothing），依靠軟件架構(gòu)上的創(chuàng)新和數(shù)據(jù)多副本機(jī)制，實(shí)現(xiàn)系統(tǒng)的高可用性和可擴(kuò)展性。負(fù)責(zé)深度分析、復(fù)雜查詢、KPI計(jì)算、數(shù)據(jù)挖掘以及多變的自助分析應(yīng)用等，支持PB級(jí)的數(shù)據(jù)存儲(chǔ)。大數(shù)據(jù)平臺(tái)：

分布式數(shù)據(jù)庫新型MPP分布式數(shù)據(jù)庫基于開放平臺(tái)x86服務(wù)器大規(guī)模的并發(fā)處理能力無單點(diǎn)故障，可線性擴(kuò)展多副本機(jī)制保證數(shù)據(jù)安全支撐PB級(jí)的數(shù)據(jù)量支持SQL，開放靈活數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫按響應(yīng)及時(shí)性內(nèi)存數(shù)據(jù)庫數(shù)據(jù)生命周期中在線數(shù)據(jù)對高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制?；谏芷诨谠L問壓力基于業(yè)務(wù)用途基于物理屬性分級(jí)原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉庫的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉庫主數(shù)據(jù)倉庫2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫1’、清單數(shù)據(jù)入MPP數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分級(jí)存儲(chǔ)Hadoop平臺(tái)主數(shù)據(jù)倉庫報(bào)表數(shù)據(jù)標(biāo)簽庫指標(biāo)數(shù)據(jù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)信息子層：報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫等數(shù)據(jù)來源于匯總層。匯總層：主題域之間進(jìn)行關(guān)聯(lián)、匯總計(jì)算。匯總數(shù)據(jù)服務(wù)于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計(jì)算成本和計(jì)算時(shí)間。輕度匯總層：主題域基于明細(xì)層數(shù)據(jù)，進(jìn)行多維度的、用戶級(jí)的匯總。明細(xì)數(shù)據(jù)層：主題域進(jìn)行拆分、關(guān)聯(lián)。是對ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。未來也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫精細(xì)化營銷分布式數(shù)據(jù)庫MPP其他應(yīng)用1其他應(yīng)用2應(yīng)用層：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。精細(xì)化營銷做為大數(shù)據(jù)平臺(tái)的一個(gè)上層應(yīng)用，有由大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)支撐數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層12123344大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分層源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫?；A(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存3年清洗、轉(zhuǎn)