【數(shù)據(jù)平臺(tái)】華為大數(shù)據(jù)平臺(tái)規(guī)劃方案匯報(bào)相關(guān)兩份資料

上海聯(lián)通大數(shù)據(jù)平臺(tái)規(guī)劃方案匯報(bào)目錄二、大數(shù)據(jù)平臺(tái)整體規(guī)劃一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì)大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的信息。。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過高速獲取數(shù)據(jù)并對(duì)其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對(duì)于大數(shù)據(jù)的一個(gè)共識(shí)。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)。——Google首席經(jīng)濟(jì)學(xué)家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，對(duì)企業(yè)產(chǎn)生新的價(jià)值。大數(shù)據(jù)對(duì)電信運(yùn)營(yíng)商的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動(dòng)，營(yíng)銷實(shí)時(shí)，以業(yè)務(wù)效率提升為標(biāo)志。提升業(yè)務(wù)效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務(wù)支持，實(shí)時(shí)的決策和預(yù)測(cè)能力提升整體經(jīng)營(yíng)管理水平。增強(qiáng)管理水平數(shù)據(jù)開放服務(wù)、與OTT廠商合作的后向收費(fèi)、廣告等新業(yè)務(wù).創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗(yàn)、個(gè)性化商品推薦、LBS位置營(yíng)銷、面向客戶個(gè)體的深度洞察提升客戶體驗(yàn)以技術(shù)驅(qū)動(dòng)為標(biāo)志，內(nèi)存計(jì)算、MPP、CEP…分而治之的分布式計(jì)算讓運(yùn)營(yíng)商實(shí)時(shí)高效決策….技術(shù)高效、低成本上海聯(lián)通數(shù)據(jù)平臺(tái)現(xiàn)狀精細(xì)化營(yíng)銷數(shù)據(jù)中心營(yíng)賬系統(tǒng)經(jīng)分(BI)GN口上網(wǎng)話單終端(DM)VAC短彩信中心語(yǔ)音通話詳單客服接觸記錄流媒體平臺(tái)詳單位置信令話單基站信息116114企業(yè)黃頁(yè)信息渠道應(yīng)用助銷信息經(jīng)過一二期的建設(shè)，精細(xì)化運(yùn)營(yíng)平臺(tái)的數(shù)據(jù)中心，已經(jīng)成為上海聯(lián)通最大、內(nèi)容最豐富的數(shù)據(jù)倉(cāng)庫(kù)；隨著數(shù)據(jù)量的增長(zhǎng)，需要對(duì)基礎(chǔ)架構(gòu)做長(zhǎng)遠(yuǎn)規(guī)劃；有必要深入挖掘數(shù)據(jù)價(jià)值，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤(rùn)中心5擴(kuò)展性增量式的、幾乎無(wú)限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活性靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲(chǔ)分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制一致性不要使用分布式事務(wù)處理大數(shù)據(jù)處理的需求和特點(diǎn)低成本運(yùn)營(yíng)一體化運(yùn)營(yíng)精細(xì)化運(yùn)營(yíng)全網(wǎng)運(yùn)營(yíng)實(shí)時(shí)、智能化運(yùn)營(yíng)集中化建設(shè)、管理和維護(hù)可不斷線性擴(kuò)展提高資源綜合利用率標(biāo)準(zhǔn)化功能組件，可共享可復(fù)用按業(yè)務(wù)量、按需支付BASS與BOSS、CRM的一體化BSS與MSS、OSS、VAS等跨域一體化對(duì)外部客戶和應(yīng)用的一體化片區(qū)化、網(wǎng)格化管理長(zhǎng)尾市場(chǎng)、小眾市場(chǎng)的支撐個(gè)性化、短周期需求的滿足異地客戶、家庭客戶、集團(tuán)客戶一點(diǎn)接入、全網(wǎng)服務(wù)、全網(wǎng)客戶畫像全國(guó)統(tǒng)一套餐、全網(wǎng)營(yíng)銷、統(tǒng)一客服實(shí)時(shí)數(shù)據(jù)獲取、處理、分析智能化主動(dòng)事件觸發(fā)智能管道移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)運(yùn)營(yíng)發(fā)展趨勢(shì)對(duì)業(yè)務(wù)支撐平臺(tái)的集中化要求對(duì)數(shù)據(jù)架構(gòu)的集中化要求集中化、大容量、高擴(kuò)展、高可用數(shù)據(jù)庫(kù)平臺(tái)：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級(jí)數(shù)據(jù)中心高性能：支持3G時(shí)代更高的實(shí)時(shí)性要求、支持動(dòng)態(tài)資源共享：支持多租戶管理、資源動(dòng)態(tài)按需供應(yīng)可重用、標(biāo)準(zhǔn)化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益數(shù)據(jù)集中化趨勢(shì)使得運(yùn)營(yíng)商面臨著海量數(shù)據(jù)的存儲(chǔ)及分析問題，大數(shù)據(jù)在支撐移動(dòng)業(yè)務(wù)發(fā)展趨勢(shì)中，充當(dāng)重要角色。電信運(yùn)營(yíng)商數(shù)據(jù)集中化趨勢(shì)7電信運(yùn)營(yíng)面臨的大數(shù)據(jù)挑戰(zhàn)移動(dòng)互聯(lián)網(wǎng)和個(gè)人消費(fèi)領(lǐng)域業(yè)務(wù)擴(kuò)展和CEM導(dǎo)致海量數(shù)據(jù)的及時(shí)分析帶來(lái)挑戰(zhàn)運(yùn)營(yíng)商一體化集中運(yùn)營(yíng)和透明管控，催生巨大的經(jīng)營(yíng)分析數(shù)據(jù)倉(cāng)庫(kù)，對(duì)大數(shù)據(jù)的存儲(chǔ)、性能、開放帶來(lái)挑戰(zhàn)DPI和信令監(jiān)測(cè)，產(chǎn)生的大量事件在存儲(chǔ)和用戶通信行為分析的實(shí)時(shí)處理性能帶來(lái)挑戰(zhàn)ICT融合，核心網(wǎng)絡(luò)、運(yùn)營(yíng)支撐和VAS業(yè)務(wù)數(shù)據(jù)的融合催生海量UserProfile并集，對(duì)大數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算效能帶來(lái)挑戰(zhàn)移動(dòng)互聯(lián)網(wǎng)流量井噴與客戶行為分析業(yè)務(wù)融合、能力互通帶來(lái)數(shù)據(jù)融合提升客戶體驗(yàn)要求分析網(wǎng)絡(luò)服務(wù)數(shù)據(jù)IT系統(tǒng)集中化和行業(yè)數(shù)據(jù)價(jià)值挖掘BSSBI數(shù)據(jù)：河南17個(gè)地市，每天抽取正常用戶數(shù)7000多萬(wàn)，撥備用戶數(shù)3000多萬(wàn)，DW層用戶表總量1億多條；語(yǔ)音清單每天2.7億條數(shù)據(jù)，GPRS清單每天4.2億條數(shù)據(jù)；賬務(wù)每天4.7億條數(shù)據(jù)；GPRS文件每個(gè)100M左右，其它文件25M。日接口數(shù)據(jù)量：2000G，其中話單220G，WAP清單300G，

工單服務(wù)200G，

用戶、帳務(wù)300G，其它980G。每月124TB數(shù)據(jù)量入庫(kù)，歷史數(shù)據(jù)保留1年，總數(shù)據(jù)量1.45PB。按照用戶數(shù)簡(jiǎn)單測(cè)算,6.5億用戶下，總數(shù)據(jù)量》10PB!聯(lián)通總部3G互聯(lián)網(wǎng)訪問記錄查詢及分析系統(tǒng)：全國(guó)每日新增10TB數(shù)據(jù)，每月近萬(wàn)億條記錄，要存放6個(gè)月，約2PB的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫(kù)時(shí)間小于30分鐘，原始上網(wǎng)記錄保留6個(gè)月。上網(wǎng)查詢速度不高于1秒，并發(fā)查詢數(shù)1000請(qǐng)求/秒。集群規(guī)模188個(gè)數(shù)據(jù)節(jié)點(diǎn)，存儲(chǔ)容量2.6PB傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法有效存儲(chǔ)日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)需求基礎(chǔ)數(shù)據(jù)（用戶資料，產(chǎn)品訂購(gòu)信息）：15G/日*365+40G*12月=5T/年考慮20%的業(yè)務(wù)增長(zhǎng)率后為：6T/年用戶上網(wǎng)數(shù)據(jù)話單數(shù)據(jù)：250T/年考慮20%的業(yè)務(wù)增長(zhǎng)率后為：300T/年MR數(shù)據(jù)話單數(shù)據(jù)：634G/日634G/日*365

=227T/年考慮20%的業(yè)務(wù)增長(zhǎng)率后為：272T/年BSS數(shù)據(jù)新增新增評(píng)估中日使用流量（TB）6月10月隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，隨著應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導(dǎo)致了數(shù)據(jù)存儲(chǔ)和處理壓力；數(shù)據(jù)倉(cāng)庫(kù)無(wú)法線性擴(kuò)容，管理難度加大，成本高擴(kuò)容壓力大，效率下降等傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)只保存處理后的匯總數(shù)據(jù)。在大數(shù)據(jù)架構(gòu)下需要對(duì)用戶原始話單進(jìn)行長(zhǎng)期保存。需要擴(kuò)容大量存儲(chǔ)空間。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

用戶層現(xiàn)平臺(tái)的數(shù)據(jù)保存周期大數(shù)據(jù)的數(shù)據(jù)保存周期應(yīng)用層KR/CB/DM層永久保留至少2年數(shù)據(jù)存儲(chǔ)層MK層永久保留至少2年DW層5個(gè)月永久保留數(shù)據(jù)獲取層ODS層3~7天永久保留面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供可供線性擴(kuò)容的存儲(chǔ)能力。每個(gè)應(yīng)用需求的變化就是一場(chǎng)災(zāi)難。由于數(shù)據(jù)處理與業(yè)務(wù)的緊密關(guān)聯(lián)可能需要對(duì)中間每個(gè)處理環(huán)節(jié)進(jìn)行逐個(gè)調(diào)整。重新生成數(shù)據(jù)的周期也非常緩慢。由于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理流程與業(yè)務(wù)保持緊密關(guān)聯(lián)。整個(gè)數(shù)據(jù)加工流程為最終應(yīng)用服務(wù)。為緩解存儲(chǔ)壓力在數(shù)據(jù)抽取和清洗階段會(huì)過濾掉與業(yè)務(wù)無(wú)關(guān)的數(shù)據(jù)記錄和字段。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題數(shù)據(jù)源明細(xì)數(shù)據(jù)層

（DW）匯總層（MK）報(bào)表數(shù)據(jù)標(biāo)簽庫(kù)指標(biāo)數(shù)據(jù)客戶統(tǒng)一視圖……應(yīng)用層DW&MK操作型數(shù)據(jù)ODS層Oracle數(shù)據(jù)庫(kù)精細(xì)化營(yíng)銷架構(gòu)短信中心經(jīng)分DMVACGN話單流媒體客服系統(tǒng)計(jì)費(fèi)中心MC話單彩信中心MR數(shù)據(jù)BSS用戶互聯(lián)網(wǎng)聯(lián)系方式（總部研究院）241234現(xiàn)網(wǎng)數(shù)據(jù)平臺(tái)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)架構(gòu)。大量的用戶上網(wǎng)、用戶行為等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)無(wú)法保存和處理，缺乏非結(jié)構(gòu)化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結(jié)構(gòu)化數(shù)據(jù)方式保存至數(shù)據(jù)倉(cāng)庫(kù)中。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法有效應(yīng)對(duì)大數(shù)據(jù)分析需求1現(xiàn)網(wǎng)每日用戶上網(wǎng)HTTP話單達(dá)14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動(dòng)互聯(lián)網(wǎng)正在迅猛增長(zhǎng)，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)將很難駕馭，無(wú)法滿足數(shù)據(jù)處理時(shí)限和事務(wù)處理需求。3面對(duì)海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺(tái)提供快速的處理能力。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)組網(wǎng)將是大數(shù)據(jù)分析的瓶頸現(xiàn)網(wǎng)精細(xì)化營(yíng)銷平臺(tái)的數(shù)據(jù)庫(kù)既存放著所有采集的原始數(shù)據(jù)，又承擔(dān)所有的數(shù)據(jù)加工任務(wù)，還承載所有報(bào)表和業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)和計(jì)算。缺乏對(duì)數(shù)據(jù)分層分級(jí)及生命周期的有效管理。系統(tǒng)核心架構(gòu)為Oracle數(shù)據(jù)庫(kù)+小型機(jī)+磁陣。數(shù)據(jù)存放在磁陣上，計(jì)算時(shí)由數(shù)據(jù)庫(kù)服務(wù)器從磁陣讀到本地后進(jìn)行計(jì)算結(jié)果。隨著數(shù)據(jù)量增長(zhǎng)，磁盤I/O、網(wǎng)絡(luò)帶寬、數(shù)據(jù)庫(kù)服務(wù)器的處理能力將存在瓶頸，處理時(shí)延嚴(yán)重。由于傳統(tǒng)架構(gòu)的可擴(kuò)展性差，無(wú)法滿足大數(shù)據(jù)的計(jì)算的擴(kuò)容需求。為應(yīng)對(duì)海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫(kù)向分布式數(shù)據(jù)庫(kù)進(jìn)行轉(zhuǎn)變。計(jì)算和存儲(chǔ)資源都由x86服務(wù)器提供。因?yàn)樵谝苿?dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領(lǐng)域的突破，不同于傳統(tǒng)通信業(yè)務(wù)分析特點(diǎn)，需要對(duì)內(nèi)容等非結(jié)構(gòu)化、大容量信息進(jìn)行有效分析，傳統(tǒng)的架構(gòu)處理吃力。關(guān)系數(shù)據(jù)庫(kù)引入對(duì)XML的支持仍然無(wú)法有效處理ETL大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法有效處理新型的業(yè)務(wù)數(shù)據(jù)主要關(guān)鍵技術(shù)

自然語(yǔ)言理解，文本分詞、語(yǔ)義分析，情感分析或者大規(guī)模計(jì)算技術(shù)

非結(jié)構(gòu)化數(shù)據(jù)索引技術(shù)，如搜索引擎倒排索引技術(shù)

多媒體處理，包括圖像識(shí)別，語(yǔ)音識(shí)別，多媒體索引等技術(shù)

……傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法有效支撐數(shù)據(jù)合作運(yùn)營(yíng)由于保存原始話單數(shù)據(jù)周期較短，合作運(yùn)營(yíng)無(wú)法追溯歷史原始數(shù)據(jù)?，F(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫(kù)的設(shè)計(jì)只適用與向上層提供既定好的數(shù)據(jù)分析任務(wù)結(jié)果。對(duì)外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫(kù)正常的數(shù)據(jù)處理流程。同時(shí)數(shù)據(jù)的處理方式及結(jié)果也恐難以滿足合作運(yùn)營(yíng)的需要。大數(shù)據(jù)平臺(tái)的架構(gòu)將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運(yùn)營(yíng)。同時(shí)歷時(shí)數(shù)據(jù)能促使合作在第一時(shí)間就開展起來(lái)。目錄二、大數(shù)據(jù)平臺(tái)整體規(guī)劃一、大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì)上海聯(lián)通大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)分布式數(shù)據(jù)庫(kù)基于X86平臺(tái)數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營(yíng)銷智能運(yùn)營(yíng)物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時(shí)分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫(kù)（MPP）：存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉(cāng)庫(kù)輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉(cāng)庫(kù)（與MPP合設(shè)）：存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺(tái)：負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫(kù)和主數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫(kù)

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語(yǔ)句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架?；诜?wù)器本地的計(jì)算與存儲(chǔ)資源，Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。大數(shù)據(jù)平臺(tái)：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理SharedNothing代表數(shù)據(jù)庫(kù)：GreenPlum、Vertica、Teradata適合大數(shù)據(jù)量的OLAP應(yīng)用缺點(diǎn)優(yōu)點(diǎn)線性擴(kuò)展：X86平臺(tái)高可用性較低新型MPP數(shù)據(jù)庫(kù)主要構(gòu)建在x86平臺(tái)上，為無(wú)共享架構(gòu)（ShareNothing），依靠軟件架構(gòu)上的創(chuàng)新和數(shù)據(jù)多副本機(jī)制，實(shí)現(xiàn)系統(tǒng)的高可用性和可擴(kuò)展性。負(fù)責(zé)深度分析、復(fù)雜查詢、KPI計(jì)算、數(shù)據(jù)挖掘以及多變的自助分析應(yīng)用等，支持PB級(jí)的數(shù)據(jù)存儲(chǔ)。大數(shù)據(jù)平臺(tái)：

分布式數(shù)據(jù)庫(kù)新型MPP分布式數(shù)據(jù)庫(kù)基于開放平臺(tái)x86服務(wù)器大規(guī)模的并發(fā)處理能力無(wú)單點(diǎn)故障，可線性擴(kuò)展多副本機(jī)制保證數(shù)據(jù)安全支撐PB級(jí)的數(shù)據(jù)量支持SQL，開放靈活數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫(kù)按響應(yīng)及時(shí)性內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)生命周期中在線數(shù)據(jù)對(duì)高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制?；谏芷诨谠L問壓力基于業(yè)務(wù)用途基于物理屬性分級(jí)原則高性能磁盤庫(kù)磁帶光盤庫(kù)中低性能磁盤庫(kù)將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉(cāng)庫(kù)的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫(kù)，減輕主數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉(cāng)庫(kù)主數(shù)據(jù)倉(cāng)庫(kù)2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)1’、清單數(shù)據(jù)入MPP數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分級(jí)存儲(chǔ)Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)報(bào)表數(shù)據(jù)標(biāo)簽庫(kù)指標(biāo)數(shù)據(jù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)信息子層：報(bào)表數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)庫(kù)等數(shù)據(jù)來(lái)源于匯總層。匯總層：主題域之間進(jìn)行關(guān)聯(lián)、匯總計(jì)算。匯總數(shù)據(jù)服務(wù)于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計(jì)算成本和計(jì)算時(shí)間。輕度匯總層：主題域基于明細(xì)層數(shù)據(jù)，進(jìn)行多維度的、用戶級(jí)的匯總。明細(xì)數(shù)據(jù)層：主題域進(jìn)行拆分、關(guān)聯(lián)。是對(duì)ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并ODS層：數(shù)據(jù)來(lái)源于各生產(chǎn)系統(tǒng)，通過ETL工具對(duì)接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。未來(lái)也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫(kù)精細(xì)化營(yíng)銷分布式數(shù)據(jù)庫(kù)MPP其他應(yīng)用1其他應(yīng)用2應(yīng)用層：應(yīng)用系統(tǒng)的私有數(shù)據(jù)，應(yīng)用的業(yè)務(wù)數(shù)據(jù)。精細(xì)化營(yíng)銷做為大數(shù)據(jù)平臺(tái)的一個(gè)上層應(yīng)用，有由大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)支撐數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層12123344大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分層源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫(kù)?；A(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫(kù)規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫(kù)內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁(yè)數(shù)據(jù)ftp到Hadoop平臺(tái)做長(zhǎng)久保存非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫(kù)生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)。Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)報(bào)表數(shù)據(jù)標(biāo)簽庫(kù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫(kù)分布式數(shù)據(jù)庫(kù)MPP數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。7精細(xì)化營(yíng)銷其他應(yīng)用1其他應(yīng)用2指標(biāo)數(shù)據(jù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)處理流程消息采集文件采集話單預(yù)處理信令預(yù)處理Gn話單位置信令DCNBSS炫鈴VAC短彩平臺(tái)物聯(lián)網(wǎng)客服平臺(tái)1*10GE1*GE2*GES9300S9300分布式數(shù)據(jù)庫(kù)集群新建ETL、分布式數(shù)據(jù)庫(kù)和Hadoop集群各自獨(dú)立組網(wǎng)。分別通過10GE網(wǎng)口接入?yún)R聚交換機(jī)。Hadoop集群…1*10GEETL集群…1*10GE…大數(shù)據(jù)平臺(tái)的組網(wǎng)20Pcap數(shù)據(jù)（DPI）互聯(lián)網(wǎng)路由器路由器防火墻WAP網(wǎng)站W(wǎng)WW網(wǎng)站分光鏡像DPI數(shù)據(jù)爬取數(shù)據(jù)爬取數(shù)據(jù)采集Agentcollector日志采集網(wǎng)元設(shè)備(GGSN\PDSN\WAP網(wǎng)關(guān)、NET網(wǎng)關(guān))/Apache日志核心設(shè)備話單互聯(lián)網(wǎng)頁(yè)面數(shù)據(jù)正向采集用戶行為數(shù)據(jù)反向采集互聯(lián)網(wǎng)數(shù)據(jù)建設(shè)方案基于Hadoop構(gòu)建大數(shù)據(jù)的用戶行為分析系統(tǒng)系統(tǒng)提供了核心的分布式云存儲(chǔ)、分布式并行計(jì)算、分布式數(shù)據(jù)倉(cāng)庫(kù)、分布式列數(shù)據(jù)庫(kù)整體解決方案方案延伸基于Hadoop的大數(shù)據(jù)解決方案提供了基礎(chǔ)的云存儲(chǔ)和云計(jì)算的能力，基于該技術(shù)框架可進(jìn)行應(yīng)用的擴(kuò)展和衍生。基于用戶互聯(lián)網(wǎng)訪問行為分析結(jié)果，形成詳細(xì)的戶興趣愛好列表，可進(jìn)行即時(shí)、精準(zhǔn)的廣告投放大數(shù)據(jù)平臺(tái)有助于提升現(xiàn)網(wǎng)分析能力21系統(tǒng)構(gòu)成系統(tǒng)主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫(kù)子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)查詢與分析子系統(tǒng)采用Hadoop/HBase作為上網(wǎng)記錄存儲(chǔ)方案采用MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具關(guān)鍵性指標(biāo)數(shù)據(jù)存儲(chǔ)上網(wǎng)記錄入庫(kù)時(shí)間：一般小于30分鐘，實(shí)際約10分鐘歷史5個(gè)月+當(dāng)前月數(shù)據(jù)查詢上網(wǎng)記錄查詢速度：不高于1秒（不含用戶訪問查詢頁(yè)面的時(shí)間）并發(fā)查詢數(shù)目：1000請(qǐng)求/秒大數(shù)據(jù)平臺(tái)有效提升數(shù)據(jù)查詢速度以手機(jī)上網(wǎng)詳單查詢?yōu)閼?yīng)用案例22項(xiàng)目背景運(yùn)營(yíng)商建設(shè)有多套垂直的網(wǎng)管子系統(tǒng)，目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)共享框架，對(duì)運(yùn)營(yíng)支撐的支撐力度不夠，而網(wǎng)絡(luò)運(yùn)維分析在面向服務(wù)轉(zhuǎn)型的過程中對(duì)數(shù)據(jù)的匯聚和共享要求極為迫切，因此需要建立統(tǒng)一的網(wǎng)管資源池網(wǎng)管資源池主要負(fù)責(zé)各個(gè)垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用和數(shù)據(jù)共享等功能，網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢功能，滿足運(yùn)維人員日常信息查詢和信息追溯的需要。系統(tǒng)與呼叫中心、工單系統(tǒng)對(duì)接，實(shí)現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)）難點(diǎn)分析多個(gè)垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)千差萬(wàn)別，抽取后的數(shù)據(jù)無(wú)法關(guān)聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)優(yōu)勢(shì)無(wú)法體現(xiàn)系統(tǒng)需要滿足OLAP類應(yīng)用分析，并面向上層應(yīng)用提供一致性的數(shù)據(jù)查詢，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)受限于數(shù)據(jù)體量和數(shù)據(jù)種類，無(wú)法滿足多類型的海量數(shù)據(jù)的查詢和分析要求系統(tǒng)需同時(shí)從多個(gè)數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)庫(kù)數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的ETL工具無(wú)法滿足流式數(shù)據(jù)的采集要求，導(dǎo)致進(jìn)程擁塞。建設(shè)方案基于不同的數(shù)據(jù)源及應(yīng)用分析模式采用Flume、Sqoop等系統(tǒng)工具完成結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入基于HDFS實(shí)現(xiàn)海量歷史數(shù)據(jù)的存儲(chǔ)Hive組件可通過SQL命令完成大數(shù)據(jù)的統(tǒng)計(jì)分析，并與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)配合完成分析結(jié)果數(shù)據(jù)的存放HBase主要應(yīng)用于歷史數(shù)據(jù)的查詢，例如：查詢1天全網(wǎng)所有隱形故障告警數(shù)據(jù)大數(shù)據(jù)平臺(tái)適應(yīng)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)整合應(yīng)用謝謝！數(shù)據(jù)治理解決方案主打膠片

-xx大學(xué)案例-目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW數(shù)據(jù)治理解決方案解決方案價(jià)值分析成功案例介紹數(shù)據(jù)治理領(lǐng)域及功能概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)數(shù)據(jù)治理：概念專注于將數(shù)據(jù)作為企業(yè)的價(jià)值資產(chǎn)進(jìn)行應(yīng)用和管理的過程和管理機(jī)制。能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)廣泛共享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)服務(wù)于業(yè)務(wù)、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價(jià)值。有助于組織更好的遵循內(nèi)外部有關(guān)數(shù)據(jù)使用和管理的監(jiān)管法規(guī)。高校數(shù)據(jù)治理的背景

大部分高校已完成校園網(wǎng)絡(luò)、信息系統(tǒng)、數(shù)字平臺(tái)的建設(shè)。建設(shè)初期，信息系統(tǒng)多以業(yè)務(wù)部門牽頭分別進(jìn)行，缺乏全校統(tǒng)一的系統(tǒng)規(guī)劃和數(shù)據(jù)標(biāo)準(zhǔn)。雖然已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù)，但普遍存在數(shù)據(jù)質(zhì)量不高、冗余數(shù)據(jù)大量存在、數(shù)據(jù)可用性不高和各業(yè)務(wù)部門之間數(shù)據(jù)共享難度較大等問題，已經(jīng)嚴(yán)重制約高校日常管理和教學(xué)水平的提升。因此亟需通過全校級(jí)別的數(shù)據(jù)治理流程體系來(lái)進(jìn)行數(shù)據(jù)的全生命周期管理。數(shù)據(jù)治理的必要性概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)協(xié)調(diào)共享困難部門管理隔閡數(shù)據(jù)有沒有，數(shù)據(jù)在哪里，數(shù)據(jù)怎么取，數(shù)據(jù)怎么認(rèn)都不知道接口費(fèi)高昂需要與多部門反復(fù)協(xié)調(diào)，耗費(fèi)精力進(jìn)行整合去重、判斷正誤、對(duì)比沖突，效率低下，費(fèi)時(shí)費(fèi)力還費(fèi)錢。質(zhì)量不高，集成困難數(shù)據(jù)缺失、錯(cuò)誤、不完整形態(tài)復(fù)雜：電子表格、紙質(zhì)材料缺乏標(biāo)準(zhǔn)使數(shù)據(jù)關(guān)聯(lián)難度大，難以進(jìn)行大數(shù)據(jù)分析數(shù)據(jù)孤島普遍各自為政，自成一體管理分割，業(yè)務(wù)分離來(lái)源責(zé)權(quán)不清無(wú)人負(fù)責(zé)，多頭來(lái)源流程不清，同步不暢多個(gè)系統(tǒng)，多份數(shù)據(jù)4種典型問題原因：重流程，輕數(shù)據(jù)，缺標(biāo)準(zhǔn)總結(jié)：數(shù)據(jù)治理勢(shì)在必行。市場(chǎng)空間概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)數(shù)字化校園三大平臺(tái)共享數(shù)據(jù)庫(kù)統(tǒng)一身份認(rèn)證統(tǒng)一信息門戶業(yè)務(wù)系統(tǒng)建設(shè)綜合事務(wù)支持主數(shù)據(jù)平臺(tái)一站式服務(wù)移動(dòng)校園科學(xué)決策支持全量數(shù)倉(cāng)高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持?jǐn)?shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設(shè)學(xué)科建設(shè)競(jìng)爭(zhēng)力、影響力中職獨(dú)立學(xué)院二、三本一般高職省屬本科部分211重點(diǎn)本科重點(diǎn)高職主流211部分985全國(guó)頂尖高校1、從中職、高職、一般本科、重點(diǎn)本科到頂尖高校，都有數(shù)據(jù)治理需求。2、不同學(xué)校的建設(shè)層次不同，需求層次不同，目標(biāo)不同，業(yè)務(wù)縱深很長(zhǎng)，業(yè)務(wù)生命周期很長(zhǎng)。3、數(shù)據(jù)治理與物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)關(guān)系密切，基于底層IT資源，基于各信息管理系統(tǒng)，服務(wù)于上層應(yīng)用，是整個(gè)高校信息化體系的核心樞紐。政策概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)政策解讀概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)信息系統(tǒng)整合共享互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同覆蓋全國(guó)、統(tǒng)一標(biāo)準(zhǔn)、上下聯(lián)動(dòng)、資源共享實(shí)現(xiàn)一數(shù)一源、伴隨式數(shù)據(jù)采集完善教育數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范促進(jìn)數(shù)據(jù)分級(jí)分層有效共享，避免數(shù)據(jù)重復(fù)采集優(yōu)化業(yè)務(wù)管理、提升公共服務(wù)、促進(jìn)決策支持

互聯(lián)網(wǎng)+政務(wù)服務(wù)連接教育政務(wù)信息數(shù)據(jù)和社會(huì)宏觀治理數(shù)據(jù)，建立“互聯(lián)網(wǎng)+政務(wù)服務(wù)”網(wǎng)上辦事大廳實(shí)現(xiàn)政務(wù)服務(wù)統(tǒng)一申請(qǐng)、集中辦理、統(tǒng)一反饋和全流程監(jiān)督，分步實(shí)施教育政務(wù)數(shù)據(jù)的共享開放，做到事項(xiàng)清單標(biāo)準(zhǔn)化、辦事指南規(guī)范化、審查工作細(xì)則化和業(yè)務(wù)辦理協(xié)同化，實(shí)現(xiàn)“一張表管理”和“一站式服務(wù)”讓百姓少跑腿、數(shù)據(jù)多跑路，增強(qiáng)人民群眾獲得感。數(shù)據(jù)治理一站式服務(wù)業(yè)務(wù)上云不同層級(jí)用戶的需求層次概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)數(shù)字化校園三大平臺(tái)共享數(shù)據(jù)庫(kù)統(tǒng)一身份認(rèn)證統(tǒng)一信息門戶業(yè)務(wù)系統(tǒng)建設(shè)綜合事務(wù)支持主數(shù)據(jù)平臺(tái)一站式服務(wù)移動(dòng)校園科學(xué)決策支持全量數(shù)倉(cāng)高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持?jǐn)?shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設(shè)學(xué)科建設(shè)競(jìng)爭(zhēng)力、影響力中職獨(dú)立學(xué)院二、三本一般高職省屬本科部分211重點(diǎn)本科重點(diǎn)高職主流211部分985全國(guó)頂尖高校復(fù)旦大學(xué)西安電子科大武漢理工大學(xué)xx農(nóng)業(yè)大學(xué)武漢城市職院……武漢音樂學(xué)院1、通過調(diào)研溝通，準(zhǔn)確了解用戶現(xiàn)狀，幫助用戶定位其當(dāng)前的信息化建設(shè)現(xiàn)狀和數(shù)據(jù)資源條件要點(diǎn)3、通過實(shí)際案例，與用戶就現(xiàn)狀和目標(biāo)達(dá)成共識(shí)，確定建設(shè)內(nèi)容邊界。尤其注意避免設(shè)定不切實(shí)際的目標(biāo)2、一般只能從當(dāng)前現(xiàn)狀出發(fā)，以上一級(jí)為目標(biāo)考慮建設(shè)方案?？缂?jí)建設(shè)通常難以實(shí)現(xiàn)（資金/時(shí)間/管理機(jī)制）xx師范大學(xué)武漢大學(xué)概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)數(shù)字化校園三大平臺(tái)共享數(shù)據(jù)庫(kù)統(tǒng)一身份認(rèn)證統(tǒng)一信息門戶業(yè)務(wù)系統(tǒng)建設(shè)綜合事務(wù)支持主數(shù)據(jù)平臺(tái)一站式服務(wù)移動(dòng)校園科學(xué)決策支持全量數(shù)倉(cāng)高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持?jǐn)?shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設(shè)學(xué)科建設(shè)競(jìng)爭(zhēng)力、影響力中職獨(dú)立學(xué)院二、三本一般高職省屬本科部分211重點(diǎn)本科重點(diǎn)高職主流211部分985全國(guó)頂尖高校復(fù)旦大學(xué)西安電子科大武漢理工大學(xué)xx農(nóng)業(yè)大學(xué)武漢城市職院……武漢音樂學(xué)院xx師范大學(xué)武漢大學(xué)1、不同層次、不同建設(shè)階段的高校、職校均為潛在客戶要點(diǎn)2、負(fù)責(zé)部門：信息中心。校領(lǐng)導(dǎo)對(duì)項(xiàng)目推進(jìn)有巨大作用我們的客戶是誰(shuí)？我們的客戶是誰(shuí)？概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)數(shù)字化校園三大平臺(tái)共享數(shù)據(jù)庫(kù)統(tǒng)一身份認(rèn)證統(tǒng)一信息門戶業(yè)務(wù)系統(tǒng)建設(shè)綜合事務(wù)支持主數(shù)據(jù)平臺(tái)一站式服務(wù)移動(dòng)校園科學(xué)決策支持全量數(shù)倉(cāng)高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持?jǐn)?shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設(shè)學(xué)科建設(shè)競(jìng)爭(zhēng)力、影響力云服務(wù)要點(diǎn)3、針對(duì)不同的客戶需求重點(diǎn)，分別建議如下:云服務(wù)數(shù)據(jù)集成共享云服務(wù)核心主數(shù)據(jù)治理云服務(wù)全量數(shù)據(jù)治理云服務(wù)全量數(shù)據(jù)治理管理制度咨詢客戶需求：他們關(guān)注什么？概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)1、數(shù)據(jù)治理對(duì)學(xué)校的價(jià)值是什么？為什么需要做數(shù)據(jù)治理？2、數(shù)據(jù)治理有哪些成果？如何向全校和領(lǐng)導(dǎo)證明和體現(xiàn)這些成果？3、學(xué)校需要提供哪些資源和配套工作？分別需要各部門做什么？4、希嘉（HW）的數(shù)據(jù)治理與傳統(tǒng)三大平臺(tái)方案的區(qū)別？5、數(shù)據(jù)標(biāo)準(zhǔn)如何確定？如何落地執(zhí)行？1、當(dāng)前虛擬化用的挺好的…為什么要上云？2、設(shè)備=資產(chǎn)，但購(gòu)買云服務(wù)…？長(zhǎng)期成本？3、上云后現(xiàn)在部門這些人怎么安排？職責(zé)如何調(diào)整？部門被拿掉…?4、HW云服務(wù)與當(dāng)前的虛擬化平臺(tái)異同點(diǎn)？數(shù)據(jù)治理相關(guān)云服務(wù)相關(guān)6、數(shù)據(jù)交換能否實(shí)現(xiàn)足夠的實(shí)時(shí)性？如何保障高實(shí)時(shí)場(chǎng)景需求？7、治理后生成的數(shù)倉(cāng)與當(dāng)前共享庫(kù)什么關(guān)系？有哪些可能選項(xiàng)？8、原有的數(shù)據(jù)交換共享如何平滑無(wú)風(fēng)險(xiǎn)遷移到新建的數(shù)倉(cāng)中？9、(HW)數(shù)據(jù)工具的功能、易用性如何？學(xué)校是否有能力接手管理？10、數(shù)據(jù)質(zhì)量問題如何發(fā)現(xiàn)？如何有效提升數(shù)據(jù)質(zhì)量？11、如何確保數(shù)據(jù)安全？如何保護(hù)個(gè)人隱私？5、私有云與公有云如何打通好互操作?6、云端(公有云)數(shù)據(jù)安全如何保障？7、云端(公有云)的業(yè)務(wù)性能、連續(xù)性如何保障？如何運(yùn)維監(jiān)控？8、大量數(shù)據(jù)從本地流向公有云對(duì)出口壓力？延遲？9、…？10、…？12、如何利用數(shù)據(jù)輔助決策、報(bào)表等過程？客戶需求：他們?yōu)槭裁搓P(guān)注？概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)1、管理痛點(diǎn)：共享庫(kù)管理困難，數(shù)據(jù)問題太多2、業(yè)務(wù)驅(qū)動(dòng)：一站式服務(wù)，高基表，一表通，決策支持3、領(lǐng)導(dǎo)要求：很多校領(lǐng)導(dǎo)對(duì)數(shù)據(jù)重要性的認(rèn)知和站位高于信息中心4、發(fā)展覺悟：希望提升部門在學(xué)校的地位（從輔助服務(wù)部門變成核心戰(zhàn)略部門），為全校提供信息化綜合服務(wù)能力，被領(lǐng)導(dǎo)、各部門、師生認(rèn)可，提升存在感，建立良好服務(wù)形象。5、政策驅(qū)動(dòng)：信息化2.0，本科評(píng)估，診斷與改進(jìn)1、2、3、4、數(shù)據(jù)治理相關(guān)云服務(wù)相關(guān)6、同行示范：本地區(qū)、本級(jí)別的高校走到前面去了7、行業(yè)趨勢(shì)：云大物移5、6、7、8、客戶痛點(diǎn)：概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)

問題描述1數(shù)據(jù)資產(chǎn)不清晰共享庫(kù)之外的數(shù)據(jù)散落在全校各處，沒有人知道這些數(shù)據(jù)的分布、內(nèi)容、質(zhì)量、管理權(quán)、責(zé)任人。即使是共享庫(kù)，除了信息中心自己，校內(nèi)其他部門也不清楚有哪些數(shù)據(jù)可用。這種現(xiàn)狀與國(guó)家要求及行業(yè)發(fā)展趨勢(shì)差距巨大。1共享庫(kù)覆蓋數(shù)據(jù)太少三大平臺(tái)中的共享庫(kù)只覆蓋了核心的主數(shù)據(jù)（學(xué)?；拘畔?、人員基本信息），只承擔(dān)了數(shù)據(jù)交換共享的職能。共享庫(kù)遠(yuǎn)遠(yuǎn)達(dá)不到合格的“數(shù)據(jù)中心”的要求。數(shù)據(jù)不夠完整，大量的管理業(yè)務(wù)數(shù)據(jù)、線下表格數(shù)據(jù)、日志數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)都沒有納入進(jìn)行存儲(chǔ)和管理。而且共享庫(kù)的技術(shù)架構(gòu)（RDB）也不能支持海量異構(gòu)數(shù)據(jù)的一體化服務(wù)和分析計(jì)算。2缺乏標(biāo)準(zhǔn)規(guī)范共享庫(kù)中的數(shù)據(jù)通常是按照MIS中的樣子原樣照搬，并未進(jìn)行元數(shù)據(jù)和代碼表的統(tǒng)一。即使有名義上的“校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)”，但沒有相應(yīng)的技術(shù)和管理措施保障落地執(zhí)行。數(shù)據(jù)交換基本依賴各廠商之間自己協(xié)調(diào)，困難重重，進(jìn)度很慢，難以管理。

問題描述4大量視圖管理困難數(shù)據(jù)交換通常是通過共享庫(kù)中構(gòu)建視圖來(lái)實(shí)現(xiàn)，與MIS系統(tǒng)耦合緊密，無(wú)法復(fù)用。經(jīng)過長(zhǎng)時(shí)間運(yùn)行后，大量視圖的歸屬、用途、是否活動(dòng)經(jīng)常無(wú)人知曉，學(xué)校老師自己難以管理（通常是由廠商負(fù)責(zé)維護(hù)管理）。當(dāng)學(xué)校嘗試使用共享庫(kù)去支持一站式服務(wù)、數(shù)據(jù)分析、決策支持等場(chǎng)景時(shí)，才發(fā)現(xiàn)數(shù)據(jù)很亂難以識(shí)別。5接口費(fèi)問題新上MIS業(yè)務(wù)系統(tǒng)需要與其他系統(tǒng)數(shù)據(jù)對(duì)接的時(shí)候，經(jīng)常被廠家要求交接口費(fèi)（2萬(wàn)~10萬(wàn)不等），經(jīng)常導(dǎo)致矛盾，增加校方成本。接口費(fèi)不是一次性的，可能需要收很多次。6數(shù)據(jù)質(zhì)量無(wú)保障共享庫(kù)中數(shù)據(jù)的完整性、準(zhǔn)確性依賴于MIS系統(tǒng)的運(yùn)行質(zhì)量，通常難以保障。在數(shù)據(jù)交換場(chǎng)景下，共享庫(kù)建設(shè)廠商可以不承擔(dān)數(shù)據(jù)準(zhǔn)確性責(zé)任。但是在大數(shù)據(jù)分析和決策支持場(chǎng)景下，數(shù)據(jù)不夠準(zhǔn)確將直接導(dǎo)致分析結(jié)果與現(xiàn)實(shí)不符或決策失敗。傳統(tǒng)三大平臺(tái)廠商對(duì)數(shù)據(jù)質(zhì)量問題缺乏處理經(jīng)驗(yàn)和能力。客戶痛點(diǎn)：概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)人事管理系統(tǒng)更多系統(tǒng)…學(xué)工管理系統(tǒng)科研管理系統(tǒng)財(cái)務(wù)管理系統(tǒng)資產(chǎn)管理系統(tǒng)共享庫(kù)教學(xué)信息、科研信息、財(cái)務(wù)數(shù)據(jù)等財(cái)務(wù)共享數(shù)據(jù)教務(wù)共享數(shù)據(jù)人事共享數(shù)據(jù)……教師人員基本信息、學(xué)生基本信息、組織機(jī)構(gòu)信息等教師人員基本信息、組織機(jī)構(gòu)信息等中間庫(kù)中間庫(kù)中間庫(kù)中間庫(kù)中間庫(kù)中間庫(kù)圖書館管理系統(tǒng)中間庫(kù)教務(wù)管理系統(tǒng)中間庫(kù)后勤管理系統(tǒng)中間庫(kù)ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖共享庫(kù)覆蓋有限質(zhì)量不高缺乏標(biāo)準(zhǔn)規(guī)范視圖管理困難管理受制于人數(shù)據(jù)接口高額接口費(fèi)數(shù)據(jù)資產(chǎn)散落各處難以整合利用質(zhì)量無(wú)人負(fù)責(zé)管理歸屬不清概念市場(chǎng)空間驅(qū)動(dòng)力客戶需求客戶痛點(diǎn)

問題描述1數(shù)據(jù)資產(chǎn)不清晰通過全校業(yè)務(wù)和數(shù)據(jù)調(diào)研，盤點(diǎn)清理數(shù)據(jù)資源，通過治理形成集成化、標(biāo)準(zhǔn)化的統(tǒng)一數(shù)據(jù)資源。同時(shí)，輸出數(shù)據(jù)U/C矩陣、數(shù)據(jù)流向圖等知識(shí)信息，使數(shù)據(jù)來(lái)源具備權(quán)威性；數(shù)據(jù)歸屬到明確責(zé)任部門、責(zé)任崗位；數(shù)據(jù)供需關(guān)系、流動(dòng)路徑有明確信息，從而形成清晰的全校數(shù)據(jù)資產(chǎn)。1共享庫(kù)覆蓋數(shù)據(jù)太少基于調(diào)研得到的數(shù)據(jù)資源分布情況，全面采集數(shù)據(jù)，形成全量數(shù)據(jù)倉(cāng)庫(kù)。采集對(duì)象包括業(yè)務(wù)系統(tǒng)的在線數(shù)據(jù)、線下電子表格文件數(shù)據(jù)、日志類數(shù)據(jù)和互聯(lián)網(wǎng)端數(shù)據(jù)，覆蓋面遠(yuǎn)超共享庫(kù)。全量數(shù)據(jù)倉(cāng)庫(kù)將支持綜合性跨部門流程服務(wù)、決策分析、數(shù)據(jù)挖掘、可視化等應(yīng)用場(chǎng)景，同時(shí)也可以替代原有的共享庫(kù)作用。2缺乏標(biāo)準(zhǔn)規(guī)范基于調(diào)研情況設(shè)計(jì)校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)，并利用校標(biāo)對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行定義和建模，使治理后的成果數(shù)據(jù)符合統(tǒng)一的標(biāo)準(zhǔn)規(guī)范。同時(shí)后期還會(huì)推行數(shù)據(jù)標(biāo)準(zhǔn)遵循規(guī)范在全校推行落地?cái)?shù)據(jù)標(biāo)準(zhǔn)。

問題描述4大量視圖管理困難在一站式服務(wù)平臺(tái)、微服務(wù)、移動(dòng)校園等新興綜合化應(yīng)用開發(fā)場(chǎng)景下，通過ROMA平臺(tái)將數(shù)據(jù)以API接口對(duì)外提供服務(wù)，屏蔽了底層架構(gòu)復(fù)雜性，解除了APP與底層數(shù)據(jù)之間的緊耦合關(guān)系。原有的基于視圖的ETL過程，僅在傳統(tǒng)的數(shù)據(jù)交換場(chǎng)景小范圍保留使用。5接口費(fèi)問題數(shù)據(jù)倉(cāng)庫(kù)建設(shè)完成后，所有的數(shù)據(jù)資源發(fā)布均通過該平臺(tái)完成，學(xué)校擁有完全自主的數(shù)據(jù)管理權(quán)，不再需要向廠商支付接口費(fèi)。（最多只需要支付一次性費(fèi)用進(jìn)行數(shù)據(jù)采集）6數(shù)據(jù)質(zhì)量無(wú)保障數(shù)據(jù)治理過程中，會(huì)通過DLG對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢查，配置質(zhì)量規(guī)則和質(zhì)量指標(biāo)，進(jìn)行檢查后輸出數(shù)據(jù)質(zhì)量評(píng)估報(bào)告，并通過不同手段進(jìn)行質(zhì)量問題處理，最終使數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量達(dá)到使用要求?？蛻粜枨螅何覀?nèi)绾螏椭麄兘鉀Q問題？目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW數(shù)據(jù)治理解決方案HW解決方案價(jià)值分析成功案例介紹數(shù)據(jù)治理解決方案–總體方案架構(gòu)教務(wù)學(xué)工資產(chǎn)財(cái)務(wù)科研迎新就業(yè)校友黨建一卡通…….圖書館線下業(yè)務(wù)數(shù)據(jù)上網(wǎng)記錄無(wú)線連接身份認(rèn)證網(wǎng)絡(luò)安全日志數(shù)據(jù)學(xué)?；緮?shù)據(jù)學(xué)生基本數(shù)據(jù)教學(xué)管理數(shù)據(jù)人事管理數(shù)據(jù)科研管理數(shù)據(jù)后勤管理數(shù)據(jù)日志分析數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)歷史數(shù)據(jù)全量數(shù)倉(cāng)主題數(shù)據(jù)集DWS數(shù)倉(cāng)組件數(shù)據(jù)治理服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)結(jié)構(gòu)采集數(shù)據(jù)質(zhì)量檢核數(shù)據(jù)接口監(jiān)控歷史數(shù)據(jù)備份有效數(shù)據(jù)識(shí)別數(shù)據(jù)采集集成制度規(guī)范咨詢DLG數(shù)據(jù)湖治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)自產(chǎn)產(chǎn)管理校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)管理知識(shí)庫(kù)數(shù)據(jù)管理規(guī)范年終考核職稱評(píng)審教學(xué)資源離校主題迎新主題一網(wǎng)通辦數(shù)據(jù)字典MRS大數(shù)據(jù)組件線上業(yè)務(wù)數(shù)據(jù)CDMDLF數(shù)據(jù)共享數(shù)據(jù)交換數(shù)據(jù)采集數(shù)據(jù)采集…ROMA數(shù)據(jù)服務(wù)決策支持?jǐn)?shù)據(jù)挖掘流程服務(wù)…….應(yīng)用開發(fā)RDS數(shù)據(jù)庫(kù)組件序號(hào)產(chǎn)品名稱功能在方案中的作用1CDM實(shí)現(xiàn)數(shù)據(jù)全量遷移[1]數(shù)據(jù)采集[2]實(shí)現(xiàn)數(shù)據(jù)共享2DLF數(shù)據(jù)湖工廠，含：[1]數(shù)據(jù)基礎(chǔ)服務(wù)（DLFCommon），提供DLF服務(wù)的身份、授權(quán)框架實(shí)現(xiàn)，包含權(quán)限管理和消息通知。[2]數(shù)據(jù)集成服務(wù)（DI）,提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移,支持FILE、DB、DW、NoSQL等數(shù)據(jù)源。[3]數(shù)據(jù)開發(fā)服務(wù)（DS）,管理多種大數(shù)據(jù)服務(wù)，提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,可進(jìn)行數(shù)據(jù)建模、腳本開發(fā)、工作流編排、運(yùn)維監(jiān)控等操作，完成整個(gè)數(shù)據(jù)的處理分析流程。[4]數(shù)據(jù)治理服務(wù)（DG）,一站式數(shù)據(jù)治理平臺(tái)，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行梳理、質(zhì)量監(jiān)控、標(biāo)準(zhǔn)化、清洗等操作，提供數(shù)據(jù)資產(chǎn)相關(guān)的標(biāo)準(zhǔn)建設(shè)、資產(chǎn)管理、質(zhì)量監(jiān)控、安全共享。[1]數(shù)據(jù)采集[2]數(shù)據(jù)集成[3]數(shù)據(jù)質(zhì)量監(jiān)控和清洗轉(zhuǎn)換3RDS基于RDB（關(guān)系型數(shù)據(jù)庫(kù)）的數(shù)據(jù)庫(kù)平臺(tái)，提供傳統(tǒng)數(shù)據(jù)庫(kù)能力。[1]作為ODS容器[2]實(shí)現(xiàn)數(shù)據(jù)共享4DWS基于MPP架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，提供海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算架構(gòu)。[1]承載治理后形成的成果數(shù)據(jù)[2]實(shí)現(xiàn)自動(dòng)化的歷史數(shù)據(jù)留存。5MRS基于Hadoop架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，提供海量數(shù)據(jù)（主要針對(duì)日志類數(shù)據(jù)）的存儲(chǔ)和計(jì)算架構(gòu)，及流處理、機(jī)器學(xué)習(xí)、消息訂閱等組件。[1]承載海量日志數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)[2]提供并行架構(gòu)的海量數(shù)據(jù)處理和機(jī)器學(xué)習(xí)建模計(jì)算能力。6DLG數(shù)據(jù)湖治理，提供元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理等功能。[1]對(duì)數(shù)據(jù)治理進(jìn)行過程管理，承載數(shù)據(jù)的結(jié)構(gòu)信息、關(guān)系信息、質(zhì)量信息。7ROMA云計(jì)算框架下的應(yīng)用和數(shù)據(jù)集成。包括服務(wù)集成、消息集成、數(shù)據(jù)集成等全連接，支撐跨“多云”應(yīng)用、數(shù)據(jù)、服務(wù)、資源等的協(xié)同，達(dá)到互通、內(nèi)外互通、多云互通。包含:FDI:類ETL，實(shí)現(xiàn)數(shù)據(jù)的抽取、簡(jiǎn)單轉(zhuǎn)換、加載。支持RDBMS、MSG、FILE等數(shù)據(jù)轉(zhuǎn)換。APIConnect:包含API網(wǎng)關(guān)（服務(wù)網(wǎng)關(guān)，支持服務(wù)注冊(cè)以及服務(wù)管控）、LiveData（服務(wù)編排、DB數(shù)據(jù)開放）、APIMarket（公共服務(wù)發(fā)布、服務(wù)訂閱）MQS：基于RocketMQ內(nèi)核，增加消息統(tǒng)一接入管控模塊（Connector）、服務(wù)發(fā)現(xiàn)模塊NameServer、跨中心路由模塊(Router)，實(shí)現(xiàn)消息從發(fā)送方到消費(fèi)方的路由和全鏈路監(jiān)控。[1]實(shí)現(xiàn)成果數(shù)據(jù)的封裝發(fā)布數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能云數(shù)據(jù)遷移CDM功能截圖源數(shù)據(jù)連接增量抽取字段映射定時(shí)任務(wù)數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)湖工廠DLF功能截圖數(shù)據(jù)管理腳本開發(fā)作業(yè)調(diào)度作業(yè)監(jiān)控?cái)?shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)湖治理DLG功能截圖檢測(cè)規(guī)則質(zhì)量檢測(cè)結(jié)果數(shù)據(jù)血緣關(guān)系數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能集成平臺(tái)ROMA功能截圖服務(wù)集成總覽API封裝API分組訪問控制數(shù)據(jù)治理解決方案–數(shù)據(jù)治理服務(wù)內(nèi)容序號(hào)工作內(nèi)容工作內(nèi)容簡(jiǎn)述1校級(jí)標(biāo)準(zhǔn)制定參考教育部推薦標(biāo)準(zhǔn)，引用國(guó)家強(qiáng)制標(biāo)準(zhǔn)，引入當(dāng)前事實(shí)標(biāo)準(zhǔn)，形成最終的校級(jí)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)。校標(biāo)包含數(shù)據(jù)子集分類定義、元數(shù)據(jù)模型標(biāo)準(zhǔn)、代碼標(biāo)準(zhǔn)、編碼規(guī)則、命名規(guī)則、交換規(guī)范等。校標(biāo)所涵蓋的數(shù)據(jù)范圍就是數(shù)據(jù)治理輸出的成果數(shù)據(jù)的范圍目標(biāo)。依據(jù)校標(biāo)在HWDWS中進(jìn)行建表，形成成果數(shù)據(jù)的結(jié)構(gòu)框架。2數(shù)據(jù)調(diào)研對(duì)學(xué)校各部門的業(yè)務(wù)、組織架構(gòu)、、數(shù)據(jù)等進(jìn)行調(diào)研了解。主要包括業(yè)務(wù)范圍、組織機(jī)構(gòu)、工作流程、數(shù)據(jù)來(lái)源、數(shù)據(jù)字典、數(shù)據(jù)形態(tài)、供需關(guān)系、交換共享要求、數(shù)據(jù)質(zhì)量問題、標(biāo)準(zhǔn)資源、數(shù)據(jù)分析需求等進(jìn)行調(diào)研了解。3數(shù)據(jù)識(shí)別根據(jù)數(shù)據(jù)調(diào)研的結(jié)果，利用數(shù)據(jù)字典識(shí)別數(shù)據(jù)含義，與數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行對(duì)照，標(biāo)識(shí)數(shù)據(jù)權(quán)威來(lái)源，確定采集對(duì)象、采集范圍和技術(shù)參數(shù)。5數(shù)據(jù)采集對(duì)目標(biāo)數(shù)據(jù)，利用HWDLF的DI（數(shù)據(jù)集成）組件進(jìn)行采集。其中數(shù)據(jù)庫(kù)和表格數(shù)據(jù)存儲(chǔ)在臨時(shí)庫(kù)ODS中，等待進(jìn)行清洗治理。//?日志數(shù)據(jù)通過HWFusioninsight的Flume組件捕獲存盤，利用DI（數(shù)據(jù)集成）組件進(jìn)行采集、解析、轉(zhuǎn)換。（通常對(duì)日志數(shù)據(jù)無(wú)需質(zhì)量檢測(cè)）？//序號(hào)工作內(nèi)容工作內(nèi)容簡(jiǎn)述6質(zhì)量檢查利用HWDLF的DG（數(shù)據(jù)治理）組件對(duì)ODS數(shù)據(jù)執(zhí)行質(zhì)量檢測(cè)。制定各種質(zhì)量規(guī)則（如非空性、唯一性、數(shù)值分布、數(shù)值波動(dòng)情況）。根據(jù)每個(gè)字段應(yīng)有的質(zhì)量屬性將質(zhì)量規(guī)則綁定到字段上。執(zhí)行質(zhì)量檢查，形成數(shù)據(jù)質(zhì)量報(bào)告，以便評(píng)估數(shù)據(jù)質(zhì)量狀況7清洗轉(zhuǎn)換質(zhì)量提升根據(jù)質(zhì)量報(bào)告的內(nèi)容，評(píng)估數(shù)據(jù)質(zhì)量問題的內(nèi)容、程度。對(duì)于規(guī)則性問題，通過ETL的轉(zhuǎn)換規(guī)則實(shí)現(xiàn)質(zhì)量提升。對(duì)于數(shù)據(jù)缺失、內(nèi)容錯(cuò)誤等問題，將問題數(shù)據(jù)和質(zhì)量報(bào)告提交到數(shù)據(jù)對(duì)應(yīng)的負(fù)責(zé)部門，由部門進(jìn)行核實(shí)、填報(bào)。數(shù)據(jù)修正后錄入MIS中，通過再次采集、檢查直至質(zhì)量合格。8成果數(shù)據(jù)生成將清洗轉(zhuǎn)換完成、符合質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)導(dǎo)入至DWS中的建模完成的表格中，形成符合校標(biāo)的、質(zhì)量達(dá)標(biāo)、內(nèi)容完整的成果數(shù)據(jù)。9數(shù)據(jù)封裝發(fā)布DWS中的成果數(shù)據(jù)由HWROMA平臺(tái)進(jìn)行封裝，以API接口向各APP提供數(shù)據(jù)服務(wù)。10管理咨詢服務(wù)通過前述過程分析學(xué)校在數(shù)據(jù)管理方面的薄弱環(huán)節(jié)、不合理管理模式，與校方一起設(shè)計(jì)和制定數(shù)據(jù)管理相關(guān)的規(guī)范和制度并推廣執(zhí)行，從根本上改變管理漏洞、部門矛盾、不規(guī)范操作，使數(shù)據(jù)治理的成果能夠長(zhǎng)期持續(xù)、不斷進(jìn)步。現(xiàn)狀調(diào)研數(shù)據(jù)采集數(shù)據(jù)識(shí)別標(biāo)準(zhǔn)制定標(biāo)準(zhǔn)確認(rèn)抽取集成質(zhì)量檢查反饋修正清洗轉(zhuǎn)換數(shù)倉(cāng)建模成果數(shù)據(jù)入庫(kù)歷史數(shù)據(jù)積累數(shù)據(jù)封裝發(fā)布部署軟件工具數(shù)據(jù)治理數(shù)據(jù)平臺(tái)采集建模清洗轉(zhuǎn)換制度規(guī)范建設(shè)管理辦法考核評(píng)估管理機(jī)制操作規(guī)范生命周期采集識(shí)別清洗治理成果發(fā)布數(shù)據(jù)治理解決方案–數(shù)據(jù)治理工作內(nèi)容實(shí)施團(tuán)隊(duì)咨詢服務(wù)架構(gòu)制度設(shè)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)遵從數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)生產(chǎn)職責(zé)數(shù)據(jù)質(zhì)量保障數(shù)據(jù)安全職責(zé)應(yīng)用開發(fā)規(guī)范交換共享規(guī)范數(shù)據(jù)管理規(guī)范制度規(guī)范實(shí)施學(xué)校管理機(jī)構(gòu)治理需求和目標(biāo)確認(rèn)項(xiàng)目啟動(dòng)部門數(shù)據(jù)調(diào)研數(shù)據(jù)來(lái)源確認(rèn)校標(biāo)設(shè)計(jì)制定字典匹配識(shí)別人工內(nèi)容識(shí)別采集對(duì)象確定數(shù)據(jù)字典技術(shù)團(tuán)隊(duì)部標(biāo)、國(guó)標(biāo)按標(biāo)準(zhǔn)分類建模歷史數(shù)據(jù)存檔數(shù)據(jù)建模計(jì)算數(shù)據(jù)交換共享數(shù)據(jù)封裝發(fā)布應(yīng)用程序調(diào)用數(shù)據(jù)生成入庫(kù)APIETL或DBView日志采集XLS采集DB采集數(shù)據(jù)集中質(zhì)量規(guī)則綁定質(zhì)量檢核輸出非標(biāo)數(shù)據(jù)清洗轉(zhuǎn)換質(zhì)量問題分類質(zhì)量合規(guī)質(zhì)量合規(guī)結(jié)構(gòu)質(zhì)量問題質(zhì)量規(guī)則設(shè)計(jì)數(shù)據(jù)糾錯(cuò)補(bǔ)全反饋質(zhì)量問題設(shè)計(jì)清洗轉(zhuǎn)換規(guī)則業(yè)務(wù)部門內(nèi)容質(zhì)量問題校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)倉(cāng)主題分類數(shù)據(jù)管理知識(shí)庫(kù)元數(shù)據(jù)模型標(biāo)準(zhǔn)代碼集編碼規(guī)范對(duì)象命名規(guī)范接口交換標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)庫(kù)數(shù)據(jù)U/C矩陣編碼規(guī)范數(shù)據(jù)血緣關(guān)系質(zhì)量規(guī)則庫(kù)數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)域知識(shí)域管理域制度實(shí)施執(zhí)行數(shù)據(jù)管理機(jī)構(gòu)數(shù)據(jù)分類、命名、技術(shù)架構(gòu)、邏輯架構(gòu)、物理架構(gòu)、管理架構(gòu)、開發(fā)架構(gòu)、整合流程和架構(gòu)…數(shù)據(jù)頂層設(shè)計(jì)標(biāo)準(zhǔn)定稿成果輸出標(biāo)準(zhǔn)流據(jù)數(shù)流流量質(zhì)數(shù)據(jù)治理解決方案–數(shù)據(jù)治理工作流程數(shù)據(jù)治理解決方案–數(shù)據(jù)治理交付成果【1】校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)子集和元數(shù)據(jù)模型【4】管理知識(shí)庫(kù)數(shù)據(jù)現(xiàn)狀報(bào)告標(biāo)準(zhǔn)代碼集數(shù)據(jù)U/C矩陣數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)庫(kù)【2】成果數(shù)據(jù)

全量、高質(zhì)量、標(biāo)準(zhǔn)化學(xué)校基礎(chǔ)數(shù)據(jù)集數(shù)據(jù)流向關(guān)系學(xué)生管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量規(guī)則庫(kù)教職工管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量綁定關(guān)系教學(xué)管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量報(bào)告資產(chǎn)管理數(shù)據(jù)集ETL接口映射/轉(zhuǎn)換信息科研管理數(shù)據(jù)集……財(cái)務(wù)管理數(shù)據(jù)集日志數(shù)據(jù)集【5】制度規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)更新發(fā)布規(guī)范……數(shù)據(jù)標(biāo)準(zhǔn)遵從規(guī)范權(quán)威數(shù)據(jù)管理責(zé)任【3】軟件體系PowerDesigner：數(shù)據(jù)模型管理數(shù)據(jù)質(zhì)量保障職責(zé)HWRDS：結(jié)構(gòu)化數(shù)據(jù)容器數(shù)據(jù)安全保障職責(zé)HWDLI、CDM：數(shù)據(jù)集成遷移數(shù)據(jù)開發(fā)調(diào)用規(guī)范HWDWS：數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)計(jì)算數(shù)據(jù)共享交換規(guī)范HWDLG：元數(shù)據(jù)、質(zhì)量等數(shù)據(jù)管理考核體系HWROMA：數(shù)據(jù)封裝發(fā)布……數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)標(biāo)準(zhǔn)UC矩陣表數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)流向關(guān)系目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW：云端數(shù)據(jù)治理解決方案云端數(shù)據(jù)治理解決方案價(jià)值分析成功案例介紹方案價(jià)值：序號(hào)

價(jià)值總結(jié)價(jià)值闡述1云服務(wù)大大降低信息中心運(yùn)營(yíng)成本云服務(wù)可以讓所有資源得到充分利用，其中包括價(jià)格昂貴的服務(wù)器以及各種網(wǎng)絡(luò)設(shè)備，工作人員的共享使成本降低。2可以應(yīng)對(duì)一些特殊的場(chǎng)景比如選課高峰期等應(yīng)用場(chǎng)景，云服務(wù)可以根據(jù)業(yè)務(wù)場(chǎng)景靈活的進(jìn)行資源的彈性伸縮，保障業(yè)務(wù)運(yùn)行穩(wěn)定。3動(dòng)態(tài)可擴(kuò)展性強(qiáng)由于“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，這樣就可以不用加大投資硬件設(shè)備的力度來(lái)滿足應(yīng)用和用戶規(guī)模增長(zhǎng)的需要，同時(shí)也無(wú)形起到了降低成本的作用。4能快速搭建應(yīng)用云服務(wù)能夠快速搭建學(xué)校應(yīng)用，比如現(xiàn)在要開發(fā)一個(gè)網(wǎng)站，就不必?fù)?dān)心是否需要花巨資購(gòu)買硬件來(lái)集群5數(shù)據(jù)治理統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和管理規(guī)范

確定校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一部門代碼、專業(yè)代碼、數(shù)據(jù)含義和統(tǒng)計(jì)口徑6數(shù)據(jù)整合，構(gòu)建全量數(shù)據(jù)倉(cāng)庫(kù)

整合各部門業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、各崗位使用的表格數(shù)據(jù)、各項(xiàng)報(bào)表中記錄的數(shù)據(jù)、教學(xué)平臺(tái)、課件資源，構(gòu)建分類主題庫(kù)。7明確數(shù)據(jù)歸屬，提升質(zhì)量

消除多頭管理，一數(shù)一源；梳理業(yè)務(wù)流程，使數(shù)據(jù)與業(yè)務(wù)對(duì)應(yīng)8共享交換，查閱檢索，應(yīng)用支持

實(shí)現(xiàn)各部門數(shù)據(jù)互聯(lián)互通，消除數(shù)據(jù)孤島；為管理、教學(xué)、服務(wù)提供支持。云端數(shù)據(jù)治理解決方案–數(shù)據(jù)治理方案特色目標(biāo)：綜合數(shù)據(jù)應(yīng)用為決策輔助、跨部門流程運(yùn)行、數(shù)據(jù)分析挖掘等綜合數(shù)據(jù)應(yīng)用提供資源將數(shù)據(jù)作為價(jià)值資產(chǎn)進(jìn)行管理和運(yùn)營(yíng)全量數(shù)據(jù)治理管理信息系統(tǒng)——數(shù)據(jù)庫(kù)線下文檔數(shù)據(jù)——電子表格機(jī)器設(shè)備數(shù)據(jù)——日志高質(zhì)量標(biāo)準(zhǔn)先行——統(tǒng)一數(shù)據(jù)表達(dá)規(guī)范質(zhì)量檢查——發(fā)現(xiàn)數(shù)據(jù)問題數(shù)據(jù)糾錯(cuò)——解決數(shù)據(jù)問題工具化交付-能力賦予用戶Archon ——數(shù)據(jù)庫(kù)數(shù)據(jù)Exdata ——電子表格Immortal ——日志數(shù)據(jù)爬蟲工具 ——互聯(lián)網(wǎng)數(shù)據(jù)體系化的交付成果-持續(xù)管理校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)全量數(shù)據(jù)體系數(shù)據(jù)管理知識(shí)庫(kù)數(shù)據(jù)管理制度規(guī)范目標(biāo)：實(shí)現(xiàn)共享交換實(shí)現(xiàn)各業(yè)務(wù)之間的數(shù)據(jù)共享交換數(shù)據(jù)視為應(yīng)用運(yùn)行的副產(chǎn)品僅包含用于共享的主數(shù)據(jù)管理信息系統(tǒng)——數(shù)據(jù)庫(kù)線下文檔數(shù)據(jù)機(jī)器設(shè)備數(shù)據(jù)外部引入數(shù)據(jù)數(shù)據(jù)質(zhì)量并未重點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)未制定，或未認(rèn)真執(zhí)行數(shù)據(jù)質(zhì)量并未看做實(shí)施方的責(zé)任質(zhì)量問題對(duì)共享交換不構(gòu)成嚴(yán)重影響難以繼承維護(hù)的黑盒式交付手工操作——難以維護(hù)腳本、代碼——難以理解編程實(shí)現(xiàn)——難以更新魚,非漁——難以持續(xù)一次性的、有限的交付成果共享交換庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)、全量數(shù)據(jù)體系知識(shí)庫(kù)、管理規(guī)范希嘉數(shù)據(jù)治理體系傳統(tǒng)數(shù)據(jù)治理體系目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW智慧環(huán)境監(jiān)測(cè)解決方案HW解決方案價(jià)值分析成功案例介紹成功案例介紹–xx師范大學(xué)

深入業(yè)務(wù)調(diào)研數(shù)據(jù)資產(chǎn)梳理數(shù)據(jù)標(biāo)準(zhǔn)建立數(shù)據(jù)開放共享規(guī)章制度建設(shè)

example成功案例介紹–xx師范大學(xué)

5623個(gè)數(shù)據(jù)來(lái)源單位8類數(shù)據(jù)集分類55類數(shù)據(jù)類296個(gè)數(shù)據(jù)子類數(shù)據(jù)資產(chǎn)成果4931個(gè)數(shù)據(jù)項(xiàng)2.47億條記錄數(shù)成功案例介紹–xx師范大學(xué)

成功案例介紹–xx師范大學(xué)

58數(shù)據(jù)缺失情況

有字段無(wú)數(shù)據(jù)無(wú)字段無(wú)數(shù)據(jù)無(wú)表缺失項(xiàng)

有字段未錄入有表無(wú)字段未設(shè)計(jì)表合計(jì)人事處556131教務(wù)處85133學(xué)工（含招就）478951科研8510研究生121570國(guó)資（含設(shè)備處）411016

4341762013003成功案例介紹–xx師范大學(xué)

調(diào)研成果調(diào)研成果校級(jí)數(shù)據(jù)標(biāo)準(zhǔn)校級(jí)代碼標(biāo)準(zhǔn)各項(xiàng)數(shù)據(jù)的權(quán)威來(lái)源部門的數(shù)據(jù)供需關(guān)系全校范圍內(nèi)統(tǒng)一了數(shù)據(jù)表達(dá)、交換和理解的規(guī)范，是實(shí)現(xiàn)數(shù)據(jù)交換的前提，是數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容邊界明確了各項(xiàng)數(shù)據(jù)的供應(yīng)來(lái)源，后續(xù)的采集、集中、共享、質(zhì)量都有了明確的負(fù)責(zé)部門，是數(shù)據(jù)采集的來(lái)源依據(jù)。明確了數(shù)據(jù)去向目標(biāo)，后續(xù)的交換、供應(yīng)都有了明確的目標(biāo)對(duì)象是數(shù)據(jù)交換的依據(jù)，消除數(shù)據(jù)孤島的目標(biāo)。成功案例介紹–xx師范大學(xué)

數(shù)據(jù)中心8類數(shù)據(jù)集55個(gè)數(shù)據(jù)類296個(gè)數(shù)據(jù)子類5328個(gè)數(shù)據(jù)項(xiàng)2.47億條記錄1146個(gè)

待補(bǔ)充人事研究生院學(xué)工國(guó)資辦科研教務(wù)房產(chǎn)辦公管學(xué)院教師教院就業(yè)處離退處設(shè)備處統(tǒng)戰(zhàn)圖書館外事工會(huì)校醫(yī)院校友會(huì)宣傳部校辦招標(biāo)辦組織部財(cái)務(wù)2444643277845832755596697431885125146159686351743237505財(cái)務(wù)處房產(chǎn)辦國(guó)資辦外事處基建處教師教院教務(wù)處科技處離退處校辦設(shè)備處后勤保障部圖書館學(xué)工處研究生院人事處組織部校友會(huì)數(shù)據(jù)孤島已經(jīng)基本打通服務(wù)于部門間數(shù)據(jù)交換成功案例介紹–xx師范大學(xué)

服務(wù)于信息中心綜合業(yè)務(wù)數(shù)據(jù)中心8類數(shù)據(jù)集55個(gè)數(shù)據(jù)類296個(gè)數(shù)據(jù)子類53