大華培訓(xùn)大數(shù)據(jù)方案

1、大數(shù)據(jù)指南 -方案與案例大數(shù)據(jù)(Big Data)時(shí)代來臨結(jié)構(gòu)化結(jié)構(gòu)化 數(shù)據(jù)庫 電子表格 格式化文件半結(jié)構(gòu)化半結(jié)構(gòu)化 XML 文檔 日志 點(diǎn)擊流量 設(shè)備、RFID標(biāo)簽非結(jié)構(gòu)化非結(jié)構(gòu)化 網(wǎng)頁內(nèi)容 郵件 媒體文件 及時(shí)通訊 文檔文件移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)2新量級(jí)、新處理模式、新行業(yè)智能傳統(tǒng)模式大數(shù)據(jù)要解決的問題 4VVolumeVolume海量的數(shù)據(jù)規(guī)模海量的數(shù)據(jù)規(guī)模價(jià)值價(jià)值Velocity快速的數(shù)據(jù)流轉(zhuǎn)快速的數(shù)據(jù)流轉(zhuǎn)巨大的數(shù)據(jù)價(jià)巨大的數(shù)據(jù)價(jià)值值Variety多樣的數(shù)據(jù)類型多樣的數(shù)據(jù)類型大數(shù)據(jù)帶來的挑戰(zhàn)u 不同不同“看看”數(shù)據(jù)的方式數(shù)據(jù)的方式u 需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式需要更高性價(jià)比的數(shù)據(jù)計(jì)算

2、與儲(chǔ)存方式u 不同的數(shù)據(jù)管理策略不同的數(shù)據(jù)管理策略u(píng) 超越現(xiàn)有超越現(xiàn)有 IT IT 的數(shù)據(jù)解決能量的數(shù)據(jù)解決能量不同“看”數(shù)據(jù)的方式可視：結(jié)構(gòu)化資料 15%未視：半/非結(jié)構(gòu)化數(shù)據(jù) 85%領(lǐng)導(dǎo)者看到的，其實(shí)是殘缺的10萬 GB10萬 TB需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式數(shù)據(jù)庫數(shù)據(jù)倉庫計(jì)算更快 存儲(chǔ)更省85%半/非結(jié)構(gòu)化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 7不同的數(shù)據(jù)管理策略當(dāng)想要擴(kuò)充時(shí)，才發(fā)覺： 架構(gòu)只能 scale-up， scale-out 不易 處理時(shí)間過長， time-to-value 受

3、限 成本過高， cost-efficiency 受限15% 結(jié)構(gòu)化的 DB/DW遺憾遺憾殘缺殘缺每天幾百 GB、 幾 TB 的資料，且持續(xù)成長中 在收數(shù)據(jù)的同時(shí)做必要的前置處理 (pre-processing)，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級(jí) (prioritizing)如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀如何從中挖掘出所關(guān)注事件的 pattern 或 behavior超越企業(yè)現(xiàn)有 IT 的數(shù)據(jù)解決能量Hadoop 不只是不只是 Hadoop9大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的儲(chǔ)存與處理大數(shù)據(jù)的儲(chǔ)存與處理/運(yùn)算運(yùn)算大數(shù)據(jù)儲(chǔ)存大數(shù)據(jù)儲(chǔ)存大數(shù)據(jù)處理大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)檢索數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)數(shù)

4、據(jù)展現(xiàn)分布式軟件架構(gòu)并行計(jì)算框架分布式存儲(chǔ)橫向擴(kuò)容(Scale-out) 架構(gòu)NameNodeDataNodeSwitch ( 1Gb above)藉由 DataNode 容易擴(kuò)充的能力可輕易滿足數(shù)據(jù)量成長的需求最小最小 package1 臺(tái)臺(tái) NameNode+3臺(tái)臺(tái) DataNodes大數(shù)據(jù)的部屬DataNodeDataNode大數(shù)據(jù)建設(shè)大數(shù)據(jù)建設(shè)策略策略數(shù)據(jù)倉庫數(shù)據(jù)倉庫ERPCRMLOBAPPs非結(jié)構(gòu)化數(shù)據(jù)源非結(jié)構(gòu)化數(shù)據(jù)源S S RS SSAS業(yè)務(wù)支撐業(yè)務(wù)支撐終端用戶基礎(chǔ)工具終端用戶基礎(chǔ)工具業(yè)務(wù)展示業(yè)務(wù)展示數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品傳統(tǒng)傳統(tǒng)BI預(yù)測(cè)分析預(yù)測(cè)分析結(jié)構(gòu)化數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)源大數(shù)據(jù)處理大數(shù)

5、據(jù)處理國家意志2022-6-12015年8月19日，國務(wù)院總理李克強(qiáng)主持召開國務(wù)院常務(wù)會(huì)議，討論通過了關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要。 大數(shù)據(jù)被喻為“金礦”、“石油”，大數(shù)據(jù)的價(jià)值被業(yè)界公認(rèn)為無價(jià)，然而怎么用大數(shù)據(jù)，怎么發(fā)揮大數(shù)據(jù)的價(jià)值，業(yè)界眾口紛紜，到現(xiàn)在為止也沒見到大數(shù)據(jù)究竟產(chǎn)生了多大價(jià)值。 大數(shù)據(jù)無法發(fā)揮其巨大價(jià)值，有技術(shù)、應(yīng)用、機(jī)制、法律法規(guī)等多方面的原因。 大數(shù)據(jù)的發(fā)展知易行難，知道其有巨大價(jià)值，但不清晰具體可行的發(fā)展路徑，也面臨很多不知道如何解決的問題。l 地 級(jí)以上人力資源社會(huì)保障部門普遍建立了數(shù)據(jù)中心l 多數(shù)地區(qū)實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)在市級(jí)的集中統(tǒng)一管理l 部

6、、省、市三級(jí)網(wǎng)絡(luò)進(jìn)一步貫通l 全國統(tǒng)一的核心業(yè)務(wù)應(yīng)用軟件已在絕大部分統(tǒng)籌地區(qū)部署實(shí)施 信息化建設(shè)成果在人力資源和社會(huì)保障工作中發(fā) 揮了基礎(chǔ)支撐作用，創(chuàng)新管理模式、降低行政成本、提升服務(wù)能力等方面發(fā)揮了重要的作用，推動(dòng)了人力資源和社會(huì)保障工作向精細(xì)化、一體化、 科學(xué)化、規(guī)范化轉(zhuǎn)變。人力資源社會(huì)保障信息化取得的成就 社保大數(shù)據(jù)帶來的大挑戰(zhàn)2022-6-1 海量數(shù)據(jù)如何存儲(chǔ) 數(shù)據(jù)導(dǎo)入導(dǎo)出的時(shí)間成本 業(yè)務(wù)數(shù)據(jù)讀取要依靠業(yè)務(wù)系統(tǒng) 查詢性能低 非結(jié)構(gòu)難存儲(chǔ)、難分析 維護(hù)成本高昂 無標(biāo)準(zhǔn)化規(guī)范舊架構(gòu)不能承受之重2022-6-1社?？傮w規(guī)劃2022-6-1大數(shù)據(jù)架構(gòu)訪訪問問層層應(yīng)用門戶應(yīng)用門戶數(shù)據(jù)門戶數(shù)據(jù)門戶

7、管理門戶管理門戶數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用層層數(shù)據(jù)數(shù)據(jù)資產(chǎn)資產(chǎn)層層數(shù)數(shù)據(jù)據(jù)聚聚合合層層基礎(chǔ)基礎(chǔ)環(huán)境環(huán)境層層應(yīng)用門戶查詢工具查詢工具/統(tǒng)計(jì)工具統(tǒng)計(jì)工具/分析工具分析工具/挖掘工具挖掘工具/輔助決策工具輔助決策工具對(duì)外數(shù)據(jù)支撐Service/File/Sdk/公共組件數(shù)據(jù)服務(wù)應(yīng)用層業(yè)務(wù)數(shù)據(jù)規(guī)則引擎規(guī)則引擎統(tǒng)計(jì)引擎統(tǒng)計(jì)引擎查詢引擎查詢引擎分析引擎分析引擎挖掘引擎挖掘引擎數(shù)據(jù)服務(wù)總線數(shù)據(jù)服務(wù)總線數(shù)據(jù)封裝數(shù)據(jù)封裝Oracle數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)資產(chǎn)Oracle數(shù)據(jù)庫數(shù)據(jù)庫MPP數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)處理數(shù)據(jù)采集文件處理文件處理實(shí)時(shí)流數(shù)據(jù)采集實(shí)時(shí)流數(shù)據(jù)采集關(guān)系型數(shù)據(jù)庫采集（關(guān)系型數(shù)據(jù)庫采集（SQOOP）傳統(tǒng)數(shù)據(jù)處理傳統(tǒng)數(shù)據(jù)處

8、理流數(shù)據(jù)處理流數(shù)據(jù)處理大數(shù)據(jù)大數(shù)據(jù)M/RHDFSHBase終端虛擬化終端虛擬化服務(wù)器虛擬化服務(wù)器虛擬化分布式架構(gòu)分布式架構(gòu)社保數(shù)據(jù)“云化”2022-6-1云技術(shù)是手段，管數(shù)據(jù)是目的大數(shù)據(jù)利用2022-6-1基礎(chǔ)數(shù)據(jù)共享，數(shù)據(jù)交換，業(yè)務(wù)聯(lián)動(dòng)進(jìn)階查詢，統(tǒng)計(jì)，分析高階數(shù)據(jù)挖掘,決策支持查詢實(shí)例2022-6-1現(xiàn)狀：系統(tǒng)經(jīng)過一段使用后，效率低，不能滿足業(yè)務(wù)發(fā)展目前對(duì)策：半夜跑任務(wù)思考：越來越多如何搞？對(duì)策：數(shù)據(jù)剝離。統(tǒng)計(jì)、查詢、報(bào)表從業(yè)務(wù)部門剝離。對(duì)策：數(shù)據(jù)剝離。統(tǒng)計(jì)、查詢、報(bào)表從業(yè)務(wù)部門剝離。 形成統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)、統(tǒng)計(jì)、報(bào)表平臺(tái)。形成統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)、統(tǒng)計(jì)、報(bào)表平臺(tái)。ESB2022-6-1數(shù)數(shù)據(jù)據(jù)標(biāo)標(biāo)準(zhǔn)準(zhǔn)服服務(wù)務(wù)標(biāo)標(biāo)準(zhǔn)準(zhǔn)管理管理標(biāo)準(zhǔn)標(biāo)準(zhǔn)統(tǒng)一桌面2022-6-1現(xiàn)狀：系統(tǒng)眾多，用戶系統(tǒng)間的切換，系統(tǒng)的管理不全面目前對(duì)策：暫缺思考：業(yè)務(wù)越來越多如何搞？對(duì)策：統(tǒng)一用戶管理、統(tǒng)一日志管理、統(tǒng)一權(quán)限管理等對(duì)策：統(tǒng)一用戶管理、統(tǒng)一日志管理、統(tǒng)一權(quán)限管理等E