大華培訓(xùn)大數(shù)據(jù)方案

大數(shù)據(jù)指南-方案與案例大數(shù)據(jù)(BigData)時代來臨結(jié)構(gòu)化數(shù)據(jù)庫電子表格格式化文件半結(jié)構(gòu)化XML

文檔日志點擊流量設(shè)備、RFID標(biāo)簽非結(jié)構(gòu)化網(wǎng)頁內(nèi)容郵件媒體文件及時通訊文檔文件大數(shù)據(jù)AppsDevicesSensors移動互聯(lián)網(wǎng)物聯(lián)網(wǎng)2新量級、新處理模式、新行業(yè)智能People傳統(tǒng)模式大數(shù)據(jù)要解決的問題4VVolume海量的數(shù)據(jù)規(guī)模流式處理實時處理準(zhǔn)實時處理批量處理TBPBEB結(jié)構(gòu)化非結(jié)構(gòu)化半機構(gòu)化價值Velocity快速的數(shù)據(jù)流轉(zhuǎn)巨大的數(shù)據(jù)價值Variety多樣的數(shù)據(jù)類型大數(shù)據(jù)帶來的挑戰(zhàn)不同“看”數(shù)據(jù)的方式需要更高性價比的數(shù)據(jù)計算與儲存方式不同的數(shù)據(jù)管理策略超越現(xiàn)有IT的數(shù)據(jù)解決能量不同“看”數(shù)據(jù)的方式可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%領(lǐng)導(dǎo)者看到的，其實是殘缺的…10萬GB10萬TB需要更高性價比的數(shù)據(jù)計算與儲存方式數(shù)據(jù)庫數(shù)據(jù)倉庫計算更快

存儲更省85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

7不同的數(shù)據(jù)管理策略當(dāng)想要擴充時，才發(fā)覺：架構(gòu)只能scale-up，scale-out不易處理時間過長，

time-to-value受限成本過高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺每天幾百GB、幾TB的資料，且持續(xù)成長中儲存Storing在收數(shù)據(jù)的同時做必要的前置處理(pre-processing)，并區(qū)分數(shù)據(jù)處理的優(yōu)先等級(prioritizing)計算Processing如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀管理Managing如何從中挖掘出所關(guān)注事件的pattern或behavior分析Analyzing超越企業(yè)現(xiàn)有IT的數(shù)據(jù)解決能量Hadoop不只是Hadoop9HIVE大數(shù)據(jù)應(yīng)用Pig!ZooKeeper關(guān)系數(shù)據(jù)文本數(shù)據(jù)大數(shù)據(jù)的儲存與處理/運算大數(shù)據(jù)儲存大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)分布式軟件架構(gòu)并行計算框架分布式存儲橫向擴容(Scale-out)架構(gòu)NameNodeDataNodeSwitch(1Gbabove)藉由DataNode容易擴充的能力可輕易滿足數(shù)據(jù)量成長的需求最小package1臺NameNode+3臺

DataNodes大數(shù)據(jù)的部屬DataNodeDataNode大數(shù)據(jù)建設(shè)策略數(shù)據(jù)倉庫ERPCRMLOBAPPs非結(jié)構(gòu)化數(shù)據(jù)源SSRSSSAS業(yè)務(wù)支撐終端用戶基礎(chǔ)工具業(yè)務(wù)展示數(shù)據(jù)產(chǎn)品傳統(tǒng)BI預(yù)測分析結(jié)構(gòu)化數(shù)據(jù)源大數(shù)據(jù)處理國家意志2024/6/282015年8月19日，國務(wù)院總理李克強主持召開國務(wù)院常務(wù)會議，討論通過了《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》。大數(shù)據(jù)被喻為“金礦”、“石油”，大數(shù)據(jù)的價值被業(yè)界公認為無價，然而怎么用大數(shù)據(jù)，怎么發(fā)揮大數(shù)據(jù)的價值，業(yè)界眾口紛紜，到現(xiàn)在為止也沒見到大數(shù)據(jù)究竟產(chǎn)生了多大價值。大數(shù)據(jù)無法發(fā)揮其巨大價值，有技術(shù)、應(yīng)用、機制、法律法規(guī)等多方面的原因。大數(shù)據(jù)的發(fā)展知易行難，知道其有巨大價值，但不清晰具體可行的發(fā)展路徑，也面臨很多不知道如何解決的問題。地級以上人力資源社會保障部門普遍建立了數(shù)據(jù)中心多數(shù)地區(qū)實現(xiàn)了業(yè)務(wù)數(shù)據(jù)在市級的集中統(tǒng)一管理部、省、市三級網(wǎng)絡(luò)進一步貫通全國統(tǒng)一的核心業(yè)務(wù)應(yīng)用軟件已在絕大部分統(tǒng)籌地區(qū)部署實施總體上看信息化建設(shè)成果在人力資源和社會保障工作中發(fā)揮了基礎(chǔ)支撐作用，創(chuàng)新管理模式、降低行政成本、提升服務(wù)能力等方面發(fā)揮了重要的作用，推動了人力資源和社會保障工作向精細化、一體化、科學(xué)化、規(guī)范化轉(zhuǎn)變。人力資源社會保障信息化取得的成就

社保大數(shù)據(jù)帶來的大挑戰(zhàn)2024/6/28海量數(shù)據(jù)如何存儲數(shù)據(jù)導(dǎo)入導(dǎo)出的時間成本業(yè)務(wù)數(shù)據(jù)讀取要依靠業(yè)務(wù)系統(tǒng)查詢性能低非結(jié)構(gòu)難存儲、難分析維護成本高昂無標(biāo)準(zhǔn)化規(guī)范舊架構(gòu)不能承受之重2024/6/28社保總體規(guī)劃2024/6/28大數(shù)據(jù)架構(gòu)訪問層應(yīng)用門戶數(shù)據(jù)門戶管理門戶數(shù)據(jù)應(yīng)用層數(shù)據(jù)資產(chǎn)層數(shù)據(jù)聚合層基礎(chǔ)環(huán)境層應(yīng)用門戶查詢工具/統(tǒng)計工具/分析工具/挖掘工具/輔助決策工具對外數(shù)據(jù)支撐Service/File/Sdk/…公共組件數(shù)據(jù)服務(wù)應(yīng)用層業(yè)務(wù)數(shù)據(jù)規(guī)則引擎統(tǒng)計引擎查詢引擎分析引擎挖掘引擎數(shù)據(jù)服務(wù)總線數(shù)據(jù)封裝Oracle數(shù)據(jù)庫數(shù)據(jù)資產(chǎn)Oracle數(shù)據(jù)庫MPP數(shù)據(jù)庫數(shù)據(jù)處理數(shù)據(jù)采集文件處理實時流數(shù)據(jù)采集關(guān)系型數(shù)據(jù)庫采集（SQOOP）傳統(tǒng)數(shù)據(jù)處理流數(shù)據(jù)處理大數(shù)據(jù)M/RHDFSHBase終端虛擬化服務(wù)器虛擬化分布式架構(gòu)社保數(shù)據(jù)“云化”2024/6/28人口數(shù)據(jù)養(yǎng)老數(shù)據(jù)醫(yī)療數(shù)據(jù)就業(yè)數(shù)據(jù)生育保險其他數(shù)據(jù)統(tǒng)一分析統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘云技術(shù)是手段，管數(shù)據(jù)是目的大數(shù)據(jù)利用2024/6/28基礎(chǔ)

數(shù)據(jù)共享，數(shù)據(jù)交換，業(yè)務(wù)聯(lián)動進階

查詢，統(tǒng)計，分析高階

數(shù)據(jù)挖掘,決策支持查詢實例2024/6/28現(xiàn)狀：系統(tǒng)經(jīng)過一段使用后，效率低，不能滿足業(yè)務(wù)發(fā)展目前對策：半夜跑任務(wù)思考：越來越多如何搞？對策：數(shù)據(jù)剝離。統(tǒng)計、查詢、報表從業(yè)務(wù)部門剝離。

形成統(tǒng)一的數(shù)據(jù)統(tǒng)計、統(tǒng)計、報表平臺。人口數(shù)據(jù)養(yǎng)老數(shù)據(jù)醫(yī)療數(shù)據(jù)就業(yè)數(shù)據(jù)生育保險其他數(shù)據(jù)統(tǒng)一分析統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘查詢、統(tǒng)計、報表ESB2024/6/28數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)統(tǒng)一桌面2024/6/28現(xiàn)狀：系統(tǒng)眾多，用戶系統(tǒng)間的切換，系統(tǒng)的管理不全面目前對策：暫缺思考：業(yè)務(wù)越來越多如何搞？對策：統(tǒng)一用戶管理、統(tǒng)