大數(shù)據(jù)解決方案

議程大數(shù)據(jù)解決方案hadoop的優(yōu)勢實(shí)際過往案例自助式分析方案第一頁，共22頁。大數(shù)據(jù)企業(yè)品牌騰飛的“腎上腺素”數(shù)據(jù)復(fù)雜度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0Web2.0

ERP/CRM付款薪資貨存聯(lián)系人訂單跟蹤銷售管道Web日志數(shù)字市場搜索市場網(wǎng)上推薦廣告移動(dòng)協(xié)作電子商務(wù)網(wǎng)頁點(diǎn)擊流Wikis/博客傳感器/RFID/

設(shè)備社交網(wǎng)絡(luò)音頻/視頻日志文件空間&

GPS坐標(biāo)數(shù)據(jù)數(shù)據(jù)集市電子政務(wù)氣候文本/圖像Web日志數(shù)字市場搜索市場網(wǎng)上推薦協(xié)作電子商務(wù)哪些是大數(shù)據(jù)第二頁，共22頁。大數(shù)據(jù)解決方案-大型數(shù)據(jù)庫(ORACLE)

優(yōu)勢：技術(shù)人才可以復(fù)用。支撐總數(shù)據(jù)量100TB,且100GB以下數(shù)據(jù)實(shí)時(shí)多維度數(shù)據(jù)的分析。開發(fā)效率比較高。開發(fā)成本比較低。產(chǎn)品穩(wěn)定,后期維護(hù)簡單。劣勢：技術(shù)儲備要求高高昂的硬件投資并行擴(kuò)展非常困難。對海量的實(shí)時(shí)多維度分析,基本不能支持。第三頁，共22頁。大數(shù)據(jù)解決方案-分布式數(shù)據(jù)庫(Mysql)

優(yōu)勢：技術(shù)人才儲備可以部分復(fù)用。硬件投資成本可以控制。并行擴(kuò)展比較方便。劣勢：需要更高端的架構(gòu)師。海量數(shù)據(jù)的處理架構(gòu)需要重新開發(fā)。后期技術(shù)實(shí)現(xiàn),維護(hù)成本高。第四頁，共22頁。大數(shù)據(jù)解決方案

-業(yè)內(nèi)通用解決方案(hadoop/spark)

優(yōu)勢：技術(shù)人才儲備多硬件投資成本可以控制并行擴(kuò)展比較方便后期結(jié)合業(yè)務(wù)開發(fā)，實(shí)現(xiàn)穩(wěn)定劣勢：需要專業(yè)的方向性人才處理HDFSstormmahout朱成保企業(yè)內(nèi)部系統(tǒng)數(shù)據(jù)互聯(lián)網(wǎng)......ETLzookeeper集群HADOOPHDFSHBaseHiveMahoutStorm作業(yè)調(diào)度數(shù)據(jù)分析數(shù)據(jù)挖掘動(dòng)態(tài)報(bào)表并行管理決策分析多維查詢圖表展示報(bào)表統(tǒng)計(jì)......第五頁，共22頁。企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進(jìn)化

-未來大數(shù)據(jù)存儲OA視頻、語音、圖片......數(shù)據(jù)流數(shù)據(jù)倉庫數(shù)據(jù)集市多維度存儲數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用CRMERP第六頁，共22頁。HDFS：分布式存儲YARN：分布式操作系統(tǒng)MapReducePigHiveImpalaMahoutRHadoopGiraphHamaFlumeSqoopAvroChukwaZookeeperBigTopWhirrSearchHcatalogWebHdfsHttpFsHBaseCassandraDrillTezAccumuloStormSparkMesosPhoenixSharkHueAmbari/ClouderaManagerHadoop優(yōu)勢

-豐富的組件第七頁，共22頁。Hadoop優(yōu)勢

-完善的處理流程第八頁，共22頁。為大數(shù)據(jù)而建新一代的性能和規(guī)模最優(yōu)化的軟硬件價(jià)值Hadoop優(yōu)勢

-洞察任意大小的數(shù)據(jù)第九頁，共22頁。實(shí)際案例一智慧能源背景：客戶原來是從事硬件研發(fā)，每年?duì)I業(yè)額在5000萬左右，隨著企業(yè)規(guī)模的擴(kuò)展，領(lǐng)導(dǎo)覺得對硬件設(shè)備的故障告警不夠及時(shí)。對現(xiàn)有的歷史數(shù)據(jù)沒法進(jìn)行數(shù)據(jù)整合與挖掘。導(dǎo)致決策遲緩，故障不能夠預(yù)設(shè)告警。數(shù)據(jù)已結(jié)構(gòu)化數(shù)據(jù)為主現(xiàn)在：新平臺改造：Hadoop(10)+redis(2)+mysql(4)硬件故障從原來的半小時(shí)監(jiān)控，提升到現(xiàn)在，故障預(yù)先告警，發(fā)生故障的2分鐘告警到用戶，分析決策效率大大提高支撐現(xiàn)在數(shù)據(jù)有50+(采集點(diǎn))*500+(采集源)，每秒處理并發(fā)數(shù)實(shí)時(shí)數(shù)據(jù)2000條每天處理數(shù)據(jù)量實(shí)時(shí)數(shù)據(jù)200G，歷史綜合數(shù)據(jù)1T。第十頁，共22頁。實(shí)際案例一智慧能源

背景簡介大數(shù)據(jù)存儲(10)交換機(jī)數(shù)據(jù)源監(jiān)控設(shè)備數(shù)據(jù)源數(shù)據(jù)流mysql(4)數(shù)據(jù)倉庫多維度存儲數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用數(shù)據(jù)接入程序redis異常存儲(2)第十一頁，共22頁。實(shí)際案例二互聯(lián)網(wǎng)輿情背景：客戶需要對互聯(lián)網(wǎng)金融服務(wù)的服務(wù)企業(yè)和相關(guān)行業(yè)做到實(shí)時(shí)監(jiān)控，并有效的挖掘互聯(lián)網(wǎng)上的客戶資源。數(shù)據(jù)已非結(jié)構(gòu)化數(shù)據(jù)為主現(xiàn)在：我公司提供相關(guān)互聯(lián)網(wǎng)數(shù)據(jù)的爬取，并對數(shù)據(jù)初步ETL后，傳入到客戶?？蛻羝脚_構(gòu)成：Hadoop(15)+oracle(2)可以30分鐘左右監(jiān)控指定貸款客戶的互聯(lián)網(wǎng)輿情?？梢詫Φ貐^(qū)與行業(yè)進(jìn)行綜合評估與預(yù)測每天發(fā)送到客戶數(shù)據(jù)100G，每天分析數(shù)據(jù)維度40個(gè)，綜合處理1T數(shù)據(jù)。第十二頁，共22頁。企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進(jìn)化

-互聯(lián)網(wǎng)輿情大數(shù)據(jù)存儲(15)非結(jié)構(gòu)化數(shù)據(jù)源（新聞，博客，BBS，微博）數(shù)據(jù)流（圖像、視頻）oracle數(shù)據(jù)倉庫數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用類結(jié)構(gòu)化數(shù)據(jù)Hdfs,Hbase,MapReducehive第十三頁，共22頁。實(shí)際案例三大型國企背景：客戶是一個(gè)省級運(yùn)營商，需要對歷史的客戶話單，LBS，流量信息進(jìn)行分析。數(shù)據(jù)維度非常多，需要綜合考慮的數(shù)據(jù)量比較大?，F(xiàn)在：客戶平臺構(gòu)成：Hadoop(40)+oracle(4)+mpi(6)每天分析數(shù)據(jù)維度100個(gè)，1T數(shù)據(jù)，要求2小時(shí)完成復(fù)雜數(shù)據(jù)挖掘分析。第十四頁，共22頁。企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進(jìn)化

-某國企統(tǒng)計(jì)分析大數(shù)據(jù)存儲（40）話單數(shù)據(jù)源LBS數(shù)據(jù)源網(wǎng)絡(luò)數(shù)據(jù)源數(shù)據(jù)倉庫oracle數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用其他數(shù)據(jù)源MPI密集分布式計(jì)算（6）第十五頁，共22頁。大數(shù)據(jù)解決方案

-大數(shù)據(jù)的一些疑問實(shí)時(shí)要求性是否高數(shù)據(jù)應(yīng)用滿足什么樣的要求？數(shù)據(jù)構(gòu)成？數(shù)據(jù)運(yùn)算維度數(shù)量？第十六頁，共22頁。Hadoop=BigData?第十七頁，共22頁。思想?舉例>決策分析,銷售分析,為企業(yè)的整體發(fā)展戰(zhàn)略創(chuàng)造價(jià)值?角色>數(shù)據(jù)挖掘,決策分析,銷售分析業(yè)務(wù)創(chuàng)新和算法能力血液?舉例>成熟的分析、視覺化以及數(shù)據(jù)管理的全新生態(tài)系統(tǒng)?角色>云計(jì)算,數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)建模和管理能力骨髓?舉例>Hadoop,HPCC和NoSQL等?角色>硬件平臺,集群部署硬件存儲和計(jì)算能力“大數(shù)據(jù)”能力第十八頁，共22頁。大數(shù)據(jù)平臺總體架構(gòu)SourceSystemsBigDataSources(Raw,Unstructured)Alerts,NotificationsERPCRMLOBAPPSOracle/Mysql

StreamInsightETLwithSSIS,DQS,MDSOracle/MysqlFTDWDataMartsOracle/Mysql

ReportingServicesOracle/Mysql

AnalysisServerBusinessInsightsInteractiveReportsPerformanceScorecardsCrawlersBotsDevicesSensorsredis...HadoopClusterstromMPIMapReduceMPIMPI第十九頁，共22頁。重要組件選擇標(biāo)準(zhǔn)節(jié)點(diǎn)數(shù)量設(shè)計(jì)標(biāo)準(zhǔn)Redis組件是否有基礎(chǔ)分析實(shí)時(shí)監(jiān)控告警數(shù)據(jù)單個(gè)Redis節(jié)點(diǎn)數(shù)據(jù)容量不要超過20Hadoop組件大數(shù)據(jù)基礎(chǔ)組件單個(gè)數(shù)據(jù)節(jié)點(diǎn)，熱數(shù)據(jù)不要超過1TMPI需要40個(gè)維度以上，復(fù)雜數(shù)據(jù)挖掘與分析匹配數(shù)據(jù)內(nèi)存與CPU組件選型標(biāo)準(zhǔn)第二十頁，共22頁。節(jié)點(diǎn)計(jì)算公式單個(gè)節(jié)點(diǎn)內(nèi)存8G-16GCPU2.5Ghz數(shù)據(jù)提取能力(M/分鐘)480數(shù)據(jù)處理量預(yù)計(jì)維度10個(gè)(M/分鐘)35處理步驟復(fù)雜度2.4數(shù)據(jù)網(wǎng)絡(luò)與數(shù)據(jù)交換系數(shù)1.4處理為1G，預(yù)計(jì)時(shí)間(分鐘)=(1024/D5)+(1024/D6)*D7*D8100