大數(shù)據(jù)解決方案

大數(shù)據(jù)解決方案大數(shù)據(jù)&自助式分析解決方案議程大數(shù)據(jù)解決方案hadoop的優(yōu)勢實際過往案例自助式分析方案大數(shù)據(jù)企業(yè)品牌騰飛的“腎上腺素”數(shù)據(jù)復(fù)雜度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0Web2.0

ERP/CRM付款薪資貨存聯(lián)系人訂單跟蹤銷售管道Web日志數(shù)字市場搜索市場網(wǎng)上推薦廣告移動協(xié)作電子商務(wù)網(wǎng)頁點擊流Wikis/博客傳感器/RFID/

設(shè)備社交網(wǎng)絡(luò)音頻/視頻日志文件空間&

GPS坐標數(shù)據(jù)數(shù)據(jù)集市電子政務(wù)氣候文本/圖像Web日志數(shù)字市場搜索市場網(wǎng)上推薦協(xié)作電子商務(wù)哪些是大數(shù)據(jù)大數(shù)據(jù)解決方案-大型數(shù)據(jù)庫(ORACLE)

優(yōu)勢：技術(shù)人才可以復(fù)用。支撐總數(shù)據(jù)量100TB,且100GB以下數(shù)據(jù)實時多維度數(shù)據(jù)的分析。開發(fā)效率比較高。開發(fā)成本比較低。產(chǎn)品穩(wěn)定,后期維護簡單。劣勢：技術(shù)儲備要求高高昂的硬件投資并行擴展非常困難。對海量的實時多維度分析,基本不能支持。大數(shù)據(jù)解決方案-分布式數(shù)據(jù)庫(Mysql)

優(yōu)勢：技術(shù)人才儲備可以部分復(fù)用。硬件投資成本可以控制。并行擴展比較方便。劣勢：需要更高端的架構(gòu)師。海量數(shù)據(jù)的處理架構(gòu)需要重新開發(fā)。后期技術(shù)實現(xiàn),維護成本高。大數(shù)據(jù)解決方案

-業(yè)內(nèi)通用解決方案(hadoop/spark)

優(yōu)勢：技術(shù)人才儲備多硬件投資成本可以控制并行擴展比較方便后期結(jié)合業(yè)務(wù)開發(fā)，實現(xiàn)穩(wěn)定劣勢：需要專業(yè)的方向性人才處理HDFSstormmahout朱成保企業(yè)內(nèi)部系統(tǒng)數(shù)據(jù)互聯(lián)網(wǎng)......ETLzookeeper集群HADOOPHDFSHBaseHiveMahoutStorm作業(yè)調(diào)度數(shù)據(jù)分析數(shù)據(jù)挖掘動態(tài)報表并行管理決策分析多維查詢圖表展示報表統(tǒng)計......企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進化

-未來大數(shù)據(jù)存儲OA視頻、語音、圖片......數(shù)據(jù)流數(shù)據(jù)倉庫數(shù)據(jù)集市多維度存儲數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用CRMERPHDFS：分布式存儲YARN：分布式操作系統(tǒng)MapReducePigHiveImpalaMahoutRHadoopGiraphHamaFlumeSqoopAvroChukwaZookeeperBigTopWhirrSearchHcatalogWebHdfsHttpFsHBaseCassandraDrillTezAccumuloStormSparkMesosPhoenixSharkHueAmbari/ClouderaManagerHadoop優(yōu)勢

-豐富的組件Hadoop優(yōu)勢

-完善的處理流程為大數(shù)據(jù)而建新一代的性能和規(guī)模最優(yōu)化的軟硬件價值Hadoop優(yōu)勢

-洞察任意大小的數(shù)據(jù)實際案例一智慧能源背景：客戶原來是從事硬件研發(fā)，每年營業(yè)額在5000萬左右，隨著企業(yè)規(guī)模的擴展，領(lǐng)導(dǎo)覺得對硬件設(shè)備的故障告警不夠及時。對現(xiàn)有的歷史數(shù)據(jù)沒法進行數(shù)據(jù)整合與挖掘。導(dǎo)致決策遲緩，故障不能夠預(yù)設(shè)告警。數(shù)據(jù)已結(jié)構(gòu)化數(shù)據(jù)為主現(xiàn)在：新平臺改造：Hadoop(10)+redis(2)+mysql(4)硬件故障從原來的半小時監(jiān)控，提升到現(xiàn)在，故障預(yù)先告警，發(fā)生故障的2分鐘告警到用戶，分析決策效率大大提高支撐現(xiàn)在數(shù)據(jù)有50+(采集點)*500+(采集源)，每秒處理并發(fā)數(shù)實時數(shù)據(jù)2000條每天處理數(shù)據(jù)量實時數(shù)據(jù)200G，歷史綜合數(shù)據(jù)1T。實際案例一智慧能源

背景簡介大數(shù)據(jù)存儲(10)交換機數(shù)據(jù)源監(jiān)控設(shè)備數(shù)據(jù)源數(shù)據(jù)流mysql(4)數(shù)據(jù)倉庫多維度存儲數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用數(shù)據(jù)接入程序redis異常存儲(2)實際案例二互聯(lián)網(wǎng)輿情背景：客戶需要對互聯(lián)網(wǎng)金融服務(wù)的服務(wù)企業(yè)和相關(guān)行業(yè)做到實時監(jiān)控，并有效的挖掘互聯(lián)網(wǎng)上的客戶資源。數(shù)據(jù)已非結(jié)構(gòu)化數(shù)據(jù)為主現(xiàn)在：我公司提供相關(guān)互聯(lián)網(wǎng)數(shù)據(jù)的爬取，并對數(shù)據(jù)初步ETL后，傳入到客戶?？蛻羝脚_構(gòu)成：Hadoop(15)+oracle(2)可以30分鐘左右監(jiān)控指定貸款客戶的互聯(lián)網(wǎng)輿情?？梢詫Φ貐^(qū)與行業(yè)進行綜合評估與預(yù)測每天發(fā)送到客戶數(shù)據(jù)100G，每天分析數(shù)據(jù)維度40個，綜合處理1T數(shù)據(jù)。企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進化

-互聯(lián)網(wǎng)輿情大數(shù)據(jù)存儲(15)非結(jié)構(gòu)化數(shù)據(jù)源（新聞，博客，BBS，微博）數(shù)據(jù)流（圖像、視頻）oracle數(shù)據(jù)倉庫數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用類結(jié)構(gòu)化數(shù)據(jù)Hdfs,Hbase,MapReducehive實際案例三大型國企背景：客戶是一個省級運營商，需要對歷史的客戶話單，LBS，流量信息進行分析。數(shù)據(jù)維度非常多，需要綜合考慮的數(shù)據(jù)量比較大。現(xiàn)在：客戶平臺構(gòu)成：Hadoop(40)+oracle(4)+mpi(6)每天分析數(shù)據(jù)維度100個，1T數(shù)據(jù)，要求2小時完成復(fù)雜數(shù)據(jù)挖掘分析。企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進化

-某國企統(tǒng)計分析大數(shù)據(jù)存儲（40）話單數(shù)據(jù)源LBS數(shù)據(jù)源網(wǎng)絡(luò)數(shù)據(jù)源數(shù)據(jù)倉庫oracle數(shù)據(jù)服務(wù)分析應(yīng)用其他存儲服務(wù)使用其他數(shù)據(jù)源MPI密集分布式計算（6）大數(shù)據(jù)解決方案

-大數(shù)據(jù)的一些疑問實時要求性是否高數(shù)據(jù)應(yīng)用滿足什么樣的要求？數(shù)據(jù)構(gòu)成？數(shù)據(jù)運算維度數(shù)量？Hadoop=BigData?思想?舉例>決策分析,銷售分析,為企業(yè)的整體發(fā)展戰(zhàn)略創(chuàng)造價值?角色>數(shù)據(jù)挖掘,決策分析,銷售分析業(yè)務(wù)創(chuàng)新和算法能力血液?舉例>成熟的分析、視覺化以及數(shù)據(jù)管理的全新生態(tài)系統(tǒng)?角色>云計算,數(shù)據(jù)模型設(shè)計數(shù)據(jù)建模和管理能力骨髓?舉例>Hadoop,HPCC和NoSQL等?角色>硬件平臺,集群部署硬件存儲和計算能力“大數(shù)據(jù)”能力大數(shù)據(jù)平臺總體架構(gòu)SourceSystemsBigDataSources(Raw,Unstructured)Alerts,NotificationsERPCRMLOBAPPSOracle/Mysql

StreamInsightETLwithSSIS,DQS,MDSOracle/MysqlFTDWDataMartsOracle/Mysql

ReportingServicesOracle/Mysql

AnalysisServerBusinessInsightsInteractiveReportsPerformanceScorecardsCrawlersBotsDevicesSensorsredis...HadoopClusterstromMPIMapReduceMPIMPI重要組件選擇標準節(jié)點數(shù)量設(shè)計標準Redis組件是否有基礎(chǔ)分析實時監(jiān)控告警數(shù)據(jù)單個Redis節(jié)點數(shù)據(jù)容量不要超過20Hadoop組件大數(shù)據(jù)基礎(chǔ)組件單個數(shù)據(jù)節(jié)點，熱數(shù)據(jù)不要超過1TMPI需要40個維度以上，復(fù)雜數(shù)據(jù)挖掘與分析匹配數(shù)據(jù)內(nèi)存與CPU組件選型標準節(jié)點計算公式單個節(jié)點內(nèi)存8G-16GCPU2.5Ghz數(shù)據(jù)提取能力(M/分鐘)480數(shù)據(jù)處理量預(yù)計維度10個(M/分鐘)35處理步驟復(fù)雜度2.4數(shù)據(jù)網(wǎng)絡(luò)與數(shù)據(jù)交換系數(shù)1.4處理為1G，預(yù)計時間(分鐘)=(1024/D5)+(