大數(shù)據(jù)平臺(tái)最佳實(shí)踐

英特爾大數(shù)據(jù)平臺(tái)最佳實(shí)踐提綱大數(shù)據(jù)帶來的挑戰(zhàn)大數(shù)據(jù)案例介紹Intel大數(shù)據(jù)平臺(tái)2BigBigData云計(jì)算技術(shù)是處理大數(shù)據(jù)的有效手段大數(shù)據(jù)和云是兩個(gè)不同的概念，但兩者之間有很多交集。支撐大數(shù)據(jù)以及云計(jì)算的底層原則是一樣的，即規(guī)模化、自動(dòng)化、資源配置、自愈性，因此實(shí)際上大數(shù)據(jù)和云之間存在很多合力的地方。大數(shù)據(jù)應(yīng)用是在云上跑的、非常典型的應(yīng)用?！髷?shù)據(jù)處理離不開云大數(shù)據(jù)時(shí)代-數(shù)據(jù)爆發(fā)性增長IDC預(yù)測全球的數(shù)據(jù)使用量到2020年會(huì)增長44倍，達(dá)到35.2ZB(1ZB=10億TB)*Source:McKinseyGlobalInstituteAnalysisSGCrossAssetResearch,PwC寬帶、移動(dòng)網(wǎng)絡(luò)普及和提速移動(dòng)網(wǎng)絡(luò)和各種智能終端視頻(醫(yī)療影像、地理信息、監(jiān)控錄像等)統(tǒng)計(jì)、分析、預(yù)測、實(shí)時(shí)處理傳感器、RFID閱讀器、導(dǎo)航終端等非傳統(tǒng)IT設(shè)備社交網(wǎng)絡(luò)(Facebook,Twitter,微博等)4大數(shù)據(jù)處理速度要求越來越高Source:IDCDigitalUniverseStudy,sponsoredbyEMC,May2010大數(shù)據(jù)與海量數(shù)據(jù)的一個(gè)重要區(qū)別，在于不但數(shù)據(jù)尺寸大，而且對(duì)數(shù)據(jù)處理的響應(yīng)速度有有著更高的要求傳統(tǒng)的以周，天，小時(shí)為單位的運(yùn)算處理周期，下降到以分鐘，秒為單位大數(shù)據(jù)高價(jià)值的重要體現(xiàn)-處理速度ValueHighutilityDiminishingutilityArchivalvalueTimeHighLowNegative數(shù)據(jù)的多樣性Source:IDCDigitalUniverseStudy,sponsoredbyEMC,May2010數(shù)據(jù)形式的多樣:結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間有很強(qiáng)的因果關(guān)系半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間因果關(guān)系較弱非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)間無因果關(guān)系數(shù)據(jù)來源的多樣性:不同的應(yīng)用系統(tǒng)各種設(shè)備互聯(lián)網(wǎng)其它Flatfile創(chuàng)造顯著業(yè)務(wù)價(jià)值（VALUE）?Copyright2011EMCCorporation.Allrightsreserved.大數(shù)據(jù)分析顯著的業(yè)務(wù)價(jià)值

3V特性驅(qū)動(dòng)下創(chuàng)建

挖掘數(shù)據(jù)資產(chǎn)價(jià)值，通過數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，變成本中心為利潤中心智慧城市-典型的大數(shù)據(jù)應(yīng)用集合2023/10/58大數(shù)據(jù)處理導(dǎo)致的平臺(tái)瓶頸RequiredScalabilityRapidAdoptionBigMathBigData“Moore’sLaw”Scalability數(shù)據(jù)處理需求與傳統(tǒng)平臺(tái)硬件擴(kuò)展的差距不斷擴(kuò)大IndustryProgress大數(shù)據(jù)處理需要的擴(kuò)展能力大數(shù)據(jù)分析不同于傳統(tǒng)BI分析

結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)規(guī)模一般為TB規(guī)模集中式，為了分析進(jìn)行大量數(shù)據(jù)移動(dòng)，數(shù)據(jù)向計(jì)算靠近批處理為主結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的能力數(shù)據(jù)規(guī)模從數(shù)十TB到PB級(jí)別分布式，計(jì)算向數(shù)據(jù)靠近支持流式分析事務(wù)關(guān)系型數(shù)據(jù)庫批處理數(shù)據(jù)倉庫分析集群化非結(jié)構(gòu)化流式多種數(shù)據(jù)源分析(MapReduce)組織傳統(tǒng)BI分析大數(shù)據(jù)分析Examples:TelcoGovtFinanceWeb分布式數(shù)據(jù)平臺(tái)與傳統(tǒng)數(shù)據(jù)平臺(tái)融合RawDataHadoopCluster(HundredsofTB’stoPB’s)StructuredDataSemi-StructuredDataHistorical/Archival/EventLevelAggregated/EnrichedSummary/InteractiveETLDataEnrichmentDirectQueryDirectqueryDirectModeling提綱大數(shù)據(jù)帶來的挑戰(zhàn)大數(shù)據(jù)案例介紹Intel大數(shù)據(jù)平臺(tái)12聯(lián)通3G詳單查詢-問題來源（1/2）隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，上網(wǎng)記錄查詢成為用戶投訴的焦點(diǎn)問題來源目前，中國聯(lián)通省分公司3G客戶數(shù)據(jù)流量問題爭議占3G業(yè)務(wù)投訴達(dá)7-10%，且近幾個(gè)月呈上升趨勢，個(gè)別省分比例高達(dá)20%一些用戶對(duì)3G業(yè)務(wù)流量產(chǎn)生及計(jì)費(fèi)方式不了解，主觀認(rèn)為自己未使用或使用較少數(shù)據(jù)流量，要求運(yùn)營商提供上網(wǎng)記錄，而現(xiàn)有系統(tǒng)不具備此功能，從而導(dǎo)致投訴升級(jí)。3G流量費(fèi)爭議占總咨詢投訴量比率上網(wǎng)記錄查詢對(duì)中國聯(lián)通的業(yè)務(wù)發(fā)展產(chǎn)生了較大的影響影響對(duì)用戶而言：“…要是能查到流量是和誰發(fā)生的就好了，如果是手機(jī)的問題，我也才知道今后怎么防范，現(xiàn)在連防范誰都不知道，誰知道下次還會(huì)不會(huì)發(fā)生類似問題?”對(duì)運(yùn)營商而言：根據(jù)中國聯(lián)通客戶服務(wù)部門提供的數(shù)據(jù)，目前移動(dòng)業(yè)務(wù)每萬元收入，因無法提供上網(wǎng)詳單造成的退費(fèi)和賠付約60.1元；如果問題得不到根本解決，將會(huì)影響運(yùn)營商按流量計(jì)費(fèi)的資費(fèi)模式，對(duì)運(yùn)營商3G業(yè)務(wù)的開展將產(chǎn)生較大影響用戶上網(wǎng)記錄數(shù)是個(gè)海量數(shù)據(jù)，不僅投資巨大，傳統(tǒng)的電信業(yè)解決方案根本無法提供該服務(wù)案例某iPhone合約計(jì)劃用戶，在凌晨零點(diǎn)到4點(diǎn)之間手機(jī)產(chǎn)生巨額流量費(fèi)在其得知因受計(jì)量設(shè)備限制無法向其提供數(shù)據(jù)流量去向后，竟上升到司法訴訟層面聯(lián)通3G詳單查詢-問題來源（2/2）移動(dòng)用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)建設(shè)上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)意義重大查詢?yōu)榭蛻舴?wù)人員提供客戶上網(wǎng)記錄快速查詢服務(wù)，解決流量投訴問題為用戶提供準(zhǔn)實(shí)時(shí)的異常大流量上網(wǎng)記錄自助查詢服務(wù)分析對(duì)數(shù)據(jù)流量進(jìn)行統(tǒng)計(jì)終端分析：iPhone、iPad、其他智能手機(jī)分布，新終端推廣效果分析熱門流量、熱門網(wǎng)站（業(yè)務(wù)）網(wǎng)絡(luò)分析：2G/3G基站流量分析，網(wǎng)絡(luò)優(yōu)化數(shù)據(jù)挖掘根據(jù)流量分布，分析用戶群特征提供套餐設(shè)計(jì)參考，優(yōu)化用戶體驗(yàn)通過感知業(yè)務(wù)態(tài)勢，制定市場策略，指導(dǎo)業(yè)務(wù)產(chǎn)品開發(fā)，為市場營銷提供豐富的數(shù)據(jù)支持移動(dòng)互聯(lián)網(wǎng)處于快速發(fā)展期：每6個(gè)月，流量翻一番移動(dòng)互聯(lián)網(wǎng)用戶快速增加，智能終端迅速普及、戶均流量顯著增長，上網(wǎng)記錄數(shù)據(jù)將進(jìn)一步猛增難點(diǎn)分析上網(wǎng)記錄是海量數(shù)據(jù)用戶每月的上網(wǎng)記錄約幾萬至數(shù)十萬在Gn（SGSN與GGSN之間）接口上部署采集設(shè)備來生成用戶上網(wǎng)記錄用戶手機(jī)訪問一次網(wǎng)頁，約會(huì)產(chǎn)生數(shù)十條，甚至數(shù)百條請(qǐng)求，意味著產(chǎn)生數(shù)十條和數(shù)百條上網(wǎng)記錄訪問手機(jī)新浪網(wǎng)首頁，約產(chǎn)生20條記錄訪問新浪iPad首頁，約產(chǎn)生40條記錄在iPad中看一條新浪新聞，產(chǎn)生超過180條記錄訪問淘寶觸摸屏版，約產(chǎn)生60條記錄大量的DNS查詢、推送服務(wù)記錄（如蘋果通知服務(wù)）等以中國聯(lián)通某省分公司為例，日均上網(wǎng)記錄數(shù)近10億條，每月數(shù)據(jù)量近9TB，31個(gè)省份數(shù)據(jù)量12T/day難點(diǎn)分析采用關(guān)系型數(shù)據(jù)庫進(jìn)行上網(wǎng)記錄的存儲(chǔ)已不可行采用何種方式進(jìn)行存儲(chǔ)和檢索是一個(gè)問題存儲(chǔ)：如此大的數(shù)據(jù)量已經(jīng)超越了當(dāng)前關(guān)系型數(shù)據(jù)庫可管理的容量上限查詢：關(guān)系型數(shù)據(jù)庫上對(duì)大規(guī)模數(shù)據(jù)進(jìn)行操作會(huì)造成系統(tǒng)性能嚴(yán)重下降當(dāng)數(shù)據(jù)集和索引變大時(shí)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫如Oracle、Sybase，在對(duì)大規(guī)模數(shù)據(jù)進(jìn)行操作會(huì)造成系統(tǒng)性能嚴(yán)重下降，因?yàn)樵谔幚頂?shù)據(jù)時(shí)SQL請(qǐng)求會(huì)占用大量的CPU周期，并且會(huì)導(dǎo)致大量的磁盤讀寫，性能會(huì)變得讓人無法忍受成本小型機(jī)＋高端存儲(chǔ)+關(guān)系數(shù)據(jù)庫成本導(dǎo)致擴(kuò)展困難移動(dòng)用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)系統(tǒng)構(gòu)成系統(tǒng)采用全國集中的一級(jí)架構(gòu)方案進(jìn)行建設(shè)，主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)查詢與分析子系統(tǒng)基本技術(shù)采用Hadoop/HBase作為上網(wǎng)記錄存儲(chǔ)方案采用MapReduce/Hive作用統(tǒng)計(jì)分析和數(shù)據(jù)挖掘工具關(guān)鍵性能指標(biāo)解決方案數(shù)據(jù)查詢上網(wǎng)記錄查詢速度：不高于1秒（不含用戶訪問查詢頁面的時(shí)間）支持并發(fā)查詢數(shù)目：1000請(qǐng)求/秒數(shù)據(jù)存儲(chǔ)上網(wǎng)記錄入庫時(shí)間：一般小于30分鐘，實(shí)際約10分鐘具備存儲(chǔ)全國移動(dòng)用戶不小于6個(gè)月的原始上網(wǎng)記錄能力歷史5個(gè)月+當(dāng)前月統(tǒng)計(jì)分析的中間報(bào)表數(shù)據(jù)保存不小于5年全國集中的一級(jí)架構(gòu)，電信行業(yè)首次將Hadoop/HBase引入到商用電信服務(wù)系統(tǒng)建設(shè)中系統(tǒng)部署系統(tǒng)部署兩路x86服務(wù)器（基于Intel?XeonE5600系列處理器）NameNode節(jié)點(diǎn)：3臺(tái)DataNode（數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)）：178臺(tái)Zookeeper節(jié)點(diǎn)：7臺(tái)集群監(jiān)控節(jié)點(diǎn)：1臺(tái)入庫服務(wù)節(jié)點(diǎn)：24臺(tái)Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)：20臺(tái)網(wǎng)絡(luò)交換設(shè)備機(jī)框間通過萬兆交換機(jī)連接，以完成快速的數(shù)據(jù)交換Intel?Hadoop發(fā)行版滿足高性能的數(shù)據(jù)導(dǎo)入和快速查詢。穩(wěn)定、易于部署和管理的企業(yè)級(jí)方案。19移動(dòng)用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)20某市智能交通應(yīng)用舉例視頻云計(jì)算/云服務(wù)視頻云服務(wù)中心可以實(shí)時(shí)掌控任一車輛的行駛，運(yùn)行軌跡、分析車輛是否違章視頻云服務(wù)中心對(duì)海量的交通信息進(jìn)行比對(duì)、分析和預(yù)測，為車輛布控、分析擁堵狀態(tài)，出行最優(yōu)路徑規(guī)劃、交通管理服務(wù)智能交通系統(tǒng)實(shí)時(shí)監(jiān)控城市的交通狀態(tài)，將各個(gè)路口的車輛實(shí)時(shí)抓拍、傳輸?shù)揭曨l云服務(wù)中心面臨的挑戰(zhàn)年過車信息數(shù)據(jù)量達(dá)數(shù)百億級(jí)記錄規(guī)模市局和區(qū)縣的數(shù)據(jù)中心兩級(jí)架構(gòu)，分布式存儲(chǔ)，集中管理。支持多條件組合快速查詢：卡口名稱、車道名稱、車輛類型、車牌類型、車牌號(hào)碼、車身顏色、車牌顏色、車速范圍、車長范圍、號(hào)牌段范圍、時(shí)間范圍。支持海量過車信息的模糊匹配檢索。支持各種統(tǒng)計(jì)分析、數(shù)據(jù)挖掘：車輛違章率統(tǒng)計(jì)、過車識(shí)別率統(tǒng)計(jì)、套牌分析、關(guān)聯(lián)性分析、黑名單等過車記錄單個(gè)區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每秒鐘~6MB/s1200條記錄/s120MB/s24000條記錄/秒每小時(shí)~20GB/hour432萬條/小時(shí)~400GB/hour8640萬條/小時(shí)每天~480GB/day1億條/天~9.6TB/day20億條/天每月~14.4TB/month30億條/月~288TB/month600億條/月三個(gè)月~43.2TB/3months90億條/三個(gè)月~0.8PB/3months1800億條/三個(gè)月違章車輛圖片數(shù)據(jù)單個(gè)區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每小時(shí)~1.8GB/h36GB/h每天~43.2GB/day~864GB/day每月~1.2TB/month~24TB/month三個(gè)月~3.6TB/3months~72TB/3months基于英特爾Hadoop技術(shù)方案解決了海量過車信息（結(jié)構(gòu)文本+圖片）存儲(chǔ)問題。解決了分布式數(shù)據(jù)查詢問題。系統(tǒng)提供了易于使用的API，方便進(jìn)行二次開發(fā)。系統(tǒng)做了較多優(yōu)化，性能很好的滿足了項(xiàng)目的實(shí)時(shí)性要求。系統(tǒng)的穩(wěn)定性好。智能交通應(yīng)用技術(shù)架構(gòu)圖某市智慧交通信息系統(tǒng)架構(gòu)基于海量數(shù)據(jù)進(jìn)行車輛軌跡分析實(shí)時(shí)路況信息區(qū)域號(hào)牌管理碰撞分析。。。。。。。。。。某市智慧醫(yī)療提綱大數(shù)據(jù)帶來的挑戰(zhàn)大數(shù)據(jù)案例介紹Intel大數(shù)據(jù)平臺(tái)27提供高效的計(jì)算芯片、存儲(chǔ)、I/O、網(wǎng)絡(luò)技術(shù)，加速大數(shù)據(jù)價(jià)值挖掘與提高決策反應(yīng)基于x86平臺(tái)，提供最優(yōu)的軟件和工具，推動(dòng)大數(shù)據(jù)應(yīng)用的部署和創(chuàng)新促進(jìn)大數(shù)據(jù)生態(tài)系統(tǒng)的建設(shè)，與廣泛的合作伙伴合作，與中國共成長

企業(yè)大數(shù)據(jù)平臺(tái)構(gòu)建中英特爾的角色投資大數(shù)據(jù)解決方案的研究和服務(wù)什么是Hadoop?開源Apache項(xiàng)目,靈感來源于Google的MapReduce白皮書和Google文件系(GFS),Yahoo完成了絕大部分初始設(shè)計(jì)和開發(fā)Hadoop核心組件包括:-分布式文件系統(tǒng)-Map/Reduce–分布式計(jì)算用Java編寫運(yùn)行平臺(tái):Linux,MacOS/X,Solaris普通的X86硬件平臺(tái)ShuffleMapReduceHadoop與“大數(shù)據(jù)”Hadoop是致力于“大數(shù)據(jù)”處理的最重要平臺(tái)之一能夠輕松擴(kuò)展到PB級(jí)別的數(shù)據(jù)存儲(chǔ)，處理規(guī)模帶有容錯(cuò)功能的并行處理架構(gòu)基于普通的X86平臺(tái)硬件架構(gòu)，硬件成本低廉用內(nèi)置格式存儲(chǔ)/處理數(shù)據(jù)基于開源項(xiàng)目，擁有當(dāng)量的代碼來源，并且傳統(tǒng)廠商也日益重視對(duì)其的支持，它已經(jīng)成為重要的并行處理架構(gòu)標(biāo)準(zhǔn)之一越來越多的企業(yè)接納Hadoop2007200820092010TheDatagraphBlogSource:HadoopSummitPresentationsIntel提供企業(yè)級(jí)的Hadoop產(chǎn)品IntelHadoop經(jīng)過測試和驗(yàn)證的穩(wěn)定版本，在生產(chǎn)環(huán)境成功部署運(yùn)營包括了Intel針對(duì)現(xiàn)有客戶在實(shí)際使用中出現(xiàn)問題的解決方法以及改進(jìn)和優(yōu)化基于Intel在云計(jì)算研發(fā)上的經(jīng)驗(yàn)積累，提供專業(yè)的咨詢服務(wù)，幫助構(gòu)建高可擴(kuò)展高性能的分布式系統(tǒng)結(jié)合Intel的硬件部門，提供全面的軟硬件解決方案為Intel硬件平臺(tái)進(jìn)行優(yōu)化，提供更高性能。ComplexMPPSystems(<50TB,real-timeanalytics)ApacheHadoop(Petabytes,batchanalytics)優(yōu)化的大數(shù)據(jù)處理軟件棧穩(wěn)定的企業(yè)級(jí)hadoop發(fā)行版利用硬件新技術(shù)進(jìn)行優(yōu)化HBase改進(jìn)和創(chuàng)新，為Hadoop提供實(shí)時(shí)數(shù)據(jù)處理能力針對(duì)行業(yè)的功能增強(qiáng)，應(yīng)對(duì)不同行業(yè)的大數(shù)據(jù)挑戰(zhàn)Hive0.9.0數(shù)據(jù)倉庫Sqoop1.4.1關(guān)系數(shù)據(jù)ETL工具Flume1.1.0日志收集工具IntelHadoopManager2.0安裝、部署、配置、監(jiān)控、告警和訪問控制Zookeeper3.3.5分布式協(xié)作服務(wù)Pig0.9.2數(shù)據(jù)流處理語言Mahout0.6數(shù)據(jù)挖掘HBase0.90.6實(shí)時(shí)、分布式、高維數(shù)據(jù)庫Map/Reduce1.0.3分布式計(jì)算框架HDFS1.0.3分布式文件系統(tǒng)英特爾企業(yè)級(jí)Hadoop堆棧33英特爾企業(yè)級(jí)Hadoop數(shù)據(jù)平臺(tái)特點(diǎn)更高性能基于Hadoop底層的大量優(yōu)化算法，使應(yīng)用效率更高、計(jì)算存儲(chǔ)分布更均衡系統(tǒng)安裝程序計(jì)算得出的參數(shù)配置，適合大多數(shù)應(yīng)用情況與硬件技術(shù)相結(jié)合，提高平臺(tái)性能穩(wěn)定運(yùn)行全面測試的企業(yè)級(jí)發(fā)行版，保證長期穩(wěn)定運(yùn)行集成最新開源的和自行開發(fā)的補(bǔ)丁，用戶可以及時(shí)修正漏洞保證各個(gè)部件之間的一致性，使應(yīng)用順滑運(yùn)行易于管理提供獨(dú)有的基于瀏覽器的集群安裝和管理界面，解決開源版本管理困難的問題提供網(wǎng)頁、郵件和短信方式的系統(tǒng)異常報(bào)警功能增強(qiáng)提供跨數(shù)據(jù)中心的HBase數(shù)據(jù)庫虛擬大表功能實(shí)現(xiàn)HBase數(shù)據(jù)庫復(fù)制和備份功能其他針對(duì)企業(yè)用戶需要的增強(qiáng)功能2023/10/534英特爾Hadoop與開源Hadoop比較英特爾產(chǎn)品增強(qiáng)開源系統(tǒng)原始實(shí)現(xiàn)針對(duì)HDFS數(shù)據(jù)節(jié)點(diǎn)的讀寫選取提供高級(jí)均衡算法，提高系統(tǒng)擴(kuò)展性，適合不同配置服務(wù)器組成的集群簡單均衡算法，容易在慢速服務(wù)器或熱點(diǎn)服務(wù)器上產(chǎn)生讀寫瓶頸，最慢服務(wù)器成為系統(tǒng)性能瓶頸根據(jù)讀請(qǐng)求并發(fā)程度動(dòng)態(tài)增加熱點(diǎn)數(shù)據(jù)的復(fù)制倍數(shù)，提高M(jìn)ap/Reduce任務(wù)擴(kuò)展性