POWER大數(shù)據(jù)解決預(yù)案說明及案例分享

1、POWER大數(shù)據(jù)解決方案介紹及案例分享IBMPower資深系統(tǒng)架構(gòu)師AgendaPower，為大數(shù)據(jù)而設(shè)計Power 大數(shù)據(jù)方案介紹應(yīng)用場景和案例分享現(xiàn)實世界中的數(shù)據(jù)量呈爆炸式增長46 億移動電話用戶13 億 RFID 標(biāo)簽 in 200530 億 RFID標(biāo)簽 by 201020 億 Internet 用戶by 2011Twitter 每天處理7 terabytes 數(shù)據(jù)Facebook 每天處理10 terabytes 世界氣象數(shù)據(jù)中心220 Terabytes 網(wǎng)頁數(shù)據(jù)9 Petabytes 其他數(shù)據(jù)資產(chǎn)市場數(shù)據(jù)量增長1,750%, 2003-063數(shù)據(jù)爆炸的時代，贏得數(shù)據(jù)才能贏得世界數(shù)

2、據(jù)是新的自然資源基于數(shù)據(jù)的決策更加復(fù)雜更加重要數(shù)據(jù)的爆炸式增長超出系統(tǒng)能力4大數(shù)據(jù)計算需要什么樣的硬件平臺？OLAPDW BigDataSQL NoSQL NewSQLRDBMS Hadoop Spark批處理交互分析流計算更大容量更低成本更快的處理速度支持多樣化的計算類型橫向擴(kuò)展的能力更大更多的磁盤更少機(jī)器更少空間和耗電更低的造價游戲Map-ReduceHPC圖像渲染云存儲工業(yè)仿真計算密集消重/歸檔風(fēng)險分析IO密集流計算實時分析/交互分析更快的CPU更多的線程并行更大的內(nèi)存容量和帶寬更大的IO帶寬Flash加速大數(shù)據(jù)處理技術(shù)的發(fā)展，對硬件提出了更高的要求靈活的硬件配比支持從計算密集到IO密集

3、多種計算類型靈活定制硬件創(chuàng)新，CPU、GPU和混合計算多種計算負(fù)載的混合調(diào)度認(rèn)知計算能力持續(xù)數(shù)據(jù)加載性能海量IO帶寬低延遲極端Flash性能加速網(wǎng)格擴(kuò)展存儲私有云公有云Traditional IT混合云為Big Data而設(shè)計軟件定義+云化開放和協(xié)作創(chuàng)新Power8基于云的實時、敏捷、高效和開放的架構(gòu)才能滿足新計算時代的需求6Power8 -迄今最快的CPUPower更強(qiáng)大的計算能力意味著更快的數(shù)據(jù)洞察查詢報告預(yù)測分析認(rèn)知計算大數(shù)據(jù)和分布式并行計算場景，仍然需要更強(qiáng)大的CPUPower8性能對比測試test machineCPUMemory(GB)Core NumberTPSPer core

4、performance(TPS)PKDL 380p E5-26502.2Ghz642*6=12 core physical box19001581Power8282-22APower83.93GHz16dedicated 1 core LPAR7907905.0 xSPECjEnterprise2010 benchmark, 1.76x core to core advantage than SPARC T5Oracle Siebel CRM 8.1.1.x benchmark, 6.7x core to core advantage than SPARC T51.76x6.7xPower8

5、業(yè)界最高的8并發(fā)超線程Power8更多的超線程意味著更高的并發(fā)性更多用戶更多活動作業(yè)SMT8 技術(shù)允許在同一個物理CPU核心上同時運(yùn)行8個獨(dú)立的指令或線程，比Power7的SMT4高了一倍，是Intel上的超線程技術(shù)的4倍可以按需在不同模式見動態(tài)轉(zhuǎn)換：SMT1 / SMT 2 / SMT4 / SMT8Power8更大的內(nèi)存，更寬的內(nèi)存帶寬，更快的內(nèi)容讀寫意味著更適合內(nèi)存計算場景和計算密集型場景更大的內(nèi)存數(shù)據(jù)庫更大的OLAP多維立方體更快的內(nèi)存思想性分析更高效的實時數(shù)據(jù)分析Power8 超大內(nèi)存帶寬較POWER7內(nèi)存帶寬提升2.3倍，是x86的4倍每處理器支持1TB內(nèi)存，高達(dá)192 GB/se

6、c內(nèi)存帶寬單臺Power8服務(wù)器最多可支持230.4 GB /sec內(nèi)存帶寬史無前例的片上96MB L3 cache創(chuàng)新內(nèi)存緩存芯片，進(jìn)一步提高內(nèi)存讀寫速度Power8 更大的I/O帶寬更快的I/O讀取意味著更適合數(shù)據(jù)密集型場景更低的數(shù)據(jù)讀寫延遲更高的數(shù)據(jù)讀寫速度創(chuàng)新I/O協(xié)處理硬件，軟件功能硬件加速較POWER7, 內(nèi)存帶寬提升2.3倍內(nèi)置 PCIe Gen 3 支持直接處理器集成取代專屬 GX/橋接低延時Gen3 x16 帶寬 (32 GB/s)PCIe Gen3x16x8x16x8Power8 I/O帶寬測試Power靈活配比方案，支持更多計算類型Small PODMedium PODL

7、arge POD ALarge POD BDrive Type2.5” 10K RPM 1.2 TB SFF SAS2.5” 10K RPM 1.2 TB SFF SAS3.5” 7.2K RPM 4 TB LFF SAS + 2.5” 10K RPM 1.2 TB SFF SAS3.5” 7.2K RPM 4 TB LFF SAS + 2.5” 10K RPM 1.2 TB SFF SASNumber of Drives123660 LFF + 12 SFF60 LFF + 24 SFF Available Storage14.4 TB43.2 TB254.4 TB268.8 TBSmall

8、 POD1 P8 S822L w/ Internal DrivesMedium POD1 P8 S822L w/ EXP24SLarge POD B2 P8 S822L w/ 1 DCS3700Large POD A1 P8 S822L w/ 1 DCS3700Power大數(shù)據(jù)最佳實踐從計算密集型到數(shù)據(jù)密集型都有靈活的配比方案性能、容量和成本的最佳平衡ComputeDenseStorageDensePower8 無處不在的RAS處理器指令重試備用處理器恢復(fù)可選擇動態(tài)固件更新Chip kill 內(nèi)存ECC 二級緩存、三級緩存帶故障監(jiān)控功能的服務(wù)處理器熱插拔磁盤托架熱插拔并發(fā)維護(hù) PCIe 插槽熱

9、插拔冗余電源和散熱風(fēng)扇動態(tài)處理器重新分配PCI 插槽上的擴(kuò)展錯誤處理Power8遠(yuǎn)超x86的高可靠設(shè)計CustomHardwareApplicationPOWER8CAPPCoherence BusPSLFPGA or ASIC可自定義的硬件應(yīng)用程序加速器 特定的系統(tǒng)軟件、中間件或用戶應(yīng)用程序 寫入 PSL 提供的持久接口 POWER8PCIe Gen 3Transport for encapsulated messagesProcessor Service Layer (PSL)向應(yīng)用程序提供成熟的、穩(wěn)定的接口 降低 CAPP 的復(fù)雜性和工作負(fù)載虛擬尋址加速器可以與處理器一樣直接對內(nèi)存進(jìn)行尋

10、址與處理器運(yùn)行程序一樣使用指針消除操作系統(tǒng)和設(shè)備驅(qū)動程序的額外開銷Power8創(chuàng)新CAPI接口，開放定制硬件加速硬件管理的緩存一致性使得加速器能作為正常線程參與“Locks”，降低 IO 通信模型中的延遲基于Power8 CAPI加速接口，為大數(shù)據(jù)進(jìn)行硬件創(chuàng)新AgendaPower，為大數(shù)據(jù)而設(shè)計Power 大數(shù)據(jù)方案介紹應(yīng)用場景和案例分享企業(yè)級市場的大數(shù)據(jù)應(yīng)用機(jī)會Key Industry Opportunity and TrendsTelecom, Banking and Government contribute the largest incremental Big Data & Ana

11、lytics market size from 2013 to 2017 in GCGMore rational than last year, not only focusing on Hadoop platformTelecom, Banking, Govt sectors will have more demands for advanced BD&A solutionsHelp customers begin their Big Data JourneyBig data as services began to emerge in the market大數(shù)據(jù)的主要應(yīng)用類型實時性高實時性

12、低簡單查詢復(fù)雜分析內(nèi)存數(shù)據(jù)庫內(nèi)存分析NoSQL實時查詢流式計算M-R批量分析MPP 數(shù)據(jù)倉庫多應(yīng)用混合大數(shù)據(jù)平臺海量數(shù)據(jù)存儲海量數(shù)據(jù)存儲IBM基于Power的大數(shù)據(jù)方案實時性高實時性低簡單查詢復(fù)雜分析內(nèi)存數(shù)據(jù)庫內(nèi)存分析NoSQL實時查詢流式計算M-R批量分析MPP 數(shù)據(jù)倉庫多應(yīng)用混合大數(shù)據(jù)平臺Power+CAPI+Flash+NoSQLPower+StreamPower+DB2 BLUPower+DB2 DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrum StoragePower+GPFSThe

13、 Market: Explosive growth of new mobile, social apps requiring lightening fast response at high volume Enabled by in-memory NoSQL, Key Value Stores like RedisOrdered (key, value) pairs provide type of in-memory, lightening fast distributed hash table Plays an important role in many large websitesGit

14、Hub, Amazon, Facebook, Twitter & moreThe Issue: x86 memory limited by max RAM Scale-out x86 servers limited memory size Results in costly, complex infrastructureLoad Balancer500GB Cache NodeWWW500GB Cache Node500GB Cache Node500GB Cache Node1U x86 server (24)512 GB memoryThe POWER8 + CAPI Flash as R

15、AM Advantage:New FLASH as RAM for Redis in-memory appsProvides means for large FLASH exploitationLower cost memory, greater workload density Dramatically reduce costs to deliver servicesCan be offered as a cloud-based service or as an on-premise solution for enterprises24:1 serverconsolidation3Up to

16、 3x lower TCA24UPower S822L/S812LUbuntu 14.10FlashSystem 8402TB to 40 TB FlashWWW4UThe Solution: POWER8 + CAPI FLASH as RAM- Up to 40 TB in 4UPower8+CAPI+Flash，NoSQL內(nèi)存數(shù)據(jù)庫方案19Load Balancer500GB Cache Node10Gb UplinkPOWER8 ServerFlash Array w/ up to 40TBDifferentiated NoSQL(POWER8 + CAPI Flash)New mem

17、ory tier for POWER8 server Up to 40 TB for NoSQL based applications Cluster solution in a boxInfrastructure Attributes 192 threads in 2U Server drawer 40 TB of memory based Flash per 2U Drawer Shared Memory & Cache for dynamic tuning Elimination of I/O and Network OverheadTodays NoSQL in memory (x86

18、)Infrastructure Requirements Large Distributed (Scale out) Large Memory per node Networking Bandwidth Needs Load BalancingPower CAPI-attached Flash model for NoSQL regains infrastructure control and reigns in the cost to deliver services.Power8創(chuàng)新NoSQL方案與現(xiàn)有NoSQL方案比較WWW10Gb UplinkWWWBackup Nodes500GB

19、Cache Node500GB Cache Node500GB Cache Node512GB Cache Node24:1 Reduction in infrastructure2.4x Price reduction12x Less Energy12x Less rack space 40TB of extended memory4U大數(shù)據(jù)JAVA計算過程使用GPU加速，提升5倍的性能Power8+JAVA+GPU，大數(shù)據(jù)硬件加速方案其他Power8 CAPI開放硬件創(chuàng)新方案提供無限可能Google Designed innovation server base on Power8 chi

20、pKey-Value-Store 35x performance per watt improvement 高性能網(wǎng)絡(luò)加速卡減少10 x延遲10 x reduces lines of C code by 40 x compared to non-CAPI250 x Faster with CAPI FPGA + POWER8 core for Monte Carlo SimulationsTMS Flash memory storageCoherently attachedHigh speed & converged networking Accelerator SwitchboardNetw

21、ork virtualizationField Programmable Gate Array (FPGA)Coherently (CAPI) attachedGPU加速，高性能網(wǎng)卡加速，F(xiàn)lash加速，蒙特卡羅分析硬件加速，硬件壓縮，硬件加解密 .Power+Stream 流計算方案大數(shù)據(jù)平臺實時分析平臺一個處理流數(shù)據(jù)的低延遲平臺毫秒級，甚至微妙級端到端的延遲一個可高度擴(kuò)展的，用于實時分析的高性能平臺通過橫向增加硬件獲得近線性的處理能力擴(kuò)展高達(dá)125個節(jié)點(diǎn)擴(kuò)展一個靈活的、動態(tài)的平臺Streams應(yīng)用靈活部署支持動態(tài)部署新的分析應(yīng)用Millions of events per secondMi

22、crosecond LatencyTraditional / Non-traditional data sourcesReal time decisionsPowerfulAnalyticsAlgo TradingTelco churnpredictSmartGridCyberSecurityGovernment /Law enforcementICUMonitoringEnvironmentMonitoring23Power+Stream 流計算方案編譯時Operators自動融合： 高效利用CPU，調(diào)整力度更細(xì) 分布式運(yùn)行 快速的數(shù)據(jù)交換 允許自動或人工調(diào)整 良好的 擴(kuò)展性流處理語言：可重

23、用的operators 快速的動態(tài)應(yīng)用部署 連續(xù)的“管道”處理靈活、高性能的數(shù)據(jù)傳輸極低延遲極高數(shù)據(jù)速率易擴(kuò)展內(nèi)置adaptors用戶可使用熟悉的 C+和Java進(jìn)行擴(kuò)充 使用為您帶來競爭優(yōu)勢的數(shù)據(jù)：幾乎能處理任何數(shù)據(jù)類型使用一些傳統(tǒng)方式無法處理或處理成本太高動態(tài)分析：運(yùn)行時程序拓?fù)涞淖儎觿?chuàng)建新任務(wù)動態(tài)數(shù)據(jù)流Power+DB2 BLU內(nèi)存分析方案實現(xiàn)10TB 數(shù)據(jù)亞秒級查詢系統(tǒng) - 32 核，10TB 的表，含 100 個列，10 年的數(shù)據(jù) 查詢：2010 年有多少事務(wù)SELECT COUNT(*) from MYTABLE where YEAR = 2010結(jié)果：亞秒級 10TB 查詢！每個

24、 CPU 核心只檢查相當(dāng)于 8MB 的數(shù)據(jù)Stand AloneDB2 BLU: Ultra Fast AnalyticsPower: Ultra Fast InfrastructureSolutionAdvantageArchitecture：Open Solution is more preferred in China customersTechnology: Dynamic In-Memory, Actionable Compression, Parallel Vector Processing, Data Skipping, etc.Performance：DB2 BLU on Po

25、wer 7x better performance than SAP HANAPrice：DB2 BLU on Power 1/9 cost of SAP HANAOptimizedEach OtherDB2 on Power = Fast on Fast, DB2 + Power = Excellent + ExcellentSizing720(8c, 128GB) 2.5-5TB740(16c, 256GB) 5-10TB750(32c, 512TB) 10-20TB720(4c, 64GB) 2.5TB38xAverage Acceleration of database queries

26、 for reporting(vs. previous version)Power+DB2 BLU內(nèi)存分析方案客戶查詢速度提高某大型金融服務(wù)公司46.8倍某第三方軟件供應(yīng)商37.4倍某分析軟件業(yè)務(wù)公司13.0倍某全球零售公司6.1倍某大型歐洲銀行5.6倍分析查詢速度平均提高10-25 倍“It was amazing to see the faster query times compared to the performance results with our row-organized tables. The performance of four of our queries impr

27、oved by over 100-fold! The best outcome was a query that finished 137x faster by using BLU Acceleration.” - Kent Collins, Database Solutions Architect, BNSF RailwayPower+DB2 BLU內(nèi)存分析方案 vs 傳統(tǒng)基于磁盤的數(shù)據(jù)分析關(guān)注點(diǎn)DB2 BLU on POWERSAP HANA硬件平臺Power X86性能7X advantage (OLAP)總體擁有成本computing resources: 10X advantagem

28、emory footprint: 10X advantagestorage footprint: 10X advantageTCO: 9X advantage數(shù)據(jù)容量單節(jié)點(diǎn)5-20TB最佳，無需全部導(dǎo)入內(nèi)存最多56TB，需準(zhǔn)確預(yù)估，超出可能導(dǎo)致嚴(yán)重性能問題架構(gòu)已經(jīng)驗證的部署DB2數(shù)據(jù)庫的成熟平臺支持現(xiàn)有平臺擴(kuò)展及利舊大中華區(qū)只有少量實施案例全新系統(tǒng)架構(gòu)備份與安全對存儲沒有特別要求，可以利用現(xiàn)有各種備份和存儲災(zāi)備技術(shù)備份主要采用磁盤備份，目前還不支持大多數(shù)常用備份軟件Power+DB2 BLU vs SAP HANAPower+DB2 DPF MPP數(shù)據(jù)倉庫方案大數(shù)據(jù)時代，MPP數(shù)據(jù)庫仍然是不可

29、或缺的重要部分MPP作為結(jié)構(gòu)化數(shù)據(jù)和匯總數(shù)據(jù)的實時查詢、交互分析和報表展現(xiàn)的重要載體DB2 DPF作為MPP的代表，具有廣泛的優(yōu)點(diǎn)，是DW均衡架構(gòu)的最佳實現(xiàn)，CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1CPU2CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition

30、99.SMP+MPP架構(gòu)的DB2 DPFDW垂直擴(kuò)展:擴(kuò)展操作系統(tǒng)資源數(shù)量以及內(nèi)部的每個DB2分區(qū)節(jié)點(diǎn)的資源數(shù)量水平擴(kuò)展:擴(kuò)展操作系統(tǒng)數(shù)量以及DB2分區(qū)節(jié)點(diǎn)的數(shù)量Power+DB2 DPF，可靈活選擇硬件平臺，達(dá)到性能、擴(kuò)展性和價格的最佳平衡高端方案中端方案低端方案主機(jī)高端Power中低端PowerPowerlinux數(shù)據(jù)庫軟件DB2 DPFDB2 DPFOracle RAC 或單機(jī)版DB2 DPF架構(gòu)SMP+MPP小型SMP+MPP小型SMP+Shared Disk 或小型SMPMPP擴(kuò)展方式垂直擴(kuò)展或水平擴(kuò)展DB2一般垂直擴(kuò)展升級為高端POWER方案，或可水平擴(kuò)展Oracle可垂直升級為高

31、端方案，很難水平擴(kuò)展水平擴(kuò)展存儲中高端存儲中低端存儲中低端存儲適用場景超大規(guī)模主DW、數(shù)據(jù)集市集中庫中型數(shù)據(jù)集市、ODS小型數(shù)據(jù)集市數(shù)據(jù)量（非壓縮）可超過1 PB，全球生產(chǎn)案例可達(dá)3 PB；國內(nèi)案例：128節(jié)點(diǎn)800TB數(shù)十TB至數(shù)百TB數(shù)十TB至上百TB優(yōu)缺點(diǎn)優(yōu)勢：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴(kuò)展能力優(yōu)勢：對于適用數(shù)據(jù)量，性能好缺點(diǎn)：水平擴(kuò)展需要數(shù)據(jù)重分布影響生產(chǎn)性能；Oracle很難水平擴(kuò)展優(yōu)勢：對于適用數(shù)據(jù)量性價比好缺點(diǎn)：無垂直擴(kuò)展，水平擴(kuò)展需數(shù)據(jù)重分布Power+DB2 DPF vs 一體機(jī)序號測試場景測試目的ISAS vs Exadata1數(shù)據(jù)加載測試測試數(shù)據(jù)庫數(shù)據(jù)加載效率

32、占優(yōu)2數(shù)據(jù)壓縮測試測試數(shù)據(jù)庫對數(shù)據(jù)壓縮率占優(yōu)3大數(shù)據(jù)表查詢select count(*)測試數(shù)據(jù)庫對大表的查詢效率。使用全表掃描。不占優(yōu)4多表關(guān)聯(lián)查詢（5表、10表）測試數(shù)據(jù)庫多表復(fù)雜關(guān)聯(lián)的效率占優(yōu)5多表關(guān)聯(lián)查詢（2表）測試數(shù)據(jù)庫多表復(fù)雜關(guān)聯(lián)的效率占優(yōu)6寬表查詢測試數(shù)據(jù)庫對寬表的匯總查詢效率占優(yōu)7聚合函數(shù)測試數(shù)據(jù)庫對于表的聚合函數(shù)匯總效率占優(yōu)8數(shù)據(jù)的distinct去重測試數(shù)據(jù)庫distinct去重的效率占優(yōu)9復(fù)制一張表的某些字段和一部分?jǐn)?shù)據(jù)CTAS類型操作的效率占優(yōu)10存儲過程用例測試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)11并發(fā)的查詢用例測試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)12多任務(wù)查詢用例測試生產(chǎn)

33、系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)13多個巨量SQL并發(fā)測試測試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率占優(yōu)14卸載數(shù)據(jù)測試數(shù)據(jù)庫自有的數(shù)據(jù)庫導(dǎo)出工具數(shù)據(jù)導(dǎo)出性能 占優(yōu)15數(shù)據(jù)的insert操作測試數(shù)據(jù)庫的insert操作效率。占優(yōu)16數(shù)據(jù)的刪除操作刪除部分?jǐn)?shù)據(jù)測試數(shù)據(jù)庫大表的刪除速度占優(yōu)17數(shù)據(jù)的rollback操作測試數(shù)據(jù)庫大表的刪除后rollback的效率占優(yōu)18數(shù)據(jù)的刪除操作整表刪除測試數(shù)據(jù)庫大表的刪除效率，truncate table占優(yōu)占優(yōu)比例94%2012年在某移動客戶進(jìn)行的對比測試，證明Power+DB2 DPF具有超越一體機(jī)性能的能力，且性價比更高，客戶可靈活設(shè)計硬件架構(gòu)。DB2 DPF vs 其

34、他MPP數(shù)據(jù)庫2013年在某移動客戶進(jìn)行的對比測試，DB2 DPF在幾乎所有場景的性能表現(xiàn)均超越了其他MPP產(chǎn)品。8節(jié)點(diǎn)+SSD盤8節(jié)點(diǎn)+磁盤16節(jié)點(diǎn)4地市融合業(yè)務(wù)場景32Power海量非結(jié)構(gòu)化數(shù)據(jù)分析方案HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理層平臺層工具層HiveStormBigSQLStreamPigBigSheetSewuoiaDBSPSSPowerlinux：企業(yè)級環(huán)境的最佳選擇，性能與成本最佳平衡的新一代硬件平臺標(biāo)準(zhǔn)linux,Redhat / Suse 全面支持更加成熟、可靠與更高性能的分布式文件系統(tǒng)領(lǐng)先的大數(shù)據(jù)計算調(diào)度平臺，多租戶管

35、理，更智能調(diào)度，更高性能、SLA管理，支持更多大數(shù)據(jù)計算類型成熟的流計算和實時分析解決方案企業(yè)級SQL on Hadoop方案同樣支持商業(yè)分析軟件完全支持開源大數(shù)據(jù)版本Powerlinux是大數(shù)據(jù)計算的理想平臺多線程: POWER7+ 每處理器核心有4線程, 而 Intel的處理器只有 2 線程高吞吐: POWER7+ 有非常大的內(nèi)存和 I/O 帶寬 (沃森成功的關(guān)鍵)依賴Java應(yīng)用: POWER7+ 提供了高度優(yōu)化的JVM企業(yè)用戶的大數(shù)據(jù)建設(shè)方向是：資源共享的大數(shù)據(jù)中心管理和運(yùn)維方面的需求共享資源，提高資源利用率，提高投資收益資源統(tǒng)一調(diào)度，為每個應(yīng)用彈性供給資源統(tǒng)一管理應(yīng)用統(tǒng)一管理用戶統(tǒng)一

36、管理數(shù)據(jù)安全統(tǒng)一管理統(tǒng)一的企業(yè)大數(shù)據(jù)中心平臺業(yè)支網(wǎng)運(yùn)O域分析B域分析開發(fā)商A應(yīng)用1開發(fā)商A應(yīng)用2開發(fā)商B應(yīng)用1開發(fā)商C應(yīng)用2任務(wù)1任務(wù)1任務(wù)3任務(wù)4任務(wù)5任務(wù)6任務(wù)7任務(wù)8業(yè)務(wù)和開發(fā)的需求統(tǒng)一的基礎(chǔ)平臺層，統(tǒng)一的數(shù)據(jù)和應(yīng)用接口，便于應(yīng)用開發(fā)的標(biāo)準(zhǔn)化和開放化獨(dú)立的基礎(chǔ)平臺層，便于靈活引入各種力量進(jìn)行應(yīng)用層的開發(fā)創(chuàng)新數(shù)據(jù)和應(yīng)用的共享和重用，提高開發(fā)效率，推動應(yīng)用的迭代創(chuàng)新其關(guān)鍵是實現(xiàn)面向多租戶的任務(wù)調(diào)度和資源管理34IBM面向多租戶的大數(shù)據(jù)共享平臺實現(xiàn)場景IBM多租戶大數(shù)據(jù)平臺技術(shù)實現(xiàn)框架Platform Computing Symphony EGO (DCOS)(dynamic cluster

37、resource management supporting diverse tenants)HDFS / GPFS / GPFS FPO(reliable, distributed storage your choice of distributed, or fast parallel POSIX file systems) ABB application backbone Big Insights instance, Streams, Hbase, Oozie, Native SQL apps, Mongo DB, Cassandra Platform SymphonyPlatform S

38、ymphonySOAM, PSMRIBM Platform Cluster Manager(provisioning and management of distributed environments) HPA, Big Data, Analytic SPSS, Algo, R Big SQL, Pig, Hive, Data Explorer, . Platform LSFPlatform LSFSerialBatchMPIParallelSessionoriented HPC & Batch anywhere R, SAS, MatLab, DataStage Flow Manageme

39、ntHypervisorPlatform Resource SchedulerExisting Data Center Provisioning TechnologiesPuppetRPMTPMKick-startPlatform PPMParallel SOAData AffinityParallel RecursionMap ReducePlatform PPMBatch anywhereSAS, Integration w/Autosys, Ctrl M DAGPlatform Symphony Advanced Service ControllerYARNAPIPlatform Adv

40、anced Service ControllerMRAMRStreamsData ExplCognosBigSQL(online)HBase(online)YARN(Hadoop 2.x RM)MR BatchTezStormABBAppsIBM Symphony支持多種高性能計算，高性能分析，大數(shù)據(jù)和其它分布式框架實際生產(chǎn)環(huán)境驗證的多租戶，共享資源框架。支持包括Hadoop在內(nèi)的分布式負(fù)載。Symphony能夠支持多租戶，支持資源的有效共享資源在多應(yīng)用之間有效共享、調(diào)配資源計劃示例37IBM Symphony提供面向多租戶的資源調(diào)度多租戶間基于策略的資源共享多應(yīng)用間可配置的資源共享策略尊重資

41、源擁有者 可獨(dú)占支持資源分組，應(yīng)用可使用多個資源組，每組配置共享策略基于時間的共享策略可配置資源借出、借入策略可配置搶占策略具有保證租戶SLA機(jī)制，去除資源共享的業(yè)務(wù)障礙多種負(fù)載、計算框架資源共享：可同時調(diào)度并執(zhí)行MapReduce分析框架、SPARK內(nèi)存計算、Stream/Storm流式計算、Hbase/MPP/NoSQL數(shù)據(jù)庫、SOA實時計算，R/SAS等傳統(tǒng)BI分析及ETL應(yīng)用等7種類型的負(fù)載Symphony支持多維度精確資源管理和調(diào)度可以為每個租戶定義多維度資源調(diào)度因子，當(dāng)前最多支持4個 (Cores, Memory, Swap, Tmp, 磁盤個數(shù)等)通過負(fù)載在每個傾斜維度的充分利用

42、，提高增提資源利用率Dominant Resource Fairness(DRF)算法最大化資源任務(wù)分配Example:假設(shè)集群包含 8 cores, 40GB memoryApp1 為計算密集型，每個任務(wù)需要 4 cores, 2.5GB App2 為內(nèi)存密集型，每個任務(wù)需要 1 core, 10GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GBWithout MDS(可同時運(yùn)行 3 個任務(wù): 1 App1, 2 App2)With MDS (可同時運(yùn)行4 個任務(wù)

43、: 1 App1, 3 App2)1 core5GB1 core5GB1 core5GB1 core5GB1 core5GB1 core5GB1 core5GB1 core2.5 GB2.5 GBApp1, Task1App2, Task1App2, Task2App2, Task3LegendMulti-Dimensional Resource Scheduling (MDS)IBM 方案 vs 純開源方案相對于基于純開源Hadoop修改的方案，IBM Symphony軟件有以下特點(diǎn)：三級粒度資源管理和調(diào)度能力，支持資源分組。多樣化的資源調(diào)度策略，如支持優(yōu)先級、獨(dú)占、按比例共享、點(diǎn)對點(diǎn)借還、

44、搶占、按時間預(yù)留等。完善的用戶/租戶定義和管理機(jī)制。端到端的資源SLA保障機(jī)制。對于服務(wù)器CPU/Mem/IO資源的細(xì)粒度精確管控能力，多維度調(diào)度資源，提高整體使用率?；谟脩舻臄?shù)據(jù)共享和安全隔離機(jī)制健全的圖形化監(jiān)控管理用戶界面對開源版本Hadoop及各種新型數(shù)據(jù)工具的開放兼容能力，支持一個平臺同時運(yùn)行多個Hadoop/YARN版本及實例。對多種OS和硬件平臺的開放兼容和異構(gòu)支持能力Symphony基于c/c+編寫，經(jīng)過多年優(yōu)化，比純開源Hadoop性能更好Symphony具有更高性能，作業(yè)調(diào)度使用更高效的推送方式，而非輪詢方式，相對開源實現(xiàn)在不同的場景下有40%-66倍的性能提升。具有完整的

45、報表功能，多角度搜集、分析分布式文件系統(tǒng)、并行執(zhí)行框架、資源、作業(yè)數(shù)據(jù)，分析平臺利用情況，發(fā)現(xiàn)性能瓶頸。企業(yè)級技術(shù)支持IBM Symphony在大數(shù)據(jù)方案中的核心價值靈活 - 多租戶環(huán)境實現(xiàn)資源共享高效 - 更快速地得到計算/分析結(jié)果強(qiáng)大 - 低延遲，高性能，高可擴(kuò)展經(jīng)濟(jì) - 降低 TCO （基礎(chǔ)設(shè)施和管理開銷）成熟 - 經(jīng)過大規(guī)模生產(chǎn)驗證的解決方案開放 - 豐富的API和應(yīng)用支持整合 - 集成管理工具，支持多集群和云環(huán)境貼心 - 強(qiáng)大的本地開發(fā)和技術(shù)支持團(tuán)隊資源調(diào)度C工作負(fù)載管理CCCCCCCCCCCDDDDDDDDDDDDCCCCCCAAAAAAAAAAAAAAAABBBBBBBBBBBB

46、BBBBBB各種商業(yè)軟件B自開發(fā)應(yīng)用C大數(shù)據(jù)分析MapReduce / 內(nèi)存計算D快速響應(yīng)靈活擴(kuò)展經(jīng)濟(jì)高效Spectrum Storage /Power+GPFS 海量數(shù)據(jù)存儲中心方案統(tǒng)一的企業(yè)內(nèi)部存儲云，云化各種存儲介質(zhì)，提供統(tǒng)一的通用存儲服務(wù)GPFS as unified data plane on top of different storage systemsProviding an unified interface for SDS control plane, with:Unified namespace for distributed applications (the natu

47、re of GPFS as cluster filesystem)Matured enterprise storage features independent to the storage systems NFSMap Reduce ConnectorOpenStackFlashDiskTapePOSIXClient workstationsUsers and applicationsCompute FarmGSSCIFSCinderSwiftGlanceManilaVMwareSRMVADPVAAIvSphereSingle name spaceIBM Spectrum ScaleShar

48、e NothingClusterSite ASite BSite CGPFS AFMIBM InterCloud Store Universal Cloud gateway connects IBM public cloud, Amazon S3, Azure and other storage providers ICStoreAgendaPower，為大數(shù)據(jù)而設(shè)計Power 大數(shù)據(jù)方案介紹應(yīng)用場景和案例分享某運(yùn)營商流計算案例-Streams網(wǎng)絡(luò)質(zhì)量實時監(jiān)測數(shù)據(jù)規(guī)模大，大于10萬/秒的信令實時洞察網(wǎng)絡(luò)質(zhì)量指標(biāo)實時分析CDR 短頻話單分析短頻話單分析并按小區(qū)/號段統(tǒng)計切換頻話單異常話單單通話單掉話率分析測試結(jié)果（CDR/秒）配置：2GHz * 4核 * 2臺服務(wù)器單節(jié)點(diǎn)：702083兩節(jié)點(diǎn)：140000按小區(qū)或號段緯度統(tǒng)計短頻話單：1、占用時長小于15秒的通話，且同一主叫和被叫的兩通通話間隔小于20秒重復(fù)小區(qū)切換話單.2、剔除業(yè)務(wù)臺號碼；3、按照小區(qū)維度統(tǒng)計滿足條件1、2的話單數(shù)包含設(shè)備和業(yè)務(wù)種類多，涉及指