數(shù)據(jù)中心項(xiàng)目交流-HANA及ETL課件

1、數(shù)據(jù)中心項(xiàng)目SAP交流（HANA及ETL部分）一、數(shù)據(jù)庫(kù)軟硬件發(fā)展趨勢(shì)及HANA技術(shù)特點(diǎn)二、SAP HANA案例及價(jià)值分享三、SAP HANA及ETL解決方案四、討論及交流一、數(shù)據(jù)庫(kù)軟硬件發(fā)展趨勢(shì)及HANA技術(shù)特點(diǎn)客戶數(shù)據(jù)獲利分析數(shù)據(jù)GPS需求計(jì)劃速度速率交易數(shù)據(jù)銷售機(jī)會(huì)服務(wù)電話客戶銷售訂單庫(kù)存電子郵件Tweets計(jì)劃Things移動(dòng) 即時(shí)消息信息不再昂貴， 從海量信息中獲取價(jià)值變得昂貴速度海量多樣化信息爆炸式增長(zhǎng)對(duì)數(shù)據(jù)庫(kù)技術(shù)發(fā)展產(chǎn)生根本性影響內(nèi)存數(shù)據(jù)庫(kù)行式數(shù)據(jù)庫(kù)嵌入式數(shù)據(jù)庫(kù)流數(shù)據(jù)處理列式數(shù)據(jù)庫(kù)常見(jiàn)數(shù)據(jù)庫(kù)類型數(shù)據(jù)庫(kù)一體機(jī)通用數(shù)據(jù)庫(kù)+開(kāi)放硬件封閉的軟硬件一體化方案MPP并行數(shù)據(jù)庫(kù)+開(kāi)放X86系統(tǒng)

2、高集成度：軟硬件垂直整合，優(yōu)化交付復(fù)雜度，并通過(guò)硬件優(yōu)化了性能定制化的硬件、封閉的單廠家設(shè)備軟硬件整合后，大幅提升了硬件的報(bào)價(jià)； 管理成本很高，需要非常專業(yè)的人員管理 封閉的架構(gòu)非常不利于系統(tǒng)擴(kuò)展 技術(shù)上經(jīng)歷長(zhǎng)久檢驗(yàn) 自助式的硬件（PC和小機(jī)架構(gòu)），成本相對(duì)較低 很難完全滿足海量數(shù)據(jù)的管理需求 無(wú)法適應(yīng)復(fù)雜的分析計(jì)算 采用內(nèi)存技術(shù)大幅提升系統(tǒng)性能 完全消除了數(shù)據(jù)庫(kù)I/O的瓶頸 高性能內(nèi)存MPP數(shù)據(jù)庫(kù)，業(yè)內(nèi)發(fā)展主流趨勢(shì) 開(kāi)放X86架構(gòu)，不讓客戶綁定供應(yīng)商 簡(jiǎn)化的數(shù)據(jù)結(jié)構(gòu)，大幅降低遷移和數(shù)據(jù)管理的成本內(nèi)存數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)19792015數(shù)據(jù)庫(kù)技術(shù)的演進(jìn)歷程用于交易 + 分析的一個(gè)內(nèi)存數(shù)據(jù)原子副本減少

3、不必要的復(fù)雜性和延遲減少需要管理的硬件通過(guò)創(chuàng)新和簡(jiǎn)化加速3 個(gè)數(shù)據(jù)副本位于不同的數(shù)據(jù)模型固有數(shù)據(jù)延遲較差的創(chuàng)新導(dǎo)致浪費(fèi)單獨(dú)的交易 + 分析 + 加速流程SAP HANA(DRAM)交易ETL分析ETL面向采用內(nèi)存列數(shù)據(jù)庫(kù)的 OLTP 和 OLAP 的通用數(shù)據(jù)庫(kù)方法Hasso Plattner對(duì)比加速高速緩存使用內(nèi)存計(jì)算重新思考數(shù)據(jù)管理需要消除冗余數(shù)據(jù)副本、物化和模型存儲(chǔ)內(nèi)存壓縮分區(qū)OLTP+OLAP 在列存儲(chǔ)中僅插入增量無(wú)聚合表（動(dòng)態(tài)聚合）固態(tài)閃存HDD64 位地址空間 當(dāng)前服務(wù)器 1 TB價(jià)性比明顯下降L3高速緩存L3高速緩存L3高速緩存L3高速緩存L3高速緩存L3高速緩存L3高速緩存L3高

4、速緩存多核架構(gòu)每刀片 8 個(gè) CPU x 10 核帶許多刀片的大規(guī)模并行擴(kuò)展記錄和備份內(nèi)存數(shù)據(jù)庫(kù)提升企業(yè)數(shù)據(jù)倉(cāng)庫(kù)性能SAP HANA內(nèi)存數(shù)據(jù)庫(kù)SAP HANA特點(diǎn)一數(shù)據(jù)壓縮再加速內(nèi)存極速訪問(wèn)姓名城市性別張山北京男李四上海女李夢(mèng)上海女李夢(mèng)上海女傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)表HANA列式存儲(chǔ)數(shù)據(jù)字典壓縮張山李四李夢(mèng)李夢(mèng)北京上海上海上海男女女女0: 張山1: 李四2: 李夢(mèng) 0: 北京1: 上海0:男1:女HANA列式存儲(chǔ)運(yùn)行長(zhǎng)度壓縮1 x 01 x 12 x 21 x 03 x 11 x 03 x 10: 張山1: 李四2: 李夢(mèng) 0: 北京1: 上海0:男1:女1 x 0 表示 1個(gè)張山* 后面的數(shù)字表示實(shí)

5、際的值模擬內(nèi)存中的數(shù)據(jù)SAP HANA特點(diǎn)二數(shù)據(jù)分而治之?dāng)?shù) 據(jù)內(nèi)存本地化，把大數(shù)據(jù)量和計(jì)算量分散到不同處理器任務(wù)并行處理，不同的服務(wù)器之間也共享同一組數(shù)據(jù)高可用性，單一的服務(wù)器的宕機(jī)將不影響任何計(jì)算MPP模式，Share-Nothing的體系架構(gòu)，最大化的減少資源競(jìng)爭(zhēng)，更適合高性能、高并發(fā)場(chǎng)景SAP HANA特點(diǎn)三最小化數(shù)據(jù)傳輸傳統(tǒng)的方式數(shù)據(jù)計(jì)算數(shù)據(jù)庫(kù)層面信息系統(tǒng)應(yīng)用層模式轉(zhuǎn)變 SAP HANA信息系統(tǒng)應(yīng)用層數(shù)據(jù)計(jì)算內(nèi)存計(jì)算引擎內(nèi)存數(shù)據(jù)庫(kù)小結(jié)：SAP HANA內(nèi)存計(jì)算技術(shù)的“革新”行存儲(chǔ)與列存儲(chǔ)的混合應(yīng)用數(shù)據(jù)壓縮數(shù)據(jù)分析數(shù)據(jù)庫(kù)內(nèi)并行計(jì)算不需要聚集表不需要物化視圖實(shí)時(shí)數(shù)據(jù)復(fù)制僅插入增量數(shù)據(jù)520

6、倍的壓縮率1TB的數(shù)據(jù)，約使用200GB的內(nèi)存列式存儲(chǔ) = 更快的查詢更利于分析大數(shù)據(jù)塊更復(fù)雜的計(jì)算場(chǎng)景更靈活的建模不需要數(shù)據(jù)冗余更快、更具時(shí)效性的數(shù)據(jù)加載更好的利用多核CPU的優(yōu)勢(shì)更大的內(nèi)存參與數(shù)據(jù)分析強(qiáng)大的計(jì)算能力萬(wàn)倍快于磁盤(pán)數(shù)據(jù)庫(kù)支持TB級(jí)內(nèi)存, 80核服務(wù)器 SAP HANA更多的把計(jì)算推動(dòng)到軟件技術(shù)以完成性能的優(yōu)化SAP HANA的硬件和性能指標(biāo)舉例認(rèn)證的硬件系統(tǒng)內(nèi)存容量：128GB 50TB 500TB計(jì)算能力：30核10000核從單節(jié)點(diǎn)到100個(gè)節(jié)點(diǎn)的集群以5年SD模塊的銷售數(shù)據(jù)為例- 1000億條數(shù)據(jù)記錄- 16個(gè)HANA服務(wù)器節(jié)點(diǎn)- 19倍壓縮率- 100TB-3.7TB月度

7、銷售與分銷報(bào)告。1個(gè)月，0.3秒6個(gè)月，0.7秒12個(gè)月，1.04秒前 100 位客戶的 YOY 趨勢(shì)報(bào)告超過(guò)2年，1.5秒超過(guò)5年，3.8秒可小，可大的平臺(tái)單機(jī)從128GB 6TB內(nèi)存，數(shù)據(jù)中心方案更多的硬件供應(yīng)商超過(guò)60種規(guī)格的認(rèn)證硬件服務(wù)器基于AWS的云部署認(rèn)證的同步，異步的集群容災(zāi)備份恢復(fù)方案BI認(rèn)證和ETL，備份工具的認(rèn)證二、 SAP HANA案例及價(jià)值分享“EDW HANA是中石化核心生產(chǎn)系統(tǒng)的底層數(shù)據(jù)庫(kù)平臺(tái)，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)及相關(guān)職能部門輔助決策分析，其性能和穩(wěn)定性直接關(guān)系到中石化的生產(chǎn)和運(yùn)營(yíng)。SAP HANA數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)已正式上線交付使用。系統(tǒng)運(yùn)行穩(wěn)定，整體性能遠(yuǎn)超設(shè)計(jì)標(biāo)準(zhǔn)?！敝惺?/p>

8、化XX總監(jiān)中國(guó)石油化工集團(tuán)公司從2014年4月開(kāi)始EDW on HANA測(cè)試，歷經(jīng)6個(gè)月嚴(yán)格的功能測(cè)試、集成測(cè)試和6輪10倍生產(chǎn)系統(tǒng)壓力測(cè)試，SAP和華為成立聯(lián)合團(tuán)隊(duì)，HANA數(shù)據(jù)倉(cāng)庫(kù)集群系統(tǒng)經(jīng)受住考驗(yàn)，于2014年10月20日正式上線。SAP和華為服務(wù)保障團(tuán)隊(duì)積累了豐富的大規(guī)模HANA集群系統(tǒng)交付和運(yùn)維經(jīng)驗(yàn)。案例1：中石化數(shù)據(jù)倉(cāng)庫(kù)中石化EDW系統(tǒng)承載中石化集團(tuán)油田、煉油、化工、銷售4個(gè)板塊，87家企業(yè)的財(cái)務(wù)報(bào)表系統(tǒng)，是中石油核心業(yè)務(wù)系統(tǒng)。EDW 數(shù)據(jù)庫(kù)是中石化核心生產(chǎn)系統(tǒng)的底層數(shù)據(jù)庫(kù)平臺(tái)，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)及相關(guān)職能部門輔助決策分析，其性能和穩(wěn)定性直接關(guān)系到中石化的生產(chǎn)和運(yùn)營(yíng)。中石化EDW 系統(tǒng)簡(jiǎn)

9、介數(shù)據(jù)量高速增長(zhǎng)中石化EDW系統(tǒng)支撐87家企業(yè)的財(cái)務(wù)和銷售報(bào)表系統(tǒng)。現(xiàn)網(wǎng)30TB數(shù)據(jù)，25萬(wàn)余張表，后期數(shù)據(jù)量將快速增長(zhǎng)到100TB煉油版塊油田版塊化工版塊銷售版塊高吞吐低時(shí)延數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)分析需求靈活多變中石化EDW系統(tǒng)承載中石化集團(tuán)油田煉油、化工、銷售4個(gè)板塊需靈活擴(kuò)展以滿足變革要求現(xiàn)有系統(tǒng)不堪重負(fù)前一天銷售日?qǐng)?bào)，第二天下午三點(diǎn)才可以看到數(shù)據(jù)月結(jié)期間，主數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行壓力大，進(jìn)程大量積壓，如涉及調(diào)整，時(shí)間答復(fù)延遲中石化是上市公司，財(cái)務(wù)報(bào)表發(fā)布有明確時(shí)間要求中石化EDW 原系統(tǒng)性能已不能滿足業(yè)務(wù)需求網(wǎng)絡(luò)交換機(jī)FC交換機(jī)IBM DS8000數(shù)據(jù)庫(kù)服務(wù)器應(yīng)用服務(wù)器IBM 750IBM 595高端存儲(chǔ)

10、Oracle高端小型機(jī)高端存儲(chǔ)典型IOE傳統(tǒng)方案Oracle+性能不足！臃腫，負(fù)擔(dān)沉重！又缺乏靈活性！“傳統(tǒng)數(shù)據(jù)庫(kù) + 小型機(jī) + 高端存儲(chǔ)”的模式已無(wú)法滿足大型企業(yè)的需要。系統(tǒng)軟硬件基礎(chǔ)設(shè)施現(xiàn)狀描述網(wǎng)絡(luò)交換機(jī)FC交換機(jī)IBM DS8000數(shù)據(jù)庫(kù)服務(wù)器應(yīng)用服務(wù)器IBM 750IBM 595高端存儲(chǔ)OracleOracle的IO性能，進(jìn)一步限制了無(wú)法再增加應(yīng)用服務(wù)器提升數(shù)據(jù)處理的并行能力!Oracle數(shù)據(jù)庫(kù)IO瓶頸！6G FC存儲(chǔ)網(wǎng)絡(luò)不滿足大容量數(shù)據(jù)倉(cāng)庫(kù)需求！存儲(chǔ)IOPS、存儲(chǔ)聚合帶寬瓶頸！瓶頸：IOE性能無(wú)法滿足需求網(wǎng)絡(luò)交換機(jī)FC交換機(jī)IBM DS8000數(shù)據(jù)庫(kù)服務(wù)器應(yīng)用服務(wù)器IBM 750I

11、BM 595高端存儲(chǔ)Oracle56Gbps存儲(chǔ)網(wǎng)絡(luò)應(yīng)用服務(wù)器隨需增加內(nèi)存數(shù)據(jù)庫(kù)分布式存儲(chǔ)56Gbps Infiniband PCIe SSD和高并發(fā)分布式存儲(chǔ)PCIe SSD解決之道：去IOE+內(nèi)存數(shù)據(jù)庫(kù)中石化EDW業(yè)務(wù)系統(tǒng)總體邏輯框架圖BP0A1SVCIBM P750 16C 200GBP0A2SVCIBM P750 16C 200GBP0A3SVCIBM P750 16C 200GBP0A4SVCIBM P750 16C 200GHANA數(shù)據(jù)庫(kù)一體機(jī)：（8+1）2 TBP0 ON HANAPI1PS1PS3PS5PO1PR1PH1EDW源系統(tǒng)萬(wàn)兆網(wǎng)BW應(yīng)用系統(tǒng)BWOracle數(shù)據(jù)庫(kù)SYB

12、ASE數(shù)據(jù)庫(kù)亦莊機(jī)房，萬(wàn)兆網(wǎng)華為HANA一體機(jī)，單節(jié)點(diǎn)2TBW APP6臺(tái)，IBM P750 16C 200G康孚備份服務(wù)器帶庫(kù)FusionCubeEDW生產(chǎn)系統(tǒng)（30T數(shù)據(jù)），并遷移到HANA。在BP0on Hana上進(jìn)行試運(yùn)行測(cè)試。87家企業(yè)/hana/log/HANA X86計(jì)算集群分布式存儲(chǔ)集群HANA NodeWorker0156Gbps InfiniBand/hana/data/hana/shared/HANA NodeWorker02HANA NodeWorker03HANA NodeStandby09Storage Node12Storage Node1Storage Node

13、6Storage Nodey+110GE共享存儲(chǔ)存儲(chǔ)網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)絡(luò)中石化EDW on HANA解決方案基礎(chǔ)設(shè)施總覽 HANA DBStorage NodeHANA DBHANA DBHANA DBStorage NodeStorage NodeStorage Node融合架構(gòu)VS.Minicomputer/X86 server + SAN StorageServer1Server2Server3DBDBDBDBDBDBCacheHDDHDDHDDSASSAN Controller10GE / FC12ControllerControllerControllerControllerControll

14、erCacheControllerCacheControllerCacheControllerCache56GPCIe PCIe PCIe PCIe 500 ns (2倍提升) 網(wǎng)絡(luò)延時(shí)and 56Gbps InfiniBand 網(wǎng)絡(luò)帶寬，7倍網(wǎng)絡(luò)帶寬提升，ETL入庫(kù)速度提升50%采用分布式架構(gòu)，消除計(jì)算和存儲(chǔ)之間的性能瓶頸面向DB優(yōu)化，消除I/O瓶頸與數(shù)據(jù)熱點(diǎn)，針對(duì)數(shù)據(jù)庫(kù)場(chǎng)景的IO進(jìn)行了優(yōu)化計(jì)算、存儲(chǔ)融合架構(gòu)進(jìn)一步提升HANA IO性能板塊公司處理鏈類型BP0用時(shí)（小時(shí)）HANA用時(shí)（小時(shí)）相比小型機(jī)架構(gòu)提升倍數(shù)油田板塊華東分公司主數(shù)據(jù)2.460.633.9 業(yè)務(wù)數(shù)據(jù)5.331.832.9

15、河南油田主數(shù)據(jù)6.311.454.4 業(yè)務(wù)數(shù)據(jù)5.21.433.6 煉化板塊金陵石化主數(shù)據(jù)4.311.263.4 業(yè)務(wù)數(shù)據(jù)5.181.234.2 上海石化主數(shù)據(jù)4.731.782.7 業(yè)務(wù)數(shù)據(jù)62.172.8 銷售板塊西北石油主數(shù)據(jù)3.121.482.1 業(yè)務(wù)數(shù)據(jù)4.671.972.4 江西石油主數(shù)據(jù)2.21.351.6 業(yè)務(wù)數(shù)據(jù)4.630.954.9 科研板塊（端到端）青島安全工程研究院主數(shù)據(jù)2:26:170:31:404.6 業(yè)務(wù)數(shù)據(jù)1:18:320:28:422.7 石油勘探開(kāi)發(fā)研究院主數(shù)據(jù)2:42:050:24:166.7 業(yè)務(wù)數(shù)據(jù)1:20:050:31:092.6 相對(duì)IOE架構(gòu)系統(tǒng)

16、性能提升36倍目前主流數(shù)據(jù)庫(kù)產(chǎn)品的技術(shù)對(duì)比分析對(duì)比項(xiàng)功能特性SAPHANAOracleExadataIBM DB2IBMNetezzaEMCGreenPlumMSSQLServer數(shù)據(jù)分析Predictive AnalysisAdvanced VisualizationIn-Memory Applications數(shù)據(jù)管理OLTP (Transactional)OLAP (EDW)In-Memory DBColumn-StoreData CompressionData ServicesReal-time ReplicationHadoop SupportData Modeling數(shù)據(jù)存儲(chǔ)RAM

17、Flash (SSD)Disk (HDD)計(jì)算架構(gòu)Share NothingMPP/Scale outSAP BW supportNo DB Tuning應(yīng)用支持SAP ERP ApplicationsSAP Accelerators(RDS)SAP special tuning for Appl.SAP BWSAP BOSAP HANA運(yùn)維方面的優(yōu)勢(shì)HANA的運(yùn)維成本明顯低于其它數(shù)據(jù)庫(kù)簡(jiǎn)便的產(chǎn)品安裝與升級(jí)數(shù)據(jù)庫(kù)結(jié)構(gòu)簡(jiǎn)單（不需要索引、沒(méi)有物化視圖、不需要預(yù)匯總層）符合SQL標(biāo)準(zhǔn)規(guī)范，標(biāo)準(zhǔn)SQL兼容數(shù)據(jù)庫(kù)，入門門檻低強(qiáng)大的圖形管理界面，集管理配置、運(yùn)行維護(hù)和開(kāi)發(fā)于一體無(wú)需復(fù)雜調(diào)優(yōu)（維護(hù)和調(diào)優(yōu)時(shí)不

18、涉及到磁盤(pán)I/O）HANA分析模型的快速生成與部署（HANA View，HANA Live）SAP HANA的技術(shù)優(yōu)勢(shì)及特點(diǎn) 真正的內(nèi)存計(jì)算平臺(tái)，并且保證高可用性和數(shù)據(jù)安全性 數(shù)據(jù)完全加載到內(nèi)存，消除傳統(tǒng)數(shù)據(jù)庫(kù)的IO瓶頸，性能極大提升 強(qiáng)大的集群能力，保證大數(shù)據(jù)量下的數(shù)據(jù)分析需求內(nèi)存計(jì)算 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要技術(shù)指標(biāo) 節(jié)點(diǎn)間相互獨(dú)立，在大數(shù)據(jù)應(yīng)用中，消除數(shù)據(jù)同步開(kāi)銷無(wú)共享架構(gòu) X86架構(gòu)，可擴(kuò)展成為云數(shù)據(jù)庫(kù)架構(gòu) 可運(yùn)行于VMWare之上，虛擬化計(jì)算資源，動(dòng)態(tài)分配資源 企業(yè)云架構(gòu)，已經(jīng)實(shí)現(xiàn)基于HANA的公有云，企業(yè)也可部署私有云架構(gòu)云計(jì)算 集群后的容量可支持PB級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 集成Hadoop

19、應(yīng)用，可實(shí)現(xiàn)內(nèi)存計(jì)算與分布式文件系統(tǒng)的大數(shù)據(jù)分析 提供多種預(yù)測(cè)分析函數(shù)以及數(shù)據(jù)挖掘方法，可對(duì)海量數(shù)據(jù)進(jìn)行深入分析大數(shù)據(jù)應(yīng)用支持 按照MPP架構(gòu)軟件設(shè)計(jì)的基于內(nèi)存的數(shù)據(jù)庫(kù) 性能線性增長(zhǎng)，部署架構(gòu)和節(jié)點(diǎn)數(shù)據(jù)無(wú)上限MPP架構(gòu) 真正原生的壓縮方式，字典長(zhǎng)度壓縮算法，為查詢類事務(wù)優(yōu)化。數(shù)據(jù)壓縮 數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)技術(shù)的關(guān)鍵標(biāo)準(zhǔn)，為查詢操作優(yōu)化性能。行列混合存儲(chǔ) 多核技術(shù)的應(yīng)用，使單一計(jì)算操作可分布到多個(gè)處理進(jìn)程。 。得益于Share Nothing技術(shù)，用戶并發(fā)訪問(wèn)可最大化分布于多個(gè)節(jié)點(diǎn)。并行處理 高并發(fā)后視圖前視圖華為FusionCube12T/機(jī)柜FusionCube23X 密度，節(jié)約機(jī)房空間各組件統(tǒng)一管

20、理傳統(tǒng)方式：復(fù)雜的集成廠商I：6T/機(jī)柜廠商H：4T/機(jī)柜多套管理軟件廠商H廠商I管理至簡(jiǎn)： FusionCube簡(jiǎn)化部署和運(yùn)維，并帶來(lái)高密度，降低TCOPoC驗(yàn)證性能領(lǐng)先的SAP HANA數(shù)據(jù)倉(cāng)庫(kù)解決方案出色的研發(fā)團(tuán)隊(duì)周密的服務(wù)保障方案1234 軟硬件研發(fā)團(tuán)隊(duì)根植中國(guó)； 能深入代碼級(jí)協(xié)查問(wèn)題； 能及時(shí)調(diào)整方案滿足中石化需求 SAP和華為聯(lián)合運(yùn)維保障團(tuán)隊(duì)，保障HANA系統(tǒng)的上線和運(yùn)行;聯(lián)合團(tuán)隊(duì)為中石化提供量身定制的關(guān)鍵事件保障及職守等最高級(jí)別服務(wù)。華為具備大型HANA集群運(yùn)維經(jīng)驗(yàn) 時(shí)延優(yōu)化滿足中石化大規(guī)模并發(fā)訪問(wèn)需要：時(shí)延低于業(yè)界平均50%-75%,同時(shí)可支持1000并行任務(wù) 帶寬優(yōu)化滿足中石

21、化數(shù)據(jù)庫(kù)高性能寫(xiě)操作特點(diǎn)分布式存儲(chǔ)提升存儲(chǔ)網(wǎng)絡(luò)帶寬7倍，HANA數(shù)據(jù)庫(kù)加載性能提升60%華為和SAP成立聯(lián)合POC保障團(tuán)隊(duì)，提供POC設(shè)備幫助客戶快速驗(yàn)證HANA系統(tǒng)對(duì)業(yè)務(wù)的性能提速效果22014/10：中石化EDW on HANA成功上線中石化為什么選擇SAP華為HANA數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)？案例2：中石油EDW HANA POC數(shù)據(jù)倉(cāng)庫(kù)軟硬件一體化方案POC的目的：通過(guò)準(zhǔn)備的場(chǎng)景，體現(xiàn)一體化方案的數(shù)據(jù)展現(xiàn)及計(jì)算效率通過(guò)多用戶的并發(fā)訪問(wèn)測(cè)試，體現(xiàn)一體化方案支持中國(guó)石油大規(guī)模用戶同步訪問(wèn)的能力通過(guò)一體化方案，體現(xiàn)新存儲(chǔ)技術(shù)與傳統(tǒng)存儲(chǔ)的差別，為中國(guó)石油未來(lái)的采購(gòu)提供依據(jù)本次POC的演示結(jié)果將作為重要的專

22、家評(píng)審參考資料，交予未來(lái)評(píng)標(biāo)的專家，作為最后評(píng)標(biāo)的技術(shù)參照測(cè)試環(huán)境的軟硬件要求：軟件廠商選擇認(rèn)為最能夠表現(xiàn)自身性能的硬件廠商，進(jìn)行硬件準(zhǔn)備標(biāo)準(zhǔn)配置的數(shù)據(jù)庫(kù)軟件，存放POC的數(shù)據(jù)標(biāo)準(zhǔn)的性能管理軟件，展示一體化方案系統(tǒng)管理信息標(biāo)準(zhǔn)的壓力測(cè)試軟件，例如Load Runner，實(shí)現(xiàn)大規(guī)模并發(fā)用戶（350400個(gè)用戶）模擬訪問(wèn)建模工具及一體化圖形管理工具，來(lái)展示未來(lái)實(shí)施中中國(guó)石油內(nèi)部顧問(wèn)如何進(jìn)行日常實(shí)施及管理工作 單獨(dú)配備的主流的報(bào)表展示系統(tǒng)，連接一體化系統(tǒng)的數(shù)據(jù)模型，進(jìn)行最終POC的報(bào)表場(chǎng)景展示測(cè)試環(huán)境的數(shù)據(jù)準(zhǔn)備要求：廠商按照中石油提供的標(biāo)準(zhǔn)格式準(zhǔn)備業(yè)務(wù)數(shù)據(jù)，并確保各廠商間的數(shù)據(jù)一致性廠商至少準(zhǔn)備60

23、TB的業(yè)務(wù)數(shù)據(jù)，用來(lái)測(cè)試查詢的性能參加測(cè)試的廠商：SAP HANA | Oracle Exadata | IBM Netezza | EMC GreenPlum | MS SQLServer場(chǎng)景1 人力薪資報(bào)表場(chǎng)景-場(chǎng)景描述 星形模型設(shè)計(jì)，包含2個(gè)事實(shí)表數(shù)據(jù)，薪酬明細(xì)數(shù)據(jù)模型、薪酬指標(biāo)匯總模型；6個(gè)維度表數(shù)據(jù)，人員編號(hào)維表、身份證號(hào)維表、組織維度表、人員姓名、三級(jí)單位名稱、專業(yè)分公司名稱。計(jì)算邏輯涉及人員薪酬分?jǐn)?，從匯總模型分?jǐn)偟矫骷?xì)數(shù)據(jù)模型，自上而下的數(shù)據(jù)鉆取。主表包含180億條記錄，數(shù)據(jù)量超過(guò)60TB容量。 測(cè)試方法：?jiǎn)斡脩魷y(cè)試內(nèi)容，考核按照年份、身份證、歸屬地、特征值等條件組合的查詢響應(yīng)

24、時(shí)間；并發(fā)測(cè)試內(nèi)容，在單用戶測(cè)試基礎(chǔ)上測(cè)試400用戶并發(fā)的查詢響應(yīng)狀況。指標(biāo)分類指標(biāo)名稱用途后端監(jiān)控I/O性能評(píng)價(jià)后端監(jiān)控CPU耗用評(píng)價(jià)后端監(jiān)控內(nèi)存耗用評(píng)價(jià)報(bào)表響應(yīng)報(bào)表前端數(shù)據(jù)顯示輸出時(shí)間評(píng)價(jià)報(bào)表響應(yīng)報(bào)表前端數(shù)據(jù)計(jì)算時(shí)間評(píng)價(jià)報(bào)表響應(yīng)數(shù)據(jù)庫(kù)到報(bào)表前端數(shù)據(jù)傳輸時(shí)間評(píng)價(jià)報(bào)表響應(yīng)數(shù)據(jù)庫(kù)計(jì)算時(shí)間評(píng)價(jià)報(bào)表響應(yīng)數(shù)據(jù)庫(kù)選擇時(shí)間評(píng)價(jià)報(bào)表響應(yīng)從輸入執(zhí)行到數(shù)據(jù)庫(kù)開(kāi)始響應(yīng)時(shí)間評(píng)價(jià)報(bào)表響應(yīng)報(bào)表從輸入到顯示總時(shí)間評(píng)價(jià)數(shù)據(jù)條目數(shù)據(jù)庫(kù)選擇數(shù)據(jù)條數(shù)參考數(shù)據(jù)條目數(shù)據(jù)庫(kù)計(jì)算數(shù)據(jù)條數(shù)參考數(shù)據(jù)條目數(shù)據(jù)庫(kù)傳輸數(shù)據(jù)條數(shù)參考數(shù)據(jù)條目數(shù)據(jù)庫(kù)到前段傳輸數(shù)據(jù)條數(shù)參考數(shù)據(jù)條目前段數(shù)據(jù)計(jì)算條數(shù)參考指標(biāo)分類指標(biāo)名稱用途數(shù)據(jù)壓縮數(shù)據(jù)原始容量評(píng)價(jià)數(shù)據(jù)壓縮壓

25、縮后數(shù)據(jù)容量評(píng)價(jià)數(shù)據(jù)壓縮數(shù)據(jù)壓縮時(shí)間評(píng)價(jià)數(shù)據(jù)加載數(shù)據(jù)加載時(shí)間(明細(xì)數(shù)據(jù)模型、員工主數(shù)據(jù)）評(píng)價(jià)數(shù)據(jù)加載數(shù)據(jù)加載量(明細(xì)數(shù)據(jù)模型、員工主數(shù)據(jù)）評(píng)價(jià)原始數(shù)據(jù)文件加載到目標(biāo)模型，及原始模型數(shù)據(jù)到其他10個(gè)同構(gòu)加載模型時(shí)所需記錄的指標(biāo)(其他10個(gè)同構(gòu)展示模型請(qǐng)見(jiàn)并發(fā)展示路徑場(chǎng)景4)：場(chǎng)景2 庫(kù)存查詢報(bào)表場(chǎng)景-場(chǎng)景描述 星形模型設(shè)計(jì)，包含1個(gè)事實(shí)表數(shù)據(jù)，庫(kù)存模型；21個(gè)維度表數(shù)據(jù)。主表包含100億條記錄。 測(cè)試方法：?jiǎn)斡脩魷y(cè)試內(nèi)容，依據(jù)不同條件測(cè)試查詢的響應(yīng)時(shí)間；并發(fā)測(cè)試內(nèi)容，在單用戶基礎(chǔ)上測(cè)試160個(gè)用戶并發(fā)，SQL為初次運(yùn)行，無(wú)緩存結(jié)果。業(yè)務(wù)需求描述：測(cè)試場(chǎng)景結(jié)果匯總 （1/2）執(zhí)行順序(參考記錄文檔

26、)步驟名稱SAP HANA測(cè)試結(jié)果廠商排名測(cè)試要求1.1.1硬件配置-數(shù)據(jù)倉(cāng)庫(kù)DELL(4節(jié)點(diǎn))/IBM(8節(jié)點(diǎn))1.1.2硬件配置-報(bào)表平臺(tái)DELL R620/IBM虛擬機(jī)1.2.1軟件配置-數(shù)據(jù)倉(cāng)庫(kù)SAP HANA 1.0 SP6 v691.2.2軟件配置-報(bào)表平臺(tái)SAP BO 4.12.1表結(jié)構(gòu)完全符合2.2數(shù)據(jù)條目完全符合3.1.1數(shù)據(jù)倉(cāng)庫(kù)硬件加速手段不需要3.1.2數(shù)據(jù)倉(cāng)庫(kù)軟件加速手段未使用物化視圖或中間結(jié)果緩存3.2.1報(bào)表平臺(tái)硬件加速手段無(wú)3.2.2報(bào)表平臺(tái)軟件加速手段無(wú)4.1.1按給定選擇條件查詢報(bào)表1數(shù)據(jù)并發(fā)條件：9.52s現(xiàn)場(chǎng)條件：16.7sNo. 1基于180億事實(shí)表數(shù)據(jù)

27、4.1.2按給定選擇條件查詢報(bào)表2數(shù)據(jù)并發(fā)條件：14.59s現(xiàn)場(chǎng)條件：19.52sNo. 1基于180億事實(shí)表數(shù)據(jù)4.1.3按給定選擇條件查詢報(bào)表3數(shù)據(jù)并發(fā)條件：0.024s現(xiàn)場(chǎng)條件：0.043sNo. 1基于180億事實(shí)表數(shù)據(jù)4.1.4按給定選擇條件查詢報(bào)表4數(shù)據(jù)并發(fā)條件：17.01s現(xiàn)場(chǎng)條件：17.91sNo. 1基于180億事實(shí)表數(shù)據(jù)4.2.1按4.1解析的SQL查詢報(bào)表1數(shù)據(jù)現(xiàn)場(chǎng)條件：4.58sNo. 1基于18億新造數(shù)據(jù)4.2.2按4.1解析的SQL查詢報(bào)表2數(shù)據(jù)現(xiàn)場(chǎng)條件：4.7sNo. 1基于18億新造數(shù)據(jù)4.2.3按4.1解析的SQL查詢報(bào)表3數(shù)據(jù)現(xiàn)場(chǎng)條件：0.025sNo. 1

28、基于18億新造數(shù)據(jù)4.2.4按4.1解析的SQL查詢報(bào)表4數(shù)據(jù)現(xiàn)場(chǎng)條件：2.27sNo. 1基于18億新造數(shù)據(jù)測(cè)試場(chǎng)景結(jié)果匯總 （2/2）執(zhí)行順序(參考記錄文檔)步驟名稱SAP HANA測(cè)試結(jié)果廠商排名測(cè)試要求4.3.1400并發(fā)用戶以不同查詢條件并發(fā)訪問(wèn)報(bào)表1最大：558.96s 最?。?0.39s 平均：336.94s 總時(shí)間：9分48秒No. 1基于180億事實(shí)表數(shù)據(jù)-報(bào)表1，400個(gè)并發(fā)SQL4.3.2并發(fā)用戶以不同查詢條件訪問(wèn)報(bào)表1、2、3、4報(bào)表1 - 最大：393.45s 最?。?3.21s 平均：203.33s報(bào)表2 - 最大：477s 最?。?5.21s 平均：246.11s

29、報(bào)表3 - 最大：52.53s 最小：0.34s 26.平均：43s報(bào)表4 - 最大：333.52s 最?。?9.38s 平均：181.45s總時(shí)間：7分57秒No. 1基于180億事實(shí)表數(shù)據(jù)-報(bào)表1-4，每個(gè)報(bào)表100個(gè)并發(fā)SQL4.4新建模型A，加載1500萬(wàn)種子數(shù)據(jù)測(cè)壓縮原始文件2GB，壓縮后309MB，5秒完成，加載率380M/s，壓縮比6.15以SAP數(shù)據(jù)為種子，拷貝模型1結(jié)構(gòu)，單獨(dú)加載4.510套數(shù)據(jù)并行加載原始文件2233.1GB，壓縮后346.8GB，壓縮比6.4，45分鐘完成，加載率827MB/s10套18億(總公司)并行加載,10空事實(shí)表,加載方式廠商自選4.6.110套應(yīng)

30、用,每套40個(gè)并發(fā)用戶報(bào)表1最?。?.07s 最大：420s (-400s) 平均：213.54s總時(shí)間：7分0秒No. 1基于18億新造數(shù)據(jù) 10套,可共用主數(shù)據(jù)4.6.210套應(yīng)用,每套40個(gè)并發(fā)用戶報(bào)表1、2、3、4報(bào)表1 - 最?。?.82s 最大：399.2s 平均：203.01s報(bào)表2 - 最小：6.85s 最大：421s 平均：213.93s報(bào)表3 - 最?。?.29s 最大：33.77 平均：17.03s報(bào)表4 - 最?。?.6s 最大：234.65s 平均：118.62總時(shí)間：7分01秒No. 1基于18億新造數(shù)據(jù) 10套,可共用主數(shù)據(jù)4.7.1并加載過(guò)程中查詢報(bào)表最小：6.

31、37s 最大：145.53s 平均：8.2s基于18億新造數(shù)據(jù) 10套4.8.1庫(kù)存報(bào)表1-4報(bào)表1 - 最小：14.4s 最大：369.67s 平均：193.17s報(bào)表2 - 最?。?2.87s 最大：365.32s 平均：178.2s報(bào)表3 - 最?。?3.02s 最大：362.63s 平均：184.69s報(bào)表4 - 最?。?0.05s 最大：363.56s 平均：197.9s總時(shí)間：6分50秒No. 140個(gè)并發(fā)測(cè)試，基于100億記錄-報(bào)表1-4，每報(bào)表40個(gè)并發(fā)數(shù)據(jù)量越大，并發(fā)壓力越大，HANA數(shù)據(jù)倉(cāng)庫(kù)性能越優(yōu)異。12X性能中石油EDW HANA POC測(cè)試結(jié)果中石油2014年2月開(kāi)始

32、HANA 集群系統(tǒng)比拼測(cè)試，華為FusionCube SAP HANA集群系統(tǒng)性能超出另一廠商。最終采購(gòu)華為63T FusionCube HANA集群系統(tǒng)。中石油EDW HANA POC測(cè)試結(jié)果*In China national petroleum corporation POC test, 201402 Huawei IBM1.5X8 h數(shù)據(jù)加載時(shí)間Huawei IBM1.5X4 h數(shù)據(jù)生成時(shí)間HuaweiIBM17 3.2 復(fù)雜查詢時(shí)間：180億條數(shù)據(jù)5XVS.Huawei8*512G nodes cluster聯(lián)想8*1T nodes cluster24U height64U heig

33、ht中石油EDW HANA POC測(cè)試結(jié)果SAP HANA與數(shù)據(jù)庫(kù)一體機(jī)方案的比較一體機(jī)硬件廠商提供的專用硬件，性能相對(duì)較高，但硬件成本非常高封閉的平臺(tái)，硬件平臺(tái)無(wú)法遷移，且不易于擴(kuò)展架構(gòu)先進(jìn)性數(shù)據(jù)庫(kù)有部分優(yōu)化（如Oracle Exadata利用以Smart Scan為核心的技術(shù)降低I/O；Vertica等采用列式處理技術(shù)提升數(shù)據(jù)分析性能），但與傳統(tǒng)數(shù)據(jù)庫(kù)相比本身技術(shù)上沒(méi)有根本創(chuàng)新。某些廠商一體機(jī)僅是硬件和軟件的單一整合性能方面硬軟件整合一定程度上提升了性能，但系統(tǒng)還要受制與I/O等方面的限制。數(shù)據(jù)庫(kù)處理引擎并未重新設(shè)計(jì)，只是進(jìn)行了簡(jiǎn)單的優(yōu)化可管理性比傳統(tǒng)數(shù)據(jù)庫(kù)管理復(fù)雜的多，需要非常專業(yè)的人員

34、HANA硬件經(jīng)過(guò)SAP和硬件廠商共同認(rèn)證的基于 X86的硬件，服務(wù)器性能高，且價(jià)格較低 開(kāi)放的硬件平臺(tái)易于系統(tǒng)擴(kuò)展和遷移架構(gòu)先進(jìn)性SAP HANA是從簡(jiǎn)化IT架構(gòu)設(shè)計(jì)層面出發(fā)，同時(shí)集成了內(nèi)存計(jì)算、列式存儲(chǔ)、多分析引擎等核心技術(shù)，為下一代全新的內(nèi)存型應(yīng)用提供了一個(gè)內(nèi)存計(jì)算平臺(tái)。業(yè)界領(lǐng)先的MPP架構(gòu)，非常易于超大規(guī)模的部署環(huán)境，適合數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。性能方面基于內(nèi)存計(jì)算和列式處理等技術(shù)全新設(shè)計(jì)的處理引擎，性能大幅提升數(shù)據(jù)庫(kù)性能可以通過(guò)建模進(jìn)一步優(yōu)化性能要求較高時(shí)，用戶可以選擇不同廠商高配的 X86服務(wù)器（處理性能要比小型快很多）可管理性數(shù)據(jù)庫(kù)結(jié)構(gòu)簡(jiǎn)化（如不需要索引、匯總聚集等），調(diào)優(yōu)工作大幅降低。另外

35、HANA提供了豐富的圖形化管理工具，管理操作更簡(jiǎn)便數(shù)據(jù)庫(kù)一體機(jī)SAP HANA數(shù)據(jù)庫(kù)新技術(shù)的對(duì)比SAP HANA vs. Oracle Exadata數(shù)據(jù)庫(kù)一體機(jī)Only part of the whole data is loaded in memoryDatabase ( 10 TB)Oracle Exadata 數(shù)據(jù)庫(kù)一體機(jī)Disk I/OMemory (512 GB)Exadata Server最小化數(shù)據(jù)塊的傳輸MemoryData VolumeLog VolumeAll Data Sets數(shù)據(jù)持久層SAP HANA定期寫(xiě)入事務(wù)管理提升I/O性能是Exadata的核心思路，但在技術(shù)先進(jìn)

36、性上和HANA的內(nèi)存計(jì)算技術(shù)仍然存在較大差距。Oracle普通數(shù)據(jù)庫(kù)存在的 I/O瓶頸會(huì)制約ERP產(chǎn)品功能的充分發(fā)揮通過(guò)Smart Scan減少DB數(shù)據(jù)塊的傳輸通過(guò)存儲(chǔ)索引最小化磁盤(pán)尋址時(shí)間InfiniBand增大I/O帶寬混合列壓縮 雖減少了數(shù)據(jù)量但同時(shí)降低了DML性能通過(guò)內(nèi)存計(jì)算消除了磁盤(pán)I/O采用高壓縮比的列式存儲(chǔ)技術(shù)，大幅提升分析、查詢的性能同時(shí)支持OLTP和OLAP應(yīng)用數(shù)據(jù)庫(kù)結(jié)構(gòu)簡(jiǎn)化（不需要匯總表和索引）三、SAP HANA及ETL解決方案SAP能夠全面滿足浙江中煙數(shù)據(jù)中心相關(guān)技術(shù)需求對(duì)比項(xiàng)功能特性SAP方案滿足度SAP方案提取數(shù)據(jù)抽取SAP DataServices企業(yè)服務(wù)總線SA

37、P PI數(shù)據(jù)存儲(chǔ)加工聯(lián)機(jī)事務(wù)處理系統(tǒng)SAP HANA業(yè)務(wù)分析系統(tǒng)SAP HANA元數(shù)據(jù)管理SAP IS分析展現(xiàn)報(bào)表分析SAP BO溯源分析SAP PA即席查詢SAP BO異構(gòu)系統(tǒng)集成HadoopSAP HANA接口 浙江中煙數(shù)據(jù)中心項(xiàng)目SAP技術(shù)方案架構(gòu)集團(tuán)統(tǒng)一數(shù)據(jù)管理平臺(tái)（SAP HANA） 數(shù)據(jù)倉(cāng)庫(kù)、集市分析展現(xiàn) HANA Views (HANA Live)事務(wù)處理計(jì)算引擎預(yù)測(cè)分析實(shí)時(shí)報(bào)表溯源分析決策支持（BO&PA）SAPHANA 數(shù)據(jù)集成 數(shù)據(jù)抽取 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)清洗 MDMServerSAP PIRepository財(cái)務(wù)系統(tǒng)ERP系統(tǒng)訂單管理主數(shù)據(jù)管理生產(chǎn)管理設(shè)備管理Hadoop大數(shù)

38、據(jù)平臺(tái)SAP ERP業(yè)務(wù)系統(tǒng)財(cái)務(wù)系統(tǒng)設(shè)備管理提綱 1、國(guó)家局煙草宏觀政策 華為與SAP（喬志偉、張沖) SAP對(duì)接人喬志偉 宏觀策略，CT155，精益管理，基于行業(yè)業(yè)務(wù)層面（比如基于互聯(lián)網(wǎng)+驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新等）點(diǎn)題2、業(yè)務(wù)價(jià)值 （喬志偉、孟光濤、張沖、姜波、黃老師） SAP對(duì)接人喬志偉比如精準(zhǔn)營(yíng)銷（黃老師）、智能制造（姜波）、智能物流（張沖）及全程追溯等，比如云價(jià)值引出3、SAP與華為云大數(shù)據(jù)整體架構(gòu) （SAP接口人張華樺） 整體架構(gòu)圖概覽及簡(jiǎn)述(孟光濤、Peter Song )、基于每個(gè)層級(jí)具體方案（孟光濤、吳曉潔、吳帆、洪毅、尹海寧）4、華為與SAP合作 華為與SAP聯(lián)合創(chuàng)新中心（演示環(huán)境搭建

39、、邀請(qǐng)客戶參觀等）5、附錄公司介紹、戰(zhàn)略合作、方案明細(xì)Any DBHANA DBBI業(yè)務(wù)系統(tǒng)AnyDB基于HANA的統(tǒng)一分析型數(shù)據(jù)倉(cāng)庫(kù)優(yōu)勢(shì): 快速集成業(yè)務(wù)數(shù)據(jù)到SAP HANA中利用HANA進(jìn)行實(shí)時(shí)分析部分ERP系統(tǒng)SAP BusinessSuiteHANA DBBWAny DBSAP HANA 架構(gòu)應(yīng)用場(chǎng)景聯(lián)機(jī)事務(wù)數(shù)據(jù)庫(kù)分析型數(shù)據(jù)倉(cāng)庫(kù)分析加速器ERP系統(tǒng)業(yè)務(wù)系統(tǒng)HANA DB分析加速器Any DB基于HANA的聯(lián)機(jī)事務(wù)數(shù)據(jù)庫(kù)優(yōu)勢(shì): 強(qiáng)大的HANA支持事務(wù)處理功能分布式計(jì)算邏輯基于SAP HANA的數(shù)據(jù)倉(cāng)庫(kù)分階段建設(shè)策略數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的轉(zhuǎn)變 SAP HANA為BI實(shí)時(shí)、多維、細(xì)粒度分析提供平臺(tái)支

40、撐過(guò)去傳統(tǒng)數(shù)據(jù)分析技術(shù)CubeETL操作型數(shù)據(jù)存儲(chǔ)（ODS）復(fù)制索引壓縮分區(qū)查詢結(jié)果計(jì)算引擎查詢聚合分析界面決策者獲取商務(wù)智能企業(yè)應(yīng)用系統(tǒng)中的數(shù)據(jù)從生成數(shù)據(jù)到用于分析之間存在延遲架構(gòu)復(fù)雜導(dǎo)致建模成本高性能優(yōu)化方式復(fù)雜多維Cube數(shù)據(jù)冗余抽取時(shí)間長(zhǎng)現(xiàn)在基于內(nèi)存計(jì)算的數(shù)據(jù)分析技術(shù)內(nèi)存計(jì)算/邏輯建模分析界面決策者獲取商務(wù)智能復(fù)制1000 x 性能提升無(wú)需手動(dòng)優(yōu)化超高數(shù)據(jù)壓縮比實(shí)時(shí)的商務(wù)智能企業(yè)應(yīng)用系統(tǒng)中的數(shù)據(jù)創(chuàng)新性能卓越基于內(nèi)存計(jì)算技術(shù)，SAP應(yīng)用的代碼優(yōu)化SAP 內(nèi)存計(jì)算戰(zhàn)略符合SAP的戰(zhàn)略方向，保持領(lǐng)先性 整合度高基于多種方式構(gòu)建統(tǒng)一的數(shù)據(jù)管理平臺(tái)降低總體擁有成本降低包括硬件、維護(hù)、升級(jí)、擴(kuò)展在

41、內(nèi)的諸多持有成本可擴(kuò)展性快速適應(yīng)業(yè)務(wù)擴(kuò)展，支持業(yè)務(wù)的長(zhǎng)期發(fā)展可管理性門檻低，易于管理SAP HANA價(jià)值綜述企業(yè)數(shù)據(jù)倉(cāng)庫(kù)需要一個(gè)開(kāi)放的基礎(chǔ)設(shè)施ERP其他App數(shù)據(jù)源DB類型 OLTP數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市報(bào)表、抽取、裝載服務(wù)器集群標(biāo)準(zhǔn)報(bào)告Ad Hoc查詢數(shù)據(jù)抽取裝載ExadataTeraDataNetezzaHANA+FusionCubeFusionCubeFusionCubeFusionCube封閉意味著綁架！采用開(kāi)放的低TCO的X86架構(gòu)平臺(tái)，支撐BI報(bào)表、ETL、主數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市，形成統(tǒng)一的管理。校園群集 地鐵群集 地理群集 單服務(wù)器2 CPU 128GB 至 8 CPU 1TB （用于基

42、于 SAP HANA 的 Suite，每主機(jī)最多 4 TB 的特殊布局）用于數(shù)據(jù)集市或加速器的單個(gè) SAP HANA 部署支持高可用性和災(zāi)難恢復(fù)橫向擴(kuò)展群集每群集 2 至 n 個(gè)服務(wù)器每個(gè)服務(wù)器為 4 CPU/512GB 或 8 CPU/1TB最大的認(rèn)證配置：56 個(gè)服務(wù)器最大的測(cè)試配置：超過(guò) 100 個(gè)服務(wù)器支持高可用性和災(zāi)難恢復(fù)SAP HANA關(guān)鍵任務(wù)基礎(chǔ)設(shè)施HANA計(jì)算節(jié)點(diǎn)FC SAN存儲(chǔ)HANA 計(jì)算節(jié)點(diǎn)分布式文件系統(tǒng)架構(gòu)一：計(jì)算存儲(chǔ)合一架構(gòu)二：計(jì)算+FC SAN存儲(chǔ)HANA計(jì)算節(jié)點(diǎn)分布式塊存儲(chǔ)架構(gòu)三：計(jì)算+分布式存儲(chǔ)代表廠家：聯(lián)想 OEM IBM代表廠家：HP,DELL,FUJISU

43、，CISCO代表廠家：華為HANA集群系統(tǒng)三種主流架構(gòu)HANA 計(jì)算節(jié)點(diǎn)分布式文件系統(tǒng)計(jì)算存儲(chǔ)合一架構(gòu)優(yōu)點(diǎn)：架構(gòu)簡(jiǎn)單：計(jì)算和存儲(chǔ)合一架構(gòu)，架構(gòu)簡(jiǎn)單，支持靈活擴(kuò)容硬件成本低：節(jié)省存儲(chǔ)機(jī)頭、FC 存儲(chǔ)交換機(jī)設(shè)備，節(jié)省硬件成本支持分布式：分布式文件系統(tǒng)，并發(fā)IO能力優(yōu)于傳統(tǒng)SAN存儲(chǔ)缺點(diǎn)：計(jì)算性能不足：計(jì)算和存儲(chǔ)性能相互影響，搶占資源；網(wǎng)絡(luò)性能不足：外置交換機(jī)傳輸時(shí)延大，10GE以太網(wǎng)絡(luò)延時(shí)比FC高，影響數(shù)據(jù)ETL入庫(kù)和數(shù)據(jù)重新加載入庫(kù)性能；可靠性不足：計(jì)算和存儲(chǔ)故障相互影響，節(jié)點(diǎn)故障，數(shù)據(jù)重建影響整個(gè)HANA集群性能，甚至可能導(dǎo)致整個(gè)系統(tǒng)宕機(jī)分布式文件系統(tǒng)HANA服務(wù)器HANA集群系統(tǒng)架構(gòu)一：計(jì)算

44、存儲(chǔ)合一架構(gòu)優(yōu)點(diǎn)：傳統(tǒng)計(jì)算加存儲(chǔ)架構(gòu)，方案穩(wěn)妥計(jì)算和存儲(chǔ)分離，性能和故障相互不影響采用專用 FC存儲(chǔ)網(wǎng)絡(luò)，性能中等缺點(diǎn)：傳統(tǒng)存儲(chǔ)在HANA大集群方案下，集中式存儲(chǔ)控制器IO并發(fā)能力有所不足。所需硬件多，TCO高單節(jié)點(diǎn)2T方案，單臺(tái)服務(wù)器要占用18U空間。HANA計(jì)算節(jié)點(diǎn)FC SAN存儲(chǔ)HANA服務(wù)器+FC SAN存儲(chǔ)HANA集群系統(tǒng)架構(gòu)二：計(jì)算+FC SAN存儲(chǔ)分離架構(gòu)優(yōu)點(diǎn)：高性能：56G Infiniband網(wǎng)絡(luò)，分布式并發(fā)存儲(chǔ)，IO吞吐能力更強(qiáng)高可靠：計(jì)算和存儲(chǔ)分離，性能和故障相互不影響高密度：可以大幅節(jié)省機(jī)架空間缺點(diǎn)：采用了高性能的Infiniband網(wǎng)絡(luò)設(shè)備和大緩存分布式存儲(chǔ)，提升性能

45、同時(shí)，增加了部分投資HANA計(jì)算節(jié)點(diǎn)分布式存儲(chǔ)/hana/log/計(jì)算集群存儲(chǔ)集群HANA NodeWorker0156Gbps IB/hana/data/hana/shared/HANA NodeWorker02HANA NodeWorker05HANA NodeStandby16Storage Node15Storage Node1Storage Node2Storage Node310GE網(wǎng)絡(luò)NFSHANA集群系統(tǒng)架構(gòu)三：計(jì)算+分布式存儲(chǔ)分離架構(gòu)架構(gòu)一：計(jì)算存儲(chǔ)合一架構(gòu)二：計(jì)算+FC SAN存儲(chǔ)架構(gòu)三：計(jì)算+分布式存儲(chǔ)規(guī)格多節(jié)點(diǎn)：每節(jié)點(diǎn)1T/2T（1T或2T采用不同型號(hào)服務(wù)器）多節(jié)點(diǎn)：每

46、節(jié)點(diǎn)1T/2T（1T或2T采用不同型號(hào)服務(wù)器）多節(jié)點(diǎn)：每節(jié)點(diǎn)1T/2T性能采用SAS磁盤(pán)，分布式文件系統(tǒng)采用10GE以太網(wǎng)；存儲(chǔ)緩存：使用SSD磁盤(pán)做緩存采用SAS存儲(chǔ)；采用6G FC存儲(chǔ)網(wǎng)絡(luò)；存儲(chǔ)緩存128G采用SAS磁盤(pán)+分布式塊存儲(chǔ)采用低時(shí)延56Gbps IB網(wǎng)絡(luò)；存儲(chǔ)緩存1024G，采用高性能NVDIMM內(nèi)存可靠性計(jì)算存儲(chǔ)合一架構(gòu)，故障相互影響；HA故障時(shí)不支持自動(dòng)切換；雙節(jié)點(diǎn)故障時(shí)，整個(gè)存儲(chǔ)不可用，整個(gè)集群停止服務(wù)。傳統(tǒng)存儲(chǔ)方案，分離架構(gòu)，計(jì)算和存儲(chǔ)不相互影響計(jì)算存儲(chǔ)分離架構(gòu)，計(jì)算和存儲(chǔ)不相互影響占用空間96U144U48U運(yùn)維簡(jiǎn)易度非融合基礎(chǔ)設(shè)施方案融合基礎(chǔ)設(shè)施方案采用超融合基礎(chǔ)設(shè)

47、施，支持自動(dòng)化管理和集中監(jiān)控特性，降低Opex 30%以上小結(jié)架構(gòu)簡(jiǎn)潔，支持靈活擴(kuò)展，但是性能和可靠性一般傳統(tǒng)架構(gòu)，各方面比較均衡，性能中等，占用機(jī)房空間過(guò)多硬件配置規(guī)格高，系統(tǒng)性能和可靠性好三種架構(gòu)方案橫向?qū)Ρ萊eal-Time Infrastructure Meets Real-Time Information 華為IT副總裁任志鵬與SAP CTO Bernd 在華為深圳總部，2013 Q4201220132014全球領(lǐng)先的ICT提供商擁有業(yè)界最優(yōu)秀的研發(fā)團(tuán)隊(duì) 以及研發(fā)實(shí)力鄭葉來(lái)(華為IT產(chǎn)品線總裁)與Alex Atzberger(SAP SVP) 會(huì)面，建立正式合作伙伴關(guān)系Jim Sna

48、be(SAP CEO)到訪華為總部，與任總(華為CEO)及徐直軍(華為輪值CEO)會(huì)談，確定了雙方合作的方向和目標(biāo)華為戰(zhàn)略與Marketing總裁和SAP co-CEO Jim Snabe, 華為和SAP共同宣布雙方新層次合作伙伴關(guān)系 , CeBIT2014華為與SAP強(qiáng)強(qiáng)聯(lián)手合作企業(yè)級(jí)軟件的領(lǐng)導(dǎo)者 商業(yè)智能軟件的供應(yīng)商性能至強(qiáng)管理至簡(jiǎn)優(yōu)化 IO 融合管理體驗(yàn)至優(yōu)華為SAP HANA解決方案IBM華為5X*5X 更快性能，中國(guó)石油POC, 201402 全球最快的SAP HANA解決方案華為SAP HANA優(yōu)勢(shì)總結(jié)唯一有超大規(guī)模HANA集群成功實(shí)踐經(jīng)驗(yàn)的廠家，華為積累了豐富的實(shí)施交付和運(yùn)維經(jīng)驗(yàn)

49、。案例：中國(guó)石化9節(jié)點(diǎn)18T集群，SAP 中國(guó)研究院15節(jié)點(diǎn)30T集群，華為2套*16節(jié)點(diǎn) 16T集群，中國(guó)石油63T HANA集群華為有基于本土更強(qiáng)的故障響應(yīng)、服務(wù)保障團(tuán)隊(duì)，能深入到操作系統(tǒng)源代碼級(jí)快速定位問(wèn)題。其它國(guó)外廠家復(fù)雜問(wèn)題需要升級(jí)海外處理，響應(yīng)不及時(shí)。高可靠：采用分布式架構(gòu)，計(jì)算和和存儲(chǔ)分離，相互不影響，比IBM合一架構(gòu)，華為方案更可靠；高性能：采用56Gbps Infiniband存儲(chǔ)網(wǎng)絡(luò)和NVDIMM內(nèi)存緩存，整個(gè)方案端到端延時(shí)最低，吞吐能力較友商提升數(shù)倍。復(fù)雜查詢較友商性能提升5倍，數(shù)據(jù)加載和生成性能提升1.5X省空間：HANA內(nèi)存密度更高，節(jié)省機(jī)房空間近70%省Opex：采

50、用融合基礎(chǔ)設(shè)施，集中監(jiān)控，自動(dòng)化運(yùn)維節(jié)省Opex30% Beijing Jiaotong UniversityPeking UniversityFutong TechGermany HeliparkSpanish GAMOCNPCChina Huaneng GroupItalian RetailSINOPECChina Minmetals CorporationMircroPortSAP Labs ChinaRuian TechSpanish SaptoolsFinland BilotSpanish ONOHuaweiChina Minsheng BankSpanish Xanit hospi

51、talZimbabwe Revenue Authority教育&零售能源高科技銀行&公共部門制造業(yè)華為SAP HANA解決方案全球參考案例高級(jí)體系結(jié)構(gòu)三個(gè)功能以及技術(shù)層造就最佳實(shí)踐ETL 映射主題內(nèi)容專家完成從數(shù)據(jù)源到數(shù)據(jù)目標(biāo)映射以及針對(duì)相關(guān)源表進(jìn)行數(shù)據(jù)轉(zhuǎn)換ETL 作業(yè)被編碼和優(yōu)化，以用于執(zhí)行初始化和增量數(shù)據(jù)移動(dòng)1高級(jí)體系結(jié)構(gòu)三個(gè)功能以及技術(shù)層造就最佳實(shí)踐數(shù)據(jù)集市目標(biāo)RDBMS對(duì)象和模式集合基于維度數(shù)據(jù)模型的最佳實(shí)踐支持SAP HANA, Microsoft SQL Server, 和Oracle作為目標(biāo)數(shù)據(jù)庫(kù)2高級(jí)體系結(jié)構(gòu)三個(gè)功能以及技術(shù)層造就最佳實(shí)踐報(bào)表內(nèi)容基于最佳實(shí)踐的預(yù)配置內(nèi)容能夠確保生成專門為商業(yè)智能優(yōu)化的查詢和并可重用完整的一套定制報(bào)表可以顯示數(shù)據(jù)可用性以及符合最佳實(shí)踐標(biāo)準(zhǔn)的報(bào)表設(shè)計(jì)3為SAP系統(tǒng)和非SAP系統(tǒng)提供開(kāi)放支持：業(yè)務(wù)分析 (EIM, BI, EPM, GRC)內(nèi)存計(jì)算 (HANA)主數(shù)據(jù)管理 (MDM)SAP Business Suite and BWSybase 第三方應(yīng)用、數(shù)據(jù)庫(kù)以及技術(shù)接口對(duì)非結(jié)構(gòu)化數(shù)據(jù)提供內(nèi)置的文本數(shù)據(jù)處理，以支持所有類型數(shù)據(jù)通過(guò) I