SAP_HANA 2016

1、Use this title slide only with an imageSAP HANA 產(chǎn)品概述 2014 SAP SE or an SAP affiliate company. All rights reserved.2InternalSAP大數(shù)據(jù)方案總體架構(gòu)監(jiān)控展現(xiàn)PC數(shù)據(jù)分析手機(jī)Pad監(jiān)控屏幕分析應(yīng)用層商務(wù)智能（商務(wù)智能（BO）指標(biāo)綜合展現(xiàn)分析GIS展現(xiàn)分析主題分析自定義分析系統(tǒng)管理數(shù)據(jù)挖掘（InfiniteInsight）回歸分群時(shí)間序列關(guān)聯(lián)分析社交分析數(shù)據(jù)管理層HANA內(nèi)存計(jì)算分析模型IQGIS文本分析列式存儲(chǔ)DQPAd-Hoc數(shù)據(jù)庫(kù)內(nèi)分析SDA整合層業(yè)務(wù)數(shù)據(jù)O域業(yè)務(wù)(ASE

2、)B域業(yè)務(wù)業(yè)支GIS系統(tǒng)EIM數(shù)據(jù)集成數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理產(chǎn)品介紹 2014 SAP SE or an SAP affiliate company. All rights reserved.4InternalHANA+IQ： SAP數(shù)據(jù)分級(jí)策略 頻繁讀寫(xiě)的數(shù)據(jù) 在內(nèi)存操作 所有功能，沒(méi)有限制 只讀數(shù)據(jù) 數(shù)據(jù)不在HANA中，但是通過(guò)HANA的SDA技術(shù)可以訪問(wèn) IQ列式存儲(chǔ)- 高效，低硬件成本 高壓縮比 低存儲(chǔ)成本storage costs HANA的擴(kuò)展存儲(chǔ) HANA 管理IQ的表和數(shù)據(jù) 優(yōu)化的數(shù)據(jù)傳輸Providing lower TCO by optimized data volume ma

3、nagement熱數(shù)據(jù)(HANA)溫?cái)?shù)據(jù)(IQ) 2014 SAP SE or an SAP affiliate company. All rights reserved.5InternalHANA+IQ 新的吉尼斯數(shù)據(jù)倉(cāng)庫(kù)記錄 2014-02-17Largest Data WarehouseAudited Record: 12.1PBSAP HANA 5臺(tái) HP ProLiant DL580 G7服務(wù)器 4個(gè)激活節(jié)點(diǎn)、1個(gè)備用節(jié)點(diǎn) 存儲(chǔ) 6.2 TB數(shù)據(jù)SAP IQ SAP IQ multiplex運(yùn)行在20臺(tái)HP ProLiant DL580 G7服務(wù)器 12.1PB原始數(shù)據(jù) 入庫(kù)后僅剩3

4、.1PB測(cè)試環(huán)境配置測(cè)試環(huán)境配置25* HP ProLiant DL580 G7 - 4 x Xeon E7-4870 - 1TB RAM20* NetApp Storage E5460 - 60/120 x 3TB, 7.2Krpm - 4 FC connections SAP IQ (20節(jié)點(diǎn))SAP HANA(5節(jié)點(diǎn))BMMsoft Federated EDMT 9Red Hat Enterprise 6.4更多信息，請(qǐng)?jiān)L問(wèn)http:/ 2014 SAP SE or an SAP affiliate company. All rights reserved.6InternalHANA創(chuàng)新

5、技術(shù)解決大數(shù)據(jù)問(wèn)題行與列并存追加式更改最小化投射非結(jié)構(gòu)化數(shù)據(jù)虛擬匯總數(shù)據(jù)分析多核計(jì)算數(shù)據(jù)壓縮分區(qū)統(tǒng)一SQL多種布署方式數(shù)據(jù)生命周期多節(jié)點(diǎn)并行快速擴(kuò)展空間數(shù)據(jù)Map Reduce組鍵索引內(nèi)存計(jì)算塊加載統(tǒng)計(jì)業(yè)務(wù)功能 2014 SAP SE or an SAP affiliate company. All rights reserved.7Internal大數(shù)據(jù)應(yīng)用場(chǎng)景商務(wù)分析商務(wù)分析常見(jiàn)問(wèn)題1.數(shù)據(jù)定時(shí)加載，無(wú)法實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析2.需要定時(shí)做匯總，導(dǎo)致匯總與明細(xì)可能不一致3.數(shù)據(jù)倉(cāng)庫(kù)體積超大，很難維護(hù)4.響應(yīng)時(shí)間在分鐘或小時(shí)級(jí)別，導(dǎo)致用戶(hù)體驗(yàn)極差5.無(wú)法滿(mǎn)足用戶(hù)個(gè)性化的、自助式的即席查詢(xún)需求HAN

6、A技術(shù)亮點(diǎn)內(nèi)存計(jì)算 列式存儲(chǔ) 最小化投射 數(shù)據(jù)壓縮多節(jié)點(diǎn)并行 虛擬匯總 組鍵索引 塊加載解決方案商業(yè)智能系統(tǒng)經(jīng)營(yíng)分析報(bào)表系統(tǒng) 2014 SAP SE or an SAP affiliate company. All rights reserved.8Internal內(nèi)存運(yùn)算q 磁盤(pán)I/O是瓶頸qI/O 瓶頸導(dǎo)致延遲及CPU的低效利用q 關(guān)系型數(shù)據(jù)庫(kù)為處理交易數(shù)據(jù)而設(shè)計(jì) (OLTP)q 數(shù)據(jù)存儲(chǔ)的方式無(wú)法高效滿(mǎn)足分析需求q 80% 的 BI 查詢(xún)使用不到20%的獲取的行數(shù)據(jù)MemoryI/OCPU 2014 SAP SE or an SAP affiliate company. All righ

7、ts reserved.9Internal列式存儲(chǔ)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)c5c4c3c2c1c9c8c7c6r1r2r3r4r5Hanac5c4c3c2c1c9c8c7c6r1r2r3r4r5 數(shù)據(jù)垂直存儲(chǔ)數(shù)據(jù)垂直存儲(chǔ) 每個(gè)列都是單獨(dú)存儲(chǔ)的每個(gè)列都是單獨(dú)存儲(chǔ)的 數(shù)據(jù)就是索引數(shù)據(jù)就是索引 查詢(xún)時(shí)只讀取需要的列查詢(xún)時(shí)只讀取需要的列 極大地降低了系統(tǒng)的極大地降低了系統(tǒng)的I/O 每個(gè)列由獨(dú)立的線程處理每個(gè)列由獨(dú)立的線程處理查詢(xún)并行處理查詢(xún)并行處理 數(shù)據(jù)按行（記錄）存儲(chǔ)數(shù)據(jù)按行（記錄）存儲(chǔ) 查詢(xún)通常需要大量的查詢(xún)通常需要大量的I/O，尤其在無(wú)法利用索引的，尤其在無(wú)法利用索引的情況下情況下 建立索引非常耗時(shí)和耗

8、資源建立索引非常耗時(shí)和耗資源 為了獲得查詢(xún)效率不得不大大增加數(shù)據(jù)庫(kù)的硬件為了獲得查詢(xún)效率不得不大大增加數(shù)據(jù)庫(kù)的硬件配置配置 2014 SAP SE or an SAP affiliate company. All rights reserved.10InternalSAP HANA的集群擴(kuò)展集群可支持1100個(gè)節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)展Share Nothing架構(gòu)集群中可支持多個(gè)備份節(jié)點(diǎn) 2014 SAP SE or an SAP affiliate company. All rights reserved.11Internal1PB原始數(shù)據(jù)的基準(zhǔn)測(cè)試結(jié)果http:/ IBM X5 Server原始數(shù)據(jù)

9、：10年歷史數(shù)據(jù)1.2萬(wàn)億條記錄1PB原始數(shù)據(jù)入庫(kù)后：49.2TB 2014 SAP SE or an SAP affiliate company. All rights reserved.12Internal1. 創(chuàng)建Attribute views(維度、層次)(可選)2. 創(chuàng)建Analytical views(即維表+事實(shí)表)3. 創(chuàng)建(Graphical 或 Script) Calculation Views ，實(shí)現(xiàn)更復(fù)雜的運(yùn)行（可選）4. 在BI訪問(wèn)Analytical or Calculation ViewsAnalytical ViewAttribute ViewColumn Ta

10、bleCalculation ViewHANA 是一個(gè)商務(wù)智能分析服務(wù)器 2014 SAP SE or an SAP affiliate company. All rights reserved.13Internal大數(shù)據(jù)應(yīng)用場(chǎng)景風(fēng)險(xiǎn)管理與合規(guī)風(fēng)險(xiǎn)管理與合規(guī)常見(jiàn)問(wèn)題1.數(shù)據(jù)挖掘速度在小時(shí)或天級(jí)別，挖掘時(shí)間成本很高2.挖掘算法太少3.數(shù)據(jù)太雜了，不知道該挖哪些數(shù)據(jù)HANA技術(shù)亮點(diǎn)內(nèi)存計(jì)算 列式存儲(chǔ) R引擎 KXEN數(shù)據(jù)分析 多核計(jì)算 多節(jié)點(diǎn)并行 Map-Reduce解決方案全面風(fēng)險(xiǎn)管理系統(tǒng)反洗錢(qián)系統(tǒng)事后監(jiān)督系統(tǒng)綜合監(jiān)管系統(tǒng) 2014 SAP SE or an SAP affiliate comp

11、any. All rights reserved.14InternalHANA 是一個(gè)數(shù)據(jù)挖掘服務(wù)器Data2-5yearsSQLR clientR Model 1R Model 2R Model 3HANASAP Predictive AnalysisPALHANA StudioR Environment 2014 SAP SE or an SAP affiliate company. All rights reserved.15InternalH2 SAP HANA 和 Hadoop的威力 2014 SAP SE or an SAP affiliate company. All right

12、s reserved.16InternalHANA在反洗錢(qián)項(xiàng)目的測(cè)試結(jié)果可疑交易挖掘 運(yùn)行可疑交易分析程序，執(zhí)行時(shí)間跨度為一個(gè)月（4月23日 5月24日） HANAOracle提升提升40s 2625s66x 紅沖數(shù)據(jù)清理 運(yùn)行紅沖數(shù)據(jù)清理程序，對(duì)全量（20G）數(shù)據(jù)進(jìn)行紅沖操作，紅沖數(shù)據(jù)量200M。 HANAOracle提升提升15s 407s27x 2014 SAP SE or an SAP affiliate company. All rights reserved.17Internal大數(shù)據(jù)應(yīng)用場(chǎng)景客戶(hù)關(guān)系客戶(hù)關(guān)系常見(jiàn)問(wèn)題1.無(wú)法做到實(shí)時(shí)分析、決策2.多系統(tǒng)數(shù)據(jù)同步，導(dǎo)致維護(hù)工作難度大3

13、.存在大量非結(jié)構(gòu)化數(shù)據(jù)，無(wú)法處理HANA技術(shù)亮點(diǎn)內(nèi)存計(jì)算 行與列并存 數(shù)據(jù)分析 統(tǒng)一SQL文本引擎 空間數(shù)據(jù)引擎 追加式更改對(duì)應(yīng)長(zhǎng)亮方案客戶(hù)信息管理系統(tǒng)客戶(hù)關(guān)系管理系統(tǒng)個(gè)人征信系統(tǒng)企業(yè)征信系統(tǒng) 2014 SAP SE or an SAP affiliate company. All rights reserved.18InternalHANA 強(qiáng)大文本數(shù)據(jù)處理能力n支持31種語(yǔ)言n自動(dòng)生成分詞n最大支持300個(gè)字符n準(zhǔn)確率極高n支持大并發(fā)SAP Social Customer Engagement 2014 SAP SE or an SAP affiliate company. All rig

14、hts reserved.19InternalHANA支持GIS信息，給應(yīng)用帶來(lái)無(wú)限想象n實(shí)時(shí)的地理信息處理n優(yōu)化的地理信息分析n準(zhǔn)確率極高n支持大并發(fā) 2014 SAP SE or an SAP affiliate company. All rights reserved.20InternalHANA眾多合作伙伴HANA認(rèn)證的服務(wù)器HANA認(rèn)證的商務(wù)智能套件HANA認(rèn)證的預(yù)測(cè)分析軟件HANA認(rèn)證的ETL工具 2014 SAP SE or an SAP affiliate company. All rights reserved.21InternalHANA帶來(lái)IT架構(gòu)簡(jiǎn)化革命交易性數(shù)據(jù)分析性

15、數(shù)據(jù)分析性Cube文本數(shù)據(jù)TextColumnRow傳統(tǒng)系統(tǒng)全新系統(tǒng)nOLTP和OLAP并存n同時(shí)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)n無(wú)需做匯總，無(wú)需實(shí)例化Cuben線行擴(kuò)展，支持超大并發(fā) 2014 SAP SE or an SAP affiliate company. All rights reserved.22InternalHANA 與ExaData競(jìng)爭(zhēng)分析一體機(jī)是的是的開(kāi)放的硬件提供商和8家世界頂級(jí)PC服務(wù)器廠商認(rèn)證私有硬件支付Shared Nothing的MPP支持不支持純內(nèi)存全部數(shù)據(jù)加入內(nèi)存計(jì)算傳統(tǒng)的數(shù)據(jù)緩存技術(shù)列式存儲(chǔ)支持純列式存儲(chǔ)不是真正的列式存儲(chǔ)，只是在行式存儲(chǔ)上增加了便于列式讀取的索

16、引，即費(fèi)時(shí)、又費(fèi)空間數(shù)據(jù)壓縮很高的壓縮比數(shù)據(jù)沒(méi)有壓縮計(jì)劃引擎內(nèi)嵌計(jì)劃引擎無(wú)計(jì)劃引擎 2014 SAP SE or an SAP affiliate company. All rights reserved.23Internal案例1：某世界500強(qiáng)公司內(nèi)部IT測(cè)試數(shù)據(jù)來(lái)自ERP/CRMDM層DM層DM層DM層DWIDWROBIEE展現(xiàn)SAP BO 4.0展現(xiàn)原始數(shù)據(jù)庫(kù)表(非匯總)DataStage抽取虛擬建模虛擬建模華為R5885 PC服務(wù)器HANAData Services抽取 2014 SAP SE or an SAP affiliate company. All rights reser

17、ved.24Internal案例1 ：硬件配置對(duì)比SAP HANA的測(cè)試硬件采用華為R5885 PC服務(wù)器方式：?jiǎn)螜C(jī)IOPS: 15萬(wàn)交換機(jī)：無(wú)網(wǎng)絡(luò)：千兆以太網(wǎng)Oracle Exadata測(cè)試硬件Oracle V1，V2的兩個(gè)滿(mǎn)配的一體機(jī)方式：集群IOPS: 100萬(wàn) + 150萬(wàn)交換機(jī)：有網(wǎng)絡(luò)環(huán)境：40GB，萬(wàn)兆Infiband 2014 SAP SE or an SAP affiliate company. All rights reserved.25Internal案例1 ：測(cè)試報(bào)告總結(jié)測(cè)試方法ExadataHANA提升讀取SELECT/JOIN-7個(gè)表(從2億1千萬(wàn)條算出1.3億條數(shù)據(jù)

18、)25分28秒90秒16.8倍寫(xiě)入查詢(xún)出3億數(shù)據(jù)，再寫(xiě)入DB139小時(shí)以上終止4小時(shí)34.8倍計(jì)算運(yùn)行成本費(fèi)用報(bào)表SQL270秒4秒67.5倍計(jì)算運(yùn)行復(fù)雜耗時(shí)SQL-報(bào)表（4億2千萬(wàn)條）18小時(shí)后，人工終止4秒12000倍+計(jì)算運(yùn)行復(fù)雜耗時(shí)SQL-MCA（3億八千萬(wàn)）18小時(shí)后，人工終止15.7秒16000倍+并發(fā)20個(gè)并發(fā)-測(cè)試MCA復(fù)雜SQL 1個(gè)并發(fā)-1000分鐘+20個(gè)并發(fā)-未知63秒-平均1000倍+報(bào)表收入多維度分析報(bào)表-全部展開(kāi)364秒5.7秒63倍產(chǎn)品報(bào)價(jià) 2014 SAP SE or an SAP affiliate company. All rights reserved.27InternalHANA報(bào)價(jià) Limited Edition for OEM (RUNTIME)SAP HANA EngineSAP HANA StudioSAP BusinessObjects Data Integrator * 用量折扣1 - 10 units100.00%11 - 20 units93.75%21 - 50 units83.13%51 - 100 units62.50%101 - 150 units50.00%151 - 200 units43.75%201