SAP HANA基礎平臺技術建議書

1、 DOCPROPERTY DocumentName SAP HANA基礎平臺技術建議書 STYLEREF Contents 目 錄 DOCPROPERTY Product&Project Name BTS3606C CDMA基站 DOCPROPERTY DocumentName XXX項目 華為SAP HANA數(shù)據(jù)庫基礎設施技術建議書 STYLEREF Contents 目 錄目 錄 TOC o 1-3 h z u HYPERLINK l _Toc523645874 1.項目概述 PAGEREF _Toc523645874 h 1 HYPERLINK l _Toc523645875 1.1項目

2、背景 PAGEREF _Toc523645875 h 1 HYPERLINK l _Toc523645876 1.2項目需求 PAGEREF _Toc523645876 h 2 HYPERLINK l _Toc523645877 1.2.1需求描述 PAGEREF _Toc523645877 h 2 HYPERLINK l _Toc523645878 1.3SAP HANA數(shù)據(jù)庫基礎設施解決方案優(yōu)勢 PAGEREF _Toc523645878 h 2 HYPERLINK l _Toc523645879 1.3.1技術優(yōu)勢 PAGEREF _Toc523645879 h 2 HYPERLINK

3、l _Toc523645880 1.3.2服務保障能力 PAGEREF _Toc523645880 h 3 HYPERLINK l _Toc523645881 1.3.3投資保護 PAGEREF _Toc523645881 h 3 HYPERLINK l _Toc523645882 1.3.4商用案例 PAGEREF _Toc523645882 h 4 HYPERLINK l _Toc523645883 2.SAP HANA數(shù)據(jù)庫基礎設施總體方案 PAGEREF _Toc523645883 h 5 HYPERLINK l _Toc523645884 2.1SAP HANA數(shù)據(jù)庫基礎設施方案架構

4、 PAGEREF _Toc523645884 h 5 HYPERLINK l _Toc523645885 2.2集群方案 PAGEREF _Toc523645885 h 7 HYPERLINK l _Toc523645886 2.3數(shù)據(jù)持久化方案 PAGEREF _Toc523645886 h 8 HYPERLINK l _Toc523645887 2.3.1數(shù)據(jù)持久化方案 PAGEREF _Toc523645887 h 8 HYPERLINK l _Toc523645888 2.3.2數(shù)據(jù)持久化介質 PAGEREF _Toc523645888 h 9 HYPERLINK l _Toc5236

5、45889 2.3.3Cache加速機制 PAGEREF _Toc523645889 h 9 HYPERLINK l _Toc523645890 3.SAP HANA數(shù)據(jù)庫基礎設施組網(wǎng)方案 PAGEREF _Toc523645890 h 10 HYPERLINK l _Toc523645891 3.1框內各節(jié)點組網(wǎng) PAGEREF _Toc523645891 h 10 HYPERLINK l _Toc523645892 3.2一框組網(wǎng)（可選） PAGEREF _Toc523645892 h 11 HYPERLINK l _Toc523645893 3.3兩框組網(wǎng)（可選） PAGEREF _To

6、c523645893 h 12 HYPERLINK l _Toc523645894 3.4三框組網(wǎng)（可選） PAGEREF _Toc523645894 h 13 HYPERLINK l _Toc523645895 3.5多框組網(wǎng)（可選） PAGEREF _Toc523645895 h 14 HYPERLINK l _Toc523645896 4.高性能分布式存儲系統(tǒng) PAGEREF _Toc523645896 h 16 HYPERLINK l _Toc523645897 4.1產(chǎn)品形態(tài)介紹 PAGEREF _Toc523645897 h 16 HYPERLINK l _Toc523645898

7、 4.1.1產(chǎn)品特點 PAGEREF _Toc523645898 h 16 HYPERLINK l _Toc523645899 4.1.2虛擬資源池 PAGEREF _Toc523645899 h 16 HYPERLINK l _Toc523645900 4.1.3功能框架 PAGEREF _Toc523645900 h 17 HYPERLINK l _Toc523645901 4.1.4應用場景 PAGEREF _Toc523645901 h 18 HYPERLINK l _Toc523645902 4.2產(chǎn)品特性介紹 PAGEREF _Toc523645902 h 19 HYPERLINK

8、 l _Toc523645903 4.2.1性能卓越 PAGEREF _Toc523645903 h 19 HYPERLINK l _Toc523645904 4.2.2高可靠 PAGEREF _Toc523645904 h 23 HYPERLINK l _Toc523645905 4.2.3彈性擴展 PAGEREF _Toc523645905 h 27 HYPERLINK l _Toc523645906 4.2.4管理簡便 PAGEREF _Toc523645906 h 29 HYPERLINK l _Toc523645907 5.基礎設施統(tǒng)一管理平臺 PAGEREF _Toc5236459

9、07 h 31 HYPERLINK l _Toc523645908 5.1概述 PAGEREF _Toc523645908 h 31 HYPERLINK l _Toc523645909 5.2特點 PAGEREF _Toc523645909 h 32 HYPERLINK l _Toc523645910 5.3管理系統(tǒng)架構介紹 PAGEREF _Toc523645910 h 33 HYPERLINK l _Toc523645911 5.4物理資源管理 PAGEREF _Toc523645911 h 33 HYPERLINK l _Toc523645912 5.5監(jiān)控管理 PAGEREF _Toc

10、523645912 h 34 HYPERLINK l _Toc523645913 5.6組織管理 PAGEREF _Toc523645913 h 34 HYPERLINK l _Toc523645914 5.7統(tǒng)計報表 PAGEREF _Toc523645914 h 36 HYPERLINK l _Toc523645915 5.8告警管理 PAGEREF _Toc523645915 h 37 HYPERLINK l _Toc523645916 5.9日志管理 PAGEREF _Toc523645916 h 38 HYPERLINK l _Toc523645917 6.業(yè)務連續(xù)性方案 PAGER

11、EF _Toc523645917 h 38 HYPERLINK l _Toc523645918 6.1節(jié)點故障自動切換方案 PAGEREF _Toc523645918 h 42 HYPERLINK l _Toc523645919 6.2容災方案 PAGEREF _Toc523645919 h 43 HYPERLINK l _Toc523645920 7.數(shù)據(jù)備份和恢復方案 PAGEREF _Toc523645920 h 44 HYPERLINK l _Toc523645921 7.1內置分布式存儲備份方案 PAGEREF _Toc523645921 h 44 HYPERLINK l _Toc5

12、23645922 7.2外置傳統(tǒng)存儲備份方案 PAGEREF _Toc523645922 h 45 HYPERLINK l _Toc523645923 8.擴減容方案 PAGEREF _Toc523645923 h 46 HYPERLINK l _Toc523645924 8.1擴容方案 PAGEREF _Toc523645924 h 46 HYPERLINK l _Toc523645925 8.2減容方案 PAGEREF _Toc523645925 h 47 HYPERLINK l _Toc523645926 9.華為 SAP HANA數(shù)據(jù)庫基礎設施節(jié)點類型介紹 PAGEREF _Toc52

13、3645926 h 47 HYPERLINK l _Toc523645927 9.1管理節(jié)點 PAGEREF _Toc523645927 h 48 HYPERLINK l _Toc523645928 9.2CH222存儲節(jié)點（可選） PAGEREF _Toc523645928 h 48 HYPERLINK l _Toc523645929 9.3CH223存儲節(jié)點（可選） PAGEREF _Toc523645929 h 49 HYPERLINK l _Toc523645930 9.4計算節(jié)點 PAGEREF _Toc523645930 h 50 HYPERLINK l _Toc523645931

14、 9.5各類型節(jié)點配置原則 PAGEREF _Toc523645931 h 50 HYPERLINK l _Toc523645932 10.硬件設備E9000介紹 PAGEREF _Toc523645932 h 51 HYPERLINK l _Toc523645933 10.1E9000產(chǎn)品介紹 PAGEREF _Toc523645933 h 51 HYPERLINK l _Toc523645934 10.1.1產(chǎn)品定位 PAGEREF _Toc523645934 h 51 HYPERLINK l _Toc523645935 10.1.2技術優(yōu)勢 PAGEREF _Toc523645935 h

15、 52 HYPERLINK l _Toc523645936 10.2E9000系統(tǒng)架構 PAGEREF _Toc523645936 h 54 HYPERLINK l _Toc523645937 10.2.1概述 PAGEREF _Toc523645937 h 54 HYPERLINK l _Toc523645938 10.2.2計算系統(tǒng) PAGEREF _Toc523645938 h 55 HYPERLINK l _Toc523645939 10.2.3交換系統(tǒng) PAGEREF _Toc523645939 h 55 HYPERLINK l _Toc523645940 10.2.4管理&機電系統(tǒng)

16、 PAGEREF _Toc523645940 h 56 HYPERLINK l _Toc523645941 10.3E9000硬件描述 PAGEREF _Toc523645941 h 57 HYPERLINK l _Toc523645942 10.3.1功能 PAGEREF _Toc523645942 h 57 HYPERLINK l _Toc523645943 10.3.2外觀 PAGEREF _Toc523645943 h 57 HYPERLINK l _Toc523645944 10.3.3物理結構 PAGEREF _Toc523645944 h 60 HYPERLINK l _Toc5

17、23645945 10.4E9000產(chǎn)品特性 PAGEREF _Toc523645945 h 63 HYPERLINK l _Toc523645946 10.4.1計算/存儲/網(wǎng)絡融合 PAGEREF _Toc523645946 h 63 HYPERLINK l _Toc523645947 10.4.2靈活的資源配置 PAGEREF _Toc523645947 h 65 HYPERLINK l _Toc523645948 10.4.3豐富的加速部件 PAGEREF _Toc523645948 h 66 HYPERLINK l _Toc523645949 10.4.4優(yōu)秀的散熱設計 PAGERE

18、F _Toc523645949 h 66 HYPERLINK l _Toc523645950 10.4.5無源背板設計 PAGEREF _Toc523645950 h 67 HYPERLINK l _Toc523645951 10.4.6易部署 PAGEREF _Toc523645951 h 68 HYPERLINK l _Toc523645952 10.5SAP HANA數(shù)據(jù)庫基礎設施系列刀片 PAGEREF _Toc523645952 h 68 HYPERLINK l _Toc523645953 10.5.1基于Intel IvyBridge CPU的CH242 V3計算刀片 PAGERE

19、F _Toc523645953 h 68 HYPERLINK l _Toc523645954 10.5.2CH222管理刀片 PAGEREF _Toc523645954 h 69 HYPERLINK l _Toc523645955 10.5.3CH222存儲刀片 PAGEREF _Toc523645955 h 69 HYPERLINK l _Toc523645956 10.5.4CH223存儲刀片 PAGEREF _Toc523645956 h 69 HYPERLINK l _Toc523645957 10.6SAP HANA數(shù)據(jù)庫基礎設施系列交換板 PAGEREF _Toc523645957

20、 h 70 HYPERLINK l _Toc523645958 10.6.110GE/FCoE融合交換模塊CX311 PAGEREF _Toc523645958 h 70 HYPERLINK l _Toc523645959 10.6.2InfiniBand交換模塊CX611 PAGEREF _Toc523645959 h 71 HYPERLINK l _Toc523645960 11.本項目方案 PAGEREF _Toc523645960 h 72 HYPERLINK l _Toc523645961 11.1設備規(guī)劃 PAGEREF _Toc523645961 h 72 HYPERLINK l

21、 _Toc523645962 11.2部署規(guī)劃 PAGEREF _Toc523645962 h 73 HYPERLINK l _Toc523645963 11.2.1一框3*1TB典型配置（可選） PAGEREF _Toc523645963 h 73 HYPERLINK l _Toc523645964 11.2.2一框4*1TB典型配置（可選） PAGEREF _Toc523645964 h 75 HYPERLINK l _Toc523645965 11.2.3兩框6*1TB典型配置（可選） PAGEREF _Toc523645965 h 76 HYPERLINK l _Toc52364596

22、6 11.2.4兩框8*1TB典型配置（可選） PAGEREF _Toc523645966 h 78 HYPERLINK l _Toc523645967 11.2.5多框典型配置（可選） PAGEREF _Toc523645967 h 80 HYPERLINK l _Toc523645968 11.3與客戶網(wǎng)絡對接 PAGEREF _Toc523645968 h 82 HYPERLINK l _Toc523645969 11.4配置清單 PAGEREF _Toc523645969 h 82項目概述/（請刪除該行）XXX根據(jù)標書，描述對項目理解。下面正文是舉例，請根據(jù)具體項目進行修改。項目背景隨

23、著企業(yè)業(yè)務的發(fā)展，企業(yè)置身于激烈的商業(yè)競爭中。企業(yè)要想在競爭中立于不敗之地，需要迅捷的反應能力，決策者希望隨時隨地看到全業(yè)務的運營狀態(tài)分析數(shù)據(jù)。一般企業(yè)實施了ERP信息系統(tǒng)之后，會用一些商務智能分析軟件進行業(yè)務數(shù)據(jù)的抽取（從ERP、CRM、SCM以及其它自開發(fā)系統(tǒng)等數(shù)據(jù)源）、篩選、建模、重新創(chuàng)建出適用于企業(yè)管理的運營報表。但以前的模式由于數(shù)據(jù)處理速度太慢，基本是“白天跑業(yè)務，晚上抽數(shù)據(jù)，隔天看報表”的模式，不能滿足決策者“Anywhere Anytime”的要求，難于抓住瞬息萬變的商業(yè)機會。SAP 公司針對這種市場需求于2011年6月適時推出SAP HANA內存數(shù)據(jù)庫軟件平臺，這款數(shù)據(jù)庫軟件配

24、合經(jīng)過SAP公司認證的硬件基礎設施助力企業(yè)走上迅捷之路。實時復制近實時復制SLT復制服務器數(shù)據(jù)服務應用表視圖Web Intelligence水晶報表呈現(xiàn)SAP Business Objects水晶報表XXX企業(yè)已實施ERP、CRM、SCM等系統(tǒng)，計劃通過SAP HANA的實施來達到以下目的：簡化企業(yè)網(wǎng)應用平臺，為企業(yè)所有數(shù)據(jù)建立統(tǒng)一的分析平臺；將企業(yè)的業(yè)務數(shù)據(jù)徹底的從個系統(tǒng)解放出來，發(fā)揮最大的價值；向“迅捷型”企業(yè)邁進，實時管理、實時監(jiān)控、實時分析，AnyWhere AnyTime。項目需求需求描述納入SAP HANA的數(shù)據(jù)源/（刪除此行）需要根據(jù)具體項目修改XXX企業(yè)需要納入SAP HANA

25、的源數(shù)據(jù)詳細清單見下表：序號系統(tǒng)及描述是否新建數(shù)據(jù)量1ERP否3T2小計業(yè)務數(shù)據(jù)備份需求（可選）/（刪除此行）需要根據(jù)具體項目修改業(yè)務數(shù)據(jù)容災需求（可選）/（刪除此行）需要根據(jù)具體項目修改SAP HANA數(shù)據(jù)庫基礎設施解決方案優(yōu)勢采用SAP HANA數(shù)據(jù)庫基礎設施解決方案，有以下優(yōu)勢：技術優(yōu)勢SAP HANA數(shù)據(jù)庫基礎設施是基于內存運算的數(shù)據(jù)庫基礎設施。在華為創(chuàng)新的軟硬件平臺中，搭載業(yè)界領先的SAP HANA內存數(shù)據(jù)庫軟件，軟硬結合，為客戶帶來極速性能體驗。同時SAP HANA數(shù)據(jù)庫基礎設施基于融合基礎設施方案，簡化了管理。高可靠方案計算和存儲隔離，計算和存儲相互不影響，比IBM計算和存儲合一

26、架構，IBM計算和存儲故障相互影響，華為方案更可靠更可靠存儲：華為多機頭分布式存儲，單塊磁盤故障，多節(jié)點并行重構，重構時間15分鐘，友商需要10小時恢復1塊磁盤數(shù)據(jù)，20倍數(shù)據(jù)重構速度，存儲可靠性大幅提升。更安全：性能優(yōu)化華為HANA集群方案存儲和網(wǎng)絡設備上具備低延時和高帶寬特性，在復雜查詢與數(shù)據(jù)加載指標上，相對友商占有較大優(yōu)勢。大幅提升SAP HANA數(shù)據(jù)吞吐性能：華為目前是所有已認證SAP HANA廠家中唯一采用56Gbps Infiniband網(wǎng)絡作為存儲網(wǎng)絡，存儲網(wǎng)絡帶寬提升710倍。提升HANA數(shù)據(jù)庫加載性能60%：采用企業(yè)級分布式存儲引擎FusionStorage，分布式多機頭并發(fā)

27、讀寫能力突破傳統(tǒng)存儲SAN機頭讀寫瓶頸。提升ETL數(shù)據(jù)抽取入庫性能：大容量內存做cache和更低時延的56Gpbs Infini band網(wǎng)絡設備，數(shù)據(jù)持久化時延低至150s，低于業(yè)界平均時延50%-75%。易管理降低企業(yè)Opex支出：相對其它廠家采用傳統(tǒng)設備，系統(tǒng)集成復雜，加大了運維復雜度。而SAP HANA數(shù)據(jù)庫基礎設施基于融合基礎設施方案，支持預集成、預安裝，針對服務器、存儲和網(wǎng)絡設備集中監(jiān)控，和運維自動化措施，降低企業(yè)Opex30%以上。服務保障能力最佳的中國本土服務保障團隊HANA集群規(guī)模越大，因為性能和規(guī)模產(chǎn)生的問題會更復雜，友商國內服務團隊缺乏大規(guī)模HANA集群交付經(jīng)驗。而華為有

28、基于本土更強的故障響應、服務保障團隊。其它國外廠家復雜問題需要升級海外處理，響應不及時。全自研產(chǎn)品華為HANA集群涉及到的服務器、存儲、網(wǎng)絡，以及存儲軟件和管理軟件全自研，研發(fā)團隊在中國，能深入到軟硬件代碼級、操作系統(tǒng)源代碼級快速定位復雜問題，保障更快速定位復雜問題。投資保護高集成度，減少機房占用空間采用華為超級融合基礎設施FusionCube，使用高密刀片、內置高性能分布式存儲。相對友商機架服務器和外置SAN存儲方案，大幅減少客戶機房空間，減少機架占用空間50%75%。線性平滑擴容相對友商HP、dell擴容按柜或存儲按套擴容，華為HANA集群方案支持按單計算節(jié)點和存儲節(jié)點擴容，擴容更平滑。集

29、群拆分合并更平滑中石油后續(xù)有集群拆分合并需求，友商方案拆分新增集群時，需要新增單獨的計算或存儲設備，且拆分或者合并集群需要重新連線。而華為方案基于分布式架構，機箱交換，拆分合并更平滑，連線更簡單。商用案例國內唯一有超大規(guī)模HANA集群成功商業(yè)實踐經(jīng)驗的廠家華為在項目中積累了豐富的實施和運維經(jīng)驗。案例：中國石化9節(jié)點18T集群，SAP 中國研究院15節(jié)點30T集群，華為2套*16節(jié)點 16T集群，以供應鏈實時訂單分析為例，從之前查詢近兩個小時，優(yōu)化為5秒鐘。友商在國內普遍只有4節(jié)點集群商業(yè)交付案例。眾多行業(yè)大規(guī)模應用SAP HANA數(shù)據(jù)庫基礎設施目前已服務于能源、醫(yī)療、教育、咨詢、制造業(yè)、零售業(yè)

30、、政府和高科技、運營商等眾多行業(yè)客戶。SAP HANA數(shù)據(jù)庫基礎設施總體方案SAP HANA數(shù)據(jù)庫基礎設施方案架構SAP HANA的軟件架構如下圖：Persistence layerSAP HANA是一內存數(shù)據(jù)庫平臺，上圖紅色框內為SAP HANA數(shù)據(jù)庫軟件所涉及的組件，其它是周邊強關聯(lián)的系統(tǒng)。SAP HANA 組件必須運行在經(jīng)過SAP公司認證的基礎設施上。華為作為SAP的全球戰(zhàn)略合作伙伴，推出多種基于華為硬件的SAP HANA 一體機都獲得了SAP的認證。有基于華為RH5885機架式服務器實現(xiàn)的單機板，也有基于華為E9000刀片式服務器的多節(jié)點集群版本。多節(jié)點集群版本按持久化存儲的不同分為“

31、E9000刀片服務器+華為FusionStorage存儲”融合架構以及“E9000+SAN存儲”分離式架構兩種形態(tài)，根據(jù)本項目需求，采用E9000刀片服務器+華為FusionStorage存儲融合架構形態(tài)的多節(jié)點集群版本，以下稱作SAP HANA 一體機。SAP HANA數(shù)據(jù)庫基礎設施的總體架構如下圖：一體機管理FusionManager分布式塊存儲FusionStorage精簡配置負載均衡鏈式快照鏈接克隆故障恢復DHT自動化發(fā)送自動化運維服務模板容量管理性能報表APPAPPAPPAPP單點登錄操作維護計算/存儲/網(wǎng)絡融合設備統(tǒng)一硬件管理文件系統(tǒng)OCFS2XFSHANA DatabaseSAP

32、 HANA數(shù)據(jù)庫基礎設施基于華為的融合基礎設施（Huawei FusionCube Converged Infrastructure）FusionCube一體機，一體機是華為公司IT產(chǎn)品線云計算領域的旗艦產(chǎn)品。FusionCube遵循開放架構標準，于12U機框中融合刀片服務器、分布式存儲及網(wǎng)絡交換機為一體，無需外置存儲、交換機等設備，并預集成了分布式存儲引擎及管理軟件，資源可按需調配、線性擴展。計算/存儲/網(wǎng)絡融合設備：硬件設備使用E9000刀片服務器，采用計算、存儲、交換、電源模塊化設計，計算、存儲、網(wǎng)絡都在E9000框內部署完成，計算和存儲節(jié)點可按需靈活配置，支持豐富的交換模塊，如GE,1

33、0GE,FC,FCoE,IB等。每框E9000服務器內置8個計算或存儲節(jié)點。計算配置4路E7-4880或4890 V2 CPU，配以1T或2T大內存，提供高性能的計算。提供兩種存儲節(jié)點，一種存儲節(jié)點采用快速響應的PCIe SSD卡，配以處于內存位置的NVDIMM 提供寫緩存，將Log卷建在SSD卡組成的資源池上，保證低時延的Log數(shù)據(jù)寫入；另一種存儲節(jié)點采用SAS硬盤做主存，配以2.4TB大容量PCIe SSD卡提供讀寫緩存，將Data卷建在SAS盤組成的資源池上，既保證了大的存儲容量也保證了高存儲帶寬。計算節(jié)點與存儲節(jié)點間采用高帶寬低時延的IB網(wǎng)絡，保證數(shù)據(jù)加載時有極高的I/O吞吐量。Fus

34、ionStorage：使用分布式塊存儲技術，通過合理有序將存儲刀片服務器的本地硬盤組織成共享的資源池，提供高性能高可靠的塊存儲業(yè)務。分布式存儲的資源池為每個工作節(jié)點提供數(shù)據(jù)卷，當工作節(jié)點故障需要切換到備用節(jié)點時，這些數(shù)據(jù)卷被掛載到備用節(jié)點，為業(yè)務持續(xù)性提供保障。FusionManager：負責云平臺資源管理、彈性調度以及操作維護等綜合管理功能，是云平臺管理的核心，提供基于web的統(tǒng)一維護界面；整個系統(tǒng)的業(yè)務通過云管理FusionManager呈現(xiàn)；用戶管理、集群管理、業(yè)務模板管理、虛擬機管理、桌面發(fā)放、統(tǒng)一硬件管理、告警、監(jiān)控等功能均由FusionManager對外提供。文件系統(tǒng)：為實現(xiàn)與SA

35、P HANA數(shù)據(jù)庫層的接口對接，華為適配了XFS本地文件系統(tǒng)。XFS和FusionStorage的結合使得華為可以提供基于塊接口的存儲，由于無需采用NFS，獲得極高的性能和可靠性。SAP HANA數(shù)據(jù)庫基礎設施具有高帶寬、低時延的網(wǎng)絡和存儲，高性能及高可靠的計算，同時提供簡捷的統(tǒng)一管理。集群方案為了保證SAP HANA業(yè)務的持續(xù)性，必須具備節(jié)點失效自動切換功能。這種方案將HANA安裝在至少兩個的多個節(jié)點上，一個主節(jié)點和若干個從節(jié)點組成工作節(jié)點，一個或多個備用節(jié)點；當主節(jié)點或者從節(jié)點發(fā)生單點故障時，備用節(jié)點能識別并自動從備用狀態(tài)轉到運行狀態(tài)，代替失效的節(jié)點。SAP HANA數(shù)據(jù)庫基礎設施采用計算

36、和存儲物理上分離的集群架構，邏輯架構圖如下：管理節(jié)點內部互聯(lián)網(wǎng)絡備用節(jié)點活動節(jié)點日志持久化層（SSD/HDD）數(shù)據(jù)持久化層（HDD）。HANA DB內存計算集群活動節(jié)點高性能存儲集群。共享存儲NAS計算存儲分離架構：多個工作節(jié)點及可選的多個備用節(jié)點構成HANA集群，多個存儲節(jié)點組成存儲集群，HANA集群與存儲集群之間通過NAS共享文件系統(tǒng)與分布式塊存儲聯(lián)系。Log卷和Data卷邏輯上分開部署。Log卷創(chuàng)建在PCIe SSD構成的存儲節(jié)點上，DATA卷創(chuàng)建在SAS盤構成的存儲節(jié)點上，Share卷創(chuàng)建在NAS存儲上。采用分離架構具有如下優(yōu)點：充分利用E7刀片關鍵資源：由于計算節(jié)點上沒有太多的存儲軟

37、件在運行，昂貴的E7 CPU資源能都被SAP HANA數(shù)據(jù)庫使用，確保SAP HANA數(shù)據(jù)庫性能；故障隔離能力好：計算節(jié)點和存儲節(jié)點互相不影響；例如存儲節(jié)點如果故障一個，需要進行數(shù)據(jù)重建時CPU占用大，但由于重建動作不在SAP HANA刀片上，因此，不會影響SAP HANA性能；擴容靈活性好：華為采用刀片形式構筑存儲池，隨著計算節(jié)點能力增加（例如CPU更新?lián)Q代、增加內存容量、增加HANA節(jié)點等），都可以通過增加存儲刀片的形式簡單完成；而且，不管計算部分的HANA節(jié)點如何變化，原有的存儲刀片都可以繼續(xù)使用。數(shù)據(jù)持久化方案 數(shù)據(jù)持久化方案SAP HANA數(shù)據(jù)庫正常運行時所有數(shù)據(jù)都在內存中，為保證系

38、統(tǒng)掉電重啟后系統(tǒng)還能夠運行，內存數(shù)據(jù)必須進行持久化保存。其原理如下圖所示：分為2種持久化數(shù)據(jù)：Log: 這是關于數(shù)據(jù)改變的信息，即redo日志信息，這些信息在事務完成后直接寫入持久化介質，根據(jù)SAP的要求，Log的存儲介質缺省采用SSD卡，也可以采用SAS盤。Log區(qū)域空間被占滿后，會將Log備份寫到Data的區(qū)域，然后再重復寫Log區(qū)域；Data:這包括 SQL數(shù)據(jù)、undo日志信息、附加的SAP HANA信息（例如建模數(shù)據(jù)）。根據(jù)SAP的要求，推薦采用HDD作為存儲介質，也可以采用SSD卡作為存儲介質。寫操作：Log: 是一種同步操作。即在一個事務完成后，必須寫Log成功完成后，SAP H

39、ANA數(shù)據(jù)庫才會給用戶返回成功，因此這個寫動作會直接影響到SAP HANA數(shù)據(jù)庫的性能；Data: 是一種異步操作。一般是每5分鐘自動寫一次，間隔時間可以設置。采用Savepoint的方式，采用增量的方式，寫入的是改變數(shù)據(jù)和undo日志信息。每一次需要寫的時候由內存變化的數(shù)據(jù)決定，SAP公司對文件系統(tǒng)層以下的寫帶寬有要求，以最常見的1M塊為例，最低要求是200MB/S。當?shù)讓佑布霈F(xiàn)故障，無法寫入時，需要SAP HANA軟件進行提供和告警。 由于Log是同步寫，會直接影響SAP HANA數(shù)據(jù)庫的性能，為保證SAP HANA內存數(shù)據(jù)庫的高性能，要求同步寫動作盡可能快。 數(shù)據(jù)持久化介質基于E7V1

40、的華為512G的集群方案采用全SSD方案作為持久化介質，即無論是Log還是Data，主存都是SSD卡?；贓7V2的華為集群方案（包括512G，1T兩種規(guī)格）的Log持久化介質缺省采用SSD，也可以采用SAS盤； Data持久化介質采用SAS盤。SAP HANA數(shù)據(jù)庫基礎設施采用華為公司自研的ES3000 PCI-E SSD卡。華為ES3000 PCI-E SSD卡是業(yè)內最快的PCI-E SSD卡，由國際權威存儲設備評測機構StorageReview評測：ES3000 OLPT 性能比Fusion-IO高16%，平均響應時間節(jié)省14%。 Cache加速機制華為采用自研的NVDIMM不掉電內存條

41、作為緩存，進一步提高同步寫Log的性能，在SAP SAP HANA的認證中取得了優(yōu)異地寫時延性能。NVDIMM是華為公司自研的不掉電的DIMM條，能獲得和內存一樣的讀寫性能。理論上，將把SSD卡8us的訪問時延，降低到200ns，降低40倍；SAP HANA數(shù)據(jù)庫基礎設施組網(wǎng)方案SAP HANA數(shù)據(jù)庫基礎設施的各種節(jié)點放置在框內，框內網(wǎng)絡扣卡通過背板分別連交換板。目前支持的規(guī)模最大為5框，單框時直接從交換板上行，多框時交換板在框間級聯(lián)方式進行框間組網(wǎng)，不用外接交換機?？騼雀鞴?jié)點組網(wǎng)管理節(jié)點框內組網(wǎng)：存儲節(jié)點框內組網(wǎng)：CH242 V3計算節(jié)點框內組網(wǎng)：一框組網(wǎng)（可選）E9000_0管理+4計算+

42、3存儲16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GE4xFDR224x10GE4x1GE1111FC Switch基本框XCUB使用CX311基本框預留FC接口，可能外接FC交換機或者FCSAN說明：1、起步配置為：1管理+3存儲+2 HANA；2、采用外置NAS作為共享存儲。3、擴容步長為1個HANA節(jié)點，或者1個存儲節(jié)點（若是新增1個存儲資源池，則存儲節(jié)點至少需為3個） ；4、第一框標準配置為1個管理+4個HANA+3個存儲 ；5、單框對外出2*10GE到管理， 2*10GE到ERP復制

43、，2*10GE到Client，2*10GE到容災；HANA管理和FusionCube一體機外部管理合并 ；6、單框內服務器板間存儲通信帶寬為8*56Gb/2=224Gb；當全部交叉雙點故障時通信帶寬為4*56Gb=224Gb，不影響業(yè)務。兩框組網(wǎng)（可選）E9000_0管理+4計算+3存儲16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GEE9000_14計算+4存儲16x10GE16x10GE18x56Gb18x56Gb42248x10GE2222224x10GE4x1GE1111FC Switc

44、h基本框XCUB使用CX311基本框預留FC接口，可能外接FC交換機或者FCSAN說明： 1、采用外置NAS作為共享存儲。2、基本框做匯聚，同時對外提供上行接口；3、兩框之間的IB連接采用交叉互連，每IB交換板外出6*56Gb的端口，分為4+2與另一框互連；4、兩框 之間的10GE采用80GE互連，每10GE交換板出4*10GE的端口，分為2+2與另一框互連。三框組網(wǎng)（可選）E9000_0管理+4計算+3存儲16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GEE9000_14計算+4存儲16x10

45、GE16x10GE18x56Gb18x56Gb42248x10GEE9000_24計算+4存儲16x10GE16x10GE18x56Gb18x56Gb448x10GE222222222224x10GE4x1GE1111基本框XCUB使用CX311FC Switch基本框預留FC接口，可能外接FC交換機或者FCSAN說明： 采用外置NAS作為共享存儲?；究蜃鰠R聚，同時對外提供上行接口；擴展框與基本框之間的IB連接采用交叉互連，每IB交換板外出6*56Gb的端口，分為4+2與另一框互連；擴展框與基本框之間的10GE采用80GE互連，每10GE交換板出4*10GE的端口，分為2+2與另一框互連。多

46、框組網(wǎng)（可選）最大規(guī)格5框時組網(wǎng)方案如下：框間IB互聯(lián)：第1框和第2框作為IB的匯接框，后三框與這2框進行IB全互聯(lián)；每個框每個IB交換板出8根IB線與前2框相連。框間10GE互連：第1框作為10GE網(wǎng)絡的中心交換框；其他所有框的Ethernet網(wǎng)絡與之連接；前4框都包含有HANA節(jié)點，每個框最大4個HANA節(jié)點，提供主備平面共8*10GE與第1框相連，確保每個HANA節(jié)點有充足的10GE連接；第5框沒有HANA節(jié)點，僅需要2*10GE與第1框相連，作為FusionCube融合架構的管理平面；所有框間連接線采用交叉連接，以保證框間網(wǎng)絡交叉故障時系統(tǒng)仍然可用；系統(tǒng)外出連線：第1框作為基本框，提供

47、(3+3)*10GE的連接。其中1個作為業(yè)務連接線、1個作為數(shù)據(jù)復制線（包括數(shù)據(jù)復制導入、容災復制導出、備份和容災）、1個管理連線（包括HANA Studio管理、FusionCube管理、HANA Client等）單框組網(wǎng)：單框不需要框間互聯(lián)，其它與多框的第一框一樣，從位于X2/X3位置的10GE交換板外出上行線。高性能分布式存儲系統(tǒng)SAP HANA數(shù)據(jù)庫基礎設施采用FusionStorage作為存儲系統(tǒng)，華為FusionStorage采用創(chuàng)新的分布式軟件架構，以高性能、高可靠、高擴展為設計理念，充分滿足SAP HANA數(shù)據(jù)庫對高性能、高可靠的業(yè)務需求。產(chǎn)品形態(tài)介紹產(chǎn)品特點華為FusionS

48、torage是一個分布式存儲軟件，在通用x86服務器上部署該軟件把所有服務器的本地硬盤組織成一個虛擬存儲資源池，提供塊存儲功能。FusionStorage分布式存儲軟件系統(tǒng)具有如下特點：領先的分布式架構。FusionStorage存儲軟件的采用全分布式的架構：分布式管理集群，分布式哈希數(shù)據(jù)路由算法，分布式無狀態(tài)機頭、分布式智能Cache等，這種架構使得整個存儲系統(tǒng)沒有單點故障。 高性能和高可靠性。FusionStorage存儲軟件在所有磁盤中實現(xiàn)負載的均衡，數(shù)據(jù)打散存放，不會出現(xiàn)熱點，高效的路由算法和分布式Cache技術保證了高性能。FusionStorage支持多個數(shù)據(jù)副本，每個副本分配在不

49、同服務器/不同磁盤上，單個硬件設備的故障不影響業(yè)務。同時FusionStorage的強一致性復制技術確保各個數(shù)據(jù)副本的一致性。并行快速故障重建。數(shù)據(jù)分片在資源池內打散，硬盤故障后，可在全資源池范圍內自動并行重建，重建效率高。易擴展和超大容量。FusionStorage的分布式無狀態(tài)機頭可橫向擴展，存儲與計算同步平滑擴容，支持非煙囪式超大容量擴展。計算存儲深度融合。FusionStorage存儲軟件部署在掛載本地硬盤的服務器上，把各服務器的本地硬盤組織成一個虛擬的資源池，替代外置的存儲設備，天然支持計算和存儲設備的高度融合。虛擬資源池FusionStorage把所有服務器的本地硬盤組織成若干個資

50、源池，基于資源池提供創(chuàng)建/刪除應用卷（Volume）、創(chuàng)建/刪除快照等接口，為上層軟件提供卷設備功能。FusionStorage資源池具有如下特點：每塊硬盤分為若干個數(shù)據(jù)分片（Partition），每個Partition只屬于一個資源池，Partition是數(shù)據(jù)多副本的基本單位，也就是說多個數(shù)據(jù)副本指的是多個Partition。系統(tǒng)自動保證多個數(shù)據(jù)副本分布在不同的服務器上。系統(tǒng)自動保證多個數(shù)據(jù)副本之間的數(shù)據(jù)強一致性。Partition中的數(shù)據(jù)以Key-Value的方式存儲。對上層應用提供卷設備（Volume），沒有LUN的概念，使用簡單。系統(tǒng)自動保證每個硬盤上的Partition數(shù)量是相當?shù)模?/p>

51、避免出現(xiàn)集中的熱點。所有硬盤都可用作資源池的熱備盤，在2副本場景下，單個資源池最大支持96塊硬盤。功能框架FusionStorage采用分布式集群控制技術和分布式Hash數(shù)據(jù)路由技術，提供分布式存儲功能特性。FusionStorage功能架構圖如下所示：FusionStorage功能模塊存儲接口層：通過SCSI驅動接口向操作系統(tǒng)、數(shù)據(jù)庫提供卷設備。存儲服務層：提供各種存儲高級特性，如快照、鏈接克隆、精簡配置、分布式cache、容災備份等。存儲引擎層：FusionStorage存儲基本功能，包括管理狀態(tài)控制、分布式數(shù)據(jù)路由、強一致性復制技術、集群故障自愈與并行數(shù)據(jù)重建子系統(tǒng)等。存儲管理層：實現(xiàn)F

52、usionStorage軟件的安裝部署、自動化配置、在線升級、告警、監(jiān)控和日志等OM功能，同時對用戶提供Portal界面。應用場景FusionStorage是一款尤其適合計算和存儲融合的系統(tǒng)，例如華為FusionCube融合基礎設施。傳統(tǒng)的虛擬化方式是在相互分離的計算、存儲和網(wǎng)絡設備上疊加了一層虛擬化軟件。這種方式雖然可以提升資源利用率，但是由于系統(tǒng)的復雜性，并不能簡化各類基礎設施的運維成本。華為FusionCube真正實現(xiàn)了計算、存儲和網(wǎng)絡設備的深度融合，硬件設備與虛擬化軟件平臺的一體化。FusionCube采用FusionStorage把計算服務器的本地硬盤組織成一個類似SAN設備的虛擬存

53、儲池，對上層應用提供存儲功能。FusionStorage在FusionCube場景中的上下文環(huán)境如下圖所示：FusionStorage上下文環(huán)境FusionStorage替代了傳統(tǒng)的外置存儲設備，適合使用FusionStorage的應用場景：VDI、OA應用。其典型特點是：容量共享精簡分配、性能共享分時復用、計算和存儲配比相對均衡、成本性價比要求高。虛擬化環(huán)境混合應用。其典型特點是：容量共享需求明顯、多應用混合負載、線性擴展。OLAP應用。其典型特點是：大并發(fā)吞吐量，計算和存儲帶寬要求高。OLTP應用。其典型特點是：IOPS并發(fā)度高。FusionStorage應用場景產(chǎn)品特性介紹性能卓越Fus

54、ionStorage通過創(chuàng)新的架構把分散的、低速的SATA/SAS機械硬盤組織成一個高效的類SAN存儲池設備，提供比SAN設備更高的IO，把性能發(fā)揮到了極致。FusionStorage支持使用SSD替代HDD作為高速存儲設備，支持使用Infiniband網(wǎng)絡替代GE/10GE網(wǎng)絡提供更高的帶寬，為對性能要求極高的大數(shù)據(jù)量實時處理場景提供完美的支持。分布式機頭FusionStorage采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上軟件機頭只占用較少的CPU資源，提供比集中式機頭更高的IOPS。分布式緩存FusionStorage實現(xiàn)了計算和存儲的融合，緩

55、存和帶寬都均勻分布到各個服務器節(jié)點上。FusionStorage集群內各服務器節(jié)點的硬盤使用獨立的I/O帶寬，不存在獨立存儲系統(tǒng)中大量磁盤共享計算設備和存儲設備之間有限帶寬的問題。FusionStorage支持將服務器部分內存用作讀緩存，NVDIMM和SSD卡用作寫緩存，數(shù)據(jù)緩存均勻分布到各個節(jié)點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的SATA硬盤，F(xiàn)usionStorage仍然可以發(fā)揮很高的IO性能，整體性能提升13倍，同時提供更大的有效容量。FusionStorage支持PCIe SSD用作數(shù)據(jù)緩存，除具備通常的寫緩存外，增加熱點數(shù)據(jù)統(tǒng)計和緩存功能，加

56、上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。FusionStorage 計算和存儲融合全局負載均衡FusionStorage的實現(xiàn)機制保證了上層應用對數(shù)據(jù)的IO操作均勻分布在不同服務器的不同硬盤上，不會出現(xiàn)局部的熱點，實現(xiàn)全局復負載均衡。第一，系統(tǒng)自動將數(shù)據(jù)塊打散存儲在不同服務器的不同硬盤上，冷熱不均的數(shù)據(jù)會均勻分布在不同的服務器上，不會出現(xiàn)集中的熱點。第二，數(shù)據(jù)分片分配算法保證了主用副本和備用副本在不同服務器和不同硬盤上的均勻分布，換句話說，每塊硬盤上的主用副本和備副本數(shù)量是均勻的。第三，擴容節(jié)點或者故障減容節(jié)點時，數(shù)據(jù)恢復重建算法保證了重建后系統(tǒng)中各節(jié)點負載的均衡性。分布式SSD存儲Fusio

57、nStorage支持為高性能應用設計的分布式SSD存儲系統(tǒng)，擁有比傳統(tǒng)的機械硬盤（SATA/SAS）更高的讀寫性能。華為SSD卡具有如下特點高帶寬：采用PCIe 2.0 x8的接口，提供高達3.0GB的讀/寫帶寬。高IO：4KB數(shù)據(jù)塊，100隨機，提供高達600K的持續(xù)隨機讀IOPS和220K的持續(xù)隨機寫IOPS。FusionStorage分布式SSD存儲系統(tǒng)通過以下措施增強了可靠性：內嵌的ECC檢錯/糾錯引擎和RAID5引擎, 數(shù)據(jù)通道間形成二維的檢錯/糾錯機制。內置DATA Scrubbing引擎定時檢測存儲數(shù)據(jù)，提前預防數(shù)據(jù)錯誤的產(chǎn)生。通道間使用Dynamic RAID算法，實現(xiàn)通道間的

58、資源共享，確保在芯片壞塊過多甚至是多個芯片故障的情況下均能正常工作。內部實現(xiàn)冷熱數(shù)據(jù)分類與管理，配合先進的磨損算法，最大程度上提升回收效率，降低寫磨損，從而提升SSD的使用壽命。FusionStorage 支持分布式SSD存儲系統(tǒng)高性能快照FusionStorage提供了快照機制，將用戶的邏輯卷數(shù)據(jù)在某個時間點的狀態(tài)保存下來，后續(xù)可以作為導出數(shù)據(jù)、恢復數(shù)據(jù)之用。FusionStorage快照數(shù)據(jù)基于DHT機制，快照不會引起原卷性能下降。通過一次Hash查找即可判斷有沒有做過快照，以及最新快照的存儲位置，因此效率很高。FusionStorage 快照高性能鏈接克隆FusionStorage基于增

59、量快照提供了鏈接克隆機制，基于一個快照創(chuàng)建出多個克隆卷，各個克隆卷剛創(chuàng)建出來時的數(shù)據(jù)內容與快照中的數(shù)據(jù)內容一致，后續(xù)對于克隆卷的修改不會影響到原始的快照和其他克隆卷。FusionStorage支持1:256的鏈接克隆比，提升存儲空間利用率。FusionStorage支持批量進行虛擬機卷部署，能夠在秒級批量創(chuàng)建上百個虛擬機卷?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢復以及再次作為母卷進行克隆操作。FusionStorage 鏈接克隆高速Infiniband網(wǎng)絡FusionStorage支持為高帶寬應用設計的Infiniband網(wǎng)絡，存儲交換無瓶頸。56Gbps FDR Infin

60、iBand，超高速互聯(lián)。標準成熟多級胖樹組網(wǎng)，平滑容量擴容。近似無阻塞通信網(wǎng)絡，數(shù)據(jù)交換無瓶頸。納秒級通信時延，計算存儲信息及時傳遞。無損網(wǎng)絡QOS，數(shù)據(jù)傳送無丟失。主備端口多平面通信，冗余通信無憂。單口56Gbps帶寬，完美配合極速SSD存儲吞吐，性能無限。高可靠集群管理FusionStorage分布式存儲軟件采用集群管理方式，不會出現(xiàn)單點故障，一個節(jié)點或者一塊硬盤故障自動從集群內隔離出來，不影響整個系統(tǒng)業(yè)務的使用。集群內選舉進程Leader，Leader負責數(shù)據(jù)存儲邏輯的處理，當Leader出現(xiàn)故障，系統(tǒng)自動選舉其他進程成為新的Leader。多數(shù)據(jù)副本FusionStorage存儲系統(tǒng)中沒