SAPHANA一體機技術(shù)白皮書(分布式存儲)

1、華為SAP HANA一體機技術(shù)白皮書-集群版（分布式存儲）文檔版本V1.0發(fā)布日期2014-01-26華為技術(shù)有限公司版權(quán)所有 © 華為技術(shù)有限公司 2013。 保留一切權(quán)利。非經(jīng)本公司書面許可，任何單位和個人不得擅自摘抄、復制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。商標聲明和其他華為商標均為華為技術(shù)有限公司的商標。本文檔提及的其他所有商標或注冊商標，由各自的所有人擁有。注意您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定，華為公司對本文檔內(nèi)容不做任何明示或暗示的聲明或保證。由于

2、產(chǎn)品版本升級或其他原因，本文檔內(nèi)容會不定期進行更新。除非另有約定，本文檔僅作為使用指導，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔保。華為技術(shù)有限公司地址：深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址：文檔版本V1.1 (2013-05-0812)華為專有和保密信息 版權(quán)所有 © 華為技術(shù)有限公司13華為FusionCube虛擬化一體機 技術(shù)白皮書-集群版（分布式存儲）前 言前 言修改記錄日期修訂版本描述作者2013-01-260.9初稿閔小勇001186972013-04-101.0評審修改稿閔小勇00118697華為FusionCube虛擬化一體機 技術(shù)白皮

3、書-集群版（分布式存儲）目 錄目 錄前 言ii1 SAP HANA概述11.1 什么是SAP HANA一體機11.2 SAP HANA應(yīng)用場景21.3 SAP HANA一體機上下文31.4 本文范圍42 華為SAP HANA一體機概述42.1 華為FusionCube SAP HANA一體機42.2 華為FusionCube SAP HANA一體機銷售形態(tài)52.3 SAP HANA一體機軟硬件架構(gòu)52.3.1 SAP HANA一體機集群架構(gòu)52.3.2 SAP HANA一體機部署架構(gòu)82.3.3 SAP HANA一體機軟件架構(gòu)93 FusionCube SAP HANA一體機系統(tǒng)組成113.1

4、 系統(tǒng)總體架構(gòu)113.2 計算存儲網(wǎng)絡(luò)融合設(shè)備133.2.1 E9000高密度機框133.2.2 E9000高密度刀片133.2.3 E9000高性能交換173.3 高性能分布式存儲子系統(tǒng)193.3.1 高性能快照203.3.2 高性能鏈接克隆213.3.3 自動精簡配置213.4 基礎(chǔ)設(shè)施統(tǒng)一管理平臺223.4.1 概述223.4.2 實現(xiàn)架構(gòu)233.4.3 接口及協(xié)議253.4.4 特點253.5 FusionCube SAP HANA一體機系統(tǒng)特點254 FusionCube SAP HANA一體機關(guān)鍵方案274.1 集群方案274.2 數(shù)據(jù)持久化方案284.2.1 數(shù)據(jù)持久化原理284

5、.2.2 數(shù)據(jù)持久化介質(zhì)294.2.3 Cache加速機制304.3 業(yè)務(wù)連續(xù)性保證304.3.1 HA概述304.3.2 Host Auto-failover:節(jié)點自動切換方案334.3.3 Backups:數(shù)據(jù)備份和恢復方案354.3.4 Disaster recovery：容災(zāi)方案354.4 組網(wǎng)方案384.4.1 網(wǎng)絡(luò)互聯(lián)方案384.4.2 端口及Bond方案404.4.3 組網(wǎng)方案特點424.5 擴減容支持424.5.1 擴容支持424.5.2 減容支持434.6 其他方案444.6.1 統(tǒng)一管理方案444.6.2 虛擬化支持方案444.6.3 兼容性444.6.4 數(shù)據(jù)加載能力45

6、5 FusionCube SAP HANA一體機規(guī)格455.1 SAP HANA一體機交付范圍455.2 SAP HANA一體機系統(tǒng)規(guī)格465.3 SAP HANA一體機性能規(guī)格486 FusionCube SAP HANA一體機配置496.1 SAP HANA一體機配置原則496.2 SAP HANA一體機配置計算方法516.2.1 輸入信息516.2.2 計算節(jié)點個數(shù)計算526.2.3 存儲節(jié)點個數(shù)計算536.2.4 網(wǎng)絡(luò)連線個數(shù)計算586.3 SAP HANA一體機配置速查596.3.1 典型配置推薦596.3.2 按照內(nèi)存量配置626.3.3 按照機框數(shù)配置637 FusionCube

7、 SAP HANA一體機路標648 術(shù)語65華為FusionCube虛擬化一體機 技術(shù)白皮書-集群版（分布式存儲）Error! No text of specified style in document.Error! No text of specified style in document.1 SAP HANA概述數(shù)字化浪潮正在開始席卷這個星球，如何實時快速處理巨大的數(shù)據(jù)量，需要一種創(chuàng)新性的處理設(shè)備，SAP HANA一體機就是這樣一種設(shè)備。本文檔描述了基于華為FusionCube的SAP HANA一體機架構(gòu)、軟硬件及其配置形態(tài)，本文檔供銷售工程師、渠道商、高級業(yè)務(wù)經(jīng)理以及希望用Fusio

8、nCube部署高性能數(shù)據(jù)處理設(shè)施的客戶。1.1 什么是SAP HANA一體機SAP HANA是SAP公司于2011/06年推出的內(nèi)存數(shù)據(jù)庫軟件平臺產(chǎn)品。SAP HANA一體機是將SAP HANA數(shù)據(jù)庫軟件和經(jīng)過SAP認證的硬件基礎(chǔ)設(shè)施結(jié)合而形成的一體機產(chǎn)品，其主要目標市場是數(shù)據(jù)倉庫市場（OLAP），支撐企業(yè)進行實時的數(shù)據(jù)分析；同時，也支持交易式數(shù)據(jù)處理市場（OLTP）：l SAP HANA是SAP提供的內(nèi)存數(shù)據(jù)庫平臺 ；l 一般以軟件+硬件+管理的一體機形式交付； l 交付主要由經(jīng)過認證的硬件合作伙伴提供； l 適用于OLAP類型應(yīng)用，也可以用于OLTP；l SAP提供豐富的周邊應(yīng)用軟件，包括

9、數(shù)據(jù)復制、BI等 ；l 向應(yīng)用層提供SQLMDXBICS接口； (MDX: Multi dimension expression, BICS: Business Intelligence Consumer Services)l 提供多種數(shù)據(jù)導入的方式； l SAP歷史上增長最快的產(chǎn)品； l 世界上最快的數(shù)據(jù)庫，根據(jù)已經(jīng)上線的2000多個例子，比客戶原數(shù)據(jù)庫系統(tǒng)快成百上千、甚至上萬倍；圖1-1 SAP HANA簡介1.2 SAP HANA應(yīng)用場景圖1-2 SAP HANA應(yīng)用場景簡介SAP HANA可以應(yīng)用于多個場景：l SAP HANA作為其他數(shù)據(jù)庫的加速器；l SAP HANA直接作為報表分

10、析的數(shù)據(jù)源；l SAP HANA直接用作OLAP分析型數(shù)據(jù)倉庫：l SAP HANA直接作為OLTP套件的數(shù)據(jù)庫：l SAP HANA直接作為SAP公司統(tǒng)一的數(shù)據(jù)庫平臺；1.3 SAP HANA一體機上下文圖1-3 SAP HANA上下文n Data Sources和Data Services： 負責向SAP HANA提供分析數(shù)據(jù)，有些數(shù)據(jù)（SAP ERP System）可以直接通過Replication Agent直接導入到SAP HANA，有些數(shù)據(jù)（SAP BW System和第三方系統(tǒng)）需要通過Data Services軟件轉(zhuǎn)換后導入SAP HANA。n SAP HANA Applian

11、ce: 提供內(nèi)存數(shù)據(jù)庫的實現(xiàn)，進行數(shù)據(jù)的存儲、查詢、計算。n Admin Workstations：是SAP HANA系統(tǒng)管理員的客戶端，可以通過SAP HANA Studio等軟件來管理和使用SAP HANA系統(tǒng)。n End Users WorkStations：是SAP HANA系統(tǒng)的終端用戶客戶端, 終端用戶可以通過Excel、Web BI等形式來管理和使用SAP HANA系統(tǒng)。n SAP HANA Database client提供JDBC、ODBC、ODBO、SQL DBC等接口，使得各應(yīng)用軟件可以以標準的SQL形式訪問到SAP HANA數(shù)據(jù)庫1.4 本文范圍華為 SAP HANA一

12、體機包括單機版(Single Node)和集群版(Scale Out)：l 單機版本，參見華為SAP HANA一體機技術(shù)白皮書-單機版l 集群版本的HANA一體機叫做華為FusionCube SAP HANA一體機，其中集群版又包括兩種：l 基于分布式存儲的集群版本；如果無特別說明，本文范圍都是指基于分布式存儲的SAP HANA一體機的集群版本，有時候也叫做基于融合架構(gòu)的SAP HANA一體機集群版本；l 基于SAN存儲的集群版本；參見華為SAP HANA一體機技術(shù)白皮書-集群版（SAN存儲）；2 華為SAP HANA一體機概述2.1 華為FusionCube SAP HANA一體機華為作為S

13、AP 的全球戰(zhàn)略合作伙伴，聯(lián)合推出了基于華為硬件平臺的SAP HANA一體機，我們都統(tǒng)稱為華為SAP HANA一體機。單機版本基于華為RH5885機架式服務(wù)器實現(xiàn)，華為已經(jīng)通過了全系列的單機版SAP HANA一體機認證（包括XS/S/M/L/L+系列）；集群版本基于華為的FusionCube刀片式服務(wù)器，統(tǒng)稱為華為FusionCube SAP HANA一體機（本文后面也簡稱為華為SAP HANA一體機），目前有2種實現(xiàn)方式，包括： l 融合架構(gòu)方案：E9000+FusionStoragel SAN存儲方案：E9000+IPSAN本文檔描述的是基于E9000+FusionStorage的Fusi

14、onCube SAP HANA一體機集群方案?；谌诤霞軜?gòu)的華為SAP HANA一體機由SAP HANA內(nèi)存數(shù)據(jù)庫軟件和華為的E9000基礎(chǔ)設(shè)施組成。通過采用分布式存儲、高速SSD卡、一體化的安裝和集成等技術(shù)，從而提供高密度、高性能、高性價比的SAP HANA一體機解決方案。說明：在華為FusionCube系列一體機產(chǎn)品中，SAP HANA一體機屬于數(shù)據(jù)庫基礎(chǔ)設(shè)施的一種。數(shù)據(jù)庫基礎(chǔ)設(shè)施在安裝不同數(shù)據(jù)庫軟件的時候，可以分別叫Oracle RAC(Real-time application Cluster)數(shù)據(jù)庫一體機、SybaseIQ數(shù)據(jù)庫一體機、SAP HANA數(shù)據(jù)庫一體機等。2.2 華為Fu

15、sionCube SAP HANA一體機銷售形態(tài)華為SAP HANA一體機主要屬于被集成的銷售形式，即由渠道商/分銷商作為主界面與客戶進行合同簽訂，華為提供SAP HANA一體機設(shè)備；根據(jù)與SAP的合同約定，華為提供SAP HANA一體機硬件設(shè)施部分的原廠服務(wù)；華為SAP HANA集群方案有2種節(jié)點型號，分別是512G內(nèi)存的節(jié)點（稱為M型節(jié)點，即中型節(jié)點）和1T內(nèi)存的節(jié)點（稱為L型節(jié)點，即大型節(jié)點）；SAP HANA銷售時根據(jù)用戶的源數(shù)據(jù)量，用戶選擇的節(jié)點型號，就可以計算出用戶需要多大規(guī)模的集群。SAP HANA以64G內(nèi)存為單位進行軟件License的銷售。硬件另外銷售，不包含在SAP HA

16、NA數(shù)據(jù)庫軟件License里面。硬件伙伴銷售的范圍包括：硬件設(shè)備（計算、存儲、網(wǎng)絡(luò)）、硬件設(shè)備的服務(wù)、OS。用戶購買華為SAP HANA一體機需要獲得2個License許可：l SAP HANA軟件License：按照內(nèi)存大小收費；此License可以由用戶直接向SAP 購買；l FusionStorage軟件License：按照磁盤存儲容量大小收費，按照每T的收費形式；2.3 SAP HANA一體機軟硬件架構(gòu)2.3.1 SAP HANA一體機集群架構(gòu)圖2-1 SAP HANA集群示意圖SAP HANA一體機集群版本由多個節(jié)點（Node）構(gòu)成，本文約定如下對節(jié)點名稱的叫法：l SAP HAN

17、A節(jié)點：構(gòu)成SAP HANA集群的邏輯單元。1個SAP HANA節(jié)點包括了指定規(guī)格的CPU、內(nèi)存、Log盤和Data盤。SAP HANA一體機銷售時，就是按照SAP HANA節(jié)點的Size（即每個節(jié)點的內(nèi)存大?。┖蛡€數(shù)進行報價的。1個SAP HANA節(jié)點在物理上可以有多種表現(xiàn)形態(tài)，與硬件廠家的具體實現(xiàn)方案有關(guān)。在華為方案中：1個SAP HANA節(jié)點物理上對應(yīng)1個CH242刀片，再加上由CH223或者CH222刀片構(gòu)成的存儲池的一部分。l 計算節(jié)點：負責內(nèi)存數(shù)據(jù)庫計算的部分。華為方案中，CH242刀片上安裝有SAP HANA數(shù)據(jù)庫，負責數(shù)據(jù)的計算，稱為計算節(jié)點。l 存儲節(jié)點：在SAP HANA解

18、決方案中，負責數(shù)據(jù)的持久化保存的部分，稱為存儲節(jié)點。在華為方案中，數(shù)據(jù)的持久化保存在E9000中的CH223/CH222刀片上，因此一個CH223/CH222刀片就是一個存儲節(jié)點；一個SAP HANA節(jié)點肯定包括一個計算節(jié)點，但是不一定有物理上單獨的存儲節(jié)點；因此，有時候我們說SAP HANA節(jié)點，計算節(jié)點是同一個概念；SAP HANA節(jié)點的角色（見圖4）：包括三類節(jié)點：主節(jié)點、從節(jié)點、備用節(jié)點，這三類節(jié)點在物理部署時不能合設(shè)。l 主節(jié)點（Master）：配置有3個，但只有一個激活（從3個Master配置角色中選舉，這是SAP HANA軟件本身的集群管理機制）。起到全局事務(wù)協(xié)調(diào)器的作用。保存計

19、算節(jié)點集群信息的全局元數(shù)據(jù)。l 從節(jié)點(Slave)：緩存需要的元數(shù)據(jù)，采用分布式架構(gòu)，承擔由主節(jié)點分配來的任務(wù)，執(zhí)行對應(yīng)的數(shù)據(jù)庫操作。一個集群內(nèi)多個。l 備用節(jié)點(Standby)：切換時接管故障節(jié)點。一個集群可以0到多個。正常情況下此節(jié)點的軟件是運行的，只不過其內(nèi)存數(shù)據(jù)庫中沒有數(shù)據(jù)，不能執(zhí)行業(yè)務(wù)處理。切換的過程是自動進行的。圖2-2 SAP HANA節(jié)點角色示意圖SAP HANA節(jié)點的主要進程（見圖5）：l 每個節(jié)點主要包括NameServer、IndexServer、EsEngine、StatisticsServer等進程。l NameServer有配置角色和實際角色的區(qū)分，配置角色包括

20、Master和Slave兩種，只會有3個節(jié)點配置為Master角色，實際角色只會有一個節(jié)點是Master角色。在實際Master角色的節(jié)點故障時，它只能從其他兩個也是配置成Master角色的節(jié)點中選擇1個；l IndexServer也有配置角色和實際角色，配置角色包括Worker和Standby兩種，Standby的配置角色可以是0個或多個；實際角色包括Master、Slave和Standby三種，只會有一個節(jié)點是實際的Master角色。l NameServer和IndexServer是2個不同的集群，但是他們的實際Master角色保持一致圖2-3 SAP HANA主要進程示意圖2.3.2 S

21、AP HANA一體機部署架構(gòu)圖2-4 SAP HANA主要進程部署示意圖在主節(jié)點上安裝有：l SAP HANA Studio:SAP HANA數(shù)據(jù)庫的管理客戶端，可以進行SAP HANA數(shù)據(jù)庫建模、配置、監(jiān)控、告警等；l SAP HANA Client：數(shù)據(jù)庫客戶端軟件，提供如ODBC等接口，供用戶訪問數(shù)據(jù)庫數(shù)據(jù)；l SAP HANA Database：內(nèi)存數(shù)據(jù)庫實現(xiàn)軟件；其部署包括幾個進程：n NameServer:命名服務(wù)器，負責集群管理，三個Master角色，1個激活Master角色；n IndexServer:索引服務(wù)器，是真正執(zhí)行數(shù)據(jù)庫操作的模塊。分為Master、Slave、Sta

22、ndby角色。n StatisticsServer：統(tǒng)計服務(wù)器，負責記錄數(shù)據(jù)庫的運行信息，只在Master上運行。l SAP SMD Agent:系統(tǒng)統(tǒng)一管理的代理，用于在整個SAP集成解決方案中對SAP HANA進行管理；l SUM for SAP HANA ：軟件升級管理器；Master節(jié)點通過這個軟件，自動連接到SAP公司的軟件更新平臺，負責master、slave、standby所有節(jié)點上SAP HANA相關(guān)軟件的升級。OS和驅(qū)動是由硬件廠家廠家負責安裝和升級的。l SAP Host Agent ：主機代理，來自遠端的重啟/停止等對節(jié)點的操作命令通過這個模塊來實施；這些操作都是對SAP

23、 HANA軟件的操作。l SAPCAR ：安裝腳本 ，這些腳本只對SAP HANA軟件起作用。在其他節(jié)點（從節(jié)點和備用節(jié)點上）l SAP Host Agent：l SAP HANA Client：l SAP HANA Database：l SAP SMD Agent：2.3.3 SAP HANA一體機軟件架構(gòu)圖2-5 SAP HANA主要軟件架構(gòu)示意圖SAP HANA Database是整個系統(tǒng)的核心部分，圖中紅色框之內(nèi)是SAP HANA Database按照功能區(qū)分的主要模塊：l Session Management:會話管理模塊，負責與各種業(yè)務(wù)客戶端軟件進行連接管理的模塊；l Replic

24、ation Server和Load Controller: 復制管理模塊，負責將ERP/SAP NetWeaver/第三方數(shù)據(jù)庫等的數(shù)據(jù)復制到SAP HANA數(shù)據(jù)庫；l Transaction Manager：事務(wù)管理模塊，負責對數(shù)據(jù)庫事務(wù)管理，當一個事務(wù)完成后，會要求做數(shù)據(jù)持久化操作；l Authorization Manager:認證管理模塊，對連接到SAP HANA數(shù)據(jù)庫的客戶端用戶進行權(quán)限管理；l Metedata Manager：元數(shù)據(jù)管理模塊。它會與SAP HANA Studio中的Modelling以及SAP Data Service（SAP一種ETL服務(wù)軟件）相配合，對所有建立

25、到SAP HANA數(shù)據(jù)庫中，或者導入到SAP HANA數(shù)據(jù)庫中的數(shù)據(jù)的元數(shù)據(jù)進行管理；l SQL Parser：SQL語句解析優(yōu)化器；負責對于業(yè)務(wù)客戶端來的SQL請求進行分析和解析，將一個SQL工作分解成多個子任務(wù)，分發(fā)給所有的節(jié)點去完成；l MDX:多維表達式，對來自Excel等應(yīng)用端的復雜計算進行分析和解析；l SQL Script：提供類似于存儲過程的復雜編程能力；l Calc Engine：執(zhí)行SQL計算的模塊；l ROW Store：行記錄內(nèi)存數(shù)據(jù)庫；l Column Store：列存儲內(nèi)存數(shù)據(jù)庫；l Page Management和 Logger：持久化保存處理模塊，負責將內(nèi)存數(shù)據(jù)

26、庫的記錄同步或者異步的寫入SSD或者HDD中3 FusionCube SAP HANA一體機系統(tǒng)組成3.1 系統(tǒng)總體架構(gòu)如下是華為FusionCube SAP HANA一體機的總體架構(gòu)圖：圖3-1 華為FusionCube SAP HANA一體機總體架構(gòu)華為SAP HANA一體機基于華為的融合基礎(chǔ)設(shè)施FusionCube一體機（Huawei FusionCube Converged Infrastructure）,這是華為公司IT產(chǎn)品線云計算領(lǐng)域的旗艦產(chǎn)品。FusionCube遵循開放架構(gòu)標準，在12U機框中融合刀片服務(wù)器、分布式存儲及網(wǎng)絡(luò)交換機為一體，無需外置存儲、交換機等設(shè)備，并預集成了分

27、布式存儲引擎及云管理軟件，資源可按需調(diào)配、線性擴展。l 計算/存儲/網(wǎng)絡(luò)融合設(shè)備：硬件設(shè)備使用E9000，支持計算、存儲、交換、電源、風扇等部件的模塊化設(shè)計，計算、存儲、網(wǎng)絡(luò)都在E9000框內(nèi)部署完成，計算和存儲節(jié)點可按需靈活配置。支持豐富的交換模塊，如GE,10GE,FC,FCoE,IB等 l FusionStorage：使用分布式云存儲技術(shù)，通過合理有序組織存儲刀片服務(wù)器的本地硬盤，提供高性能高可靠的塊存儲業(yè)務(wù)。l FusionManager：負責云平臺資源管理、彈性調(diào)度以及操作維護等綜合管理功能，是云平臺管理的核心，提供基于web的統(tǒng)一維護界面；整個系統(tǒng)的業(yè)務(wù)通過云管理FusionMan

28、ager呈現(xiàn)；用戶管理、集群管理、業(yè)務(wù)模板管理、虛擬機管理、桌面發(fā)放、統(tǒng)一硬件管理、告警、監(jiān)控等功能均由FusionManager對外提供。l 文件系統(tǒng)：為實現(xiàn)與SAP HANA數(shù)據(jù)庫層的接口對接，華為適配了OCFS2集群文件系統(tǒng)，以及XFS本地文件系統(tǒng)。XFS和FusionStorage的結(jié)合使得華為可以提供基于塊接口的存儲，由于無需采用NFS，性能和可靠性都有提高；華為FusionCube虛擬化一體機 技術(shù)白皮書8 術(shù)語3.2 計算存儲網(wǎng)絡(luò)融合設(shè)備3.2.1 E9000高密度機框華為FusionCube SAP HANA的硬件采用華為公司自研的Tecal E9000（以下簡稱E9000）機

29、箱產(chǎn)品，這是一款計算、存儲、網(wǎng)絡(luò)融合的硬件設(shè)備，提供12U空間，可安裝華為E9000系列計算節(jié)點、存儲節(jié)點、業(yè)務(wù)處理節(jié)點以及相應(yīng)的資源擴展節(jié)點。l 可配置8個橫插的全寬計算節(jié)點或者16個半寬計算節(jié)點，支持槽位拆分。在SAP HANA一體機中，全部使用全寬刀片節(jié)點。l 半寬槽位散熱能力850W。全寬槽位散熱能力1700W。l 半寬槽位最大支持2P+24DIMM的計算節(jié)點。l 全寬槽位最大支持4P+48DIMM的計算節(jié)點。l 單機箱支持32CPU/480core計算密度，最大12TB內(nèi)存。l 背板最大交換容量15.6Tbps。l 4個（2對）交換槽位，支持Eth/FC/FCoE/IB等多種交換協(xié)議

30、類型，支持直出I/O接口。l FusionCube一柜最大可支持3個E9000機框；圖3-2 E9000外觀3.2.2 E9000高密度刀片F(xiàn)usionCube支持多種類型的刀片，其中在SAP HANA一體機中使用的有： 基于Westmere EX的CH242計算刀片圖3-3 CH242計算刀片主要參數(shù)：形態(tài) 全寬單槽4S刀片服務(wù)器 處理器數(shù)量 2/4 個 處理器型號 Intel Xeon Westmere E7-4800系列6核、8核、10核處理器內(nèi)存插槽 32個DDR3 DIMM插槽，最大內(nèi)存容量1TB 硬盤數(shù)量 8個2.5英寸SSD、SAS或SATA硬盤RAID支持 支持R

31、AID0、1、10、5、50、6、60，1GB RAID CachePCIe擴展 支持擴展2個PCIe x16 MEZZ扣卡 支持擴展1個PCIe x8FHHL的標準卡 操作系統(tǒng)支持 Microsoft Windows Sever 2008/2012SSUSE Linux Enterprise ServerCitrix XenServer VMware ESX 工作溫度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特點：l 超強性能：全寬槽位支持部署4個E7-4800系列CPU，32根內(nèi)存，最大內(nèi)存容量達1Tl 超大存儲：全寬槽位最多可配置8個2.5寸硬盤，最大硬盤容

32、量8T，適合對性能和容量均要求較高的數(shù)據(jù)庫應(yīng)用l 靈活開放：支持標準PCIe擴展插槽，用戶可靈活選擇標準PCIe插卡進行業(yè)務(wù)優(yōu)化 基于Ivybridge EX的CH242 V3計算刀片結(jié)構(gòu)形狀同CH242，主要不同：n CH242支持的CPU是Westmere平臺；CH242 V3升級到Ivybridge平臺，且每個CPU最大有15核。n CH242只支持1個MZ512的10GE網(wǎng)卡；CH242 V3支持2個MZ512的10GE網(wǎng)卡。n CH242母板上自帶RAID卡；CH242 V3母板不帶RAID卡，需要另外配置。 CH222管理刀片圖3-4 CH222 管理刀

33、片CH222刀片具有如下特點：（1）2P Intel® Xeon® E5-2600 V1/V2系列高性能處理器；（2）24個DIMM插槽，支持高達768G DDR3內(nèi)存；（3）最大支持15個2.5英寸SSD、SAS或SATA硬盤；（4）獨特熱插拔設(shè)計，支持單個硬盤帶電更換,可選支持 1個PCIe x16 全高3/4長標準插槽 。CH222作為管理刀片使用時，僅安裝2個硬盤作為系統(tǒng)盤，其他硬盤位置空著。 CH222存儲刀片參數(shù)同CH222管理刀片，僅是在實際使用時硬盤配置稍有不同。除了2個系統(tǒng)盤外，還安裝有12或者13個硬盤。 CH223存儲刀片圖

34、3-5 CH223 存儲刀片主要參數(shù)：形態(tài) 全寬單槽2S刀片服務(wù)器 處理器數(shù)量 1/2 個 處理器型號 Intel Xeon E5-2600或Intel Xeon E5-2600 V2處理器 內(nèi)存插槽 24個DDR3 DIMM插槽，最大內(nèi)存容量768GB 硬盤數(shù)量 2個2.5英寸SSD、SAS或SATA硬盤RAID支持 支持RAID0、1PCIe擴展 支持擴展2個PCIe x16 MEZZ扣卡(CH220/CH221)(注：MEZZ2被占用)支持擴展4個PCIe x8FHHL標準卡(CH220)或2個PCIe x16FHHL標準卡(CH221)操作系統(tǒng)支持 Microsoft Windows

35、Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterprise ServerCitrix XenServer VMware ESX工作溫度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特點：l 超強擴展：支持標準PCIe擴展插槽，最大支持全寬槽位部署4個PCIe卡，每個可以插2.4TB SSD。l 1.5倍高內(nèi)存：支持1.5倍高大內(nèi)存，大內(nèi)存應(yīng)用性價比業(yè)界第一 3.2.3 E9000高性能交換以太網(wǎng)交換HANA一體機以太網(wǎng)交換采用CX310交換模塊。CX310是E9000機框式服務(wù)器的交換控制單元，為整個系統(tǒng)內(nèi)

36、部各服務(wù)槽位提供數(shù)據(jù)交換功能，并集中對外提供業(yè)務(wù)接口和管理接口。物理圖如下：圖3-6 CX310外觀其支持的功能和性能指標如下：表3-1 CX310指標項目說明面板接口數(shù)量l 提供1個BMC串口和1個SYS串口。l 提供16個上行10GE以太網(wǎng)光口。交換容量 1.28 Tbit/s包轉(zhuǎn)發(fā)率 960Mpps Ethernetl 支持全雙工、自動協(xié)商工作方式l 支持GE、10GE速率VLANl 支持Access、Trunk、Hybrid方式l 支持default VLANl 支持QinQ、增強型靈活QinQl 支持MUX VLANQoSl 支持基于Layer2協(xié)議、Layer3協(xié)議、Layer4協(xié)

37、議、802.1p優(yōu)先級等的組合流分類l 支持ACL、CAR、Remark、Schedule等動作l 支持PQ、WRR、DRR、PQ+WRR、PQ+DRR等隊列調(diào)度方式l 支持WRED、尾丟棄等擁塞避免機制l 支持流量整形安全和管理l 命令行分級保護，未授權(quán)用戶無法侵入l 支持防止DOS、ARP攻擊功能、ICMP防攻擊l 支持端口隔離、端口安全、Sticky MACl 支持IP、MAC、端口、VLAN的組合綁定l 支持AAA、Radius、HWTACACS等多種認證方式l 支持RMONInfiniband交換HANA一體機的存儲網(wǎng)絡(luò)采用CX610交換模塊實現(xiàn)InfiniBand(以下簡稱為IB)

38、網(wǎng)絡(luò)交換，每框配置2個IB交換模塊，物理圖如下：圖3-7 CX610外觀n 提供1個BMC串口和1個SYS串口。n 提供18個QSFP+光口，用于連接外部設(shè)備3.3 高性能分布式存儲子系統(tǒng)FusionCube SAP HANA一體機的存儲軟件使用華為自研的FusionStorage分布式塊存儲子系統(tǒng)。高性能是企業(yè)級存儲系統(tǒng)需要滿足的關(guān)鍵需求。但是，在最近幾年，持續(xù)為所有的應(yīng)用長期提供高性能支持變成了尤其艱巨的挑戰(zhàn)。這是因為屢經(jīng)證實，傳統(tǒng)的存儲系統(tǒng)架構(gòu)無法通過成功擴展性能來跟上前所未有的存儲數(shù)據(jù)增長步伐。另外高端存儲作為獨立網(wǎng)元，不但需要專門管理和維護，而且價格昂貴，讓一般企業(yè)望而卻步。分布式存

39、儲FusionStorage作為一種與計算融合的存儲軟件，通過在通用服務(wù)器上部署該軟件，可以將所有服務(wù)器的本機磁盤組織成一個虛擬存儲資源池，在某些使用場景下完全替換外置SAN。FusionStorage使計算和存儲高度融合，達到高性能、高可靠、高性價比。l 突破性的架構(gòu)和設(shè)計。FusionStorage存儲產(chǎn)品的創(chuàng)新設(shè)計使其能夠?qū)崿F(xiàn)傳統(tǒng)架構(gòu)通常無法達到的非凡性能優(yōu)化。這種優(yōu)化將允許您充分利用系統(tǒng)資源并且在所有的系統(tǒng)硬盤驅(qū)動器之間自動分配工作負載。此外，系統(tǒng)還支持一系列高級功能，如精簡調(diào)配和快照等，當然不會對性能產(chǎn)生負面影響。 l 一致的、可預測的性能及可擴展性。FusionStorage系統(tǒng)在

40、所有磁盤之間優(yōu)化分配所有工作負載的能力以及強大的分布式緩存結(jié)構(gòu)允許您通過添加服務(wù)器節(jié)點來平滑、線性擴展高性能。由于這個高性能是一致的，無需手動調(diào)試，因此，用戶可在因為業(yè)務(wù)量和快照使用模式發(fā)生變化而造成的高峰期和低谷期享受到相同級別的高性能，即使在組件發(fā)生故障時也不例外。l 高彈性和自愈能力。FusionStorage存儲系統(tǒng)可在硬件故障期間保持高彈性，繼續(xù)正常運行，幾乎不會對性能產(chǎn)生任何影響。此外，這個解決方案的高級自愈功能使其能夠在最初的故障恢復之后抵御更多的硬件故障。l 計算存儲高度融合。FusionStorage作為一種把存儲與計算融合的存儲軟件，將所有服務(wù)器的本機磁盤組織成一個虛擬存儲

41、資源池進行管理，具有管理自動化、運行高性能、安裝免工程配置等優(yōu)點。存儲不再作為單獨網(wǎng)元進行專門的配置和管理，使計算節(jié)點上的資源得到充分利用，企業(yè)用戶在得到高性能存儲的同時，節(jié)省了購買外置存儲的高昂費用。3.3.1 高性能快照FusionStorage提供了快照機制，將用戶的邏輯卷數(shù)據(jù)在某個時間點的狀態(tài)保存下來，后續(xù)可以作為導出數(shù)據(jù)、恢復數(shù)據(jù)之用。FusionStorage快照數(shù)據(jù)基于DHT（Distribute Hash Table）機制，快照不會引起原卷性能下降?？煺樟６柔槍?MB大小來實現(xiàn)，針對一塊容量為2TB的硬盤，一共2M個Key，完全索引在內(nèi)存中有24MB，一次Hash查找即可判斷有

42、沒有做過快照，以及最新快照的存儲位置。快照次數(shù)只和Partition容量有關(guān)，而Partition容量不受限制，所以理論上可以支持無限次快照。圖3-8 FusionStorage 快照3.3.2 高性能鏈接克隆FusionStorage基于增量快照提供了鏈接克隆機制，基于一個快照創(chuàng)建出多個克隆卷，各個克隆卷剛創(chuàng)建出來時的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對以克隆卷的修改不會影響到原始的快照和其他克隆卷。FusionStorage支持1:256的鏈接克隆比，提升存儲空間利用率。FusionStorage支持批量進行虛擬機卷部署，能夠在秒級批量創(chuàng)建上百個虛擬機卷?？寺【砝^承普通卷所有功能：克隆卷

43、可支持創(chuàng)建快照、從快照恢復以及再次作為母卷進行克隆操作。圖3-9 FusionStorage 鏈接克隆3.3.3 自動精簡配置FusionStorage提供了精簡配置機制，為用戶提供比實際物理存儲更多的虛擬存儲資源。相比直接分配物理存儲資源，可以顯著提高存儲空間利用率。采用分布式Hash技術(shù)，天然支持分布式自動精簡配置(Thin Provisioning)， 無需預先分配空間。精簡配置(Thin Provisioning)無任何性能下降（IPSAN擴展空間時需要耗費額外的性能）。圖3-10 FusionStorage 精簡配置3.4 基礎(chǔ)設(shè)施統(tǒng)一管理平臺3.4.1 概述FusionCube S

44、AP HANA一體機的基礎(chǔ)設(shè)施管理子系統(tǒng)采用華為公司統(tǒng)一的云管理平臺FusionManager。FusionManager提供物理和虛擬機設(shè)備管理、服務(wù)自動化部署、資源管理和監(jiān)控等功能，如下圖所示。圖3-11 FusionManager 應(yīng)用架構(gòu)l 從底層接入來看，F(xiàn)usionManager可以接入華為和第三方的虛擬化軟件；也可以將物理硬件（包含計算設(shè)備、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備），作為基礎(chǔ)設(shè)備資源接入系統(tǒng)。l 從上層提供的功能來看，F(xiàn)usionManager可以實現(xiàn)PaaS和SaaS的部件自動化部署。因此，F(xiàn)usionManager的定位是集成多個虛擬化軟件和物理設(shè)備，提供統(tǒng)一硬件資源管理和虛擬化

45、資源管理，為業(yè)務(wù)和應(yīng)用提供一體化和自動化的運維手段。3.4.2 實現(xiàn)架構(gòu)FusionManager的總體邏輯架構(gòu)如下圖所示。圖3-12 FusionManager 實現(xiàn)架構(gòu)BSS：Business Support System 業(yè)務(wù)支撐系統(tǒng)OSS：Operations Support System 運營支撐系統(tǒng)UPortal：Unified Portal 統(tǒng)一PortalSSP：Self-service Provisioning 自動發(fā)放AME：Automatic Management Engine 自動運維NBI：Northbound Interface 北向接口IAM：Identity a

46、nd Access Management 身份和訪問管理CSB：Common Service and Bus 公共服務(wù)與總線DB：Database 數(shù)據(jù)庫IRM：Integrated Resource Management 集成資源管理SWM：Software Management 軟件管理UHM：Unified Hardware Management 統(tǒng)一硬件管理UPortal提供整個系統(tǒng)的UI框架，包括界面的框架風格和布局等。SSP將AME提供的功能以服務(wù)目錄的形式對外展現(xiàn)，提供對用戶的友好互動界面。AME是服務(wù)自動化的核心功能，主要是通過自動化引擎實現(xiàn)服務(wù)在虛擬機上的自動化部署，包括基礎(chǔ)

47、設(shè)施的部署、服務(wù)的自動部署和服務(wù)的監(jiān)控。NBI北向接口，提供與上層網(wǎng)管對接的接口。IAM提供系統(tǒng)基于角色的權(quán)限控制功能，包括組織管理、用戶管理、角色管理、角色授權(quán)、登錄認證、鑒權(quán)等功能。同時IAM對外提供用戶認證的能力，即提供AD的認證服務(wù)。CSBFusionManager系統(tǒng)進程間的通信基于CSB消息總線。DB存儲系統(tǒng)的資源數(shù)據(jù)，并對外提供資源數(shù)據(jù)的增刪改查接口。IRM通過連接器實現(xiàn)與其它管理系統(tǒng)的對接和信息采集功能，是資源數(shù)據(jù)提供的主體。SWM實現(xiàn)FusionManager系統(tǒng)的軟件安裝和部署，并提供升級和補丁功能。UHM提供統(tǒng)一硬件接入和管理3.4.3 接口及協(xié)議FusionManage

48、r的接口和協(xié)議如下表所示：接口編號接口類型涉及的子系統(tǒng)功能說明IF1REST接口FusionManager<->上級網(wǎng)管FusionManager通過REST接口和上級網(wǎng)管通信，例如，上報告警和性能指標統(tǒng)計等。另外，F(xiàn)usionManager通過HTTP或HTTPS和上級網(wǎng)管進行身份認證和鑒權(quán)。IF2SNMP、IPMI、SSHFusionManager<->計算設(shè)備、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備計算、存儲和網(wǎng)絡(luò)設(shè)備可以通過SNMP、IPMI或SSH接入FusionManager。IF3REST接口FusionManager<->虛擬化軟件。FusionManager從

49、虛擬化軟件獲取虛擬化資源配置、告警等信息；虛擬化軟件根據(jù)FusionManager的指令，對虛擬機進行管理。3.4.4 特點FusionManager是華為云計算的統(tǒng)一云管理平臺，采用此平臺，使得華為HANA一體機后續(xù)可以方便地擴展到云平臺上，在統(tǒng)一管理、系統(tǒng)擴展、自動化運維等方面將可以取得優(yōu)異表現(xiàn)。l 統(tǒng)一管理界面：華為HANA一體機由于計算、存儲和網(wǎng)絡(luò)都是華為單家提供，不依賴第三方設(shè)備，因此，可以采用統(tǒng)一的管理界面；無需像某些廠家，則管理SAN存儲時，還需要登錄到其他界面中。l 硬件資源集中管理：服務(wù)器、存儲、IP交換機和IB交換機都能使用同一個風格進行管理。3.5 FusionCube

50、SAP HANA一體機系統(tǒng)特點l 高性能： n FusionStorage能分布式并行處理存儲機頭的內(nèi)存和PCIE-SSD卡，能提供更高IOPS和更大的I/O帶寬性能；n 在HANA里，Log需要同步寫入存儲介質(zhì)，所以Log介質(zhì)是影響系統(tǒng)性能的關(guān)鍵因素。在華為HANA解決方案中，Log數(shù)據(jù)是寫入到每個存儲服務(wù)器的NVDIMM緩存（華為自研的非易失性內(nèi)存，能獲得和內(nèi)存一樣的讀寫性能）中，這帶來更好的的性能體驗。n 華為融合的網(wǎng)絡(luò)架構(gòu)、Infiniband高速存儲網(wǎng)絡(luò)消除網(wǎng)絡(luò)瓶頸，帶來節(jié)點之間交互的高性能；l 高可靠：n 華為多節(jié)點HANA解決方案內(nèi)建的FusionStorage存儲能帶來高可靠性

51、的保障，存儲的數(shù)據(jù)可以設(shè)置為二或三份數(shù)據(jù)拷貝，任何一個或二個存儲節(jié)點同時損壞，不會影響到上層業(yè)務(wù)。n 華為多節(jié)點方案計算存儲隔離，存儲系統(tǒng)的故障不會影響到計算系統(tǒng)n 華為節(jié)點方案網(wǎng)絡(luò)、端口、交換、機框部件等都采用全冗余設(shè)計，無單點故障l 低TCO：n 華為解決方案采用融合架構(gòu)，有更高的設(shè)備密度，減少空間占用，降低功耗；n 華為某些核心部件通過自研（例如PCIE-SSD），能較好控制成本、降低功耗、節(jié)省空間；n 華為HANA解決方案中，服務(wù)器、存儲和交換設(shè)備都由華為公司提供，所有硬件組件能做到集中化統(tǒng)一管理，降低維護費用；4 FusionCube SAP HANA一體機關(guān)鍵方案4.1 集群方案華

52、為SAP HANA一體機集群版本采用了計算和存儲物理上分離的集群架構(gòu)，邏輯架構(gòu)圖如下：圖4-1 Fusioncube 邏輯架構(gòu)l 計算存儲分離架構(gòu)：內(nèi)存計算部分組成集群，存儲部分組成另外一個集群，2者之間通過共享文件系統(tǒng)或者分布式塊存儲聯(lián)系 l Log卷和Data卷邏輯上分開部署； l 存儲部分物理介質(zhì)可采用SSD或SAS作為主存；l 計算節(jié)點、存儲節(jié)點都采用刀片服務(wù)器；無需外置SAN/NAS存儲；采用分離架構(gòu)具有如下優(yōu)點：l 充分利用E7刀片關(guān)鍵資源：由于計算節(jié)點上沒有太多的存儲軟件在運行，昂貴的E7 CPU資源能都被SAP HANA數(shù)據(jù)庫使用，確保SAP HANA數(shù)據(jù)庫性能；l 故障隔離能

53、力好：計算節(jié)點和存儲節(jié)點互相不影響；例如存儲節(jié)點如果故障一個，需要進行數(shù)據(jù)重建時CPU占用大，但由于重建動作不在SAP HANA刀片上，因此，不會影響SAP HANA性能；l 擴容靈活性好：華為采用刀片形式構(gòu)筑存儲池，隨著計算節(jié)點能力增加（例如CPU更新?lián)Q代、增加內(nèi)存容量、增加HANA節(jié)點等），都可以通過增加存儲刀片的形式簡單完成；而且，不管計算部分的HANA節(jié)點如何變化，原有的存儲刀片都可以繼續(xù)使用。4.2 數(shù)據(jù)持久化方案4.2.1 數(shù)據(jù)持久化原理SAP HANA數(shù)據(jù)庫正常運行時所有數(shù)據(jù)都在內(nèi)存中，為保證系統(tǒng)掉電重啟后系統(tǒng)還能夠運行，內(nèi)存數(shù)據(jù)必須進行持久化保存。其原理如下圖所示：分為2種持久

54、化數(shù)據(jù)：圖4-2 Fusioncube SAP HANA持久化原理l Log: 這是關(guān)于數(shù)據(jù)改變的信息，即redo日志信息，這些信息在事務(wù)完成后直接寫入持久化介質(zhì)，根據(jù)SAP的要求，Log的存儲介質(zhì)缺省采用SSD卡，也可以采用SAS盤。Log區(qū)域空間被占滿后，會將Log備份寫到Data的區(qū)域，然后再重復寫Log區(qū)域；l Data:這包括 SQL數(shù)據(jù)、undo日志信息、附加的SAP HANA信息（例如建模數(shù)據(jù)）。根據(jù)SAP的要求，推薦采用HDD作為存儲介質(zhì)；當然也可以采用SSD卡作為存儲介質(zhì)，此時系統(tǒng)在掉電重啟、備份恢復等場景下性能更好，業(yè)務(wù)中斷的時間更少。寫動作：l Log: 是一種同步操作。

55、即在一個事務(wù)完成后，必須寫Log成功完成后，SAP HANA數(shù)據(jù)庫才會給用戶返回成功，因此這個寫動作會直接影響到SAP HANA數(shù)據(jù)庫的性能；l Data: 是一種異步操作。一般是每5分鐘自動寫一次，間隔時間可以設(shè)置。采用Savepoint的方式，采用增量的方式，寫入的是改變數(shù)據(jù)和undo日志信息。每寫一次需要的時候由內(nèi)存變化的數(shù)據(jù)決定，SAP公司對文件系統(tǒng)層以下的寫帶寬有要求，以最常見的1M塊為例，最低要求是200MB/S。當?shù)讓佑布霈F(xiàn)故障，無法寫入時，需要SAP HANA軟件進行提供和告警。l 由于Log是同步寫，會直接影響SAP HANA數(shù)據(jù)庫的性能，為保證SAP HANA內(nèi)存數(shù)據(jù)庫的高性能