竣工北方民族存儲實(shí)施

1、北方民族大學(xué)數(shù)據(jù)中心 Netapp實(shí)施文檔信亦宏達(dá)網(wǎng)絡(luò)技術(shù)（2014-8）Chengyuhong文檔信息項(xiàng)目名稱： 北方民族大學(xué)數(shù)據(jù)中心系統(tǒng)實(shí)施 文檔版本信息作者行動日期V1.2起草2014 年 07 月 28 日V1.3修訂更新2014 年 08 月 18 日目錄文檔概述4項(xiàng)目實(shí)施計(jì)劃53 項(xiàng)目實(shí)施. 6系統(tǒng)架構(gòu)7系統(tǒng)架構(gòu)概要7業(yè)務(wù)邏輯示意圖8各安裝點(diǎn)設(shè)備信息：94.4 FAS32204.5 FAS3250 4.6 E5460網(wǎng)絡(luò)背板以及接口示意圖10網(wǎng)絡(luò)背板以及接口示意圖10背板示意圖114.7 FAS與盤柜背板連接圖（E 系列內(nèi)置盤）11系統(tǒng)設(shè)計(jì)與實(shí)施規(guī)范14操作系統(tǒng)安裝14網(wǎng)絡(luò)配置14

2、4.105 網(wǎng)絡(luò)與空間劃分14基本配置規(guī)劃145.1 網(wǎng)絡(luò)配置規(guī)劃表14Netapp網(wǎng)絡(luò)5.3.1網(wǎng)絡(luò)端口參考：16控制17管理端口（E0M/SP）175.3.2 數(shù)據(jù)傳輸端口17系統(tǒng)實(shí)施步驟18機(jī)房準(zhǔn)備和網(wǎng)絡(luò)環(huán)境186.2初始化196.2.1 FAS3220 初始化配置（舉例）19磁盤空間劃分21為機(jī)頭分配磁盤216.3.2 Netapp卷分配236.3.3 設(shè)置卷屬性256.4的劃分266.4.1 Unix 上的劃分（舉例）266.4.2 Vmware ESX server 上的劃分28開機(jī)順序29關(guān)機(jī)順序291 文檔概述本項(xiàng)目實(shí)施方案專為北方民族大學(xué)Netapp項(xiàng)目定制，包含與項(xiàng)目實(shí)施相

3、關(guān)的設(shè)計(jì)方案、規(guī)劃原則、實(shí)施步驟等方面的技術(shù)方案信息。2 項(xiàng)目實(shí)施計(jì)劃序號步驟實(shí)施方時(shí)間1準(zhǔn)備電源和網(wǎng)絡(luò)環(huán)境客戶到貨前2設(shè)備驗(yàn)收，硬件上架客戶/Netapp1D3硬件測試和初始化Netapp1D4為數(shù)據(jù)庫服務(wù)器劃分卷和Netapp2D5測試系統(tǒng)運(yùn)行客戶/Netapp3D6測試數(shù)據(jù)遷移Netapp/客戶2D7系統(tǒng)運(yùn)行觀測客戶/Netapp3D8項(xiàng)目驗(yàn)收客戶/Netapp1D9項(xiàng)目進(jìn)入階段Netapp3 項(xiàng)目實(shí)施Netappchengsh項(xiàng)目經(jīng)理毛速4 系統(tǒng)架構(gòu)客戶新購置三臺IBM 刀片服務(wù)器，配置32個(gè)刀片服務(wù)器。因刀片服務(wù)器中沒用本地硬盤，用戶計(jì)劃通過購置USB U盤刀片服務(wù)器充當(dāng)?shù)镀?wù)器的

4、系統(tǒng)盤符。32個(gè)刀片服務(wù)器通過安裝Vmware ESXi5.5實(shí)現(xiàn)虛擬環(huán)境。本次新購置的FAS320、FAS3250用于虛擬化的，后期通過數(shù)據(jù)遷移并將之前老的NetApp FAS3220也融入至本次的新Vmware虛擬化環(huán)境中。本次除NetApp FAS外，還采購了一臺NetApp E5460用于學(xué)院的和服務(wù)的數(shù)據(jù)存儲。4.1 系統(tǒng)架構(gòu)概要NetApp系統(tǒng)是一套系統(tǒng)，架構(gòu)既能夠整合用戶現(xiàn)有SAN環(huán)境也同樣可以對前段用戶提供NAS方式；NetApp系統(tǒng)通過采用數(shù)據(jù)去重，自動精簡配置，靈活卷等功能充分利用空間，利用率；NetAppVSC管理控制臺和Vmware等環(huán)境能夠完美融合，用戶可以通過操作V

5、mware中的管理控制臺VCenter就可以對NetApp進(jìn)行管理操作，同時(shí)在VCenter中就可以操作NetApp的高級功能進(jìn)行虛擬機(jī)的備份，恢復(fù)，快速克隆，自動精簡配置等操作。所有數(shù)據(jù)系統(tǒng)通過NetApp的管理界面進(jìn)行管理，同時(shí)數(shù)據(jù)去重，快照，恢復(fù)，以及備份，數(shù)據(jù)歸檔等所有操作也都可以通過該管理界面進(jìn)行集中管理。4.2 業(yè)務(wù)邏輯示意圖4.3 各安裝點(diǎn)設(shè)備信息：安 裝地點(diǎn)主要應(yīng)用設(shè)備型號容量詳細(xì)配置服務(wù)年限設(shè)備數(shù)量民族大學(xué)信息中心4樓VmwareFAS322030TBBSAN+NAS 雙活控制器，整體設(shè)計(jì)無單點(diǎn)故障，24GB 緩存，4 個(gè) 8Gb FC 主機(jī)接口，4 個(gè) 10Gb/s萬兆FC

6、oE 主機(jī)接口， 4 個(gè) 1Gb/s千兆NAS 主機(jī)接口，4 個(gè) 4Gb/s FC 磁盤接口，4 個(gè) 6Gb/s SAS 磁盤接口，可擴(kuò)展閃存和端口 等，單臺支持 480 塊磁盤和 1920TB 以上擴(kuò)展能力，支持自動容量擴(kuò)展功能。3 年軟硬件保修1民族大學(xué)信息中心4樓民族大學(xué)信息中心4樓VmwareFAS3250E546030TB100TBAN+NAS 雙活控制器，整體設(shè)計(jì)無單點(diǎn)故障，40GB 緩存，4 個(gè) 8Gb FC 主機(jī)接口，4 個(gè) 10Gb/s 萬兆 FCoE 主機(jī)接口， 4 個(gè) 10Gb/s 萬兆NAS 主機(jī)接口，4 個(gè) 1Gb/s 千兆 iSCSI 主機(jī)接口，4 個(gè) 4Gb/s

7、FC磁盤接口，4 個(gè) 6Gb/s SAS 磁盤接口，可擴(kuò)展閃存和端口等，支持 720 塊磁盤和 2880TB 以上擴(kuò)展能力，支持自動容量擴(kuò)展功能。雙主動冗余 SAN 控制器，整體設(shè)計(jì)無單點(diǎn)故障，控制器緩存 24GB，緩存掉電保護(hù)，配置 8個(gè) 8Gb/s FC 主機(jī)接口，4 個(gè) 10Gb/s iSCSI 主機(jī)接口，雙控制器最大支持 384 塊硬盤，支持SSD、 SAS、NL-SAS 等磁盤類型3 年軟硬件保修3 年軟硬件保修114.4 FAS3220網(wǎng)絡(luò)背板以及接口示意圖上圖是 FAS3220A 的背板圖標(biāo)記是網(wǎng)絡(luò)數(shù)據(jù)口，這兩個(gè)端口綁定需要一個(gè) IP，如果不綁定具體 IP 使用情況在協(xié)商（建議這

8、兩個(gè)端口做綁定）標(biāo)記的是管理口，需要兩個(gè) IP，用于日常管理和帶外管理（SP）上述端口紅色標(biāo)記部分中，如果端口綁定模式是 Mulit 模式則需要在接入4.5 FAS3250網(wǎng)絡(luò)背板以及接口示意圖上圖是 FAS3250A 的背板圖標(biāo)記是網(wǎng)絡(luò)數(shù)據(jù)口，這兩個(gè)端口綁定需要一個(gè) IP，如果不綁定具體 IP 使用情況在協(xié)商（建議這兩個(gè)端口做綁定）標(biāo)記的是管理口，需要兩個(gè) IP，用于日常管理和帶外管理（SP）上述端口紅色標(biāo)記部分中，如果端口綁定模式是 Mulit 模式則需要在接入背板接口說明：4.6 E5460背板示意圖設(shè)備安裝后，完成硬件加電測試：- 確認(rèn)Filer所有的機(jī)柜的電源開關(guān)都在關(guān)閉狀態(tài)- 請客

9、戶確認(rèn)Filer的輸入電壓要求：火線-零線 電壓為 200V240V火線-地線 電壓為 200V240V零線-地線 電壓約 1V左右，小于2V-設(shè)置好仿真終端 （9600，8，N，1）-連接Filer機(jī)頭Console口和仿真終端之間的RS232串口線-打開Filer的磁盤柜的所有電源-打開Filer的機(jī)頭的所有電源-觀察仿真終端上的Filer加電自檢的顯示-確認(rèn)Filer自檢信息正常-確認(rèn)Filer機(jī)頭和磁盤柜前面板和后面板的指示燈正常系統(tǒng)設(shè)計(jì)與實(shí)施規(guī)范4.8 操作系統(tǒng)安裝ONTAP 版本： FAS3220、FAS3250 均安裝 DataONTAP 穩(wěn)定版本 8.1.3p1。命名規(guī)則：機(jī)器

10、名為 FAS3220-A，F(xiàn)AS3220-B;FAS3250-A，F(xiàn)AS3250-B.時(shí)區(qū)設(shè)置：Asia/Shanghai4.9 網(wǎng)絡(luò)配置網(wǎng)口分配：參考網(wǎng)絡(luò)規(guī)劃表。IP 分配：由客戶決定。Vif 設(shè)置：連接兩臺交換機(jī)的換機(jī)支持靜態(tài) 802.3采用 single_mode.連接一臺交換機(jī)的ad 協(xié)議,設(shè)置 port channel)采用 multi_mode(需確認(rèn)交4.10空間劃分磁盤分配：每個(gè) NetApp FAS上各部署一個(gè) Aggregate，留下 1 塊磁盤作為熱備盤RAID 級別：FAS32XX 上所有 Aggregate 采用 RaidDP（雙校驗(yàn)盤）方式。FAS32XX 通過接管

11、其他空間，所以 FAS32XX 上的 Aggregate 采用 Raid0。在滿足目前業(yè)務(wù)要求的情況下，盡量預(yù)留較多的熱備盤。快照預(yù)留空間：用于兩網(wǎng)交換的 Aggregate 采用默認(rèn)的 5%，Vol 關(guān)閉快照預(yù)留空間、關(guān)閉快照自動執(zhí)行功能。卷配置： 所有卷語言為 zh.GBK根卷 vol0 的大小采用 250G，使用缺省參數(shù)，保留 snapshot。數(shù)據(jù)卷容量根據(jù)北方民族大學(xué)原有的 IBM配置進(jìn)行匹配，并適量擴(kuò)充。5 網(wǎng)絡(luò)與基本配置規(guī)劃5.1 網(wǎng)絡(luò)配置規(guī)劃表FAS3220 和 FAS3250 控制器的 2 個(gè)網(wǎng)口組成 vif，以 Single Mode 連接到臺交換機(jī)，以提供網(wǎng)絡(luò)冗余；或者以

12、 Multi Mode 連接到一臺交換機(jī)實(shí)現(xiàn)負(fù)載均衡。NetApp FAS3220 和 FAS3250的用戶名 root ：admin123E5460FAS 系列只需要安裝管理即可，登錄時(shí)候無需用戶名和共享方式例如：個(gè)人電腦開始-運(yùn)行輸入跳出窗口輸入用戶名：administrator：admin123控制器名稱端口名稱IP 地址子網(wǎng)掩碼對方控制器IP 地址接口速度是否啟用巨幀F(xiàn)AS3220-AE0aAuto否E0bSpAuto否FAS3220-BE0aAuto否E0bSpAuto否FAS3250-AE0aAuto否E0bSpAuto否FAS3250-BE0aAuto否E0bSpAuto否FAS

13、3220-A2E0aAuto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否虛擬端口配置控制器名稱虛擬端口名稱虛擬端口類型 (single, multi, lacp)負(fù)載均衡類型(rr,mac,ip)成員端口優(yōu)先端口FAS3220-AVif01singleipE0a/e0bE0aFAS3220-BVif01singleipE0a/e0bE0aFAS3250-AVif01singleipE0a/e0bE0aFAS3250-BVif01singleipE0a/e0bE0aFAS3220-A2Vif01singleipE0a/e0bE0aFAS3220-B2Vif01s

14、ingleipE0a/e0bE0aFAS3240-A2Vif01singleipE0a/e0bE0aFAS3240-B2Vif01singleipE0a/e0bE0aFAS3240-A2E0a172.20.297Auto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否E5460A 控制器0網(wǎng)關(guān)：B 控制器1網(wǎng)關(guān)：5.2Netapp網(wǎng)絡(luò)端口參考：5.3 網(wǎng)絡(luò)控制5.3.1管理端口（E0M/SP）FAS3220 和 FAS3250 的 sp 口需要配置兩個(gè) IP 地址一個(gè)用于日常管理、一個(gè)用于帶外管理5.3.2 數(shù)據(jù)傳輸端口序號源 IP源端口目的 IP目的端口協(xié)議備注

15、1.1056610566TCP2.1056610566TCP協(xié)議UDP 端口TCP 端口HTTP80HTTPS443RSH514SSH22NET23SNMP161162SYSLOG514CIFS445SMTP25SNAPVAULT10565-10566NETBIOS137-138139NDMP10000NTP123123&DNS5353TIME SERVICE3737系統(tǒng)實(shí)施步驟機(jī)房準(zhǔn)備和網(wǎng)絡(luò)環(huán)境注：本次項(xiàng)目有 FAS3220 一套，F(xiàn)AS3250 一套，另外并之前老的 FAS3220 和 FAS3240 存儲整合到現(xiàn)有的 Vmware 虛擬機(jī)環(huán)境中。以下為 NetApp 物理規(guī)格要求，需客戶

16、在安裝前準(zhǔn)備相關(guān)環(huán)境：A:室內(nèi)溫度變化范圍: (20C25C)，濕度 20-80%B: NetApp 設(shè)備硬件尺寸和重量.FAS3220：FAS3250：Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 c

17、m)Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)FAS3240注意：請確認(rèn)系統(tǒng)后部到墻至少 3 英尺（91.44 厘米）空間。該空間確保您能夠連接系統(tǒng)后面板的線纜。它還確保您在拆卸或安裝硬件時(shí)，

18、能夠從 Filer 后部拉出承載主機(jī)板的抽屜。C: NetApp 設(shè)備散熱要求：D.網(wǎng)線和交換機(jī)：6.2初始化請客戶提供初始化需要的 IP 地址和網(wǎng)關(guān)地址，并提供 DNS 服務(wù)器的 IP 地址和 Autosupport 郵件信息，參見網(wǎng)絡(luò)規(guī)劃表。以下為 FAS3220（FAS3250 初始化配置與 FAS3220 一樣）初始化配置過程，先用 Console 線連接到 FAS3220的 Console 口，然后打開磁盤柜電源，一分鐘后打開控制柜電源，就可以進(jìn)入初始化了。（備注：以下配置中的IP、網(wǎng)關(guān)、DNS 等均是舉例，實(shí)際信息需以客戶提供 IP 等信息為準(zhǔn)）6.2.1 FAS3220 初始化配

19、置（舉例）初始化Filer setup設(shè)備規(guī)格要求10Base-TX/100Base- TX/1000Base6 類（或超 5 類）非雙絞線(UTP)，RJ-45 接頭網(wǎng)絡(luò)交換機(jī)建議支持交換機(jī)級聯(lián)和 802.3 QD 靜態(tài)協(xié)議硬件型號散熱量（BTU/hr）FAS32202116FAS32502089DS42433052DS22463800Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.

20、5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)6.3 磁盤空間劃分6.3.1 為機(jī)頭分配磁盤項(xiàng)目采購的空間配置如下：配置 RLM 模塊This system will send event messages and kly reports to Network Appliance Technical Support. To disable this feature, enter options autosupport.support.enable of

21、f within 24 hours. Enabling Autosupport can significantly speed problem determination and resolution should a problem occur on your system. For further information on Autosupport, please see: htt/autosupport/Press the return key to continue.The RemoAN Module (RLM) provides remote management capabili

22、ties including console redirection, logging ander control.It also extends autosupport by sendingadditional system event alerts. Your autosupport settings are used for sending these alerts viaover the RLM LANerface.Would you like to configure the RLM LANerface y: yWould you like to enable DHCP on the

23、 RLM LANerface y: n Please enter the IP address for the RLM : Please enter the netmask for the RLM : Please enter the IP address for the RLM gateway : Thhost is required by your system to send RLM alerts and local autosupport.Please enter the name or IP address of thhost :host You may use the autosu

24、pport options to configure alert destinations.The initial aggregate currently contains 3 disks; you may add more disks to it later using the aggr addd.Verifyinghost settings for RLM use.Thu Oct 22 16:25:18 CST sh-FAS3220A: rlm.driver.host:warning: RLM setup unable to acshost specified in options aut

25、osupport.host.Thu Oct 22 16:25:19 CST sh-FAS3220A: work.failure:warning: The network configuration of the RemoAN Module (RLM) failed due to cable or network errors.Now type reboot for changes to take effect.FAS3220autosupport配置options autosupport.enable onoptions autosupport.from *.com options autos

26、upport.hostx options autosupport.noteto *options autosupport.performance_data.enable off options autosupport.support.transport smtp options autosupport.to*.comFAS3220 磁盤劃分：FAS3250 磁盤劃分：FAS3220（舊）磁盤劃分：機(jī)頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機(jī)頭Aggr071664bit1B 機(jī)頭aggr081664bit1機(jī)頭Aggr磁盤數(shù)量RaidSize可用容量(

27、含卷快照空間)注釋Spare 盤數(shù)量A 機(jī)頭aggr0201664-bit1Agg131664-bit1B 機(jī)頭aggr0271664-bit1機(jī)頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機(jī)頭Aggr0201664bit1Agg131664bit1B 機(jī)頭aggr0271664bit1設(shè)備型號控制器型號、數(shù)量磁盤柜型號、數(shù)量磁盤類型、數(shù)量FAS3220FAS3220A 雙控制器DS4243， 1 個(gè)DS2246， 1 個(gè)24 塊 900GB 10K RPM SAS磁盤24 塊 2TB 7200 RPM SATA磁盤FAS3250FAS3250 雙控制器

28、DS4243， 1 個(gè)DS2246， 1 個(gè)24 塊 900GB 10K RPM SAS磁盤24 塊 1TB 7200 RPM SATA磁盤FAS3220（ 之前老存儲）FAS3220A 雙控制器DS2246，1 個(gè)154 塊 600GB 10K RPM SAS磁盤FAS3250（ 之前老存儲）FAS3250 雙控制器DS4243， 1 個(gè)24 塊 1TB 7200 RPM SATA磁盤FAS3240（舊的） 磁盤劃分：6.3.2 Netapp卷分配FAS3220、FAS3250主要用于Vmware以及、個(gè)人數(shù)據(jù)共享等、E5460主要是為提供 設(shè)備。FAS3220的卷劃分方案如下：控制器數(shù)據(jù)卷

29、卷空間空間FAS3240（舊的存儲）ABshi_1_vol3050GB3TBshi_2_vol3050GB3TBshi_SAS_2_vol1705GB1.7shi_6_vol3050GB3TBshi_SAS_1_vol11305GB1.3TBshi_5_vol3050GB3TB控制器數(shù)據(jù)卷卷空間空間FAS3220ABFAS3220A_SATA1_vol4222GB4TBFAS3220A_SATA2_vol4222GB4TBFAS3220B_SAS1_vol4222GB4TBFAS3220B_SAS2_vol4222GB4TBFAS3220B_SAS3_vol4222GB4TBFAS3220B_

30、SANboot01_vol2GB2gbFAS3250ABFAS3250A_SATA1_vol4222GB4TBFAS3250A SATA2_YIKATONG_vol10111GB10TBFAS3250A_SATA3_vol4222GB4TBFAS3250B_SAS1_vol4222GB4TBFAS3250B_SAS2_vol4222GB4TBFAS3250B_SAS3_vol4222GB4TB機(jī)頭Aggr磁盤數(shù)量RaidSize可用容量(含卷快照空間)注釋Spare 盤數(shù)量A 機(jī)頭aggr0121664-bit1B 機(jī)頭aggr0121664-bit1E4560配置情況：創(chuàng)建了 5 個(gè) Rai

31、d5，創(chuàng)建 10 個(gè) 10TB 的，剩余空間保留。然后將這 10的物理服務(wù)器上，這兩臺物理服務(wù)個(gè)通過光纖直連方式至兩臺器安裝 Vmware ESXi 5.5 做虛擬化應(yīng)用。目前計(jì)劃將這 10 個(gè) 10TB 的通過設(shè)備的方式直接給服務(wù)器里面的虛擬機(jī)應(yīng)用。FAS3220舊的ABFAS3220A2_SAS13040GBNFS 卷FAS3220A2_SAS13040GBNFS 卷FAS3220B2_SAS12500GBNFS 卷6.3.3 設(shè)置卷屬性FAS3220 FAS3220 FAS3220FAS3220vol vol volvolsize vol0 250goptions optionsopti

32、onscreate_ucode on nosnap onnosnapdir onFAS3220FAS3220snap reserve snap sched 000 06.4的劃分本次實(shí)施將完成基于 Windows 和 Linux的劃分：1.基于 Unix 的 FCP 2.基于 ESX server 的6.4.1 Unix 上的劃分。劃分。劃分（舉例）任務(wù)命令或界面1 確保光纖交換機(jī)的zone設(shè)置正確，以便端可認(rèn)到AIX主機(jī) 的 HBA 卡 WWN號光纖線連接好，光纖交換機(jī)配置好后可在端發(fā)現(xiàn)主機(jī) WWN 號：FAS3220iscsi initiator show.ibm:ata-ixt5cbsi

33、uuj（CRTL+C，后有用）2 通過 setup 向?qū)В瑸閷?yīng)的客戶機(jī)創(chuàng)建。FAS3220setup劃分This setup will take you through the steps needed to creaUNsand to make them acsiby initiators. You can type C (Control-C) at any time to abort the setup and no unconfirmed changes will be made to the system.Do you want to create a? y: yMultiprotocol type of(image/solaris/windows/hpux/aix/linux/netware/vmware) image: aix設(shè)置Apath must be absolute. Acan only reside in a volume or qtree root. For exle, to create awith name 0he qtree root /vol/vol1/q0, specify the pas /vol/vol1/q0/ 0.Ent