Brocade博科SAN網(wǎng)絡(luò)設(shè)計方案

1、Brocade 網(wǎng)絡(luò)工程設(shè)計方案Contents一. 文檔目標 2二. SAN網(wǎng)絡(luò)設(shè)計原那么2三. SAN網(wǎng)絡(luò)架構(gòu)拓撲建議3四. SAN總體架構(gòu)介紹4五 . 設(shè)備選型 5六 . 交換機高端功能簡介 6七. 數(shù)據(jù)中心SAN的組成與擴展6八. SAN網(wǎng)絡(luò)配置規(guī)8九. FIRMWAR 建議 10文檔目標為了配合 數(shù)據(jù)擴展特制定本技術(shù)指引。本指引將會包括以下容：? 更好地規(guī)劃、合理地使用SAN架構(gòu)與相關(guān)資源?針對未來業(yè)務開展帶來的SAN架構(gòu)擴展提出原那么? 對現(xiàn)有的設(shè)備端口資源以與未來可能投入的新資源進展合理的 配置規(guī)劃? 對SANK備相關(guān)的平安策略和監(jiān)控管理提出相應規(guī)SAN網(wǎng)絡(luò)設(shè)計原那么對于金融效勞

2、環(huán)境等要求最高可靠性、性能和彈性的任何根底架構(gòu) 來說，存儲網(wǎng)絡(luò)架構(gòu)都是根本的組成要素。事實屢次證明，如果在這些 方面投機取巧走捷徑，那么將來發(fā)生本可防止的故障時，企業(yè)將付出更 大的代價。一旦產(chǎn)生故障除了極高的宕機本錢以外，還會導致生產(chǎn)率下 降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場聲譽受損等后 果。所以博科對于SAN網(wǎng)絡(luò)架構(gòu)非常重視，根據(jù)博科20多年的存儲網(wǎng)絡(luò) 經(jīng)歷，建議按以下原那么設(shè)計存儲網(wǎng)絡(luò)。1. 最小化所管理 Fabric 架構(gòu)的數(shù)量 - Fabric 架構(gòu)越少就越容易 管理。2. 最小化每個 Fabric 架構(gòu)換機數(shù) - 使用如大型導向器可簡化管理， 將可能的 Fabric 架

3、構(gòu)中斷情況降至最低。3. 限制 Fabric 架構(gòu)規(guī)模 - Fabric 架構(gòu)規(guī)模應加以限制4. 使用高可用性高的交換機-即使SAN擁有冗余架構(gòu)可用于故障切換，也沒有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問題。5. 防止大負載比，防止造成擁塞或性能降低 - 任何負載比都應適 當?shù)丶右栽O(shè)計。6. 大型環(huán)境采用核心 -邊緣模式 - 核心-邊緣設(shè)計模式可支持更大 型多 Fabric 架構(gòu)的創(chuàng)立，有助于簡化日常管理任務，便于解決 問題。7. 針對存儲流量進展設(shè)計 - 在 SAN 環(huán)境中響應時間是以毫秒甚至 納秒與進展衡量的，牢靠的SAN設(shè)計必須提供可靠且一致的I/O 響應。8. 資源就近訪問原那么 - 主機訪問存

4、儲或存儲間訪問因采用就近 原那么，即使用盡可能少的跳數(shù)完成訪問。SAN網(wǎng)絡(luò)架構(gòu)拓撲建議SAN 網(wǎng)絡(luò)架構(gòu)拓撲包括網(wǎng)絡(luò)邊緣的設(shè)備、網(wǎng)絡(luò)核心的交換機以與將 它們連接起來的線纜。拓撲結(jié)構(gòu)一般根據(jù)交換機互連方式進展描述，如 環(huán)狀、核心 - 邊緣、邊緣 -核心- 邊緣或全網(wǎng)狀。4.1 邊緣 - 核心拓撲邊緣 -核心拓撲將 Initiator 效勞器部署在邊緣層，將 存儲目標部署在核心層。效勞器和存儲設(shè)備位于不同的交換 機上，這種拓撲可提供管理簡便性和出色的性能， 從邊緣到核心 的流量只通過一跳。4.2 邊緣 - 核心- 邊緣拓撲邊緣 -核心- 邊緣拓撲將 Initiator部署在一個邊緣層，將存儲設(shè)備部署

5、在另一個邊緣層， 將核心用于交換機互連或連接全 網(wǎng)絡(luò)圍的設(shè)備， 這種架構(gòu)允許獨立擴展計算和存儲資源， 流量只 需要經(jīng)過兩跳就可以從邊緣通過核心傳輸?shù)搅硪粋€邊緣設(shè)備。4.3 全網(wǎng)狀拓撲全網(wǎng)狀拓撲可以將效勞器和存儲設(shè)備部署在任何地方， 因為 任意源和目的地之間的通信只需要一跳。Brocade 推薦使用核心 - 邊緣拓撲。這種拓撲提供了以存儲為中 心的可擴展根底設(shè)施， Fabric 的核心端通常是由一個或更多導向器 級交換機組成，提供了集中化的存儲連接。邊緣端是由 Fabric 架構(gòu) 交換機或?qū)蚱鹘M成，通過 ISL 連接到核心端。見以下圖：Storage (Server如以下圖，存儲端口是由核心導

6、向器提供支持， 同時邊緣交換機提 供多臺效勞器到核心資源的扇入。這種設(shè)計允許路徑上不同級別 效勞器進展連接，滿足了不同應用的帶寬需求。架構(gòu)特點：?主機訪問存儲跳數(shù)為1 跳,延時較低?可實現(xiàn)按需橫向擴展Core或邊緣?存儲可接入在不同的核心上，實現(xiàn)最大的負載均衡?流量分布在不同的核心與邊緣降低的級聯(lián)線的需求，有效的提升了 ISL的使用效率?網(wǎng)絡(luò)中無單點交換機故障四.SAN總體架構(gòu)介紹為了適應新一代業(yè)務的增長，在新一代 SAN架構(gòu)設(shè)計時，以保證未 來五年的業(yè)務增長為前提，為 公司定下了核心-邊緣的SAN架構(gòu)，同時 兼顧未來的同城災備中心，為將來的擴展奠定根底。當前架構(gòu)為雙機房架構(gòu)，其中 A機房和B

7、機房又分布在同一樓層， 存儲會分布在2個機房。5.1數(shù)據(jù)中心SAN網(wǎng)絡(luò)架構(gòu)生產(chǎn)SAN網(wǎng)絡(luò)架構(gòu)為 的核心架構(gòu)，當前使用的設(shè)備為博科 的6510交換機且為單機應用，無論從性能還是功能上均無法滿 足用戶的業(yè)務增長需求。依據(jù)最正確實踐，Brocade提出以核心-邊緣建立生產(chǎn)數(shù)據(jù) 中心的SAN網(wǎng)絡(luò)，以滿足的業(yè)務擴展，見以下拓撲圖單邊：A機房B機房(fW652065106510從整個拓撲來看，核心-邊緣架構(gòu)在提供了極佳的應用冗余 性外，SAN網(wǎng)絡(luò)同時實現(xiàn)了集中存儲到應用體系的轉(zhuǎn)換，使主機 和存儲各自的設(shè)計和擴展變的相對獨立。五設(shè)備選型鑒于機房的設(shè)備布局與業(yè)務需求，決定使用6520來作為整個SAN網(wǎng)絡(luò)的核心

8、交換機。?6520硬件Brocade 6520交換機可交付市場領(lǐng)先的16 Gbps光纖通道 技術(shù)和支持高度虛擬化環(huán)境的先進功能，進而滿足超大規(guī)模私有 云存儲環(huán)境的需求。Brocade 6510設(shè)計用于實現(xiàn)最高的靈活性 和最有效的投資保護，支持48, 62, 96端口配置，而且可在高效 的2U高度下支持2、4、8、10或16 Gbps的速度。六. 交換機高端功能簡介生產(chǎn)設(shè)備將會分布在A機房與B機房，因此數(shù)據(jù)傳遞可靠性尤為重 要， Brocade 傳輸功能保證數(shù)據(jù)快速準確的在數(shù)據(jù)中心中傳遞，業(yè)界首 屈一指的Fabric Vision 功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網(wǎng)絡(luò)監(jiān)控與管理更簡單，更

9、智能，更有效，確保數(shù)據(jù)平安無憂。? Fabric VisionSAN管理的目標是希望構(gòu)建靈活的存儲區(qū)域網(wǎng)絡(luò)，靈活滿足高密 度虛擬化、閃存和云根底架構(gòu)動態(tài)多變的可擴展性和性能要求。為 實現(xiàn)這些目標，需要全新的工具來幫助確保不停機運行，快速識別 潛在擁塞點， 最大限度地提高應用性能并簡化管理。 Brocade Fabric Vision 技術(shù)是對第五代光纖通道技術(shù)的擴展，可提供無與倫比的存 儲網(wǎng)絡(luò)洞察力和可視性，利用強大的置監(jiān)控、管理和診斷工具幫助 企業(yè)。? 提供強大的置監(jiān)控、管理和診斷工具，簡化管理、延長正常 運行時間并降低本錢? 通過One Touch方式利用15年的SAN最正確實踐經(jīng)歷，借

10、助預先定義的基于閥值的規(guī)那么、操作和策略簡化監(jiān)控解決 方案部署? 利用主動監(jiān)控和高級診斷工具防止 50%的常見網(wǎng)絡(luò)故障。? 通過自動化測試和診斷工具消除近 50%的維護本錢。? 通過置監(jiān)控和診斷功能消除對昂貴的第三方工具的需求，幫 助節(jié)約大量的資本支出。七. 數(shù)據(jù)中心SAN的組成與擴展7.1SAN網(wǎng)絡(luò)的組成SAN架構(gòu)由核心Core交換機、邊緣Edge交換機與相關(guān)線 路組成。根據(jù)最正確實踐，我們先定義每個 SAN網(wǎng)絡(luò)遵循的規(guī)模限制：? 交換機個數(shù) <=10? 端口數(shù) <=2000SAN網(wǎng)絡(luò)的規(guī)模限制是為了保證網(wǎng)絡(luò)的穩(wěn)定性以與更好的進展 運維管理效勞。7.2SAN網(wǎng)絡(luò)的擴展性以下圖是目

11、前設(shè)計的單邊 SAN網(wǎng)絡(luò)最大規(guī)模交換機數(shù)連接示 意圖，可以看到：網(wǎng)絡(luò)交換機采用冗余鏈路設(shè)計， 每個SAN網(wǎng)絡(luò)最 大有2臺核心Core交換機按需擴展和8臺邊緣Edge交換機按 需擴展。核心7.3SAN網(wǎng)絡(luò)的擴展原那么SAN的設(shè)計是按5-7年設(shè)計，但是SAN的建立是按需擴展的， 隨著未來業(yè)務的開展可能會帶來SAN網(wǎng)絡(luò)的擴展需求，對此Brocade 有著如下定義：在既定SAN網(wǎng)絡(luò)某體系需要擴展時，如果某 SAN網(wǎng) 絡(luò)仍有相應擴展空間那么進展縱向擴展；如某SAN網(wǎng)絡(luò)已達規(guī)模上限時那么采取橫向擴展。以下為擴展根本原那么即流程圖:7.4總結(jié) 根據(jù)以上容，以下是對SAN網(wǎng)絡(luò)擴展的總結(jié)：? 當端口需要擴展時，

12、依據(jù)接入設(shè)備存儲 / 主機選擇接入核心 還是邊緣交換機。? 當核心 / 邊緣交換機端口缺乏時首先選擇擴展板卡方式進展擴 展? 當核心 / 邊緣交換機無縱向擴展選擇時， 通過橫向擴展方式進展 擴展，即新增交換機。? 所有核心 / 邊緣交換機接入需采用雙路冗余接入方式。八. SAN網(wǎng)絡(luò)配置規(guī)8.1 管理網(wǎng)絡(luò)的界定為了統(tǒng)一起見，我們對管理網(wǎng)絡(luò)進展如下界定：1.2. 管理網(wǎng)絡(luò)區(qū)可以設(shè)置有多個網(wǎng)段。SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、 SAN存儲設(shè)備的管理和調(diào)試、BNA SAN網(wǎng)絡(luò)管理系統(tǒng)可以分別 使用不同的網(wǎng)段。3. 如果網(wǎng)段之間設(shè)備需要相互通信，那么需要相關(guān)的網(wǎng)段能互連 互通。8.2 SAN網(wǎng)絡(luò)設(shè)備管理IP

13、地址規(guī)劃推薦如下管理 IP 地址規(guī)劃：1. 在同一個SAN網(wǎng)中光纖交換機的管理端口設(shè)在同一個網(wǎng)段。2.3.對于普通的SAN交換機，一臺交換機分配1個管理IP地址； 對于導向器設(shè)備， 每臺導向器需要 3個管理 IP 地址， 2個分配 給CP板，1個分配給chassis。在導向器實際管理中，我們使 用分配給 chassis 的 IP 地址作為管理地址。8.3 SAN交換機級聯(lián)端口利用規(guī)劃SAN交換機端口連接規(guī)劃需要充分考慮過載比和實際使用環(huán)境。所謂的過載比，是指邊緣交換機所連接的效勞器的數(shù)量與邊緣交換機到核心交換機的 ISL 數(shù)量比值，簡稱 ISL 過載比，或邊緣交換機所連接的效勞器的帶寬綜合與邊

14、緣交換機到核心交換機的ISL帶寬總和的比值，簡稱為帶寬過載比，還有一種過載比是效勞器與存儲端口數(shù)量 的比值。下面我們以ISL過載比進展SAN交換機端口連接規(guī)劃。1. 一般情況下，邊緣交換機到核心交換機之間按 7:1過載比進展規(guī)劃。對一般數(shù)據(jù)庫和應用效勞器以與文件效勞器等，其過載比一般建議7:1。2. 帶寬要求不高的按15:1過載比進展規(guī)劃，一般效勞器以與使用FC的客戶端，15： 1 一般都能 勝任。3. 個別帶寬要求較高的按3:1過載比進展規(guī)劃，例如核心數(shù)據(jù)庫和存儲端口的過載比一般建議 3:1 o8.4別名的規(guī)劃1. 為了日常管理的清晰和方便推薦使用別名2. 賦予別名名稱一定的含義，如效勞器

15、SVR存儲SG物理磁帶庫LIB等3. 別名名稱的規(guī)定和ZONE勺名稱的規(guī)定一樣8.5 ZONE的規(guī)劃以下是依據(jù)ZONE劃分的最正確實踐提出如下ZONE勺設(shè)置規(guī)：1. 對于每臺主機的initiator1個端口，對應1個或數(shù)個存儲端口 target丨一起構(gòu)成1個ZONE2. 采用硬件分區(qū)技術(shù)，ZONE的成員要么都是PWVVN要么都是FC 端口(Domain ID, Port Index)。3. 推薦在核心交換機上配置ZONE4. 推薦FOS Fabric OS丨版本最高的交換機上配置 ZONE5. 不同的Fabric ZONE的配置信息可以一樣，相互獨立。6. 推薦將交換機的 Default ZONE設(shè)置成NoAccesso7. 博科交換機的ZONE勺命名為英文字母、阿拉伯數(shù)字和下劃線， 必須以英文字母開頭，總長度不能超過 64位，要區(qū)分英文字 母大小寫。ZONE命名原那么如下：Zone名稱由前端設(shè)備名稱別名、后端設(shè)備名稱 2局部構(gòu)成。名稱 依次連接，不留空格，其表示