FC存儲(chǔ)網(wǎng)絡(luò)配置手冊(cè)

1、光纖通道是一個(gè)標(biāo)準(zhǔn)化的網(wǎng)絡(luò)通信協(xié)議，在網(wǎng)絡(luò)通信的七層協(xié)議模型中屬于第二層，是一種數(shù)據(jù)鏈路層的協(xié)議，與以太網(wǎng)同類。光纖通道的傳輸層是協(xié)議無(wú)關(guān)的，原則上它可以傳輸各種第三層協(xié)議。但光纖通道并沒(méi)有像以太網(wǎng)那樣用于支持IP 協(xié)議， 或支持其他的上層協(xié)議，而主要用來(lái)支持SCSI 數(shù)據(jù)存儲(chǔ)協(xié)議。這是因?yàn)楣饫w通道具有通道的特征，適用于在發(fā)起方和目標(biāo)方兩個(gè)結(jié)點(diǎn)之間的通道上傳輸數(shù)據(jù)幀；另一方面，光纖通道將更多的功能硬件化并采用光纖傳輸，具有可靠的性能保證。主機(jī)和存儲(chǔ)陣列設(shè)備經(jīng)FC 存儲(chǔ)網(wǎng)絡(luò)連接的一個(gè)典型拓?fù)淙鐖D1 所示。圖 1 主機(jī)/存儲(chǔ)陣列連接在 FC存儲(chǔ)網(wǎng)絡(luò)中，主機(jī)和存儲(chǔ)設(shè)備總是采用冗余的鏈路連接，以消除任

2、何單點(diǎn)故障隱患。圖示中有兩臺(tái)FC 交換機(jī)；每臺(tái)主機(jī)有兩個(gè)HBA 接口，分別連接到兩個(gè)FC 交換機(jī)；每個(gè)磁盤陣列有兩個(gè)控制器，每個(gè)控制分別連接到兩個(gè)FC 交換機(jī)。磁盤陣列的兩個(gè)控制器具有對(duì)等的地位，任何一個(gè)控制器都可以支撐整個(gè)設(shè)備的運(yùn)行，兩個(gè)控制器工作在雙活的運(yùn)行模式，既負(fù)載均衡又故障冗余。一般情況下，磁盤存儲(chǔ)陣列都配有兩個(gè)控制器，一些高端設(shè)備還可以配置多個(gè)控制器。在圖 1 所示的交換式網(wǎng)絡(luò)中，每個(gè)主機(jī)到每個(gè)磁盤陣列設(shè)備的物理路徑有 4 條。圖 2 顯示了一個(gè)磁盤存儲(chǔ)陣列控制上的FC 接口。示例中的磁盤陣列有2 個(gè)控制器，標(biāo)識(shí)分別為 A 和 B，每個(gè)控制器上由4 個(gè) 4GBps 速率的 FC 接

3、口。圖 2 存儲(chǔ)陣列控制器上的FC 接口在 FC 存儲(chǔ)網(wǎng)絡(luò)中，不論是發(fā)起方主機(jī)還是目標(biāo)方存儲(chǔ)設(shè)備都被稱為節(jié)點(diǎn)，節(jié)點(diǎn)設(shè)備上的每個(gè) FC 物理接口被稱為N 端口(Node Port)。節(jié)點(diǎn)設(shè)備通過(guò)FC 交換機(jī)互連被稱為交換式SAN ，連接設(shè)備N 端口的交換機(jī)物理接口被稱為F 端口(Fabric Port)。節(jié)點(diǎn)設(shè)備在網(wǎng)絡(luò)中尋址使用設(shè)備的世界范圍名(WWN: World Wide Name )， WWN 是設(shè)備制造商向IEEE 注冊(cè)得到的，可以保證每個(gè)設(shè)備WWN 是全球惟一的。WWN 細(xì)分為一個(gè)64 位的世界范圍結(jié)點(diǎn)名( WWNN: World Wide Node Name) 和一個(gè) 64 位的世界

4、范圍端口名( WWPN: World Wide Port Name )。這種命名機(jī)制可以保證網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)設(shè)備及其端口都具有惟一性名稱。在規(guī)模比較大的SAN 網(wǎng)絡(luò)中，需要連接多個(gè)FC 交換機(jī)，交換機(jī)間互連的接口稱為E 端口 (Expansion Port) 。 為了便于管理，可以把交換機(jī)劃分成多個(gè)自治區(qū)域(Autonomous Region) 。在多自治區(qū)域的結(jié)構(gòu)中，有一個(gè)自治區(qū)域是骨干網(wǎng)區(qū)域，其他自治區(qū)域均連接到骨干網(wǎng)區(qū)域。非骨干網(wǎng)自治區(qū)域之間只能通過(guò)骨干網(wǎng)區(qū)域交換數(shù)據(jù)。交換機(jī)也被分為骨干網(wǎng)區(qū)域內(nèi)交換機(jī)、非骨干網(wǎng)區(qū)域內(nèi)交換機(jī)和用于區(qū)域間互連的邊界交換機(jī)。網(wǎng)絡(luò)路由信息在區(qū)域內(nèi)的交換機(jī)機(jī)間傳遞

5、，也經(jīng)邊界交換機(jī)在區(qū)域間傳遞，路由決策采用最短路徑算法。分區(qū)( Zoning)是 SAN 在網(wǎng)絡(luò)層的一種訪問(wèn)控制機(jī)制，只有同屬一個(gè)分區(qū)的節(jié)點(diǎn)才能互相通信。分區(qū)建立在交換機(jī)上，以交換機(jī)端口號(hào)的靜態(tài)分區(qū)被稱為硬分區(qū)，以設(shè)備WWN地址的動(dòng)態(tài)分區(qū)被稱為軟分區(qū)，分區(qū)可以跨交換機(jī)。分區(qū)看起來(lái)很像以太網(wǎng)的VLAN ， 但與VLAN 的一個(gè)顯著區(qū)別是分區(qū)可以重疊，一個(gè)設(shè)備可以同時(shí)屬于很多個(gè)分區(qū)。下面是一個(gè)交換機(jī)上的分區(qū)配置的示例。圖3 顯示了一個(gè)交換機(jī)的視圖，接口0、 1 分別連接到第一個(gè)磁盤陣列的兩個(gè)控制器，接口2、 3 分別連接到第二個(gè)磁盤陣列的兩個(gè)控制器。接口 4-15 分別連接到12 臺(tái)服務(wù)器。3 交

6、換機(jī)接口視圖4 在每個(gè)接口標(biāo)號(hào)下顯示了接入節(jié)點(diǎn)設(shè)備的WWN 。4 接口連接信息由于分區(qū)可以重疊，我們可以采用一種精細(xì)化的建立分區(qū)的策略，為每一對(duì)允許的“發(fā)起方 -目標(biāo)方 ”通道建立一個(gè)單獨(dú)的分區(qū)。按照一定的規(guī)則命名分區(qū)，本例中分區(qū)s4p0 允許接口 4 上的服務(wù)器與磁盤陣列1 的控制器1 通信， s4p1 允許接口4 上的服務(wù)器與磁盤陣列1的控制器2 通信，分區(qū)s5p2 允許接口5 上的服務(wù)器與磁盤陣列2 的控制器1 通信， s5p3 允許接口 5 上的服務(wù)器與磁盤陣列2 的控制器2 通信，以此類推。圖 5 顯示了分區(qū)“ s4p0的區(qū)成員的成員為交換機(jī)接口 ”“ 1,4和 ”“ 1,0， 下拉

7、列表中列出了部分”當(dāng)前定義的分區(qū)，所有定義的分區(qū)都同時(shí)生效。5 分區(qū)配置分區(qū)的定義為主機(jī)和存儲(chǔ)設(shè)備之間建立了可以通信的通道。下一步就需要進(jìn)行LUN 映射LUN Mapping ），將存儲(chǔ)設(shè)備上的LUN 映射到指定的主機(jī)。LUN 映射通常是存儲(chǔ)設(shè)備上6 所示，但前存儲(chǔ)陣列上建立了5 個(gè)主機(jī)組（不含默認(rèn)主機(jī)組），每個(gè)主機(jī)組6 存儲(chǔ)陣列上的主機(jī)組一個(gè) LUN磁盤陣列一般都采用主機(jī)組的結(jié)構(gòu)方式，一個(gè)主機(jī)必須且只能屬于一個(gè)主機(jī)組，只能映射給一個(gè)主機(jī)組。當(dāng)然， 一個(gè)主機(jī)組通常包含多個(gè)主機(jī)成員，一個(gè)主機(jī)組映射到多個(gè)LUN 。 同一主機(jī)組的每個(gè)成員主機(jī)都可以掛載映射到該主機(jī)組的所有LUN ， 每個(gè) LUN 就

8、如同主機(jī)本地的一塊“磁盤 ”。主機(jī)和LUN 以主機(jī)組為紐帶形成多對(duì)多的映射關(guān)系。共享存儲(chǔ)就體現(xiàn)在主機(jī)組的成員主機(jī)之間。磁盤陣列設(shè)備可以通過(guò)自動(dòng)注冊(cè)或手工注冊(cè)的方法建立主機(jī)組中的主機(jī)。如圖 7 所示， 主機(jī)組 VMware 中的主機(jī)VMware1 的接口類型為FC，主機(jī)的標(biāo)識(shí)就是主機(jī)HBA 卡 FC 接口的 WWN ，該主機(jī)有兩個(gè)WWN ，表明其連接了兩個(gè)FC 接口。存儲(chǔ)陣列設(shè)備在網(wǎng)絡(luò)上以WWN 尋址主機(jī)。7 主機(jī)的標(biāo)識(shí)圖 8 顯示了該主機(jī)組映射了一個(gè)2TB 存儲(chǔ)容量的LUN ，主機(jī)組中的3 個(gè)主機(jī) VMware1 、WMware2 、 WMware3 共享這個(gè)LUN 。8 LUN 的映射NAS

9、 集群網(wǎng)關(guān)，NAS 頭有各自的FC接口，NAS 頭就是一個(gè)主機(jī)，在該實(shí)例中我們還看到一個(gè)主機(jī)組N8500，有 6 個(gè)成員主機(jī)，這是一個(gè)同一個(gè)機(jī)箱內(nèi)安裝了6 個(gè) NAS 頭， 機(jī)箱內(nèi)沒(méi)有磁盤框，通過(guò)每個(gè)通過(guò)存儲(chǔ)網(wǎng)絡(luò)使用磁盤陣列上的存儲(chǔ)空間。從磁盤陣列端看，每個(gè)實(shí)際上該設(shè)備本質(zhì)上就是一個(gè)定制了專用操作系統(tǒng)的刀片服務(wù)器。如圖9 所示，該NAS 網(wǎng)關(guān)映射了大量的LUN ，總存儲(chǔ)容量接近100TB 。圖 9 一個(gè) NAS 集群網(wǎng)關(guān)映射的LUN現(xiàn)在我們從主機(jī)一側(cè)看一下存儲(chǔ)設(shè)備提供的共享資源。圖 10 顯示一個(gè)VMware ESX 主機(jī)有 4 個(gè) HBA 接口卡及WWN 地址。詳細(xì)信息中顯示了名稱為vmhba4 接口識(shí)別到8 個(gè)目標(biāo)存儲(chǔ)設(shè)備的WWN 地址，在這8 個(gè)目標(biāo)存儲(chǔ)設(shè)備上共有96 條 FC 路徑，每個(gè)路徑的另一端都是某個(gè)目標(biāo)存儲(chǔ)設(shè)備上的一個(gè)LUN 。由于存儲(chǔ)網(wǎng)絡(luò)的冗余結(jié)構(gòu)，當(dāng)中有許多冗余路徑，即多路徑(Multipathing )。10 ESX 主機(jī)的存儲(chǔ)網(wǎng)絡(luò)路徑圖 11 顯示