解析多路徑管理軟件功能與架構(gòu)

多路徑管理軟件的主要功能屏蔽冗余LUN存儲(chǔ)通過(guò)Fabric網(wǎng)絡(luò)的Zone和存儲(chǔ)的LUNMasking/LUNMapping建立與服務(wù)器的關(guān)系，服務(wù)器上就可以識(shí)別存儲(chǔ)的LUN。在多路徑組網(wǎng)的存儲(chǔ)區(qū)域網(wǎng)絡(luò)中，當(dāng)未安裝多路徑管理軟件的服務(wù)器通過(guò)每條路徑都會(huì)發(fā)現(xiàn)一個(gè)LUN，此時(shí)存儲(chǔ)上同一個(gè)LUN，在服務(wù)器端會(huì)被認(rèn)為是兩個(gè)或多個(gè)不同的LUN，即出現(xiàn)了冗余LUN。服務(wù)器端上顯示的LUN實(shí)際上僅是路徑不同。當(dāng)安裝了多路徑管理軟件之后，冗余的LUN會(huì)被聚合為虛擬LUN，操作系統(tǒng)識(shí)別虛擬LUN，并直接對(duì)虛擬LUN進(jìn)行I/O操作，I/O數(shù)據(jù)流經(jīng)過(guò)多路徑管理軟件后，按照多路徑管理軟件設(shè)置的策略與存儲(chǔ)進(jìn)行I/O操作。選擇最優(yōu)路徑存儲(chǔ)系統(tǒng)為了保證業(yè)務(wù)運(yùn)行的穩(wěn)定性和連續(xù)性，一般會(huì)配置兩個(gè)或者多個(gè)控制器，實(shí)現(xiàn)部件冗余。存儲(chǔ)系統(tǒng)中每個(gè)LUN都有一一對(duì)應(yīng)的所屬控制器，所屬控制器是存儲(chǔ)系統(tǒng)為L(zhǎng)UN指定的一個(gè)特定控制器，用來(lái)避免兩個(gè)或多個(gè)控制器同時(shí)對(duì)同一個(gè)LUN進(jìn)行操作，防止寫沖突損壞存放的數(shù)據(jù)。在日常運(yùn)行過(guò)程中，如果服務(wù)器通過(guò)非所屬控制器來(lái)訪問(wèn)LUN，最終需要轉(zhuǎn)給LUN的所屬控制器進(jìn)行處理，直接通過(guò)所屬控制器訪問(wèn)對(duì)應(yīng)的LUN可獲得最快的I/O速率。在多路徑組網(wǎng)環(huán)境下，服務(wù)器上虛擬LUN對(duì)應(yīng)的存儲(chǔ)系統(tǒng)上LUN的所屬控制器，稱為該LUN的優(yōu)選控制器。因此，安裝多路徑管理軟件的服務(wù)器會(huì)優(yōu)先選擇通過(guò)優(yōu)選控制器來(lái)訪問(wèn)存儲(chǔ)系統(tǒng)上的LUN，獲得最快的I/O速率。連接到優(yōu)選控制器的路徑就是最優(yōu)I/O訪問(wèn)路徑。多路徑管理軟件能夠獲取LUN的優(yōu)選控制器信息，能夠自動(dòng)為數(shù)據(jù)流選擇優(yōu)選控制器上的一條或多條路徑進(jìn)行訪問(wèn)以獲得最佳的I/O速率。故障切換和故障恢復(fù)通常多路徑管理軟件在路徑故障時(shí)可以自動(dòng)將I/O轉(zhuǎn)移到其他可用路徑，例如：當(dāng)服務(wù)器上的應(yīng)用通過(guò)多路徑管理軟件管理的虛擬LUN進(jìn)行I/O操作，多路徑管理軟件選擇一條最優(yōu)路徑，向存儲(chǔ)提交I/O請(qǐng)求，如果這條路徑故障，導(dǎo)致下發(fā)到存儲(chǔ)的I/O請(qǐng)求失敗，多路徑管理軟件會(huì)得到失敗的返回值，此時(shí)多路徑管理軟件會(huì)重新選擇另一條路徑，再次向存儲(chǔ)提交I/O請(qǐng)求，如果路徑正常，I/O下發(fā)到存儲(chǔ)成功，多路徑管理軟件會(huì)接收到成功的返回值，并且把相應(yīng)的狀態(tài)信息反饋給操作系統(tǒng)和應(yīng)用。請(qǐng)注意，多路徑管理軟件在發(fā)現(xiàn)路徑故障時(shí)通常會(huì)多次重新嘗試和等待，這樣會(huì)消耗一定的時(shí)間，會(huì)造成一定的I/O阻塞。多路徑管理軟件在檢測(cè)到路徑故障恢復(fù)后，會(huì)自動(dòng)把I/O重新下發(fā)到該路徑。路徑故障恢復(fù)有兩種方式：對(duì)于支持熱拔插的操作系統(tǒng)（如Windows），服務(wù)器與存儲(chǔ)系統(tǒng)之間的鏈路斷開(kāi)會(huì)導(dǎo)致SCSI設(shè)備被刪除，相應(yīng)的鏈路在恢復(fù)后會(huì)觸發(fā)重新創(chuàng)建SCSI設(shè)備，對(duì)于這種場(chǎng)景的多路徑管理軟件需要立即感知到路徑恢復(fù)。對(duì)于不支持熱拔插的操作系統(tǒng)（如AIX、低版本的Linux），多路徑管理軟件通過(guò)周期測(cè)試感知路徑恢復(fù)。負(fù)載均衡談到負(fù)載均衡，需要先了解一下存儲(chǔ)控制器的多路徑機(jī)制，存儲(chǔ)連接服務(wù)器的控制器，通常稱為前端控制器，多路徑機(jī)制大概分為三類：主主模式（A/A）：SymmetricActive/Active，對(duì)于特定的LUN來(lái)說(shuō)，在它的路徑中，兩個(gè)（或多個(gè)）存儲(chǔ)前端控制器（下面簡(jiǎn)稱控制器）的目標(biāo)端口均處于主動(dòng)/優(yōu)化（active/optimized）狀態(tài)。兩個(gè)控制器之間實(shí)現(xiàn)高速互聯(lián)的通訊，一個(gè)I/O發(fā)到控制器端，兩個(gè)控制器可同時(shí)參與處理。當(dāng)路徑出現(xiàn)故障，將離線（offline）故障路徑并重定向I/O到其他路徑，I/O重定向期間，存儲(chǔ)控制器會(huì)充分考慮負(fù)載平衡等因素并選擇最合適的路徑。對(duì)于應(yīng)用程序，路徑切換過(guò)程是透明的的，幾乎不會(huì)有延遲（延遲時(shí)間一般為幾秒）。ALUA模式：AsymmetricActive/Active，ALUA是AsymmetricLogicalUnitAccess（異步邏輯單元訪問(wèn)）的縮寫，對(duì)于特定的LUN來(lái)說(shuō)，在它的路徑中，一個(gè)存儲(chǔ)前端控制器（下面簡(jiǎn)稱控制器）的目標(biāo)端口處于主動(dòng)/優(yōu)化（active/optimized）狀態(tài)，另一個(gè)控制器的目標(biāo)端口處于主動(dòng)/非優(yōu)化（active/unoptimized）狀態(tài)。在某一個(gè)時(shí)刻，某個(gè)LUN只是屬于某一個(gè)控制器，要想實(shí)現(xiàn)兩邊的負(fù)載均衡，就是將任務(wù)A交給控制器A，將任務(wù)B交給控制器B，對(duì)于同一個(gè)任務(wù)來(lái)說(shuō)，任何時(shí)候只有一個(gè)控制器在控制。多路徑管理軟件和控制器共同配合指定每個(gè)LUN的優(yōu)選控制器，如果路徑發(fā)生故障，將重新分配I/O流量到其他可用的路徑，同時(shí)，停止故障路徑上的I/O，此時(shí)優(yōu)選控制器是否切換，多數(shù)取決于存儲(chǔ)廠商的設(shè)計(jì)。主從模式（A/P）：Active/Passive，對(duì)于特定的LUN來(lái)說(shuō)，在它的路徑中，一個(gè)存儲(chǔ)前端控制器（下面簡(jiǎn)稱控制器）的目標(biāo)端口處于主動(dòng)/優(yōu)化（active/optimized）狀態(tài)，另一個(gè)控制器的目標(biāo)端口處于備用（standby）狀態(tài)?？刂破鲿?huì)指定每個(gè)LUN的優(yōu)選控制器，如果路徑發(fā)生故障，將重新分配I/O流量到其他可用的路徑，同時(shí)，停止故障路徑上的I/O，此時(shí)通常會(huì)發(fā)生優(yōu)選控制器的切換。多路徑管理軟件配合存儲(chǔ)前端控制器，有多種選路算法。例如輪詢算法（round_robin），如果多路徑管理軟件管理四條路徑，服務(wù)器第一次向存儲(chǔ)系統(tǒng)發(fā)送I/O時(shí)，多路徑管理軟件將通過(guò)第一條路徑傳輸，第二次發(fā)送時(shí)采用第二條路徑，以此類推第三條，第四條。當(dāng)?shù)谖宕伟l(fā)送時(shí)又回到第一條路徑傳輸，路徑采用輪流使用的方式進(jìn)行，保證了每條路徑的充分利用。最小隊(duì)列深度算法（min_queuedepth）,服務(wù)器向存儲(chǔ)系統(tǒng)發(fā)送I/O時(shí)，實(shí)時(shí)統(tǒng)計(jì)各路徑的排隊(duì)I/O數(shù)，并將I/O下發(fā)到當(dāng)前排隊(duì)I/O數(shù)最小的路徑，即I/O隊(duì)列最小的將擁有I/O發(fā)送的優(yōu)先權(quán)。最小任務(wù)算法（min_task）,服務(wù)器向存儲(chǔ)系統(tǒng)發(fā)送I/O時(shí)，在最小隊(duì)列深度算法的基礎(chǔ)上，根據(jù)每個(gè)I/O請(qǐng)求的塊大小計(jì)算出各路徑的總體負(fù)載數(shù)據(jù)量，將I/O下發(fā)到當(dāng)前負(fù)載數(shù)據(jù)量最小的路徑。即最小的I/O數(shù)據(jù)量將擁有I/O發(fā)送的優(yōu)先權(quán)。經(jīng)過(guò)試驗(yàn)驗(yàn)證，最小隊(duì)列深度選路算法在性能方面與其他的選路算法相比更優(yōu)或者相當(dāng)，在可靠性方面比其他選路算法更優(yōu)，這三種對(duì)比更推薦使用最小隊(duì)列深度算法。進(jìn)行路徑周期性測(cè)試一些廠商的多路徑管理軟件會(huì)對(duì)故障路徑和空閑可用路徑進(jìn)行周期性的探測(cè)，通過(guò)故障路徑的探測(cè)可以及時(shí)發(fā)現(xiàn)故障，及早恢復(fù)路徑，通過(guò)對(duì)空閑路徑的測(cè)試也可以提前發(fā)現(xiàn)路徑故障，避免當(dāng)需要做路徑切換時(shí)，造成無(wú)謂的I/O失敗重發(fā)，測(cè)試通常不會(huì)對(duì)業(yè)務(wù)I/O有影響。多路徑管理軟件的典型部署架構(gòu)服務(wù)器在存儲(chǔ)區(qū)域網(wǎng)中有多種互聯(lián)架構(gòu)，這里討論幾種典型的架構(gòu)，不做過(guò)多窮舉示例是因?yàn)?，很多架?gòu)原理相似，實(shí)現(xiàn)效果接近，或者在實(shí)際環(huán)境中應(yīng)用較少。多路徑管理軟件安裝在服務(wù)器上，能夠支持不同組網(wǎng)應(yīng)用，保證數(shù)據(jù)傳輸快速、暢通、可靠。下面討論幾種多路徑管理軟件的典型部署架構(gòu)。服務(wù)器雙鏈路直連架構(gòu)服務(wù)器通過(guò)雙鏈路直連存儲(chǔ)區(qū)域網(wǎng)絡(luò)是最簡(jiǎn)單、最節(jié)約的連接方式，如圖2所示。圖2雙鏈路直連架構(gòu)服務(wù)器的HBA卡分別連接一套存儲(chǔ)不同的前端控制器。服務(wù)器連接到LUN優(yōu)選控制器的路徑是最優(yōu)路徑；連接到非優(yōu)選控制器的路徑是備選路徑。正常情況下，多路徑管理軟件選擇最優(yōu)路徑進(jìn)行數(shù)據(jù)傳輸。當(dāng)最優(yōu)路徑故障時(shí)，多路徑管理軟件選擇備選路徑進(jìn)行數(shù)據(jù)傳輸。最優(yōu)路徑恢復(fù)后，多路徑管理軟件將切換回最優(yōu)路徑進(jìn)行數(shù)據(jù)傳輸。這種架構(gòu)HBA卡的端口和存儲(chǔ)前端控制器端口都被獨(dú)占了，不夠靈活，在企業(yè)的復(fù)雜IT環(huán)境中較少使用。服務(wù)器雙鏈路與單交換機(jī)互聯(lián)架構(gòu)服務(wù)器雙鏈路通過(guò)一臺(tái)光纖通道交換機(jī)連接存儲(chǔ)區(qū)域網(wǎng)，如圖3所示。服務(wù)器到存儲(chǔ)系統(tǒng)之間有4條路徑。從服務(wù)器到LUN的優(yōu)選控制器的2條路徑是最優(yōu)路徑，剩余2條路徑是備選路徑。圖3單交換機(jī)互聯(lián)架構(gòu)交換機(jī)能夠擴(kuò)展主機(jī)端口的數(shù)量，提升存儲(chǔ)系統(tǒng)的接入能力。交換機(jī)還能夠延長(zhǎng)數(shù)據(jù)傳輸?shù)木嚯x，使遠(yuǎn)處的服務(wù)器也能夠連接到存儲(chǔ)系統(tǒng)上。但是這種互聯(lián)架構(gòu)只有1個(gè)交換機(jī)，存在單點(diǎn)故障風(fēng)險(xiǎn)，對(duì)于高可用性要求高的企業(yè)這種架構(gòu)不適用。服務(wù)器雙鏈路與雙交換機(jī)互聯(lián)架構(gòu)服務(wù)器雙鏈路通過(guò)兩臺(tái)光纖通道交換機(jī)連接存儲(chǔ)區(qū)域網(wǎng)，形成雙交換機(jī)轉(zhuǎn)發(fā)能力，如圖4所示。圖4雙交換機(jī)互聯(lián)架構(gòu)雙交換機(jī)的加入避免了交換機(jī)成為單點(diǎn)故障的隱患，增強(qiáng)了存儲(chǔ)區(qū)域網(wǎng)絡(luò)的高可用性。這種架構(gòu)是企業(yè)中，單數(shù)據(jù)中心內(nèi)部存儲(chǔ)區(qū)域網(wǎng)絡(luò)的典型互聯(lián)架構(gòu)，應(yīng)用廣泛。集群服務(wù)器雙鏈路與雙交換機(jī)互聯(lián)架構(gòu)在服務(wù)器雙鏈路雙交換機(jī)互聯(lián)的基礎(chǔ)上增加了1個(gè)或者多個(gè)服務(wù)器，組成集群環(huán)境，如圖5所示。這是企業(yè)IT環(huán)境中常用的部署架構(gòu)，增強(qiáng)服務(wù)器側(cè)的高可用性和處理能力。圖5雙交換機(jī)集群服務(wù)器服務(wù)器與存儲(chǔ)網(wǎng)關(guān)在存儲(chǔ)區(qū)域網(wǎng)環(huán)境下互聯(lián)架構(gòu)存儲(chǔ)網(wǎng)關(guān)作為存儲(chǔ)功能的補(bǔ)充，可以增加存儲(chǔ)網(wǎng)絡(luò)架構(gòu)的靈活性，也可以增加一些特色功能，在一定時(shí)期也是應(yīng)用比較廣泛的產(chǎn)品。存儲(chǔ)網(wǎng)關(guān)在存儲(chǔ)區(qū)域網(wǎng)中的位置比較特殊，如圖6所示?？梢猿橄蟮睦斫猓?wù)器側(cè)可以把存儲(chǔ)網(wǎng)關(guān)看做存儲(chǔ)，存儲(chǔ)側(cè)可以把存儲(chǔ)網(wǎng)關(guān)看作服務(wù)器。所以存儲(chǔ)網(wǎng)關(guān)其實(shí)既是存儲(chǔ)的角色，又是服務(wù)器的角色，存儲(chǔ)網(wǎng)關(guān)內(nèi)部需要多路徑管理軟件來(lái)分別實(shí)現(xiàn)前端端口和后端端口的路徑冗余和性能負(fù)載。需要說(shuō)明的，存儲(chǔ)網(wǎng)關(guān)這種類似聯(lián)邦的互聯(lián)機(jī)制，內(nèi)部還需要有互聯(lián)機(jī)制。在雙數(shù)據(jù)中心雙活架構(gòu)中通常還需要考慮第三方仲裁的設(shè)計(jì)，暫時(shí)不在本文中分析。圖6存儲(chǔ)網(wǎng)關(guān)集群服務(wù)器在雙數(shù)據(jù)中心的雙活架構(gòu)雙活數(shù)據(jù)中心的設(shè)計(jì)思想是兩個(gè)數(shù)據(jù)中心資源的充分利用，從架構(gòu)上看，物理距離分割較遠(yuǎn)（通常光纖距離小于30公里，超過(guò)距離的網(wǎng)絡(luò)延時(shí)受到物理定律的限制無(wú)法縮?。┑膬蓚€(gè)數(shù)據(jù)中心，邏輯上作為一個(gè)數(shù)據(jù)中心進(jìn)行管理。如圖7所示，兩個(gè)數(shù)據(jù)中心的服務(wù)器分別通過(guò)光纖通道鏈路連接本中心和遠(yuǎn)端數(shù)據(jù)中心的存儲(chǔ)區(qū)域網(wǎng)絡(luò)（光纖通過(guò)長(zhǎng)波模塊直連或者通過(guò)波分設(shè)備互聯(lián)遠(yuǎn)端的網(wǎng)絡(luò)）。這種架構(gòu)基本消除了單點(diǎn)故障的風(fēng)險(xiǎn)，服務(wù)器，網(wǎng)絡(luò)，存儲(chǔ)，各個(gè)層面都實(shí)現(xiàn)了冗余，同時(shí)配合應(yīng)用程序也能更好地實(shí)現(xiàn)負(fù)載均衡，是比較理想的高可用性容災(zāi)架構(gòu)。需要說(shuō)明的是，圖示中沒(méi)有第三方仲裁，實(shí)際應(yīng)用中要充分考慮第三方仲裁，本文主要討論多路徑管理軟件，此內(nèi)容沒(méi)有過(guò)多描述。圖7雙活架構(gòu)雙活架構(gòu)中，多路徑管理軟件起到非常重要的作用，本地的路徑高可用需要多路徑管理軟件來(lái)實(shí)現(xiàn)，跨兩個(gè)數(shù)據(jù)中心的冗余路徑也需要多路徑管理軟件來(lái)管理。由于長(zhǎng)距離可能出現(xiàn)的鏈路質(zhì)量（延遲、抖動(dòng)）問(wèn)題，所以在配置多路徑調(diào)度策略中要特別注意，例如需要多路徑管理