V7000存儲高可用解決方案

1、方方 案案 建建 議議 書書 （xxx 容災(zāi)方案建議）容災(zāi)方案建議） 參考方案參考方案 目目 錄錄 第第 1 章章 xxxx 容災(zāi)方案參考容災(zāi)方案參考.1 1.1系統(tǒng)現(xiàn)狀.1 1.2容災(zāi)需求分析.1 1.3容災(zāi)參考方案.2 1.3.1總體架構(gòu)規(guī)劃.2 1.3.2v7000 外部存儲虛擬化功能說明.3 1.3.3v7000 vdm（虛擬磁盤鏡像）功能說明 .3 1.3.4后期存儲擴展建議.4 1.4系統(tǒng)配置參考.4 第第 2 章章 v7000 存儲設(shè)備介紹存儲設(shè)備介紹.6 2.1ibm v7000 存儲系統(tǒng)概述.6 2.2通過 ibm system storage easy tier增強訪問能力

2、.6 2.3通過精簡調(diào)配來優(yōu)化效率.7 2.4動態(tài)遷移避免系統(tǒng)中斷運行.7 2.5通過復(fù)制服務(wù)來保護數(shù)據(jù).8 2.6管理工具與 ibm systems director相集成.10 2.7高性能 ssd 支持.10 2.8外部存儲系統(tǒng)虛擬化.10 第第 3 章章 存儲高可用技術(shù)建議存儲高可用技術(shù)建議.12 3.1存儲高可用性的內(nèi)容.12 3.2存儲高可用性方案的主要實現(xiàn)方式.14 3.2.1方式一：磁盤設(shè)備間數(shù)據(jù)鏡像( 如 lvm mirror ) .15 3.2.2方式二：磁盤設(shè)備間數(shù)據(jù)復(fù)制（如 pprc 或 erm）.19 3.2.3方式三：采用 svc 或 v7000 或 v7000 實

3、現(xiàn)邏輯卷鏡像.21 3.2.4三種 ha 方式的比較.23 第第 1 章章 xxxx 容災(zāi)方案參考容災(zāi)方案參考 1.1 系統(tǒng)現(xiàn)狀系統(tǒng)現(xiàn)狀 xxxx 現(xiàn)有 it 系統(tǒng)的現(xiàn)狀大致如下圖所示。采用 ibm p550 服務(wù)器作為數(shù)據(jù)庫服務(wù)器，采 用 ds3400 存儲設(shè)備作為主存儲系統(tǒng)。 1.2 容災(zāi)需求分析容災(zāi)需求分析 當(dāng)前，xxxx 計劃在同一園區(qū)內(nèi)建設(shè)容災(zāi)系統(tǒng)，在容災(zāi)中心和主生產(chǎn)中心之間采用 2km 長 的裸光纖進行直連。并且，希望對現(xiàn)有的存儲設(shè)備進行充分利舊。 ibm 將針對當(dāng)前所了解的情況，做出初步的方案，供 xxxx 容災(zāi)建設(shè)參考。 由于 ds3400 設(shè)備沒有自身的基于磁盤的遠(yuǎn)程復(fù)制功能

4、，因此無法采用基于存儲底層的磁 盤復(fù)制技術(shù)。此外，由于 ds3400 的性能有限，且緩存較低，因此采用基于 aix 操作系統(tǒng)的 lvm 鏡像方式性能會有影響。（各種高可用技術(shù)，詳見第 3 章的說明） 而目前 ibm 最新的虛擬化存儲設(shè)備 v7000，即可以支持外部存儲的接入，也可以支持內(nèi)部 存儲和外部存儲之間的鏡像，因此可以通過 v7000 存儲設(shè)備來實現(xiàn)存儲的高可用，并達(dá)到同園 區(qū)內(nèi)容災(zāi)的目的。 1.3 容災(zāi)參考方案容災(zāi)參考方案 1.3.1 總體架構(gòu)規(guī)劃總體架構(gòu)規(guī)劃 總體同園區(qū)容災(zāi)的架構(gòu)如上圖所示，建議新增一套 ibm v7000 存儲設(shè)備，并配置外部存儲 接入功能。 通過兩對 san 交換

5、機之間的 2km 裸光纖直連，可以將現(xiàn)有的 ds3400 作為 v7000 存儲設(shè) 備的外接存儲，ds3400 上的卷以 image 模式接入到 v7000 中，并和 v7000 上的卷組成鏡像的 卷（采用了 v7000 的 vdm 功能）。即當(dāng)服務(wù)器寫數(shù)據(jù)到 vdm 鏡像后的卷的時候，v7000 會 自動在 v7000 的卷和 ds3400 的卷中各寫一份，保障了在本地和遠(yuǎn)端同時都有一份相同的數(shù)據(jù)。 在光纖交換機上，需要在每臺 san 交換機上都配置一個單模長波模塊用于 2km 裸光纖的 直連。 1.3.2 v7000 外部存儲虛擬化功能說明外部存儲虛擬化功能說明 v7000 具有外部存儲虛

6、擬化功能，該功能沿襲了目前業(yè)界最成熟的存儲虛擬化產(chǎn)品 ibm svc 的幾乎所有功能，具有當(dāng)前最廣泛的存儲兼容性能，可以連接大部分的光纖存儲設(shè)備。 外部存儲系統(tǒng)虛擬化允許您將外部光纖通道控制器的磁盤容量添加到 ibm storwize v7000 存儲容量池中，從而提高軟件價值和性能優(yōu)勢。對于不再用作主存儲系統(tǒng)，但可通過重新部署而 用作備用存儲系統(tǒng)的現(xiàn)有存儲產(chǎn)品來說 例如，用作閃速拷貝目標(biāo)或者用于保存歸檔數(shù)據(jù)的存 儲系統(tǒng) 這將能夠延長它們的使用壽命，但不影響 ibm storwize v7000 的管理及存儲功能發(fā)揮 高效率的優(yōu)勢。 1.3.3 v7000 vdm（虛擬磁盤鏡像）功能說明（虛擬

7、磁盤鏡像）功能說明 通過 ibm svc 或 v7000（san volume controller）來實現(xiàn)兩臺存儲系統(tǒng)上的磁盤進行鏡像 后為服務(wù)器提供存儲。上圖是通過 svc 或 v7000 實現(xiàn)兩臺陣列之間存儲鏡像的示意圖。 對于底層的磁盤陣列來說，其使用方式與現(xiàn)在相同，對其內(nèi)部的磁盤先進行 raid，然后 在 raid 組上進行邏輯磁盤（lun）的劃分。如上圖的例子中，首先對兩個陣列的磁盤做 raid5，然后在左邊陣列中再作成 luna 和 lunb 兩個邏輯磁盤，同樣在右邊陣列中可以作成 lun1 和 lun2 兩個邏輯磁盤。 在沒有 svc 或 v7000 的時候，我們要把這些 lu

8、n map 給對應(yīng)的服務(wù)器，然后在服務(wù)器上 就可以找到這些硬盤。但是這樣并沒有實現(xiàn)磁盤陣列之間的 mirror。 現(xiàn)在，我們有了 svc 或 v7000 設(shè)備，這個時候不再把這些 lun map 給服務(wù)器，而是 map 給 svc 或 v7000。svc 或 v7000 把這些 map 過來的磁盤當(dāng)做是可使用的原始磁盤，稱之為 managed disk。 svc 或 v7000 再對 managed disk 進行處理，可以在不同的 managed disk 之間進行鏡像作 成供服務(wù)器使用的 virtual disk。如上圖，svc 或 v7000 將從左邊磁盤陣列獲得的 ma 和從右邊 陣列

9、獲得的 m1 進行 mirror 后，形成了 virtual disk 為 vdisk1。然后再將 vdisk1 map 給服務(wù)器。 服務(wù)器就像使用本地磁盤一樣的使用 vdisk1。 這個時候我們回頭看一下 vdisk1 的組成，它是由兩個陣列中的 lun 通過 mirror 方式組成 的。 使用 svc 或 v7000 進行跨陣列 mirror 后，對于服務(wù)器獲得的 vdisk 來說，不會因為任何 一個磁盤存儲系統(tǒng)的故障而出現(xiàn)問題。這樣大大提高了存儲系統(tǒng)的可用性，為前端應(yīng)用系統(tǒng)的 開展提供了更好的保障。 1.3.4 后期存儲擴展建議后期存儲擴展建議 由于 v7000 具有外部存儲擴展功能，同

10、時也支持自身的擴展柜，因此在后期的擴展中，可 以同時增加自身的擴展柜和外部存儲，來實現(xiàn)本地存儲的高可用性，即本期所建設(shè)的同園區(qū)容 災(zāi)功能。 同樣，v7000 存儲設(shè)備還具有遠(yuǎn)程復(fù)制功能，通過 v7000 的遠(yuǎn)程復(fù)制功能，今后還可以幫 助 xxxx 建設(shè)異地的容災(zāi)系統(tǒng)。 1.4 系統(tǒng)配置參考系統(tǒng)配置參考 ibm v7000 存儲系統(tǒng) 雙控制器節(jié)點，16gb 緩存 8 個 8gb fc 接口，4 個 1gb iscsi 接口 24 塊 300gb 10k 轉(zhuǎn) sas 磁盤 外部存儲虛擬化功能許可（1 個擴展設(shè)備） san 交換機四臺： 每臺配置 15 個 8gb fc 接口和 1 個單模長波接口。

11、 項目實施服務(wù) 服務(wù)器設(shè)備需根據(jù)實際需求來配置。 第第 2 章章 v7000 存儲設(shè)備介紹存儲設(shè)備介紹 2.1 ibm v7000 存儲系統(tǒng)概述存儲系統(tǒng)概述 ibm storwize v7000 是功能強大的存儲系統(tǒng)，結(jié)合了適當(dāng)?shù)能浻布M件，提供單一控制點 來幫助提高存儲效率。ibm storwize v7000 支持中型企業(yè)的存儲資源虛擬化、整合與層級，旨 在提高應(yīng)用可用性和資源利用率。在您的 it 基礎(chǔ)架構(gòu)中，無論是全新還是現(xiàn)有存儲資源，該系 統(tǒng)都提供易用的、經(jīng)濟高效的、卓有成效的管理功能。 2.2 通過通過 ibm system storage easy tier 增強訪問能力增強訪問能

12、力 easy tier 能夠?qū)⒊１辉L問的數(shù)據(jù)自動遷移到高性能的固態(tài)驅(qū)動器中，從而提高利用效率。 easy tier 功能運行在細(xì)粒度的“子 lun”環(huán)境中，能夠基于 io 模式和驅(qū)動器特征將數(shù)據(jù)片段 自動轉(zhuǎn)移到適當(dāng)級別的驅(qū)動器上，無需管理員的進一步互動。easy tier 還允許您在不中斷系統(tǒng) 運行的情況下手動調(diào)整整個邏輯卷的位置，從而進一步提高靈活性和控制力，允許企業(yè)根據(jù)應(yīng) 用需求來更加有效地調(diào)節(jié)系統(tǒng)性能。 easy tier 允許您輕松省錢地部署 ssd。easy tier 允許您創(chuàng)建混合型存儲資源池并且在托管 磁盤組群中將存儲資源分割成兩層，通常是 ssd 和 hdd。此外，easy t

13、ier 也支持其他的分割 方法和定義。 找出最繁忙的子lun數(shù)據(jù)單元并且將它們自動轉(zhuǎn)移到高性能ssd中。 剩下的數(shù)據(jù)單元可利用容量更大的低價位驅(qū)動器來創(chuàng)造最佳客戶價值。 系統(tǒng)可自動監(jiān)控和管理 ssd 或 hdd 托管磁盤組群中的卷，您也可以通過將熱點數(shù)據(jù)塊轉(zhuǎn) 移到 ssd 并且將冷點數(shù)據(jù)塊轉(zhuǎn)移到 hdd 來自動處理它們。 2.3 通過精簡調(diào)配來優(yōu)化效率通過精簡調(diào)配來優(yōu)化效率 使用精簡調(diào)配功能，應(yīng)用可以動態(tài)增長，但只會占用它們實際使用的空間。精簡調(diào)配功能 旨在將業(yè)務(wù)成本控制在較低的水平，能夠基于每名用戶在任何指定時間點的最低空間需求通過靈 活的方式在多名用戶之間分配磁盤存儲空間，從而優(yōu)化效率。這

14、不僅能夠減少對存儲硬件的使用， 而且還能減少用電量、產(chǎn)熱量和硬件的場地需求。 例如，在某個環(huán)境中，沒有任何用戶請求超過 10 gb 的數(shù)據(jù)，每名用戶有效使用的數(shù)據(jù)平 均不到 6 gb。在這個環(huán)境中，存儲管理員可以決定通過精簡調(diào)配卷的方式給每名用戶分配 10 gb 的虛擬容量，每名用戶分配到的實容量僅為 6 gb。如果有 100 名用戶，則虛擬容量總計 1 tb，而存儲子系統(tǒng)中的實容量僅為 600 gb。如果管理員根據(jù)以往經(jīng)驗知道并非所有的用戶都在 同一時間使用全部物理容量的話，則這種做法是有效的。有些用戶只請求 4 gb 或更少的數(shù)據(jù)， 有些用戶則可能請求全部的 10 gb 數(shù)據(jù)。但前提仍然是

15、用戶平均請求的實容量不能超過 6 gb。 存儲管理員仍有責(zé)任監(jiān)控實容量的分配情況，以免出現(xiàn)存儲容量不夠用的問題，當(dāng)容量到達(dá)門 限值時，存儲系統(tǒng)將會發(fā)出警報并且進行跟蹤監(jiān)控。 2.4 動態(tài)遷移避免系統(tǒng)中斷運行動態(tài)遷移避免系統(tǒng)中斷運行 ibm storwize v7000 使用虛擬化技術(shù)來防止主機應(yīng)用受到物理存儲變化的影響，因此，您 在更改存儲基礎(chǔ)架構(gòu)時，您的應(yīng)用仍可繼續(xù)正常運行，進而您可以正常開展業(yè)務(wù)。 數(shù)據(jù)遷移是計劃內(nèi)停機的最常見原因之一。storwize v7000 提供動態(tài)數(shù)據(jù)遷移功能，當(dāng)您 在現(xiàn)有存儲器與全新系統(tǒng)之間遷移數(shù)據(jù)或者在 storwize v7000 系統(tǒng)的陣列之間遷移數(shù)據(jù)時，

16、可 保持用戶繼續(xù)訪問數(shù)據(jù)。例如，當(dāng)您為了實現(xiàn)負(fù)載均衡而更換老式存儲器時，或者當(dāng)您在層級 式存儲基礎(chǔ)架構(gòu)中遷移數(shù)據(jù)時，都可使用這項數(shù)據(jù)遷移功能。 ibm storwize v7000 動態(tài)遷移功能可以創(chuàng)造商業(yè)價值并且提高效率。動態(tài)遷移可將創(chuàng)收速 度從幾周甚至幾個月縮短為幾天、最大限度地縮短遷移造成的故障停機時間、消除添加遷移工 具的成本、并且?guī)椭苊馀c延期租借相關(guān)的罰款和其他維護開銷，從而真正實現(xiàn)成本節(jié)約。 2.5 通過復(fù)制服務(wù)來保護數(shù)據(jù)通過復(fù)制服務(wù)來保護數(shù)據(jù) ibm storwize v7000 提供極為豐富的閃速拷貝(flashcopy)功能，旨在創(chuàng)建近即時的活動數(shù) 據(jù)拷貝，以便順利開展備

17、份工作或者并行處理活動。您最多可為每個卷創(chuàng)建 256 個拷貝。 ibm storwize v7000 支持增量閃速拷貝操作，只拷貝自閃速拷貝功能上次運行以來發(fā)生變 化的部分源或目標(biāo)卷，并且支持“拷貝的拷貝”功能 對副本進行拷貝 從而提高效率。這 些功能可用于幫助您基于生產(chǎn)數(shù)據(jù)來維護和更新測試環(huán)境。 若與 ibm storwize v7000 的精簡調(diào)配功能配合使用，您可以只使用完整物理拷貝所需的部 分存儲資源來創(chuàng)建拷貝。這項功能名為“空間高效型閃速拷貝”(space efficient flashcopy)，旨 在幫助您提高存儲資源的總體利用率。 逆向閃速拷貝(reverse flashcop

18、y)功能可令閃速拷貝目標(biāo)變成源卷的恢復(fù)點，但不會破壞閃 速拷貝的關(guān)系，也無需您等待最初的拷貝操作完成后才能采取行動。這項新功能將幫助您立刻 使用磁盤備份拷貝來恢復(fù)受損數(shù)據(jù)，從而加快應(yīng)用恢復(fù)速度。 ibm tivoli storage flashcopy manager 專為當(dāng)今的商業(yè)環(huán)境而設(shè)計，旨在支持應(yīng)用服務(wù)器 24 小時全天候運行 并且全面保護數(shù)據(jù)。如果您擁有一個 24x7 全天候運行的環(huán)境，將無法容 忍丟失任何數(shù)據(jù)，也不能接受為了充分保護數(shù)據(jù)而數(shù)小時中斷關(guān)鍵系統(tǒng)的正常運行。但是，隨 著需要保護的數(shù)據(jù)量繼續(xù)呈現(xiàn)指數(shù)增長，企業(yè)也日益需要將備份數(shù)據(jù)導(dǎo)致的故障中斷控制在絕 對最低水平，但 it

19、流程已經(jīng)接近斷點。tivoli storage flashcopy manager 可以幫助您基于 ibm storwize v7000 flashcopy 的備份和恢復(fù)功能對備份工作進行調(diào)整，從而最大限度地降低備份影 響。該產(chǎn)品可將備份與恢復(fù)時間從幾小時縮短為幾分鐘 通過簡化管理工作以及自動執(zhí)行存儲 管理任務(wù)來提高生產(chǎn)力。 運行在 ibm storwize v7000 系統(tǒng)之間不 同位置的城域鏡像和全局鏡像功能能夠幫助 您創(chuàng)建數(shù)據(jù)拷貝，以便在數(shù)據(jù)中心發(fā)生災(zāi)難 性事件時使用。城域鏡像設(shè)計用于在“城市” 距離(最長 300 千米)維護完全同步拷貝，而 全局鏡像則設(shè)計用于異步運行，以便幫助維 持更

20、長距離的拷貝(最長 8000 千米)。這兩項 功能均支持 vmware vcenter site recovery manager，以便快速實現(xiàn)災(zāi)難恢復(fù)。 2.6 管理工具與管理工具與 ibm systems director 相集成相集成 這個解決方案通過集成方法來管理 ibm 服務(wù)器和存儲器，旨在幫助 it 機構(gòu)解決與同時管 理物理和虛擬服務(wù)器基礎(chǔ) 架構(gòu)相關(guān)的重大憂慮 包括監(jiān)控和修復(fù)功能，以便提高可用性、運營效率和基礎(chǔ)架構(gòu)規(guī)劃 效力。一名系統(tǒng)管理員即可使用單一管理界面來同時管理并且操作 ibm 服務(wù)器(system x、 system p和 bladecenter)、網(wǎng)絡(luò)基礎(chǔ)架構(gòu)及 ibm

21、 存儲器(包括 ibm storwize v7000)。 2.7 高性能高性能 ssd 支持支持 對于需要高速磁盤及快速數(shù)據(jù)存取的應(yīng)用來說，ibm 通過 300 gb 2.5 e-mlc (企業(yè)級多級 單元) ssd 提供固態(tài)驅(qū)動器，在一個支持向外擴展高性能 ssd 的系統(tǒng)中最多提供 72 tb 的物理 容量。 2.8 外部存儲系統(tǒng)虛擬化外部存儲系統(tǒng)虛擬化 外部存儲系統(tǒng)虛擬化允許您將外部光纖通道控制器的磁盤容量添 加到 ibm storwize v7000 存儲容量池中，從而提高軟件價值和性能優(yōu) 勢。對于不再用作主存儲系統(tǒng)，但可通過重新部署而用作備用存儲系 統(tǒng)的現(xiàn)有存儲產(chǎn)品來說 例如，用作閃速

22、拷貝目標(biāo)或者用于保存歸 檔數(shù)據(jù)的存儲系統(tǒng) 這將能夠延長它們的使用壽命，但不影響 ibm storwize v7000 的管理及存儲功能發(fā)揮高效率的優(yōu)勢。 第第 3 章章 存儲高可用技術(shù)建議存儲高可用技術(shù)建議 云計算服務(wù)管理平臺是為了加強和簡化云計算平臺的統(tǒng)一管理所提供的一整套管理系統(tǒng)。 在銀鷺集團的云計算項目中，建議在一期完成云基礎(chǔ)平臺后，于二期系統(tǒng)建設(shè)的時候部署。以 下是云計算服務(wù)管理平臺的相關(guān)介紹。 3.1 存儲高可用性的內(nèi)容存儲高可用性的內(nèi)容 我們先來分析一下，高可用性所覆蓋的內(nèi)容。 首先，業(yè)務(wù)連續(xù)性由三級支撐構(gòu)成。高可用性，扮演著其中最為基本的一級： 高可用性（high availab

23、ility） 要求容錯的硬件、自動診斷以及故障隔離、預(yù)分析、冗余等。其中，冗余 是其最核心的特征。 數(shù)據(jù)復(fù)制（data replication） 在同城、異地，或者同城及異地進行數(shù)據(jù)的有效復(fù)制 數(shù)據(jù)恢復(fù)（data recovery） 非計劃停機時，進行保護和恢復(fù)，滿足恢復(fù)點目標(biāo)和恢復(fù)時間目標(biāo) 高可用性，是體現(xiàn)在系統(tǒng)的各個細(xì)節(jié)中。從一個典型的 it 系統(tǒng)拓?fù)鋪砜?，?的主要實現(xiàn)層次如下圖所示： 本地存儲設(shè)備層次的高可用性，如圖中藍(lán)色虛線方框所示，主要從以下三方面 考慮： 冗余冗余 san 網(wǎng)絡(luò)網(wǎng)絡(luò) san 交換機冗余配置，主機光纖通道卡、存儲光纖接口雙配置，冗余連接等。 這部分設(shè)計用于防范通道、

24、接口和網(wǎng)絡(luò)的單點故障。 存儲設(shè)備個體高可靠存儲設(shè)備個體高可靠 除普遍支持 raid 保護技術(shù)外，目前的部分高端企業(yè)級存儲，還采用全冗余設(shè) 計、鏡像緩存等技術(shù)來進行自身保護。這部分設(shè)計和使用，側(cè)重在于保證存儲設(shè)備 單個個體內(nèi)的數(shù)據(jù)安全。當(dāng)存儲設(shè)備出現(xiàn)全面故障，不能運轉(zhuǎn)時，最多只能保證 “數(shù)據(jù)不丟失”，不能支持“數(shù)據(jù)持續(xù)訪問”。 雙存儲設(shè)備雙存儲設(shè)備 如上圖中紅色虛線部分所示，配置雙磁盤設(shè)備，存放雙數(shù)據(jù)拷貝。保證在單個 存儲服務(wù)器出現(xiàn)故障時，首先實現(xiàn)數(shù)據(jù)不丟失，其次實現(xiàn)業(yè)務(wù)的連續(xù)運行。 在這三方面中，冗余 san 網(wǎng)絡(luò)、存儲設(shè)備個體高可靠相對為人所熟悉，不再贅 述。下面所談的存儲高可用性方案重點，

25、將集中在“雙存儲設(shè)備”的環(huán)節(jié)上。 3.2 存儲高可用性存儲高可用性方案的主要實現(xiàn)方式方案的主要實現(xiàn)方式 存儲高可用性，有三種主要的實現(xiàn)方式： 方式三：采用 svc 或 v7000 虛擬存儲實現(xiàn)邏輯卷鏡像 3.2.1 方式一：磁盤設(shè)備間數(shù)據(jù)鏡像方式一：磁盤設(shè)備間數(shù)據(jù)鏡像( 如如 lvm mirror ) 通過 pseries 的 lvm（邏輯卷鏡像）等技術(shù)，在兩套磁盤設(shè)備間，建立數(shù)據(jù)鏡 像關(guān)系。兩套存儲設(shè)備同時處于活動狀態(tài)。生產(chǎn)主機在寫數(shù)據(jù)時，會同時寫入兩套 磁盤設(shè)備中。 該方式能夠提供最佳的持續(xù)可用性。當(dāng)一臺存儲設(shè)備出現(xiàn)整機故障時，由另一 臺存儲設(shè)備獨立工作，應(yīng)用不會受到中斷。 配置雙磁盤系統(tǒng)

26、，通過操作系統(tǒng)的卷管理功能，在磁盤間進行數(shù)據(jù)鏡像，保證 兩套磁盤設(shè)備保存有實時相同的數(shù)據(jù)拷貝?？梢杂行П苊庥捎趩我淮疟P系統(tǒng)發(fā)生故 障而導(dǎo)致的系統(tǒng)意外宕機。充分提高系統(tǒng)的連續(xù)可用性。 這種雙磁盤系統(tǒng)間數(shù)據(jù)鏡像方式，是基于 ibm p 系列主機系統(tǒng)的 lvm（邏輯卷 管理）功能實現(xiàn)的。lvm 功能，是 ibm 在 unix 系統(tǒng)創(chuàng)先使用的磁盤空間管理功能， 它嵌入在 aix 核心功能中，具有速度快、功能強大、管理方便等優(yōu)點。lvm 功能和 ibm 存儲系統(tǒng)配合，是目前技術(shù)成熟度高、投資相對較低、實施快速簡便、應(yīng)用行之 有效的本地高可用解決方案和容災(zāi)方案。 在實施 ibm lvm 的數(shù)據(jù)鏡像方案時，

27、分別將磁盤系統(tǒng) a 和磁盤系統(tǒng) b，通過光 纖 hba 卡連接到 san 交換機上，接入 san 網(wǎng)絡(luò)。這時，主機會有效識別兩套存儲系 統(tǒng)。之后，通過主機的 lvm 管理器，將需要高可用保護的數(shù)據(jù)，在兩套磁盤系統(tǒng)上建 立鏡像關(guān)系。一份數(shù)據(jù)拷貝放置在磁盤系統(tǒng) a 上，另一份數(shù)據(jù)拷貝放置在磁盤系統(tǒng) b 上，兩份數(shù)據(jù)拷貝保持著實時同步關(guān)系。讀數(shù)據(jù)時，可以從任意一份數(shù)據(jù)拷貝中讀出， 提高性能；寫數(shù)據(jù)時，兩份數(shù)據(jù)拷貝被同時修改。當(dāng)任意一個磁盤系統(tǒng)發(fā)生故障，即其 中一份數(shù)據(jù)拷貝失效時，另一份數(shù)據(jù)拷貝照常發(fā)揮作用，業(yè)務(wù)不會停頓。非常好地保 證了數(shù)據(jù)的高可用性。 lvm 可以為一個每一個數(shù)據(jù)卷提供多份拷貝，它

28、可以支持 23 份數(shù)據(jù)拷貝。該 功能包含在 p 系列主機 aix 操作系統(tǒng)中。 采用這種方式，業(yè)務(wù)和應(yīng)用系統(tǒng)的運行可以通過集群軟件 hacmp 進行主機之間 的故障接管，實現(xiàn)應(yīng)用系統(tǒng)運行功能的高可用性；數(shù)據(jù)存儲系統(tǒng)可以采用 lvm 進行 磁盤存儲系統(tǒng)之間的故障接管，實現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)訪問的高可用性。這樣，即使有 一半的主機系統(tǒng)和一半的存儲系統(tǒng)發(fā)生故障，不能正常工作，整個系統(tǒng)也不會發(fā)生 癱瘓，仍舊可以繼續(xù)運行，充分滿足了業(yè)務(wù)連續(xù)運行的要求。 應(yīng)用 lvm 的方案對用戶的現(xiàn)有環(huán)境沒有改變，不存在數(shù)據(jù)集中遷移的問題，而 且業(yè)務(wù)系統(tǒng)保持同時在線，不存在系統(tǒng)接管、應(yīng)用重新啟動的問題，可以實現(xiàn)系統(tǒng) 的平滑過

29、度。 實施 lvm 方案，既可以在相同型號的 ibm 存儲產(chǎn)品之間進行，也可以在不同 型號的 ibm 存儲產(chǎn)品之間進行。 下面簡要說明 lvm 的實施過程。 lvm 為操作系統(tǒng)的卷管理器，對于 ibm 的存儲設(shè)備，在相同或者不同型號的磁 盤系統(tǒng)上，二個磁盤系統(tǒng)的磁盤空間可組成同一 vg（volume group）, 對操作系統(tǒng) 來說磁盤 a 的盤和磁盤 b 的盤都是相應(yīng)/dev/dsk 下的設(shè)備號，同一 vg 又可以分成 邏輯卷（ logical volumes），每個邏輯卷之間又可以在線的做鏡像，所以可以把 磁盤 b 的盤加到磁盤 a 的 vg 里，形成邏輯卷，用 lvm 使磁盤 b 的相應(yīng)

30、的卷成為磁盤 a 的鏡像。 作為一個完善的高可靠性和高連續(xù)可用性系統(tǒng)應(yīng)該能夠同 時滿足數(shù)據(jù)備份與應(yīng)用切換的需求，其中應(yīng)用切換已經(jīng)由 hacmp 高可用性集群實現(xiàn)，下面針對該方案中的數(shù)據(jù)同步部分加以分 析。 為了實現(xiàn)數(shù)據(jù)的同步，我們利用數(shù)據(jù)鏡像功能 lvm，為已有 的磁盤 a（下圖所示之“數(shù)據(jù)拷貝一”）上的生產(chǎn)數(shù)據(jù)添加一個拷 貝，并將其鏡像設(shè)備指定為磁盤 b（下圖所示之“數(shù)據(jù)拷貝二”）。 正常工作模式下，數(shù)據(jù)的寫入操作可以用下圖說明： 數(shù)據(jù)更新流向圖 生產(chǎn)系統(tǒng)對磁盤 a 的“數(shù)據(jù)拷貝一”的任何更新都實時在磁 盤 b 的“數(shù)據(jù)拷貝二”得到更新，“數(shù)據(jù)拷貝一”和“數(shù)據(jù)拷貝二”的 更新方式有順序方式、

31、并行方式等多種機制可供選擇。一般使用 并行方式以增加整體性能。 當(dāng)存儲系統(tǒng) a 發(fā)生故障時，生產(chǎn)無需停頓，生產(chǎn)主機利用存 應(yīng)用 aix lvm 數(shù)據(jù)拷貝一數(shù)據(jù)拷貝二 應(yīng)用 aix lvm 儲系統(tǒng) b 上的數(shù)據(jù)拷貝繼續(xù)運行。如下圖所示： 本地存儲故障 當(dāng)對存儲設(shè)備 a 進行維修時，斷開鏡像關(guān)系；存儲設(shè)備 a 修 復(fù)后，恢復(fù)數(shù)據(jù)鏡像關(guān)系，數(shù)據(jù)自動在 a 和 b 的兩份拷貝間同步， 之后恢復(fù)到兩份拷貝同步運行模式。 3.2.2 方式二：磁盤設(shè)備間數(shù)據(jù)復(fù)制（如方式二：磁盤設(shè)備間數(shù)據(jù)復(fù)制（如 pprc 或或 erm） 通過 pprc 或 erm 等磁盤數(shù)據(jù)復(fù)制技術(shù)，在兩套磁盤設(shè)備間建立數(shù)據(jù)復(fù)制關(guān) 系。對

32、于主機來講，活動狀態(tài)的存儲設(shè)備只有一臺。這臺存儲設(shè)備使用硬件復(fù)制技 術(shù)和備份磁盤之間進行數(shù)據(jù)復(fù)制，保持兩個存儲設(shè)備上的數(shù)據(jù)一致。數(shù)據(jù)復(fù)制對主 機是透明的。 應(yīng)用 aix lvm 數(shù)據(jù)拷貝一數(shù)據(jù)拷貝二 應(yīng)用 aix lvm x x 配置雙磁盤系統(tǒng)，通過磁盤系統(tǒng)提供的數(shù)據(jù)復(fù)制功能，在磁盤間進行實時數(shù)據(jù) 復(fù)制，保證兩套磁盤設(shè)備上的數(shù)據(jù)同步。可以有效避免由于單一磁盤系統(tǒng)發(fā)生故障 而導(dǎo)致的系統(tǒng)意外宕機。充分提高系統(tǒng)的連續(xù)可用性。 這種磁盤設(shè)備間數(shù)據(jù)復(fù)制方式，是基于 ibm 磁盤系統(tǒng)提供的數(shù)據(jù)復(fù)制技術(shù)來實 現(xiàn)的。使用 ds8000、ess800、ds6800 等型號時，具體采用 pprc 復(fù)制方案實現(xiàn)；使

33、 用 ds4000 系列型號時，具體采用 erm 復(fù)制方案實現(xiàn)。這類數(shù)據(jù)復(fù)制技術(shù)，可支持的 主機范圍廣，是目前技術(shù)成熟、應(yīng)用廣泛的本地高可用解決方案和容災(zāi)方案。 下面，以 pprc 復(fù)制方案為例，進行說明。 點對點遠(yuǎn)程拷貝(pprc)是基于 ibm 存儲設(shè)備的一種數(shù)據(jù)復(fù)制工具，它分為同步、 異步和層疊式 pprc。其中，同步方式又稱為 metro-mirror，異步方式又稱為 global-mirror，層疊方式又稱為 metro/global mirror。同步和異步方式可以轉(zhuǎn)換。 這種復(fù)制技術(shù)，既可以實現(xiàn)本地存儲高可用，也可以實現(xiàn)遠(yuǎn)程災(zāi)難備份。本地高可 用、遠(yuǎn)程災(zāi)備兩部分內(nèi)容可以并存，也可

34、以平滑過渡和轉(zhuǎn)化。 在本地存儲高可用性的應(yīng)用中，重點在于保證數(shù)據(jù)的不丟失和完全可用，所以 一般采用同步方式，即 metro mirror 方式。它既可以用于同一機房內(nèi)部、同建筑等 本地的兩個 ess800 或 ds8000 系統(tǒng)之間的數(shù)據(jù)復(fù)制，也可用于相隔距離多達(dá) 300 公 里的兩個 ess 或 ds8000 系統(tǒng)間的數(shù)據(jù)復(fù)制。 pprc 將確保如果備份卷不能被更新，那么即使源卷更新成功，整個寫操作也會 返回失敗-徹底保證源卷和目的卷的數(shù)據(jù)徹底一致。同步方式可以保證數(shù)據(jù)不會丟 失，更重要的是數(shù)據(jù)的一致性在這種方式下能夠得到很好的保證-數(shù)據(jù)的不一致意 味著相關(guān)數(shù)據(jù)的丟失，此時數(shù)據(jù)庫的數(shù)據(jù)安全機

35、制無法保證數(shù)據(jù)的安全，嚴(yán)重時有 可能造成數(shù)據(jù)庫無法啟動。 pprc 的同步實現(xiàn)機制如下圖所示： 1）生產(chǎn)系統(tǒng)中的應(yīng)用程序?qū)?shù)據(jù)寫到生產(chǎn)磁盤設(shè)備。（主要是寫入生產(chǎn)存儲設(shè)備的 cache和相應(yīng)的nvs當(dāng)中） 2）生產(chǎn)數(shù)據(jù)復(fù)制到備份磁盤設(shè)備。 生產(chǎn)系統(tǒng)中的磁盤數(shù)據(jù)傳輸?shù)絺浞荽疟P（主要是寫入到備份存儲設(shè)備的cache 和相應(yīng)的nvs當(dāng)中） 3）當(dāng)生產(chǎn)數(shù)據(jù)都寫入備份存儲設(shè)備的cache和相應(yīng)的nvs后，備份磁盤將寫完操作信 息返給生產(chǎn)磁盤 4）已寫信息返回之后，生產(chǎn)磁盤系統(tǒng)通知主機該寫操作已完畢，在此之后生產(chǎn) 系統(tǒng)應(yīng)用繼續(xù)執(zhí)行。 5）重復(fù)進行以上的操作 在 pprc 的數(shù)據(jù)復(fù)制保護下，磁盤設(shè)備 b 和磁

36、盤設(shè)備 a 上，存放著相同的生產(chǎn)數(shù) 據(jù)。當(dāng)生產(chǎn)磁盤設(shè)備 a 發(fā)生故障、無法使用時，僅需快速地改變生產(chǎn)連接到磁盤設(shè) 備 b，生產(chǎn)就能夠得到回復(fù)，業(yè)務(wù)受到的中斷影響嚴(yán)格可控制。 基于磁盤設(shè)備的這類數(shù)據(jù)復(fù)制技術(shù)對主機要求較少，但是要求生產(chǎn)中心和備份 中心的存儲設(shè)備的硬件平臺相同或相近?；谠摲N方案的數(shù)據(jù)復(fù)制系統(tǒng)在搭建數(shù)據(jù) 鏈路時，普遍采用了基于 fc 的光纖裸鏈路，在同一機房或同一建筑內(nèi)時，更是可 以直接使用 fc 光纖，其數(shù)據(jù)的傳輸性能可以得到保證。 3.2.3 方式三：采用方式三：采用 svc 或或 v7000 或或 v7000 實現(xiàn)邏輯卷鏡像實現(xiàn)邏輯卷鏡像 通過 ibm svc 或 v7000

37、（san volume controller）來實現(xiàn)兩臺存儲系統(tǒng)上的磁 盤進行鏡像后為服務(wù)器提供存儲。上圖是通過 svc 或 v7000 實現(xiàn)兩臺陣列之間存儲 鏡像的示意圖。 對于底層的磁盤陣列來說，其使用方式與現(xiàn)在相同，對其內(nèi)部的磁盤先進行 raid，然后在 raid 組上進行邏輯磁盤（lun）的劃分。如上圖的例子中，首先對兩 個陣列的磁盤做 raid5，然后在左邊陣列中再作成 luna 和 lunb 兩個邏輯磁盤，同 樣在右邊陣列中可以作成 lun1 和 lun2 兩個邏輯磁盤。 在沒有 svc 或 v7000 的時候，我們要把這些 lun map 給對應(yīng)的服務(wù)器，然后在 服務(wù)器上就可以找

38、到這些硬盤。但是這樣并沒有實現(xiàn)磁盤陣列之間的 mirror。 現(xiàn)在，我們有了 svc 或 v7000 設(shè)備，這個時候不再把這些 lun map 給服務(wù)器， 而是 map 給 svc 或 v7000。svc 或 v7000 把這些 map 過來的磁盤當(dāng)做是可使用的原始 磁盤，稱之為 managed disk。 svc 或 v7000 再對 managed disk 進行處理，可以在不同的 managed disk 之間 進行鏡像作成供服務(wù)器使用的 virtual disk。如上圖，svc 或 v7000 將從左邊磁盤 陣列獲得的 ma 和從右邊陣列獲得的 m1 進行 mirror 后，形成了 v

39、irtual disk 為 vdisk1。然后再將 vdisk1 map 給服務(wù)器。服務(wù)器就像使用本地磁盤一樣的使用 vdisk1。 這個時候我們回頭看一下 vdisk1 的組成，它是由兩個陣列中的 lun 通過 mirror 方式組成的。 使用 svc 或 v7000 進行跨陣列 mirror 后，對于服務(wù)器獲得的 vdisk 來說，不會 因為任何一個磁盤存儲系統(tǒng)的故障而出現(xiàn)問題。這樣大大提高了存儲系統(tǒng)的可用性， 為前端應(yīng)用系統(tǒng)的開展提供了更好的保障。 3.2.4 三種三種 ha 方式的比較方式的比較 針對以上三種 ha 方式的實現(xiàn)方法，將三種 ha 方式比較如下： 比較項目方式一：lvm方

40、式二：pprc/erm 方式三：svc 或 v7000 實現(xiàn)層面 服務(wù)器操作系統(tǒng) aix 的卷管理層面 磁盤存儲系統(tǒng)的控 制器層面 虛擬存儲設(shè)備 ha 方式 同一個廠商相同 系列的兩個陣列的邏 輯卷通過主機的 aix 操作系統(tǒng)進行鏡像。 利用數(shù)據(jù)的遠(yuǎn)程同 步模式 利用 svc 或 v7000 可以實現(xiàn)不同廠商或同 一廠商不同系列存儲設(shè) 備的邏輯卷的鏡像功能。 服務(wù)器性 能影響 由于操作系統(tǒng)需 要同時寫兩次 i/o， 略影響服務(wù)器性能 由于異地數(shù)據(jù)同步 造成的 i/o 延時，降 低服務(wù)器的 i/o，影響 與距離相關(guān)，是三種 方式中最大的。 幾乎無影響，甚至 由于采用 svc 或 v7000 后，

41、服務(wù)器獲得更高的 i/o 性能。 業(yè)務(wù)連續(xù) 性 單個存儲損壞， 不影響業(yè)務(wù)。 主存儲損壞的情況 下，異地存儲的啟用 需要時間。有一定的 業(yè)務(wù)中斷。 單個存儲損壞，不 影響業(yè)務(wù)性能。 數(shù)據(jù)保護 距離 為本地，不超過 500 米 可異地，建議不超 過 30km 為本地，不超過 500 米 實施難度一般難度較為復(fù)雜一般難度 其它功能無容災(zāi) 存儲虛擬化、數(shù)據(jù) 遷移、容災(zāi)擴展，異構(gòu) 存儲等。 羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿

42、蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇

43、蚄袆膀葿衿螂羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋

44、莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂 腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈

45、羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁

46、蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿

47、薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅 螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂

48、腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂

49、芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)

50、節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂 螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿

51、肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃

52、蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄

53、莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂 莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄

54、芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇

55、蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅

56、薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃 肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈

57、膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈

58、芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋

59、芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆 螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂

60、荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂莄薈肀莁蒆螄羆莀蕿薇袂荿莈螂袈羆蒁蚅螄羅薃袀肅羄芃蚃罿羃蒞衿裊羂蕆蟻螁肁薀蒄聿肀艿蝕羅肀蒂蒃羈聿薄螈袇肈芄薁螃肇莆螆肂肆蒈蕿羈膅薁螅襖膄芀薇螀膄莂螃蚆膃薅薆肄膂芄袁羀膁莇蚄袆膀葿衿螂腿薁螞肁羋芁蒅羇羋莃蟻袃芇蒆蒃蝿芆芅蠆螅芅莈薂肄芄蒀螇罿芃薂薀裊節(jié)節(jié)螅螁莂