證券企業(yè)基于華為全閃存存儲實踐經(jīng)驗分享

1前言隨著業(yè)務(wù)的發(fā)展，證券公司業(yè)務(wù)對IT的需求也越來越高，當(dāng)前業(yè)務(wù)系統(tǒng)穩(wěn)定性、可靠性、業(yè)務(wù)連續(xù)性面臨嚴(yán)峻的挑戰(zhàn)。而存儲作為數(shù)據(jù)中心最為核心的基礎(chǔ)資源之一，存儲產(chǎn)品型號選擇、存儲架構(gòu)設(shè)計、存儲高可用性、存儲性能、存儲可擴展性、存儲可維護性等因素均對應(yīng)用業(yè)務(wù)的穩(wěn)定運行起著非常關(guān)鍵的作用。作為國內(nèi)大型券商企業(yè)，近幾年伴隨著老一批存儲的逐漸退役，我司引入了華為全閃存存儲用于生產(chǎn)系統(tǒng)應(yīng)用的運行。本文結(jié)合華為存儲相關(guān)最佳實踐和我司長期使用多家廠商的全閃存存儲實踐經(jīng)驗，就華為中端全閃存存儲的實踐經(jīng)驗進行分析、總結(jié)和分享。2背景需求2.1證券行業(yè)應(yīng)用系統(tǒng)數(shù)據(jù)分類分級根據(jù)國標(biāo)“《證券期貨業(yè)數(shù)據(jù)分類分級指引》”，證券公司應(yīng)用系統(tǒng)數(shù)據(jù)可做如下分類分級：2.2證券行業(yè)應(yīng)用系統(tǒng)故障和災(zāi)備應(yīng)對能力要求根據(jù)國標(biāo)《證券基金經(jīng)營機構(gòu)信息技術(shù)管理辦法》證券行業(yè)應(yīng)用系統(tǒng)故障和災(zāi)備應(yīng)對能力要求如下：證券基金經(jīng)營機構(gòu)信息系統(tǒng)備份能力、數(shù)據(jù)備份能力、故障應(yīng)對能力、重大災(zāi)難應(yīng)對能力、實時信息系統(tǒng)、非實時信息系統(tǒng)以及備份能力等級相關(guān)定義參見中國證監(jiān)會關(guān)于信息系統(tǒng)備份能力相關(guān)行業(yè)標(biāo)準(zhǔn)。即參考國標(biāo)《證券期貨經(jīng)營機構(gòu)信息系統(tǒng)備份能力標(biāo)準(zhǔn)》。2.3存儲發(fā)展中遇到的難題圖存儲發(fā)展中遇到的難題（1）實時業(yè)務(wù)系統(tǒng)對存儲讀寫時延敏感：現(xiàn)網(wǎng)核心交易系統(tǒng)對存儲的讀寫時延性能指標(biāo)要求較高，對基礎(chǔ)架構(gòu)穩(wěn)定性要求極高，特別是在交易時間段不能出現(xiàn)任何問題。（2）混合介質(zhì)存儲架構(gòu)的性能瓶頸：我司老一代存儲采用的是SSD+SAS盤的混合分層架構(gòu)，SSD介質(zhì)作為熱數(shù)據(jù)緩存區(qū)或承載tier1性能卷，SAS機械盤作為主存區(qū)或承載tier2性能卷，該架構(gòu)是性能和容量成本妥協(xié)平衡的產(chǎn)物。該架構(gòu)在應(yīng)對突發(fā)型高IO并發(fā)、高帶寬負(fù)載、IO讀寫命中率低的場景時會有明顯的性能波動情況出現(xiàn)（IO命中率低需要直接從SAS盤大量讀數(shù)據(jù)場景影響尤其明顯）。（3）現(xiàn)網(wǎng)存儲設(shè)備集中到保：核心存儲設(shè)備老舊，可靠性降低，伴隨著部件老化存儲設(shè)備故障率也出現(xiàn)了明顯的上升情況。TCO較高，后期運維成本高，且擴容難度大擴容成本高。（4）存儲容量空間接近耗盡：業(yè)務(wù)發(fā)展過快，現(xiàn)網(wǎng)存儲空間接近耗盡越來越難以滿足業(yè)務(wù)需求，需盡快發(fā)起設(shè)備替換并在替換過程中完成存儲容量的擴容。（5）私有云海量VM環(huán)境下的高IO并發(fā)問題：證券公司IT基礎(chǔ)架構(gòu)虛擬化占比超過70%，混合分層架構(gòu)應(yīng)對海量VM高IO并發(fā)訪問容易出現(xiàn)性能瓶頸，需轉(zhuǎn)向全閃存架構(gòu)存儲從而提升IO性能。（6）存儲TCO降低：和大多數(shù)企業(yè)類似，我司IT信息系統(tǒng)持續(xù)建設(shè)遇到的一大難題是：IT信息系統(tǒng)迅速發(fā)展，各類業(yè)務(wù)系統(tǒng)年年擴容設(shè)備上線數(shù)量越來越多，導(dǎo)致機柜空間、能耗、制冷等機房資源消耗一增再增。而存儲TCO的降低需要從此方面進行深入考慮。3存儲規(guī)劃思路和建設(shè)目標(biāo)（1）業(yè)務(wù)連續(xù)性架構(gòu)要求在存儲的選擇與架構(gòu)設(shè)計上，我們需要充分考慮存儲的穩(wěn)定性、高可用性、性能以及產(chǎn)品的市場和行業(yè)口碑情況等諸多因素，以保證業(yè)務(wù)的連續(xù)性。設(shè)計要求如下：確保應(yīng)用業(yè)務(wù)系統(tǒng)的總體高可用，建立健全的故障應(yīng)對和災(zāi)備應(yīng)對方案；確保業(yè)務(wù)系統(tǒng)所選用的存儲型號設(shè)備，在金融行業(yè)和證券行業(yè)內(nèi)有大量的案例，長期以來市場口碑良好為久經(jīng)市場驗證的穩(wěn)定性產(chǎn)品。（2）存儲技術(shù)先進性、前瞻性規(guī)劃要求業(yè)務(wù)對存儲設(shè)備性能要求也越來越高，部分重要業(yè)務(wù)需提高存儲層面處理能力，確保所選存儲型號類型非上一代或已淘汰的產(chǎn)品類型或存儲技術(shù)，選擇技術(shù)架構(gòu)先進的較新代產(chǎn)品（穩(wěn)定產(chǎn)品）以滿足未來3-5年的發(fā)展需要。在存儲功能方面要考慮技術(shù)的先進性，比如數(shù)據(jù)自動分層、在線壓縮、數(shù)據(jù)重刪、精簡配置、QoS功能、配置管理的便捷性等，主要根據(jù)實際需要選配和使用這些功能。（3）存儲產(chǎn)品和架構(gòu)選型RAS（Reliability、Availability，Serviceability）到達(dá)6個9，存儲具備橫向擴展能力；采用面向全閃介質(zhì)的存儲架構(gòu)以提升性能處理能力，相比較HDD盤或SSD+HDD混合架構(gòu)在性能方面優(yōu)勢巨大。全閃存陣列有著較高的IOPS和容量密度，一個標(biāo)準(zhǔn)機柜位置可以提供100萬以上的IOPS，容量達(dá)PB以上，傳統(tǒng)存儲則需要4-5個機柜才能滿足要求，大大減少了空間和能耗的需求，降低用戶總體擁有成本。SSD對比傳統(tǒng)機械盤，平均無故障工作時間大大提升，SSD換盤概率約為機械硬盤1/10，具有更快的重建時間，減少了風(fēng)險。（4）存儲環(huán)境架構(gòu)冗余性設(shè)計要求無論是虛擬化環(huán)境還是物理機環(huán)境，以2臺存儲為一組進行規(guī)劃，使用時同一平臺或業(yè)務(wù)的A、B集群（或奇偶集群）主機分別各自接入1臺存儲，以增加應(yīng)用總體架構(gòu)的冗余性，同時降低單臺存儲故障影響范圍；確保所選存儲產(chǎn)品架構(gòu)設(shè)計符合高冗余性,關(guān)鍵部件冗余；確保從主機、SAN網(wǎng)絡(luò)光纖鏈路、到存儲的組網(wǎng)設(shè)計均為全冗余架構(gòu)模式；確保主機端多路徑軟件運行狀態(tài)正常。（5）存儲擴展能力要求規(guī)劃充足數(shù)量的存儲前端口以滿足未來3-5年的主機端連通接入；確保存儲產(chǎn)品支持進行在線的容量擴容，以應(yīng)對存儲容量不足時的擴容需求。（6）存儲性能能力要求采用全閃存架構(gòu)提升性能處理能力；考慮適當(dāng)加大存儲控制器的cache容量以提升性能能力和優(yōu)化讀寫時延；配置32Gbps存儲前端口以保證未來3-5年內(nèi)端口速率規(guī)格不落伍；存儲前端口設(shè)計隔離原則，確保核心業(yè)務(wù)主機采用獨立的存儲前端口組接入，不同主機集群（虛擬化環(huán)境和物理機主機環(huán)境）采用各自獨立的存儲前端口組接入，以做到各個存儲前端口組間的流量、故障的相互隔離；確保執(zhí)行SAN網(wǎng)絡(luò)本地化訪問策略（主機和存儲接入同一臺SAN交換機不經(jīng)過ISL級聯(lián)），以避免潛在SAN網(wǎng)絡(luò)全局ISL鏈路抖動、收斂比超載、queuefull、鬧鄰、慢速設(shè)備影響等全局性性能問題。（7）存儲資源利用和資源預(yù)留存儲各組件資源盡可能均衡利用。每臺存儲的控制器及每個前端端口都有QueueDepth和支持的最大LUN數(shù)量限制；規(guī)劃設(shè)計的最大資源利用率不應(yīng)超過各項技術(shù)限制指標(biāo)及各組件利用率的70%，為存儲保留一定的容量和性能能力，應(yīng)對突發(fā)、峰值情況，避免產(chǎn)生性能瓶頸；基于SAN交換機的特性進行合理規(guī)劃，存儲前端口及主機HBA端口合理布局，物理主機連接存儲采用2:2方式（即2主機端口連接2存儲端口）保證Initator和Target的收發(fā)能力1:1匹配避免阻塞影響時延，虛擬化宿主機連接存儲采用2:4方式（即2主機端口連接4存儲端口）保證帶寬速率。（8）成本降低針對全閃存存儲啟用的數(shù)據(jù)壓縮消重功能，根據(jù)經(jīng)驗數(shù)據(jù)庫場景一般壓縮比可達(dá)2~3倍，虛擬化場景一般的壓縮可達(dá)1.7~2倍；所有全閃存存儲只開壓縮不開重刪，全局重刪會極大的增加系統(tǒng)的matadata維護量和復(fù)雜度帶來風(fēng)險隱患。另外大部分場景下數(shù)據(jù)節(jié)約收益的70%-90%來自壓縮，開重刪的風(fēng)險高收益小（備份場景除外）；針對全機械盤或混合存儲設(shè)備不應(yīng)開啟壓縮或去重功能（基于容量換性能的原因）。（9）存儲高效的運營和運維能力要求存儲事件、監(jiān)控、告警功能能力的支持滿足情況；存儲GUI日常操作維護的便捷性和豐富性；存儲CLI、RestAPI支持的完善和豐富性，以滿足自動化腳本和程序的調(diào)度開發(fā)，大幅提升存儲運維效率；通過CLI、RestAPI快速獲取存儲配置和性能數(shù)據(jù)支持情況；存儲廠商的的售后質(zhì)量能力，包括服務(wù)能力、專業(yè)技術(shù)能力、排障及方案設(shè)計等能力因素。4華為OceanStorDorado中端全閃存存儲架構(gòu)分析總結(jié)分析來講：華為OceanStorDorado中端系列包含5300/5500/5600，高端系列包含6800/18500/18800，中端和高端的差別主要分為：（1）高端存儲為全互聯(lián)多控制器可擴展架構(gòu)，擴展能力更強；（2）高可用方面高端存儲明顯強于中端存儲，高端存儲控制框內(nèi)前端口不歸屬單控制器，其和框內(nèi)所有控制器互聯(lián)打通，高端存儲單控制器重啟時主機鏈路不會發(fā)生offline或切換現(xiàn)象，甚至當(dāng)主機僅一條單鏈路訪問時高端存儲控制器故障或重啟也不會導(dǎo)致主機訪問存儲卷中斷。中端存儲因為前端口在物理上就綁定了控制器歸屬所以沒有具備高端存儲的這些能力；（3）高端存儲控制器處理能力、前端口數(shù)目、性能負(fù)載能力等各方參數(shù)能力更強。以下為華為OceanStorDorado中端系列的存儲架構(gòu)說明：全互聯(lián)設(shè)計：華為OceanStorDorado5000系列全閃存存儲采用智能矩陣式多控架構(gòu)，消除單點故障，實現(xiàn)系統(tǒng)高可用；多個控制器之間通過負(fù)載均衡算法共同承載業(yè)務(wù)壓力；一旦某個控制器發(fā)生故障，其他控制器可平滑接管業(yè)務(wù)，業(yè)務(wù)0中斷。全對稱的A-A架構(gòu)：存儲架構(gòu)采用全對稱的A-A設(shè)計，應(yīng)用服務(wù)器可通過任意一個控制器訪問到LUN，IO無需轉(zhuǎn)發(fā)。盤控一體機控制框設(shè)計：全閃存存儲系統(tǒng)控制框為2U2控，盤控一體形態(tài)，包括25盤位SAS和36盤位NVMe兩種硬盤形態(tài)。互連：Scale-Out接口模塊采用RDMA協(xié)議互聯(lián)。后端：后端接口支持12GbSAS接口模塊（接入SAS硬盤框的接口模塊）或100GbRDMA接口模塊（接入智能SAS硬盤框，智能NVMe硬盤框的接口模塊）方式連接存儲介質(zhì)。華為OceanStorOceanStorDorado5000系列全閃存中端存儲邏輯架構(gòu)示意圖：圖中端（NVMe）邏輯架構(gòu)示意圖華為OceanStorDorado5000系列全閃存中端存儲控制器互聯(lián)架構(gòu)圖：圖控互聯(lián)架構(gòu)圖5實施規(guī)劃5.1雙活組網(wǎng)規(guī)劃通過華為OceanStorDorado5000系列中端存儲HyperMetro特性實現(xiàn)雙活架構(gòu)。設(shè)備部署在東莞數(shù)據(jù)中心（A區(qū)域和B區(qū)域），兩個區(qū)域可同時承擔(dān)相同業(yè)務(wù)，提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率，當(dāng)單區(qū)域故障時，業(yè)務(wù)自動切換到另一個區(qū)域。方案邏輯示意圖如下所示：另外主機多路徑為負(fù)載均衡模式：該模式下可實現(xiàn)I/O的跨陣列負(fù)載均衡，即I/O以分片的方式在兩個陣列上下發(fā)。5.2網(wǎng)絡(luò)資源規(guī)劃根據(jù)項目配置，每一套華為OceanStorDorado5000Hypermetro組網(wǎng)需申請的資源為：業(yè)務(wù)網(wǎng)絡(luò)：每個控制器出8個FC口，雙交換組網(wǎng)，共計16根FC線。管理網(wǎng)絡(luò)：每套存儲2個管理口（RJ45），管理IP，連接AB控。連接不同交換機。復(fù)制網(wǎng)絡(luò)：每個控制器出4個FC口，雙交換平行組網(wǎng)，共計8根FC線。仲裁網(wǎng)絡(luò)：與管理網(wǎng)絡(luò)復(fù)用。仲裁服務(wù)器：可用物理機或虛擬機，建議部署在獨立區(qū)域，最多部署2臺仲裁服務(wù)器（2臺必須在同一區(qū)域），每個仲裁服務(wù)器1個仲裁地址，1個管理地址。機柜空間：控制框2U×1，合計2U。Hypermetro組網(wǎng)資源申請合計如下：5.3前后端接口規(guī)劃設(shè)備接口模塊槽位分布圖如下：前后端接口規(guī)劃策略：后端（擴容預(yù)留）BE12GbSAS接口模塊可安裝的槽位號和使用的優(yōu)先級順序為：IOM5>IOM4>IOM3。IOM2預(yù)留于Scale-out擴展控制器用。相應(yīng)FC組網(wǎng)前端端口接口模塊使用的槽位號和槽位使用優(yōu)先級為：IOM0>IOM1>IOM3>IOM4>IOM5>IOM2本項目接口模塊槽位及端口規(guī)劃如下圖所示：5.4SAN組網(wǎng)規(guī)劃以A、B兩個區(qū)域分別部署1臺存儲、1臺主機的雙活交叉組網(wǎng)為例，將業(yè)務(wù)流量與雙活復(fù)制流量分開，并將不同主機的業(yè)務(wù)流量均分到不同的端口上。項目整體組網(wǎng)規(guī)劃如下：5.5硬盤域及存儲池規(guī)劃硬盤域規(guī)劃：創(chuàng)建1個硬盤域熱備策略有4種：無，低，高，自定義。本次使用低熱備策略。占用邏輯上1塊硬盤容量。存儲池規(guī)劃：創(chuàng)建1個存儲池華為OceanStorDoradoV6存儲系統(tǒng)采用動態(tài)RAID技術(shù)實現(xiàn)冗余設(shè)計，根據(jù)RAID中檢驗位的個數(shù)不同提供不同的保護級別。存儲系統(tǒng)提供3種保護級別，RAID5、RAID6（默認(rèn)）和RAID-TP。推薦配置RAID-6，允許同時壞2個盤。在不考慮熱備空間的情況下，各不同保護級別的對比分析如下表所示。RAID利用率=[(RAID列數(shù)-RAID的校驗列M)/RAID列數(shù)]×100%RAID列數(shù)=min(存儲池成員盤數(shù)-預(yù)留列數(shù),25)預(yù)留列數(shù)=max(1,熱備盤數(shù))因此本項目raid利用率為[(24-2)/24]*100%=91.67%5.6可用容量計算存儲系統(tǒng)中，系統(tǒng)數(shù)據(jù)的容量開銷主要包括標(biāo)稱容量差值、熱備空間、raid利用率和其他各類文件系統(tǒng)開銷。由于存儲系統(tǒng)本身的容量開銷，用戶能使用的實際容量會小于存儲系統(tǒng)提供的容量。實際存儲系統(tǒng)的容量開銷主要由下面幾個部分組成：1.標(biāo)稱容量差值硬盤廠商和操作系統(tǒng)對硬盤容量的定義不同產(chǎn)生的差值。硬盤廠商定義的單位進制為1000，操作系統(tǒng)定義的單位進制為1024。針對TB級的硬盤，容量差距為(1000100010001000)/(1024102410241024),約為90.9%。2.熱備空間占用如前文分析，本項目熱備空間規(guī)劃為1塊硬盤的容量。即利用率為：（25-1）/25=96%3.Raid利用率如前文分析，本項目中raid2.0+推薦采用riad-6（22+2）保護策略，利用率為91.67%4.系統(tǒng)占用及保險箱空間預(yù)留系統(tǒng)信息開銷占用每塊硬盤空間577MB，保險箱空間預(yù)留2GB。針對本項目內(nèi)的3.84TB硬盤，合計消耗的空間約為0.08%5.元數(shù)據(jù)及硬盤均衡性預(yù)留存儲系統(tǒng)對每塊硬盤預(yù)留0.6%作為元數(shù)據(jù)空間，2%作為元數(shù)據(jù)備份空間，1%用于提高系統(tǒng)性能和硬盤均衡性。容量利用率計算為1-0.6%-2%-1%=96.4%6.一體化容量硬盤進行扇區(qū)格式化時按比例存放校驗數(shù)據(jù)（512/520或4096/4160）。一體化利用率約為98.46%統(tǒng)計計算項目中單臺存儲容量估算約為：253.8490.9%96%91.67%99.92%96.4%*98.46%=72TB5.7LUN規(guī)劃華為OceanStorDorado系列存儲系統(tǒng)創(chuàng)建的LUN都是thinLUN，thinLUN是主機可訪問的一個邏輯硬盤。存儲系統(tǒng)不會一次性分配已設(shè)置的容量給該LUN，在該LUN容量范圍內(nèi)，存儲系統(tǒng)會根據(jù)主機實際使用的容量動態(tài)分配存儲資源，實現(xiàn)按需分配。LUN主要配置參數(shù)如下：6全閃存存儲實踐經(jīng)驗分享6.1數(shù)據(jù)縮減技術(shù)的選擇和成本降低我司主存儲數(shù)據(jù)縮減技術(shù)選擇：1）針對全閃存存儲啟用的數(shù)據(jù)壓縮消重功能，根據(jù)經(jīng)驗核心業(yè)務(wù)、數(shù)據(jù)庫場景一般壓縮比可達(dá)2~3倍，虛擬化場景一般的壓縮比可達(dá)1.7~2倍；2）所有全閃存存儲只開壓縮不開重刪：全局重刪會極大的增加系統(tǒng)的matadata維護量和復(fù)雜度帶來風(fēng)險，另外大部分場景下數(shù)據(jù)節(jié)約收益的70%-90%來自壓縮，開重刪的風(fēng)險高收益?。▊浞輬鼍俺猓２煌瑆orkload種類下的壓縮和重刪收益比：根據(jù)經(jīng)驗在大部分場景（除去VDI、clone、備份場景后）下數(shù)據(jù)節(jié)約主要收益來自于壓縮，特別是對企業(yè)級主存儲系統(tǒng)數(shù)據(jù)節(jié)約收益的70%-90%來自壓縮。主存儲系統(tǒng)開啟重刪和壓縮的風(fēng)險收益分析：根據(jù)經(jīng)驗我總結(jié)和建議數(shù)據(jù)縮減技術(shù)選擇如下：6.2跨存儲數(shù)據(jù)遷移存儲替換遷移關(guān)鍵策略：由于系統(tǒng)架構(gòu)越來越復(fù)雜、數(shù)據(jù)類型越來越多樣性，存儲替換遷移工作也需要越來越細(xì)致。存儲替換遷移其實也是一個數(shù)據(jù)遷移的過程，首先我們需要充分了解常用的存儲數(shù)據(jù)遷移技術(shù)。為了高效、安全、完整地完成存儲替換遷移任務(wù)，我們需要結(jié)合不同存儲各自系統(tǒng)特點及所承載業(yè)務(wù)系統(tǒng)的類型特點有策略地開展遷移相關(guān)的工作。針對不同的系統(tǒng)及不同的應(yīng)用場景制定有針對性的遷移方案，切不可一刀切，也不能指望通過一個遷移方案就能夠完成所有類型數(shù)據(jù)的遷移，沒有絕對最好最完美的方案，只能根據(jù)實際情況形成符合自身的方案。證券公司業(yè)務(wù)的特點和我司主要采用的數(shù)據(jù)遷移方案：1）證券公司業(yè)務(wù)的特點為應(yīng)用、DB的數(shù)據(jù)量均不是巨大規(guī)模容量類型（例如不存在超過100TB數(shù)據(jù)量的單庫），大量業(yè)務(wù)應(yīng)用在非交易時間段可安排停機窗口，IT基礎(chǔ)架構(gòu)虛擬化占比超過70%；2）我司主要采用“虛擬機在線漂移、文件復(fù)制、數(shù)據(jù)庫層復(fù)制”等數(shù)據(jù)遷移技術(shù)方案（各方案詳細(xì)說明見下表）。常見數(shù)據(jù)遷移技術(shù)總結(jié)分享：在選擇遷移技術(shù)或工具時，一定要充分結(jié)合自身網(wǎng)絡(luò)環(huán)境及對業(yè)務(wù)連續(xù)性的要求，選擇最優(yōu)的遷移方法，實現(xiàn)期望值。一般會根據(jù)數(shù)據(jù)類型選擇不同的遷移工具或技術(shù)實現(xiàn)跨存儲的數(shù)據(jù)安全平穩(wěn)遷移。數(shù)據(jù)遷移完整性保障：一是數(shù)據(jù)完整性及一致性驗證工作，比如遷移前后數(shù)據(jù)庫信息的校對，文件系統(tǒng)則可以統(tǒng)計文件inode數(shù)和文件MD5校驗；如果采用文件復(fù)制方案還需特別注意遷移前后文件系統(tǒng)目錄和文件的權(quán)限校對，確保在使用rebocopy、rsync復(fù)制后的目標(biāo)目錄權(quán)限/ACL的一致性。制定完善的應(yīng)急預(yù)案及回退方案：遷移實施操作遷前做好數(shù)據(jù)備份，數(shù)據(jù)備份作為最后一根救命稻草務(wù)必確保一定做了數(shù)據(jù)備份，備份可以是NBU專業(yè)備份軟件的備份、DBA的一份export或應(yīng)用人員copy到服務(wù)器本地盤的一份冷copy數(shù)據(jù)等。遷移前和應(yīng)用運維人員做好充分溝通，對其說明遷移過程中的影響評估（性能影響、停機時長等）以及可能出現(xiàn)意外突發(fā)情況，從應(yīng)用層、數(shù)據(jù)庫層、主機、存儲層做好相應(yīng)的應(yīng)急預(yù)案及回退方案。6.3存儲資源閾值和資源預(yù)留規(guī)劃存儲各組件資源盡可能均衡利用。每臺存儲的控制器及每個前端端口都有QueueDepth數(shù)量限制和支持的最大LUN數(shù)量限制；規(guī)劃設(shè)計的最大資源利用率不應(yīng)超過各項技術(shù)限制指標(biāo)及各組件利用率的70%，為存儲保留一定的容量和性能能力，應(yīng)對突發(fā)、峰值情況，避免產(chǎn)生性能瓶頸；針對全閃存存儲啟用的數(shù)據(jù)壓縮功從而降低成本，根據(jù)經(jīng)驗核心業(yè)務(wù)、數(shù)據(jù)庫場景一般壓縮比可達(dá)2~3倍，虛擬化場景一般的壓縮比可達(dá)1.7~2倍；針對全閃存存儲開啟thin超額分配功能，保守期間按照數(shù)據(jù)庫和虛擬化場景壓縮比較低的一方進行總體容量的規(guī)劃，規(guī)劃壓縮比為1.8倍，總?cè)萘砍直茸詈貌灰^170%；針對HDD或SSD+HDD混合架構(gòu)存儲不建議開啟壓縮和thin超分功能（基于容量換性能的原因）。6.4IO并發(fā)隊列的考慮隊列深度（Queue-Depths）是指主機端單個LUN可以一次被允許并行的處理的I/O數(shù)目(SCSI命令)。例如QD=32,代表可以在同一個時刻并行對該LUN做32個IO操作。在SCSI命令層面，每個從發(fā)送端（initiator）主機HBA卡端口發(fā)送到接收端(target)存儲HBA卡端口的IOrequest都會消耗一個Queue條目。一般來說，更高的隊列深度相當(dāng)于更好的性能。如果存儲控制器/節(jié)點到達(dá)最大隊列深度并耗盡，存儲控制器將拒絕新的傳入命令并通過返回QFULL回應(yīng)主機從而引起性能的降低。如果大量的主機訪問存儲控制器,你應(yīng)該仔細(xì)計劃，以避免QFULL條件顯著降低系統(tǒng)性能和在某些系統(tǒng)會導(dǎo)致錯誤。Queue-depth、IOPS、latency之間關(guān)系和計算公式：Queue-depth=IOPSxResponseTime(10Q=10000IOPSx1ms)IOPS=Queue-depth/latency(10000IOPS=10Q/1ms)IOQueueMemory=IOQueueDepth*sizeof(IOPDescriptor+TransferBuffer)有關(guān)隊列深度（Queue-Depths）注意事項:隊列深度的存在，在流水線上的每個不同環(huán)節(jié)設(shè)置緩沖空間(Buffer)，使正常