文件類數(shù)據(jù)存儲系統(tǒng)架構(gòu)優(yōu)化實踐經(jīng)驗分享

對于很多中小金融機構(gòu)來講，由于歷史原因，企業(yè)的存儲形態(tài)往往較為單一，存儲系統(tǒng)并未做分類和分級建設(shè)。比如，對于集中式存儲來講，只有SAN存儲，而并未使用NAS存儲。這樣一來，對于文件共享場景，很多企業(yè)有用到GPFS來構(gòu)建分布式集群文件系統(tǒng)來滿足業(yè)務(wù)系統(tǒng)文件共享場景需求。實際上，GPFS是一種高性能的并行文件系統(tǒng)，其底座很多也是使用FC組網(wǎng)的SAN存儲。GPFS大多適用于高性能計算場景，或者是和企業(yè)其他IT技術(shù)生態(tài)捆綁使用。另一方面，GPFS在構(gòu)建同城或異地容災(zāi)時，也有一定的局限性，很多也是基于底層SAN存儲來做的數(shù)據(jù)級容災(zāi)。如果從企業(yè)的存儲系統(tǒng)發(fā)展來看，隨著企業(yè)存儲管理的精細化，可以看到，GPFS和NAS的使用場景也開始逐漸分流，兩種技術(shù)分別適用于不同的業(yè)務(wù)場景中，可以說兩者是“術(shù)業(yè)有專攻”。對于低時延的高性能場景或者是多業(yè)務(wù)系統(tǒng)之間文件交互場景，即插即用的NAS存儲可以說帶來了極大的便利。此外，集中式的NAS存儲也有成熟的雙活以及異步復(fù)制解決方案，很好的匹配了企業(yè)的文件高可用性建設(shè)需求。此外，在海量非結(jié)構(gòu)化數(shù)據(jù)存儲優(yōu)化方面，對象存儲技術(shù)扮演了重要角色。近年來，對象存儲憑借其優(yōu)異的成本優(yōu)勢、強大的橫向和快速擴展能力以及豐富的服務(wù)接口特性在國內(nèi)取得了快速發(fā)展，同時交付了很多成功案例。而對于傳統(tǒng)的銀行業(yè)，對象存儲也有不少落地案例。從應(yīng)用場景來看，主要用于對接ECM內(nèi)容管理平臺和備份系統(tǒng)的分層建設(shè)中。一、背景和必要性目前，我行的非結(jié)構(gòu)化數(shù)據(jù)主要存儲在構(gòu)建于傳統(tǒng)集中式塊存儲之上的IBMGPFS并行文件系統(tǒng)中。這些非結(jié)構(gòu)化數(shù)據(jù)的文件數(shù)量和容量隨著業(yè)務(wù)規(guī)模的發(fā)展呈逐年激增的趨勢，而這種使用存儲的方式靈活性不高，同時帶來了過高的成本開銷。GPFS構(gòu)建在FCSAN存儲之上，消耗了較多的SAN存儲資源以及中間的FC交換網(wǎng)絡(luò)資源。而從使用場景來看，GPFS主要用于前端的應(yīng)用服務(wù)器集群，隨著行里云平臺的廣泛使用，這種應(yīng)用服務(wù)器外聯(lián)FCSAN存儲的架構(gòu)也給應(yīng)用服務(wù)器入云帶來了制約，進而由于消耗了更多的物理服務(wù)器也會帶來額外的成本開銷。另外，由于GPFS和數(shù)據(jù)庫類的應(yīng)用爭搶存儲資源，也給這些聯(lián)機交易類系統(tǒng)帶來了一定的性能沖擊。隨著行里的業(yè)務(wù)種類越來越豐富，不同類型數(shù)據(jù)的合理存放成為亟待解決的問題。針對上述問題，我行2018年引入了中低端NAS存儲設(shè)備，用于存儲文件類的數(shù)據(jù)，為數(shù)據(jù)的分類存儲提供了便利，使得存儲的使用方式更趨于合理化。然而，按照我行存儲資源池的分級架構(gòu)建設(shè)規(guī)劃，需要額外建設(shè)具備雙活能力的高端NAS存儲系統(tǒng)，滿足GPFS場景中重要業(yè)務(wù)系統(tǒng)的文件共享需求和同城雙活的高可用需求。為此，我行近兩年來構(gòu)建了高端NAS同城雙活架構(gòu)，同時，異地部署了一臺低端NAS存儲，進而實現(xiàn)了依托NAS存儲復(fù)制技術(shù)的3DC高可用架構(gòu)。而現(xiàn)有的中低端NAS存儲，可以繼續(xù)承載GPFS場景中的一般重要業(yè)務(wù)系統(tǒng)的文件存儲需求。除了非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)優(yōu)化之外，我行另一個需要逐步優(yōu)化的場景是系統(tǒng)間的文件交互。目前，我行使用專門的文件傳輸工具進行各系統(tǒng)間的文件傳遞，軟件架構(gòu)較為復(fù)雜，同時運維難度也略大。此外，由于各業(yè)務(wù)系統(tǒng)分布在不同的網(wǎng)絡(luò)區(qū)域，跨區(qū)的文件傳輸流量也會給各區(qū)域的邊界防火墻帶來性能壓力。為此，我們可以借助NAS存儲構(gòu)建文件交互平臺，不但省去了文件在各系統(tǒng)間的頻繁傳遞，提高業(yè)務(wù)系統(tǒng)效率，同時，依托NAS存儲的多網(wǎng)絡(luò)區(qū)域覆蓋能力，可以避免產(chǎn)生跨區(qū)流量，進而規(guī)避對邊界防火墻的性能沖擊。下面兩張圖分別是NAS引進前、后的文件類數(shù)據(jù)存儲系統(tǒng)高可用架構(gòu)圖：圖一構(gòu)建在SAN存儲復(fù)制技術(shù)上的文件高可用架構(gòu)圖二依托NAS存儲3DC方案構(gòu)建的文件高可用架構(gòu)實際上，在我行的整體存儲體系和存儲架構(gòu)規(guī)劃中，SAN存儲、NAS存儲和對象存儲有其各自的定位和應(yīng)用場景。SAN存儲適用于存儲結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫類應(yīng)用，滿足其高并發(fā)、低延遲的高性能需求。NAS存儲適用于多服務(wù)器共享文件場景或構(gòu)建文件傳輸平臺，對性能要求沒有SAN存儲高，但成本要低。對象存儲適用于存儲海量非結(jié)構(gòu)化數(shù)據(jù)（文件、影印件、音視頻等），當(dāng)文件數(shù)量達到數(shù)十億、存儲容量達到幾十PB以上的量級時，其性能和總體擁有成本較之于NAS更具優(yōu)勢。二、技術(shù)路線對比對于文件類數(shù)據(jù)存儲的解決方案，實際上我們從業(yè)界不難看到基本包括分布式集群文件系統(tǒng)、分布式NAS存儲、傳統(tǒng)集中式NAS存儲以及對象存儲等。這些存儲技術(shù)各具特色，分別適用不同的業(yè)務(wù)場景。比如分布式集群文件系統(tǒng)或者稱為并行文件系統(tǒng)解決方案，例如：GPFS、Cephfs、GlusterFS、HDFS、GFS等。對于這些集群文件系統(tǒng)，有些存在元數(shù)據(jù)節(jié)點，有些則是沒有元數(shù)據(jù)節(jié)點的對稱架構(gòu)，另外在文件的分片尺寸上也略有區(qū)別，但總體上來講，這些分布式文件系統(tǒng)或者是分布式NAS存儲基本適用于高性能計算場景或者是大文件處理場景中。而對于一般文件共享場景以及多系統(tǒng)文件交互場景，采用傳統(tǒng)集中式NAS存儲則更為便捷。如果從文件規(guī)模角度來看，對于文件數(shù)量在千萬級以下，文件容量在百TB級別，傳統(tǒng)NAS技術(shù)可以承載。而對于文件數(shù)量在億級別，文件容量在幾十PB以上的情況下，采用對象存儲則更能凸顯價值。對象存儲可以說是云存儲中一個重要技術(shù)分支，是近年來在國內(nèi)發(fā)展最快的存儲形態(tài)之一。無論是在傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè)都有很多落地案例。在架構(gòu)體系形態(tài)上，由于對象存儲用于存儲和處理海量的非結(jié)構(gòu)化數(shù)據(jù)，例如文件、圖片、音視頻、影印件等，所以要求其有強大的擴展能力，而無疑采用分布式架構(gòu)更便于橫向、快速的擴展。在應(yīng)用形態(tài)上，對象存儲暴露給前端的主要是S3協(xié)議，一種面向Web的RESTfulAPI接口，需要前端應(yīng)用針對這種特別的接口進行定制化開發(fā)。而為了兼容老的應(yīng)用，對象存儲在前端還可以進行特別“包裝”，從而可以提供豐富的NAS接口協(xié)議，甚至和Hadoop大數(shù)據(jù)平臺還有S3A接入適配協(xié)議。從對象存儲在銀行業(yè)的應(yīng)用場景來看，可以分為兩個大類，分別是業(yè)務(wù)系統(tǒng)處理和歷史數(shù)據(jù)備份及歸檔。在業(yè)務(wù)系統(tǒng)支持上，對象存儲可以對接ECM內(nèi)容管理平臺，作為后端的數(shù)據(jù)存儲系統(tǒng)。這樣一方面可以有效發(fā)揮其處理海量非結(jié)構(gòu)化數(shù)據(jù)的性能和成本優(yōu)勢。另一方面，對象存儲還可以提供豐富的業(yè)務(wù)附加功能，如業(yè)務(wù)元數(shù)據(jù)Metadata標簽，便于對業(yè)務(wù)數(shù)據(jù)做標記，提高業(yè)務(wù)數(shù)據(jù)快速檢索能力。另一個場景可以用在備份系統(tǒng)的分層建設(shè)中。對象存儲可以作為備份系統(tǒng)中磁帶介質(zhì)層的上層，用于作為近線備份的存儲，提升歷史數(shù)據(jù)的檢索效率。此外，在大數(shù)據(jù)平臺場景中，對象存儲憑借S3A適配協(xié)議可以實現(xiàn)和大數(shù)據(jù)平臺的對接，提供歷史數(shù)據(jù)歸檔能力。三、存儲分類分級建設(shè)通過項目實施，實現(xiàn)了我行NAS文件存儲資源池的分級建設(shè)。隨著NAS應(yīng)用的推廣和落地，逐漸降低了塊存儲使用成本，提高了存儲的使用靈活度，實現(xiàn)不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲。特別是借助高端NAS存儲設(shè)備構(gòu)建同城雙活架構(gòu)，實現(xiàn)了重要業(yè)務(wù)系統(tǒng)對于文件存儲的高可用需求。較之于先前的GPFS方案，在RPO同為0的情況下，RTO指標得到極大提升。最后，利用NAS存儲構(gòu)建業(yè)務(wù)系統(tǒng)間文件交互平臺，顯著提升了業(yè)務(wù)處理效率?？梢哉f，在企業(yè)IT基礎(chǔ)架構(gòu)優(yōu)化中，很難有一種技術(shù)可以完美替代另一種技術(shù)。就如同對象存儲的引入并不是對現(xiàn)有企業(yè)存儲架構(gòu)的徹底顛覆，而是一種技術(shù)的有力補充，分類分級建設(shè)的存儲資源池可以匹配各自適用的業(yè)務(wù)場景。傳統(tǒng)集中式SAN存儲以其高并發(fā)、低延遲的特性，適用于數(shù)據(jù)庫類業(yè)務(wù)場景。NAS文件存儲資源池用于解決文件共享或者是系統(tǒng)間的文件交互場景。而對于音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)的處理，采用對象存儲則更為合理。正是這些技術(shù)的相互補充，才得以最大化地發(fā)揮各種技術(shù)的效能，從而更好地支撐前端業(yè)務(wù)系統(tǒng)的穩(wěn)定、高效運行。GPFS遷移實踐篇在計劃進行GPFS向NAS轉(zhuǎn)型前，要對目標NAS存儲做好規(guī)劃和設(shè)計。為了保證NAS存儲可以很好地支撐業(yè)務(wù)需求，同時確保NAS存儲系統(tǒng)自身的架構(gòu)健壯性和性能，可以從容量、性能、架構(gòu)以及規(guī)范等層面對NAS存儲進行詳細設(shè)計。而對于GPFS向NAS的遷移，要以項目管理的方式進行工作推進。首先是人員的準備，要明確各個條線的工作職責(zé)，從而便于各條線做好配合，進而可以保證項目的交付質(zhì)量。對于具體的遷移工作，要按遷移前、遷移中和遷移后做好整個遷移工作的閉環(huán)管理。此外，要做好經(jīng)驗總結(jié)，通過持續(xù)的PDCA，可以使后續(xù)的遷移工作更順暢和高效。一、目標NAS存儲的規(guī)劃和設(shè)計在進行GPFS向NAS技術(shù)轉(zhuǎn)型之前，要對目標的NAS存儲做好規(guī)劃?？梢詮娜萘吭O(shè)計、性能設(shè)計、架構(gòu)設(shè)計、規(guī)范設(shè)計等方面對目標NAS存儲提前進行規(guī)劃。具體來講，對于容量設(shè)計方面，要以GPFS臺賬為依據(jù)，梳理GPFS文件總?cè)萘浚送?，需要考慮存儲容量年增長率因素，評估出滿足業(yè)務(wù)至少3-5年的存儲容量需求。對于性能設(shè)計，可以利用存儲性能監(jiān)控工具，形成GPFS業(yè)務(wù)系統(tǒng)的性能基線，并充分考慮波峰（帶寬和OPS），以此作為存儲配置的依據(jù)。在做性能統(tǒng)計時，有幾個注意事項。一是GPFS業(yè)務(wù)系統(tǒng)在存儲上往往較為分散，不同的業(yè)務(wù)系統(tǒng)服務(wù)器會分布在不同的存儲設(shè)備上，這也是匯總性能數(shù)據(jù)的一個難點和要注意的地方。二是要特別關(guān)注交易量大的系統(tǒng)，抓住帶來存儲性能消耗的幾個關(guān)鍵系統(tǒng)。三是要建立典型業(yè)務(wù)高峰時點的性能基線，如季度結(jié)息、年終決算、雙十一等。四是在做性能分析時，要注意辨別共用存儲資源的情況。例如GPFS和數(shù)據(jù)庫業(yè)務(wù)共用存儲前端口的情況，在做性能數(shù)據(jù)收集時，要收集GPFS涉及LUN的性能，而不是端口的性能數(shù)據(jù)。因為端口屬于共用資源，除了GPFS流量，還包括數(shù)據(jù)庫業(yè)務(wù)貢獻的流量。對于架構(gòu)設(shè)計，存儲系統(tǒng)首先沒有單點故障，然后用于承載重要系統(tǒng)的NAS存儲構(gòu)建基于存儲復(fù)制技術(shù)的3DC架構(gòu)。此外，為了提升NAS存儲系統(tǒng)各張網(wǎng)絡(luò)的健壯性和性能，建議構(gòu)建功能獨立、物理隔離的網(wǎng)絡(luò)。對于業(yè)務(wù)網(wǎng)絡(luò)，可以通過LACP鏈路聚合的方式擴充存儲側(cè)的網(wǎng)絡(luò)帶寬。最后，對于規(guī)范設(shè)計方面，要充分利用NAS存儲提供的租戶特性，實現(xiàn)各業(yè)務(wù)系統(tǒng)的安全隔離。有關(guān)NAS存儲的架構(gòu)設(shè)計將在后續(xù)的文章中進行更詳細地說明。下圖是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓撲圖，從圖中可以看出，正是采用了四網(wǎng)分離的網(wǎng)絡(luò)架構(gòu)，即業(yè)務(wù)網(wǎng)絡(luò)、復(fù)制網(wǎng)絡(luò)、仲裁網(wǎng)絡(luò)、管理網(wǎng)絡(luò)分離，才得以保障各張網(wǎng)絡(luò)的高可用和高性能。圖三華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓撲圖二、遷移原則在GPFS向NAS遷移工作實施前，為了保證遷移質(zhì)量，同時提升遷移效率，首先制定了遷移的四大原則。第一是“先做減法”原則，一方面，對于已下線及待下線的系統(tǒng)，積極推動系統(tǒng)下線流程，然后回收所用存儲資源。另一方面，推動各業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)清理，降低數(shù)據(jù)遷移量。第二是“以靜制動”原則，對于有改造計劃的系統(tǒng)，待系統(tǒng)改造完成后，再決定是否遷移或回收老系統(tǒng)所用存儲資源。第三是“分批推進”原則，為了平穩(wěn)、高效地完成遷移任務(wù)，合理劃分遷移批次。此外，遷移工作要由易到難，從簡到繁，不斷積累經(jīng)驗。第四是“精細方案”原則，首先，遷移方案要做實做細，要做好遷移前、遷移中、遷移后整個遷移工作的閉環(huán)管理。此外，針對不同業(yè)務(wù)系統(tǒng)，需要定制最佳的個性化遷移方案。比如對于文件目錄很深、文件數(shù)量特別大的系統(tǒng)，可以采用分批次的遷移方案。三、遷移方案如前所述，為了做好整個數(shù)據(jù)遷移工作的閉環(huán)管理，下面將從遷移前的準備工作、遷移實施過程以及遷移后的收尾工作等環(huán)節(jié)對遷移方案進行展開陳述。（一）遷移前的準備工作人員是項目實施的關(guān)鍵因素，在遷移項目中，各個技術(shù)條線要做到分工明確，進而才可實現(xiàn)通力合作。系統(tǒng)條線作為提供和保障IT基礎(chǔ)設(shè)施的技術(shù)條線，將作為整個遷移項目的項目經(jīng)理角色，負責(zé)牽頭整個數(shù)據(jù)遷移項目。應(yīng)用條線配合確認和推進已下線和待下線系統(tǒng)的下線流程，同時，在數(shù)據(jù)遷移完成后，配合進行必要的業(yè)務(wù)驗證工作。網(wǎng)絡(luò)條線在遷移工作中負責(zé)開通相關(guān)的網(wǎng)絡(luò)訪問關(guān)系，提供網(wǎng)絡(luò)方面的技術(shù)支持。生產(chǎn)管理條線則負責(zé)組織落實相關(guān)變更的方案評審以及對外的監(jiān)管報備工作。決定遷移項目質(zhì)量的另一個關(guān)鍵因素是要有一份清晰且精準的GPFS臺賬。關(guān)于臺賬的準備，可以采用管理維度和技術(shù)維度相輔相成的策略。對于管理維度，日常運維工作中形成的完整且及時更新的GPFS臺賬作為基線。而對于技術(shù)維度，一方面可以通過運維自動化平臺，編制GPFS文件系統(tǒng)信息導(dǎo)出腳本，形成GPFS全量信息報表。另一方面，可以借助CMDB平臺導(dǎo)出GPFS相關(guān)報表。通過上述管理和技術(shù)的融合，最終形成一份全量的GPFS臺賬，從而可以指導(dǎo)后續(xù)的遷移工作。（二）遷移實施目標NAS存儲分配到位對于一般重要業(yè)務(wù)系統(tǒng)分配低端NAS存儲，NAS存儲采用本地部署方案，而對于重要系統(tǒng)則分配高端NAS存儲，采用NAS同城雙活架構(gòu)。數(shù)據(jù)遷移操作流程1.將分配的目標NAS存儲掛載到臨時目錄上，如/qianyi2.將GPFS掛載點目錄下的內(nèi)容全部拷貝到上述的目標路徑下3.待拷貝完成后，卸載掉GPFS以及目標NAS文件系統(tǒng)4.將目標NAS文件系統(tǒng)掛載到原GPFS掛載點上對于停機窗口充足的系統(tǒng)，建議在第二步開始前，停止使用GPFS的應(yīng)用程序。對于停機窗口有限的系統(tǒng)，第三步的拷貝可以使用rsync等支持增量拷貝以及斷點續(xù)傳的命令。對于目錄結(jié)構(gòu)深、海量小文件的系統(tǒng)，可以分批次進行數(shù)據(jù)遷移，如先遷移近期使用的文件及目錄，后續(xù)再分批次遷移歷史文件。（三）遷移收尾工作數(shù)據(jù)遷移完成后，需要組織應(yīng)用人員進行業(yè)務(wù)驗證，驗證新的目標存儲可以正常承載業(yè)務(wù)運行。為了應(yīng)對可能發(fā)生的遺漏文件的快速查找需求，需要將原GPFS目錄掛載到臨時目錄下，具體操作步驟如下：待新的NAS投產(chǎn)且平穩(wěn)運行后，經(jīng)過一段時間的觀察期，可以組織對先前GPFS資源的回收。四、遇到的問題和解決方法在做數(shù)據(jù)遷移時，要充分考慮每個業(yè)務(wù)系統(tǒng)的文件生成和訪問特性。因為不同的系統(tǒng)對不同日期目錄的操作方式會有差異，這也是為什么要針對各個系統(tǒng)做定制化的遷移方案。比如，有的系統(tǒng)在數(shù)據(jù)遷移窗口期間不會訪問歷史日期目錄，只會在當(dāng)前日期目錄下生成文件。對于這樣的業(yè)務(wù)系統(tǒng)，我們可以利用短暫的窗口，先將GPFS和NAS的掛載點進行切換。這樣一來，新的文件就會直接落地到NAS上，然后再遷移其他的目錄和文件。在windows操作系統(tǒng)中做數(shù)據(jù)拷貝時，我們往往會遇到內(nèi)存資源不足的情況，這個一般是與一次性拷貝的文件太多有關(guān)。對于這個問題，可以在每天的業(yè)務(wù)空閑時段，按目錄分批次進行拷貝。對于windows操作系統(tǒng)，在掛載NAS存儲（映射網(wǎng)絡(luò)驅(qū)動器）時，你會發(fā)現(xiàn)重啟服務(wù)器后，之前掛載的網(wǎng)絡(luò)驅(qū)動器不見了。這是因為在映射網(wǎng)絡(luò)驅(qū)動器時，沒有注意有些附加選項。如下圖，在映射網(wǎng)絡(luò)驅(qū)動器時，注意要把“登錄時重新連接”選項勾選上。然后，注意選擇使用其他憑據(jù)連接，這樣會彈出訪問NAS存儲的用戶名和密碼，同時要注意選擇讓windows記住用戶名和密碼。圖四Windows映射網(wǎng)絡(luò)驅(qū)動器另外，對于Linux或AIX操作系統(tǒng)，同樣也要注意把NFS的Mount掛載命令寫入開機自啟文件里，如對于SuseLinux操作系統(tǒng)，是/etc/init.d/after.local文件；對于紅帽Linux，是/etc/rc.d/rc.local;AIX一般可以寫入/etc/filesystems文件里。這里面如果是AIXHA場景，因為一般NFS文件系統(tǒng)是隨服務(wù)IP一起的，所以可以把NFS的掛載和卸載命令寫入ha的啟停腳本里。在做數(shù)據(jù)遷移時，有時會遇到拷到目標目錄中的文件時間戳、文件的屬主屬組或是權(quán)限會發(fā)生改變，這是因為在執(zhí)行拷貝時沒有用對選項。比如對于cp命令，注意使用-a選項，這個選項包含了-pall的功能，也就是拷貝時會保留文件或目錄的上述元數(shù)據(jù)信息。在數(shù)據(jù)遷移過程中，還有個典型問題，就是由于沒有更改GPFS的掛載點定義，而只是臨時將GPFG文件系統(tǒng)卸載掉。這樣一來，在系統(tǒng)重啟時，會造成GPFS和NAS的掛載點沖突。如果GPFS成功掛載了，那么新的業(yè)務(wù)文件就會寫入到GPFS文件系統(tǒng)中，進而給整個遷移工作帶來麻煩。這也是前文提到的一定要做好遷移工作的閉環(huán)管理，注意按上文方法徹底調(diào)整GPFS的掛載點。五、遷移總結(jié)目前，GPFS遷移NAS的工作還在平穩(wěn)、高效地推進中。通過項目實施，也收獲了不少經(jīng)驗。從技術(shù)維度來看，一是對于目標NAS存儲設(shè)備的架構(gòu)規(guī)劃要以目前業(yè)務(wù)系統(tǒng)的實際需求出發(fā)，特別注意性能基線的建立。二是要結(jié)合應(yīng)用場景，靈活使用存儲的特性，比如租戶隔離特性。三是在遷移前針對各個系統(tǒng)定制個性化的遷移方案，在遷移中注意文件屬性保留的拷貝選項，在遷移后要調(diào)整GPFS的配置，尤其是更改其掛載點。從管理維度來看，一是要將每一個存儲遷移工作以項目管理的方式進行推進，做好各技術(shù)和管理條線的職責(zé)分工，各專業(yè)條線通力合作，才能實現(xiàn)高質(zhì)量的項目交付。二是對于遷移工作，要“巧干”，首先制定工作原則。例如文中提到的“先做減法”、“以靜制動”，這實際上也是對業(yè)務(wù)系統(tǒng)以及歷史數(shù)據(jù)生命周期管理的實踐和完善，借存儲遷移項目的契機，可以促進對業(yè)務(wù)系統(tǒng)下線的推動，同時完成歷史數(shù)據(jù)的清理。三是對遷移工作要做好閉環(huán)管理，特別要重視遷移后的收尾以及總結(jié)。NAS存儲使用經(jīng)驗和效果篇數(shù)據(jù)只有做好分類存儲和管理，才能發(fā)揮基礎(chǔ)設(shè)施的最大效能。為此，行里從2018年開始引入中低端NAS存儲，到目前NAS存儲的3DC架構(gòu)落地，完備的NAS存儲資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺。通過近年來NAS存儲的推廣使用，逐漸降低了塊存儲使用成本，提高了存儲的使用靈活度，實現(xiàn)了不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲。如果說FC網(wǎng)絡(luò)是傳統(tǒng)集中式SAN存儲的核心，那么IP網(wǎng)絡(luò)無疑是NAS存儲的關(guān)鍵。因此，在配置NAS存儲時，特別是對于跨數(shù)據(jù)中心的NAS雙活架構(gòu)的搭建，提前規(guī)劃好各張不同功能的網(wǎng)絡(luò)就顯得尤為重要了。此外，通過結(jié)合業(yè)務(wù)使用場景，充分利用華為NAS存儲提供的租戶特性，不但實現(xiàn)了業(yè)務(wù)系統(tǒng)間的安全隔離，同時也實現(xiàn)了基于單個業(yè)務(wù)系統(tǒng)的細粒度災(zāi)備切換能力。一、技術(shù)方案從2018年開始引入中低端NAS存儲，到高端NAS雙活系統(tǒng)投產(chǎn)，以及如今的NAS3DC架構(gòu)的落地，完備的NAS存儲資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺。如上圖二是我行兩地三中心的NAS存儲架構(gòu)，最左面是采用本地部署模式的低端NAS存儲系統(tǒng)，右面部分是華為的兩地三中心NAS架構(gòu)，它是采用cascade串行級聯(lián)模式的數(shù)據(jù)復(fù)制架構(gòu)。下面將重點剖析NAS雙活架構(gòu)。兩臺華為高端18500雙活NAS設(shè)備分別部署在我行生產(chǎn)機房和同城災(zāi)備機房，構(gòu)建同城NAS雙活系統(tǒng)，為我行新核心、重要以及重要支撐系統(tǒng)提供文件交互、文件共享服務(wù)和文件高可用容災(zāi)服務(wù)。（一）網(wǎng)絡(luò)架構(gòu)如圖三是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓撲圖。整個網(wǎng)絡(luò)架構(gòu)共涉及4個網(wǎng)絡(luò)平面，分別是業(yè)務(wù)網(wǎng)絡(luò)平面、復(fù)制網(wǎng)絡(luò)平面、仲裁網(wǎng)絡(luò)平面以及管理網(wǎng)絡(luò)平面。每張網(wǎng)絡(luò)的拓撲和功能介紹如下：業(yè)務(wù)網(wǎng)絡(luò)平面高端NAS雙活系統(tǒng)同時接入新核心區(qū)和業(yè)務(wù)三區(qū)，其中A、B控接入業(yè)務(wù)三區(qū)；C、D控接入新核心區(qū)，形成兩個故障漂移組（failgroup）。每個控制器通過2條10GbE光纖接入業(yè)務(wù)交換機，形成一個20GbE的端口組（LACP）。接入同一網(wǎng)絡(luò)區(qū)域的控制器之間采用A-A（雙active）互備的工作模式，當(dāng)任一個控制器出現(xiàn)硬件故障或業(yè)務(wù)網(wǎng)絡(luò)中斷時，存儲系統(tǒng)會自動將業(yè)務(wù)地址切換到另一個活動的控制器上，切換時間控制在5秒以內(nèi)，對前端業(yè)務(wù)系統(tǒng)可以做到無感知。復(fù)制網(wǎng)絡(luò)平面每臺存儲通過4個40GbE的全互聯(lián)連接接入2臺40GbE的內(nèi)部復(fù)制交換機，兩中心的4臺復(fù)制交換機通過2條平行連接的10GbEDWDM線路連接，構(gòu)建了NAS同城雙活數(shù)據(jù)復(fù)制鏈路。通過存儲系統(tǒng)內(nèi)部的配置，共形成8條負載均衡的冗余ISL（InterSwitchLink）數(shù)據(jù)復(fù)制鏈路。仲裁網(wǎng)絡(luò)平面每臺存儲設(shè)備通過2塊仲裁網(wǎng)卡，和2臺仲裁物理服務(wù)器（HA主備架構(gòu)）構(gòu)建成2個獨立vlan的高可用仲裁網(wǎng)絡(luò)。對于仲裁模塊，從仲裁網(wǎng)絡(luò)鏈路到仲裁軟件，再到底層的仲裁服務(wù)器均實現(xiàn)了雙冗余，規(guī)避了仲裁系統(tǒng)的單點故障，從而極大提升了仲裁的高可用性。圖五復(fù)制和仲裁鏈路管理網(wǎng)絡(luò)平面每臺存儲通過2個管理網(wǎng)口接入網(wǎng)管網(wǎng)，用于存儲設(shè)備的日常管理和存儲監(jiān)控管理。如上所述，高端NAS雙活系統(tǒng)的網(wǎng)絡(luò)按照功能劃分為四個物理隔離的平行網(wǎng)絡(luò)平面，每個網(wǎng)絡(luò)平面只承載各自功能模塊的流量。這樣的網(wǎng)絡(luò)架構(gòu)設(shè)計，既保證了各個網(wǎng)絡(luò)的安全性，也提升了每個網(wǎng)絡(luò)平面的吞吐性能。業(yè)務(wù)網(wǎng)絡(luò)平面既可以支持兩中心大二層打通的網(wǎng)絡(luò)架構(gòu)，也支持不打通大二層，使用各中心獨立IP地址的方案。為了遵從我行整體的網(wǎng)絡(luò)規(guī)劃，我們采用了后者即獨立IP的方案。兩種網(wǎng)絡(luò)架構(gòu)在存儲端的RTO指標是一致的，而最主要的區(qū)別主要在于大二層打通的架構(gòu)可以獲得更好的主機端全局的RTO指標。在大二層打通的情況下，當(dāng)發(fā)生站點切換時，主機側(cè)可以無感知的恢復(fù)NAS連接。而對于獨立IP的方案，需要主機側(cè)重新執(zhí)行NAS存儲的掛載。為了進一步提升該方案中主機側(cè)的RTO指標，利用我行自動化災(zāi)備切換系統(tǒng)編排NAS站點切換流程，定制了各系統(tǒng)的切換腳本。腳本的核心邏輯是這樣的：第一，更改客戶端操作系統(tǒng)中的NAS自動掛載命令。將主站點的掛載命令注釋掉，同時去掉從站點掛載命令的注釋。第二，卸載主站點的NAS掛載。如果遇到卸載失敗的情況，需要判斷是否有進程占用，如果有應(yīng)用進程占用導(dǎo)致無法卸載，則需要停止應(yīng)用程序再卸載主站點的NAS掛載。第三，掛載從站點的NAS。如果在第二步中停止了應(yīng)用程序，則需要在從站點的NAS成功掛載后啟動應(yīng)用程序。對于回切流程，也按照上述同樣的邏輯進行回切腳本設(shè)計。（二）軟件架構(gòu)在軟件層面，為了提升安全性和易管理性，華為高端NAS系統(tǒng)采用基于租戶的方式實現(xiàn)業(yè)務(wù)系統(tǒng)邏輯隔離。租戶是文件系統(tǒng)、網(wǎng)絡(luò)邏輯端口的存儲資源集合。針對我行的實際業(yè)務(wù)場景，設(shè)計了兩類租戶，一類是業(yè)務(wù)系統(tǒng)交互，另一類是業(yè)務(wù)系統(tǒng)獨自使用。對于業(yè)務(wù)系統(tǒng)間交互的租戶，會按照業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)區(qū)域配置不同的邏輯端口，業(yè)務(wù)系統(tǒng)會使用同區(qū)域的網(wǎng)絡(luò)端口接入NAS存儲，從而提升存儲訪問效率，同時還能規(guī)避邊界網(wǎng)絡(luò)防火墻的跨區(qū)流量。除了安全性、易管理性和性能因素外，租戶也是華為高端NAS雙活系統(tǒng)細粒度站點級容災(zāi)的底層支撐要素。每個租戶在雙活架構(gòu)下會配置雙活租戶pair對，由于雙活租戶pair是雙活系統(tǒng)的最小單元，因此，可以實現(xiàn)基于單個業(yè)務(wù)系統(tǒng)的站點級災(zāi)備切換方案。下圖是雙活租戶pair的管理界面，從中可以清晰的看到雙活租戶pair以及文件系統(tǒng)雙活pair的運行狀態(tài)。圖六雙活租戶PAIR和文件系統(tǒng)雙活PAIRNAS存儲的另一層數(shù)據(jù)保護是基于文件系統(tǒng)的快照功能。通過快照技術(shù)，可以實現(xiàn)一定時間段內(nèi)對文件歷史版本的回溯以及找回被誤刪除的文件等?？梢葬槍γ總€業(yè)務(wù)系統(tǒng)的需求定制不同的快照和快照保留策略。此外，可以靈活定制每個文件系統(tǒng)的快照預(yù)留空間，當(dāng)快照預(yù)留空間剩余不足時，最早的快照將被自動清除。在數(shù)據(jù)備份方面，使用NDMP協(xié)議實現(xiàn)Server-Free的備份架構(gòu)。在這種架構(gòu)下，業(yè)務(wù)數(shù)據(jù)可以從NAS存儲端直接備份到磁帶庫中，而不通過前端客戶機操作系統(tǒng)中轉(zhuǎn)。因此，不但可以提升數(shù)據(jù)備份效率，更重要的是，可以大幅降低數(shù)據(jù)備份對業(yè)務(wù)系統(tǒng)的性能影響。二、NAS存儲使用規(guī)范NAS存儲在權(quán)限管理和控制方面，總體來說，主要包括客戶端授權(quán)以及用戶管理兩方面。在用戶管理方面，通過綜合考慮我行的實際業(yè)務(wù)特性、應(yīng)用場景和使用規(guī)模，最終選擇了本地用戶管理策略，也就是說NAS存儲未接入AD域或者使用L