云平臺存儲項(xiàng)目實(shí)施配置方案

云平臺存儲項(xiàng)目實(shí)施配置方案

云平臺存儲項(xiàng)目實(shí)施過程中，做好規(guī)劃可以避免后續(xù)實(shí)施中出現(xiàn)的問題和困難，在實(shí)施規(guī)劃時要充分考慮哪些方面，該如何思考和設(shè)計？本議題將從性能、故障隔離、安全、擴(kuò)展能力等多個方面加以闡述，希望給同行們一些借鑒。云平臺存儲項(xiàng)目實(shí)施過程中的配置關(guān)鍵問題（如性能、故障隔離、安全）如何解決？

社區(qū)專家主張張鵬某金融科技公司高級技術(shù)主管：本議題由我本人、某金融系統(tǒng)高級主管趙海、某股份制銀行運(yùn)維工程師陳宇對關(guān)鍵點(diǎn)進(jìn)行觀點(diǎn)主張，這些主張?jiān)诿裆y行科技部數(shù)據(jù)庫架構(gòu)師孔再華、某金融科技公司資深集成工程師孫偉光、無錫農(nóng)商行科技管理部系統(tǒng)管理團(tuán)隊(duì)長高曉峰等專家的復(fù)議之后，最終形成了一定的共識，希望可以為同行帶來參考。張鵬某金融科技公高級技術(shù)主管：云平臺基礎(chǔ)架構(gòu)在配置前對計算、存儲、網(wǎng)絡(luò)等資源需要進(jìn)行統(tǒng)一規(guī)劃，云平臺存儲在配置前需要在穩(wěn)定可靠、擴(kuò)展靈活、性能平衡、冗余保障、故障隔離、安全防護(hù)幾個方面達(dá)到一定的要求。云平臺基礎(chǔ)架構(gòu)層的存儲通常有哪些？從云平臺對外提供的云服務(wù)劃分，可以大概歸納為塊存儲、文件存儲、對象存儲。塊存儲主要面向云主機(jī)提供云硬盤的服務(wù)，通常通過集中式SAN存儲或者分布式存儲部署。文件存儲主要面向基于IP網(wǎng)絡(luò)的文件類型數(shù)據(jù)的存儲，通常通過傳統(tǒng)NAS存儲或者NAS網(wǎng)關(guān)結(jié)合分布式存儲的方式部署。對象存儲主要面向基于HTTP/HTTPS協(xié)議的Web服務(wù)接口，用于數(shù)據(jù)湖、網(wǎng)站、移動應(yīng)用程序、備份和恢復(fù)、歸檔、企業(yè)應(yīng)用程序、IoT設(shè)備和大數(shù)據(jù)分析等應(yīng)用場景的存儲服務(wù)，通常由對象存儲控制單元和分布式數(shù)據(jù)存儲單元組合部署。云平臺基礎(chǔ)架構(gòu)在配置前，計算、存儲、網(wǎng)絡(luò)等資源需要統(tǒng)一規(guī)劃。傳統(tǒng)IT系統(tǒng)配置中，各資源耦合性相對低，界面分層比較明顯。云平臺環(huán)境中，各個資源高度耦合，存儲和計算可分為存算一體和存算分離兩種分布式架構(gòu)，配置規(guī)劃時要分別考慮。存儲和網(wǎng)絡(luò)的聯(lián)系更加緊密，集中式SAN存儲配置時要考慮光纖通道網(wǎng)絡(luò)、存儲、計算的互聯(lián)以及云平臺納管，分布式存儲配置時要考慮業(yè)務(wù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò)和有災(zāi)備要求情況下數(shù)據(jù)復(fù)制網(wǎng)絡(luò)的規(guī)劃。云平臺的存儲配置時需要在穩(wěn)定可靠、擴(kuò)展靈活、性能平衡、冗余保障、故障隔離、安全防護(hù)等幾個方面達(dá)到一定要求。穩(wěn)定可靠基礎(chǔ)架構(gòu)的穩(wěn)定性對于一個云平臺是至關(guān)重要的。包括存儲、網(wǎng)絡(luò)、計算節(jié)點(diǎn)自身的軟硬件穩(wěn)定性，和它們之間通信的穩(wěn)定性。在云平臺運(yùn)維管理側(cè)，還要考慮監(jiān)控、日志、告警、流程、自動化等功能的部署，增加平臺的故障自愈，故障溯源的能力。擴(kuò)展靈活擴(kuò)展包含兩個方面：橫向擴(kuò)展和縱向擴(kuò)展。集群橫向擴(kuò)展主要包括計算節(jié)點(diǎn)、存儲、網(wǎng)絡(luò)資源“節(jié)點(diǎn)級別”的擴(kuò)展，例如新存儲節(jié)點(diǎn)設(shè)備新加入集群后，其上的所有業(yè)務(wù)均能在新節(jié)點(diǎn)正常運(yùn)行，同時新節(jié)點(diǎn)的加入對普通用戶來說是透明的，即用戶不會感知到集群的橫向擴(kuò)展。云平臺的分布式存儲的橫向擴(kuò)展能力比較強(qiáng)，部署也比較靈活，需要在網(wǎng)絡(luò)規(guī)劃方面充分預(yù)留網(wǎng)絡(luò)資源?？v向擴(kuò)展即是在整機(jī)中加入新的CPU、內(nèi)存、硬盤、網(wǎng)卡等組件以提高單機(jī)性能。云平臺中的集中式存儲通常容量的擴(kuò)展屬于縱向擴(kuò)展方式。分布式架構(gòu)下的存儲擴(kuò)展配置和集中式架構(gòu)的存儲擴(kuò)展配置完成后，關(guān)注點(diǎn)不同，例如分布式存儲關(guān)注節(jié)點(diǎn)級的重平衡，集中式存儲關(guān)注磁盤級的重平衡。性能平衡云平臺可以提供性能型、容量型等不同規(guī)格的存儲服務(wù)。在配置云平臺基礎(chǔ)架構(gòu)層的時候，要根據(jù)不同的應(yīng)用場景，通過不同的存儲來實(shí)現(xiàn)。對于性能要求比較高的應(yīng)用場景，例如交易型應(yīng)用，在分布式存儲的磁盤配置中考慮SASSSD或者NVMeSSD磁盤。對于容量要求比較高的應(yīng)用場景，例如備份歸檔應(yīng)用，在分布式存儲中可以考慮大容量的SATA磁盤。對于一些安全性、性能性、業(yè)務(wù)連續(xù)性要求更高的應(yīng)用，例如數(shù)據(jù)庫應(yīng)用，可以考慮裸金屬服務(wù)器，和SAN光纖通道存儲配置SASSSD或者NVMeSSD磁盤，并結(jié)合SAN存儲的復(fù)制和快照特性進(jìn)行災(zāi)備配置。冗余保障對于云平臺而言，冗余性有兩方面需要考慮，一方面是能力冗余，即盡量保持不同資源上容量和性能的平衡，最大程度地減少潛在風(fēng)險，所以通常在部署時要預(yù)估一定的余量。另一方面是故障冗余，和傳統(tǒng)架構(gòu)中高可用性有區(qū)別，傳統(tǒng)架構(gòu)中，各個部件、各個連接通道通常采用雙冗余的高可用架構(gòu)，存儲自身是高可用架構(gòu)設(shè)計的，存儲和服務(wù)器之間也是通過冗余的鏈路進(jìn)行連接，目的是盡可能消除單點(diǎn)故障的隱患。在云平臺的分布式存儲部署時，存儲集群中采用節(jié)點(diǎn)冗余的部署架構(gòu)，單一的存儲節(jié)點(diǎn)故障不會影響整個集群的正常運(yùn)行，單一的存儲節(jié)點(diǎn)的部件和連接通道配置時非冗余部署的方式居多。故障隔離SAN存儲通過Zoning和LUNMasking技術(shù)實(shí)現(xiàn)的是資源的隔離和訪問控制，能在一定程度上做到故障隔離，但是不全面，因?yàn)長UN是在存儲池或者RAID組上抽象出來的，存儲池和RAID組的故障，會影響到上層抽象的所有LUN；同時某個租戶對LUN的高性能訪問，產(chǎn)生熱點(diǎn)數(shù)據(jù)可能會影響整個存儲的性能。分布式存儲的軟件在設(shè)計時考慮了均勻分布，性能平衡，隔離故障，節(jié)點(diǎn)異構(gòu)等方面，盡可能在資源隔離和故障隔離方面做了考慮，需要在實(shí)施配置時，盡可能的在存儲節(jié)點(diǎn)硬件的配置和性能達(dá)到統(tǒng)一，數(shù)據(jù)分布的均衡方面特別注意，盡量減少故障發(fā)生或局部熱點(diǎn)數(shù)據(jù)對整個存儲集群產(chǎn)生影響。安全防護(hù)云平臺存儲的安全風(fēng)險，一是由于身份認(rèn)證和訪問控制的問題有可能造成數(shù)據(jù)被假冒或竊??；二是由于數(shù)據(jù)在云端存儲和傳輸過程中的保密問題有可能導(dǎo)致數(shù)據(jù)被篡改或隱私泄露；三是由于云平臺存儲缺乏傳統(tǒng)網(wǎng)絡(luò)的物理隔離和防護(hù)邊界的問題（云平臺存儲利用虛擬化技術(shù)的結(jié)果）有可能造成數(shù)據(jù)被越界訪問；四是由于云平臺存儲之上的應(yīng)用導(dǎo)致的數(shù)據(jù)非法訪問和破壞等（例如在SaaS提供的接口上進(jìn)行二次軟件開發(fā)，存在多用戶對同一應(yīng)用進(jìn)行開發(fā)，有可能存在代碼監(jiān)管缺失的安全隱患）。如何減少風(fēng)險，在配置時需要采用一些措施。加密是云平臺存儲系統(tǒng)中實(shí)施數(shù)據(jù)保護(hù)的最常用也是最重要的方法，租戶可以在對數(shù)據(jù)進(jìn)行加密后，直接把密文傳輸?shù)皆贫诉M(jìn)行存儲，租戶保管密鑰，且只有自身才能進(jìn)行解密。針對關(guān)鍵數(shù)據(jù)的加密傳輸和加密存儲技術(shù)，是配置時需要重點(diǎn)考慮的。加固技術(shù)是云安全存儲的一項(xiàng)重要技術(shù)，主要保障云平臺操作系統(tǒng)安全，首先要確保存儲底座操作系統(tǒng)的安全性，盡可能減少不必要的軟件漏洞。通過主動防御功能，應(yīng)能抵抗內(nèi)外網(wǎng)絡(luò)對操作系統(tǒng)的拒絕服務(wù)攻擊以及阻止內(nèi)部網(wǎng)絡(luò)對外網(wǎng)的攻擊。通過存儲分離，確保虛擬機(jī)或容器只能訪問已分配給自身的存儲空間。

趙海某金融系統(tǒng)高級主管：云平臺存儲項(xiàng)目建設(shè)過程中，針對不同的存儲類型有不同的優(yōu)化方法。企業(yè)存儲性能優(yōu)化時主要考慮規(guī)劃時的優(yōu)化配置、存儲引擎硬件配置、存儲引擎端口資源、存儲軟件參數(shù)策略等方面；分布式存儲性能優(yōu)化時主要考慮業(yè)務(wù)區(qū)分、數(shù)據(jù)管理、容錯設(shè)計、網(wǎng)絡(luò)通訊、數(shù)據(jù)分布、配置參數(shù)、硬件配置幾個方面?？v觀存儲的發(fā)展，從最原始的DAS架構(gòu)發(fā)展到NAS和SAN并存的架構(gòu)，從NAS&SAN并存的架構(gòu)發(fā)展到基于互聯(lián)網(wǎng)基因和云計算基因的云平臺存儲架構(gòu)，其架構(gòu)變得越來越復(fù)雜。這必然帶來性能上的損耗，這與我們大部分?jǐn)?shù)據(jù)業(yè)務(wù)場景追求性能的目標(biāo)是相悖的，那么如何解決這個矛盾呢？一、企業(yè)存儲優(yōu)化思路總結(jié)企業(yè)存儲主要包括集中式架構(gòu)的SAN存儲和NAS存儲。企業(yè)經(jīng)歷集中式存儲的時間相對而言比較長，那么在面臨性能優(yōu)化的問題也有一套相對比較完善的思路，總結(jié)來看主要從以下幾個方面實(shí)現(xiàn)：1.規(guī)劃時的優(yōu)化配置大部分的性能優(yōu)化問題都?xì)w根于規(guī)劃設(shè)計不夠精細(xì)準(zhǔn)確，所以解決性能的非常關(guān)鍵的因素就在于規(guī)劃，存儲卷的數(shù)量、分布、分區(qū)（Zone）映射等相關(guān)配置。如果DBA對數(shù)據(jù)庫數(shù)據(jù)文件使用的存儲卷規(guī)劃不夠均衡準(zhǔn)確，必然造成某些卷的高熱點(diǎn)IO訪問，如果這個卷所依附的分區(qū)映射又不是非常合理均衡，那么這個問題就會無限放大。因此傳統(tǒng)存儲實(shí)踐前的規(guī)劃，需要架構(gòu)師在上層應(yīng)用的存儲使用容量、數(shù)目、負(fù)載等各方面進(jìn)行梳理和分析，本著均衡分布的原則將卷的使用映射到存儲資源上，這樣才能最大限度減少后續(xù)性能優(yōu)化問題。2.存儲引擎硬件配置主要通過觀察存儲運(yùn)行過程當(dāng)中關(guān)鍵指標(biāo)（CPU、Cache）的峰值以及平均值的情況，來衡量當(dāng)前控制器內(nèi)的硬件配置是否已經(jīng)成為系統(tǒng)性能的瓶頸，通常傳統(tǒng)集中式存儲支持單獨(dú)升級CPU、Cache硬件的場景較少，一般都是通過增加Cache卡或者控制器擴(kuò)展的方式來解決。當(dāng)然，在具體分析的時候需要根據(jù)其他指標(biāo)的評估來判斷是否因?yàn)槠渌厥鉅顩r引起的資源占用問題，這種情況并非需要增加硬件資源。3.存儲引擎端口資源主要通過觀察存儲運(yùn)行過程當(dāng)每一個前端端口和后端端口的使用情況（使用率、均衡性、吞吐量）等相關(guān)指標(biāo)在一定周期內(nèi)的平均數(shù)值，來評估板卡端口容量以及配置是否有性能問題。如果端口數(shù)量容量沒有問題，只是出現(xiàn)了負(fù)載不均衡的狀況，那么就需要手動調(diào)整Zone映射的配置來調(diào)整其平衡性。4.存儲軟件參數(shù)策略所謂與性能問題息息相關(guān)的存儲軟件策略，主要是指存儲產(chǎn)品開放出來的一系列軟件參數(shù)以及分層策略。通常是通過觀察存儲運(yùn)行過程當(dāng)中的系列關(guān)鍵指標(biāo)（IOPS、Latency、Throughout等），來判斷軟件層面的隊(duì)列參數(shù)、存儲單元參數(shù)、讀寫控制參數(shù)、緩存控制參數(shù)等來實(shí)現(xiàn)一部分優(yōu)化。如果是針對個別存儲卷的問題，可能需要將數(shù)據(jù)反饋到系統(tǒng)管理員和DBA層面進(jìn)行操作系統(tǒng)及數(shù)據(jù)層面的優(yōu)化。所謂分層策略是指存儲資源池當(dāng)中有SSD、SAS、SATA等多種磁盤的資源池的自動平衡策略，一般通過觀察預(yù)留資源池容量大小、分層時間窗口策略、分層容量閾值策略、SSD磁盤數(shù)量增加等手段實(shí)現(xiàn)分層的優(yōu)化。二、分布式存儲性能優(yōu)化思路對于分布式存儲來講，它的架構(gòu)復(fù)雜度要高于傳統(tǒng)的集中式存儲，從前期的架構(gòu)配置規(guī)劃到后期的運(yùn)維監(jiān)控優(yōu)化都要比傳統(tǒng)的集中式存儲付出更多的精力和工作。首先，我們從整個的讀寫流程來看。圖1：兩種存儲讀寫流程圖如圖1所示，上半部分是傳統(tǒng)SAN存儲的落盤路徑，下半部分是分布式存儲的落盤路徑，相對于SAN存儲的落盤路徑，分布式存儲的這個鏈路就復(fù)雜了。應(yīng)用發(fā)出的IO請求會經(jīng)過以太網(wǎng)絡(luò)到達(dá)云平臺存儲的路由節(jié)點(diǎn)、接口服務(wù)層；接口服務(wù)層又會將應(yīng)用特定的服務(wù)接口數(shù)據(jù)格式，轉(zhuǎn)換為底層分布式存儲平臺接受的文件或者對象格式；在具體寫入的時候又會訪問元數(shù)據(jù)，通過元數(shù)據(jù)的映射表再找到數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)空間，然后完成冗余性復(fù)制，才能完成一個真正的IO。也就是說在存儲數(shù)據(jù)服務(wù)接口到底層分布式存儲平臺這個環(huán)節(jié)會有延時（Latency），從分布式存儲平臺接受請求、到數(shù)據(jù)落盤、到數(shù)據(jù)節(jié)點(diǎn)并完成冗余復(fù)制這個過程也會有延時。因此分布式存儲的性能問題相對更復(fù)雜，更需要有系統(tǒng)的思路去執(zhí)行。1.業(yè)務(wù)區(qū)分存儲資源是為數(shù)據(jù)業(yè)務(wù)服務(wù)的，數(shù)據(jù)業(yè)務(wù)表現(xiàn)在IOPS、吞吐帶寬、容量方面的需求和寬容度是不一樣的。因此我們在針對不同數(shù)據(jù)業(yè)務(wù)場景進(jìn)行分布式存儲項(xiàng)目實(shí)踐的時候，從軟件層面到硬件層面的配置都應(yīng)該有針對性的標(biāo)準(zhǔn)。例如我們可以按照以下的標(biāo)準(zhǔn)（表1）進(jìn)行業(yè)務(wù)的區(qū)分：表1：存儲指標(biāo)與業(yè)務(wù)場景映射表經(jīng)過對業(yè)務(wù)場景的精細(xì)化梳理分析之后，可以將存儲空間的分配對應(yīng)到按照不同的業(yè)務(wù)需求劃分設(shè)計的存儲資源池當(dāng)中，然后再根據(jù)資源池的技術(shù)指標(biāo)（IOPS、Throughout、Capacity）去規(guī)劃資源池對應(yīng)的軟硬件配置。2.數(shù)據(jù)管理通常的分布式存儲系統(tǒng)，會把數(shù)據(jù)分散在大量的存儲服務(wù)器上，而存儲服務(wù)器本身都會安裝Linux操作系統(tǒng)，并且有自己的本地文件系統(tǒng)。例如HDFS、Luster、Ceph等分布式存儲系統(tǒng)的存儲節(jié)點(diǎn)都會使用POSIX接口的本地文件系統(tǒng)EXT、BTRFS、XFS等來存儲數(shù)據(jù)。本地文件系統(tǒng)不能很好地適配對象存儲需求的擴(kuò)展性要求：1）數(shù)據(jù)和元數(shù)據(jù)分離不徹底，目錄樹結(jié)構(gòu)的元數(shù)據(jù)管理方式等導(dǎo)致大規(guī)模的對象數(shù)據(jù)尋址非常慢。2）為了支持事務(wù)特性的日志重復(fù)寫問題，也就是分布式文件系統(tǒng)日志和本地文件系統(tǒng)日志重復(fù)寫的問題。3）本地文件系統(tǒng)日志的事務(wù)性寫導(dǎo)致了寫的放大。那么在存儲節(jié)點(diǎn)本地文件系統(tǒng)的選型設(shè)計上，如果我們能選擇優(yōu)化的而非默認(rèn)的配置，那么就會解決掉存儲節(jié)點(diǎn)本身帶來的IO深度和復(fù)雜度延時的問題，從而提高整個分布式存儲的讀寫性能。當(dāng)然，這個是需要在每一種分布式存儲數(shù)據(jù)節(jié)點(diǎn)支持的文件系統(tǒng)或者文件管理方式范圍內(nèi)去平衡和決策。3.容錯設(shè)計存儲介質(zhì)故障發(fā)生的頻率無論是在傳統(tǒng)存儲當(dāng)中還是在分布式存儲系統(tǒng)當(dāng)中都非常高。而解決這個問題的方式基本上有兩種：多副本和糾刪碼。多副本采用的是多份數(shù)據(jù)鏡像的方式來保護(hù)，數(shù)據(jù)糾刪碼采用的是校驗(yàn)計算的方式來保護(hù)數(shù)據(jù)。前者使用空間成本換容錯，后者使用計算成本換容錯。通常傳統(tǒng)集中式存儲采用的是后者，而分布式存儲采用的是前者。但是很多分布式存儲也支持糾刪碼。因此在容錯設(shè)計的時候需要考慮數(shù)據(jù)業(yè)務(wù)場景對IOPS、Throughout、Capacity的需求，然后設(shè)計合乎性能和成本要求的容錯策略，同時在副本策略當(dāng)中也要選擇合適的副本數(shù)目、分布策略。4.網(wǎng)絡(luò)通訊分布式存儲系統(tǒng)中，節(jié)點(diǎn)間需要通過網(wǎng)絡(luò)通信來交換節(jié)點(diǎn)及集群狀態(tài)信息和具體的數(shù)據(jù)文件，整體的數(shù)據(jù)通訊量級是非常大的。因此，在網(wǎng)絡(luò)通訊的配置方面也需要關(guān)注幾個重點(diǎn)問題。1）通訊網(wǎng)絡(luò)隔離：通常我們需要將管理網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、服務(wù)網(wǎng)絡(luò)進(jìn)行隔離。管理網(wǎng)絡(luò)通常用來傳遞控制信息，數(shù)據(jù)量小但是比較重要；數(shù)據(jù)網(wǎng)絡(luò)通常是存儲節(jié)點(diǎn)之間進(jìn)行交互的網(wǎng)絡(luò)，其通訊量大而且重要；服務(wù)網(wǎng)絡(luò)通常是向上層提供存儲服務(wù)的網(wǎng)絡(luò)，是數(shù)據(jù)服務(wù)業(yè)務(wù)通道。這幾個網(wǎng)絡(luò)不僅僅要隔離，而且還要根據(jù)數(shù)據(jù)業(yè)務(wù)評估設(shè)計合適帶寬。2）通訊模式的選擇：以Ceph為例，三種類型的通信模式分別是Simple、Async、XIO。Simple線程模式對每個網(wǎng)絡(luò)連接都創(chuàng)建了兩個線程分別用于接收和發(fā)送。隨著集群規(guī)模的增長，創(chuàng)建的連接數(shù)和線程數(shù)會呈指數(shù)級增長，而且需要消耗更多的CPU和內(nèi)存資源。所以應(yīng)對不同規(guī)?；蛘呶磥頂U(kuò)展規(guī)模的分布式存儲集群，要選擇合適的通信模式。3）網(wǎng)絡(luò)類型的選擇：關(guān)于網(wǎng)絡(luò)類型的選擇要考慮到未來擴(kuò)展性需求以及網(wǎng)絡(luò)通訊質(zhì)量的需求。比如VXLAN和VLAN的選擇要考慮到VLAN諸多的數(shù)量和功能限制。比如高速網(wǎng)絡(luò)的選擇要考慮到網(wǎng)絡(luò)通訊質(zhì)量的需求。5.數(shù)據(jù)分布數(shù)據(jù)分布主要是針對無中心架構(gòu)的分布式存儲而言，這類系統(tǒng)主要是通過哈希算法來實(shí)現(xiàn)數(shù)據(jù)分布和檢索。雖然系統(tǒng)本身的分布算法已經(jīng)確定，但是數(shù)據(jù)分布算法所需要的計算因子是需要我們在實(shí)踐配置的時候輸入的。比如說Ceph的數(shù)據(jù)桶的組織結(jié)構(gòu)類型有四種：Uniform、List、Tree、Straw。每一種類型針對數(shù)據(jù)檢索、節(jié)點(diǎn)變化導(dǎo)致的數(shù)據(jù)變化等方面都有不同的表現(xiàn)（如表2）：表2：數(shù)據(jù)桶結(jié)構(gòu)性能對比通常來講，Straw在各個維度都比較均衡的類型，也更適合大規(guī)模的分布式存儲系統(tǒng)，因此通常都會采用Straw來作為Bucket的數(shù)據(jù)結(jié)構(gòu)類型來使用。但是如果存儲節(jié)點(diǎn)在容量、計算能力、網(wǎng)絡(luò)硬件上面配置有特殊的地方，那么就要根據(jù)具體策略適用的場景來評估了，不一定Straw就是最優(yōu)的選擇。分布式存儲系統(tǒng)當(dāng)中在哈希計算的時候之所以能保持集群的相對穩(wěn)定性，就是因?yàn)樘摂M對象（如Ceph的PG、Pool，如Swift的Container）設(shè)計，同樣這些虛擬對象數(shù)量、管理方式、映射關(guān)系等方面的配置也是決定數(shù)據(jù)分布式算法計算因子是否優(yōu)秀的重要方面，同樣需要精細(xì)化設(shè)計。6.配置參數(shù)分布式存儲系統(tǒng)的配置參數(shù)調(diào)優(yōu)所涉及的對象比較多，從物理對象上來看有客戶端、管理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)，這三類節(jié)點(diǎn)都會有相應(yīng)的軟件配置及對應(yīng)的進(jìn)程服務(wù)，每個層面都會有相應(yīng)的參數(shù)可以調(diào)整優(yōu)化分布式存儲的各方面性能表現(xiàn)。另外從組成分布式存儲的外圍對象上來看，數(shù)據(jù)節(jié)點(diǎn)上的操作系統(tǒng)參數(shù)（內(nèi)核控制參數(shù)）也是重要的配置對象。每一種分布式存儲都會有數(shù)百甚至數(shù)千的參數(shù)開放出來，提供給使用者針對具體場景進(jìn)行系統(tǒng)調(diào)優(yōu)。以Ceph為例：1）操作系統(tǒng)層：磁盤預(yù)讀緩存、系統(tǒng)進(jìn)程數(shù)量、CPU模式、網(wǎng)絡(luò)參數(shù)...2）Ceph集群層：FileStore、Jornal、OSD、MON...針對不同分布式存儲，需要根據(jù)其指導(dǎo)手冊查詢具體的參數(shù)及相應(yīng)的取值類型和范圍。7.硬件配置對于分布式存儲系統(tǒng)硬件配置的優(yōu)化，其實(shí)最主要的就三個方面：1）管理節(jié)點(diǎn)計算能力（CPU、內(nèi)存、磁盤）的提高，主要用來完成對數(shù)據(jù)尋址過程的快速響應(yīng)。2）數(shù)據(jù)節(jié)點(diǎn)SSD的使用，主要用來減少數(shù)據(jù)在存儲節(jié)點(diǎn)上落盤時間的延時消耗上以及日志寫的性能優(yōu)化上。3）高速硬件網(wǎng)絡(luò)技術(shù)的使用，主要用來減少副本復(fù)制及數(shù)據(jù)傳輸方面的性能消耗。三、結(jié)語總而言之，性能問題是貫穿于存儲實(shí)踐整個過程的關(guān)鍵問題，傳統(tǒng)存儲架構(gòu)無法避免，分布式存儲架構(gòu)也無法避免。企業(yè)實(shí)現(xiàn)私有云之后，云上的存儲資源會是多元化的架構(gòu)模式，基于上述提綱，在實(shí)踐的過程當(dāng)中實(shí)現(xiàn)更精細(xì)化的梳理、更準(zhǔn)確客觀的分析、更實(shí)事求是的態(tài)度，才能解決好云平臺上存儲架構(gòu)性能與擴(kuò)展性的平衡問題。

陳宇某股份制銀行運(yùn)維工程師：大型云平臺會承載各式各樣不同類型的業(yè)務(wù)應(yīng)用，因此大型云平臺存儲項(xiàng)目實(shí)施過程中需要面對復(fù)雜的業(yè)務(wù)需求，更加需要考慮性能、故障隔離、安全性等關(guān)鍵問題。性能問題關(guān)鍵在于存儲系統(tǒng)自身性能應(yīng)超過應(yīng)用對存儲性能的需求，避免存儲處于繁忙狀態(tài)。故障隔離問題關(guān)鍵在于數(shù)據(jù)副本數(shù)量與副本存放位置。而安全加固問題等關(guān)鍵在于網(wǎng)絡(luò)隔離。云平臺存儲項(xiàng)目在完成數(shù)據(jù)特點(diǎn)梳理、架構(gòu)設(shè)計、數(shù)據(jù)部署、數(shù)據(jù)分布策略、邏輯對象劃分等前期規(guī)劃之后，實(shí)施過程中常會遇到幾個配置關(guān)鍵問題，例如性能、故障隔離、安全性等。本文對這幾個配置關(guān)鍵問題進(jìn)行一些探討。為什么云平臺存儲項(xiàng)目實(shí)施過程中需要考慮性能、故障隔離、安全等配置關(guān)鍵問題？從物理設(shè)備規(guī)模來說，大型云平臺項(xiàng)目會達(dá)到上千臺服務(wù)器的規(guī)模，并接入各種類型的存儲，例如SAN存儲、NAS存儲、分布式存儲等。從應(yīng)用服務(wù)器層面來說，大型云平臺上會運(yùn)行成千上萬的Web服務(wù)器、Java及其他語言應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、大數(shù)據(jù)服務(wù)器。從業(yè)務(wù)系統(tǒng)層面來說，大型云平臺會承載各式各樣不同類型的業(yè)務(wù)應(yīng)用。因此大型云平臺存儲項(xiàng)目實(shí)施過程中需要面對復(fù)雜的業(yè)務(wù)需求，更加需要考慮性能、故障隔離、安全性等關(guān)鍵問題。試想一下，如果不考慮性能問題，則有可能出現(xiàn)云平臺將多個IO密集型服務(wù)器部署到同一臺慢速存儲上的情況，造成存儲系統(tǒng)忙閑不一，進(jìn)而導(dǎo)致部署在繁忙存儲上的業(yè)務(wù)系統(tǒng)響應(yīng)緩慢，對業(yè)務(wù)造成影響；如果不考慮云平臺存儲故障隔離問題，則有可能出現(xiàn)一臺存儲設(shè)備故障引發(fā)大面積業(yè)務(wù)中斷；如果不考慮安全性問題，則有可能出現(xiàn)云平臺上不同業(yè)務(wù)應(yīng)用能夠互相訪問數(shù)據(jù)的情況，造成敏感數(shù)據(jù)泄露。首先談?wù)劚苊庠破脚_存儲項(xiàng)目出現(xiàn)性能問題。總體來說，云平臺存儲性能需求與云平臺本身的業(yè)務(wù)量息息相關(guān)。如果云平臺承載的是大型企業(yè)的整套IT系統(tǒng)，服務(wù)全國用戶，那么云平臺對存儲的性能需求就比較大，需要在存儲系統(tǒng)硬件層面投入較多的資源，需要綜合部署SAN存儲、NAS存儲、分布式存儲等各類存儲來分散不同業(yè)務(wù)應(yīng)用的壓力。反之，如果云平臺承載的是初創(chuàng)企業(yè)業(yè)務(wù)，業(yè)務(wù)量較小或者僅面向本地用戶，那么存儲系統(tǒng)性能需求可能就不那么大，部署幾臺中端存儲可能就能滿足云平臺總體的存儲性能需要。避免云平臺存儲系統(tǒng)出現(xiàn)性能問題，關(guān)鍵在于存儲系統(tǒng)自身性能應(yīng)超過應(yīng)用對存儲性能的需求，避免存儲始終處于繁忙狀態(tài)。存儲系統(tǒng)的性能指標(biāo)主要包括IOPS以及吞吐率兩種。IOPS指標(biāo)主要適用于小塊IO，例如交易型數(shù)據(jù)庫，文檔、圖片等文件服務(wù)讀寫。吞吐率指標(biāo)主要適用于大塊IO，例如數(shù)據(jù)倉庫系統(tǒng)，大數(shù)據(jù)分析系統(tǒng)，視頻媒體文件存儲等。無論是SAN存儲、NAS存儲還是分布式存儲，它們的底層都是機(jī)械硬盤或者固態(tài)硬盤。機(jī)械硬盤單位容量的價格較便宜，但是每塊機(jī)械盤只能提供幾十至幾百的IOPS，以及200MB/s左右的吞吐率。固態(tài)硬盤單位容量的價格較貴，但是單塊固態(tài)硬盤能提供幾萬甚至幾十萬的IOPS，以及幾百M(fèi)B/s（SAS接口）至幾千MB/s（NVMe接口）的吞吐率。因此云平臺系統(tǒng)管理員應(yīng)根據(jù)應(yīng)用對于IOPS、吞吐率、容量、成本需求綜合考慮部署方案。對于需要高IOPS的關(guān)鍵應(yīng)用，例如交易型數(shù)據(jù)庫，應(yīng)優(yōu)先部署到基于固態(tài)硬盤的存儲上，避免出現(xiàn)IOPS層面的性能瓶頸；對于需要高吞吐率但是容量需求不高的系統(tǒng)，例如規(guī)模不大的視頻媒體文件存儲，數(shù)據(jù)倉庫系統(tǒng)，建議優(yōu)先部署到基于固態(tài)硬盤的存儲上；對于需要高吞吐率并且容量需求較大的系統(tǒng)，例如大型數(shù)據(jù)倉庫系統(tǒng)、大數(shù)據(jù)分析系統(tǒng)、大量視頻媒體文件存儲等，建議部署到具有較多數(shù)量的機(jī)械硬盤存儲系統(tǒng)上。因此，在存儲系統(tǒng)接入云平臺的時候，可以給不同的存儲增加一定的標(biāo)記，例如“全閃存SAN存儲”、“機(jī)械盤NAS存儲”等，以便于管理員部署虛擬機(jī)時，根據(jù)業(yè)務(wù)需要指定使用不同類型的存儲。除了通過管理員人工規(guī)劃虛擬機(jī)的存儲使用來避免性能問題，還有一種方案是采用具有自動分層功能的存儲，由存儲自身管理應(yīng)用性能需要。目前許多SAN存儲、NAS存儲、分布式存儲都具備一定的自動分層功能，可以自動將固態(tài)硬盤和機(jī)械硬盤組合形成存儲資源池，并智能地根據(jù)不同數(shù)據(jù)的IOPS和吞吐率兩個層面的熱度自動確定數(shù)據(jù)存儲位置。在云平臺項(xiàng)目中使用自動分層存儲系統(tǒng)能夠很大程度上降低管理員進(jìn)行存儲性能管理的工作量。其次，來談