如何設(shè)計(jì)金融機(jī)構(gòu)多場景關(guān)鍵應(yīng)用下的存儲架構(gòu)

一、引言金融機(jī)構(gòu)存在多場景下的關(guān)鍵應(yīng)用，銀行業(yè)更多的關(guān)注聯(lián)機(jī)交易與總賬系統(tǒng)，保險(xiǎn)行業(yè)則將投保理賠類系統(tǒng)視為關(guān)鍵系統(tǒng)，如何選擇適合各場景下的存儲，如何設(shè)計(jì)適合業(yè)務(wù)的存儲架構(gòu)，顯得尤為重要。二、當(dāng)前主流存儲架構(gòu)分析現(xiàn)有的存儲系統(tǒng)經(jīng)過長期發(fā)展，種類及其繁多，架構(gòu)也各不相同，僅靠一文不可能講得完全詳盡，這里主要針對架構(gòu)進(jìn)行相關(guān)討論。當(dāng)前主流架構(gòu)主要分為集中式存儲和分布式存儲兩種。1.集中式存儲集中式存儲是基于雙控制器或多控制器架構(gòu)的企業(yè)級存儲系統(tǒng)，如圖1所示：

圖1：集中式存儲架構(gòu)圖按照圖1所示，集中式存儲的系統(tǒng)架構(gòu)I/O路徑短，具有訪問延遲小的優(yōu)勢，此外，還可通過內(nèi)置BBU電池實(shí)現(xiàn)掉電保護(hù)，從而保障緩存中的數(shù)據(jù)在掉電后不丟失，再結(jié)合雙活、容災(zāi)、CDP等技術(shù)保障業(yè)務(wù)系統(tǒng)的連續(xù)性和數(shù)據(jù)安全性。集中式存儲技術(shù)成熟，架構(gòu)簡單，有足夠的穩(wěn)定性，對高IOPS、低延時(shí)、和數(shù)據(jù)強(qiáng)一致性有很好支持。所以，集中式存儲的特性適合作為金融核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫存儲。傳統(tǒng)存儲的系統(tǒng)架構(gòu)決定了其擴(kuò)展能力有限，無法很好支撐高并發(fā)訪問性能。隨著數(shù)據(jù)量不斷增長，集中式存儲增長空間越來越有限。2.分布式存儲分布式存儲是采用分布式架構(gòu)的存儲集群，將數(shù)據(jù)分布在不同物理位置，并通過網(wǎng)絡(luò)把它連接起來，如圖2所示。與傳統(tǒng)的高端服務(wù)器、高端存儲器和高端處理器不同的是，互聯(lián)網(wǎng)公司的分布式存儲系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過網(wǎng)絡(luò)連接而成，橫向擴(kuò)展能力很強(qiáng)。

圖2：分布式存儲架構(gòu)圖按照圖2所示，分布式存儲有效解決了傳統(tǒng)集中式存儲的可擴(kuò)展性問題，規(guī)?？蓴U(kuò)展至上千個(gè)節(jié)點(diǎn)，容量擴(kuò)展到上百PB甚至EB級，性能隨容量線性提升。按需在線擴(kuò)容后，自動實(shí)現(xiàn)數(shù)據(jù)再均衡。分布式存儲的多個(gè)存儲節(jié)點(diǎn)能夠同時(shí)提供讀寫服務(wù)，因此具有很高的吞吐率，可達(dá)到幾十GB/s。分布式存儲使用多副本和糾刪碼技術(shù)實(shí)現(xiàn)數(shù)據(jù)保護(hù)，使用多副本機(jī)制，可極大提高存儲的高可用性，但是由于多副本機(jī)制，導(dǎo)致存儲容量有效利用率較低。而糾刪碼技術(shù)，即可提高存儲的可用性，相對于副本機(jī)制，存儲容量有效利用率亦有很大提高，但該模式，存儲讀寫性能較低。當(dāng)前主流的分布式存儲產(chǎn)品主要有以下幾種（僅列舉出開源產(chǎn)品）：Ceph：適合云平臺塊存儲和對象存儲HDFS：適用于大數(shù)據(jù)場景Glusterfs：適用視頻，音頻等大文件和以讀為主的場景Beegfs/Luster：適用于高性能計(jì)算場景三、金融機(jī)構(gòu)業(yè)務(wù)場景分析與架構(gòu)選型思路首先，需明確不同金融機(jī)構(gòu)不同場景下的業(yè)務(wù)特點(diǎn)，此處，以銀行業(yè)與保險(xiǎn)行業(yè)為例，比如：銀行業(yè)的聯(lián)機(jī)交易業(yè)務(wù)或核心業(yè)務(wù)，該類型業(yè)務(wù)，主要體現(xiàn)在客戶層面對于業(yè)務(wù)響應(yīng)的快慢，故而對于讀寫的性能要求極高，此外，對于事務(wù)性也有極高的要求，交易業(yè)務(wù)要求數(shù)據(jù)必須是強(qiáng)一致的，不允許出現(xiàn)臟讀，臟寫的情況。但是，像銀行業(yè)或保險(xiǎn)行業(yè)的影像類系統(tǒng)，該類型系統(tǒng)，主要存儲的是客戶的影像媒體數(shù)據(jù)，數(shù)據(jù)多以大文件，非結(jié)構(gòu)化數(shù)據(jù)為主，業(yè)務(wù)特點(diǎn)也多以影像數(shù)據(jù)的查詢?yōu)橹鳎饕菍π阅苡休^高要求。針對上述出現(xiàn)的類核心業(yè)務(wù)系統(tǒng)，可采用傳統(tǒng)的集中式存儲架構(gòu)，該類存儲架構(gòu)，高IOPS、低延時(shí)、和數(shù)據(jù)強(qiáng)一致性有很好支持。對于影像類業(yè)務(wù)，由于影像數(shù)據(jù)偏大文件的特點(diǎn)，以個(gè)人實(shí)踐的情況來看，以Glusterfs為代表的分布式存儲最為適合該業(yè)務(wù)，Glusterfs具有高擴(kuò)展性、高可用性、高性能、可橫向擴(kuò)展等特點(diǎn)，其根據(jù)場景不同，可設(shè)置不同類型的卷，如：分布式復(fù)制卷，分布式條帶卷等，以此來達(dá)到高性能讀寫的目的。1.Glusterfs存儲應(yīng)用場景個(gè)人曾針對客戶存儲影像數(shù)據(jù)的需求，設(shè)計(jì)了Glusterfs集群的存儲方案，使用分布式復(fù)制卷來確保數(shù)據(jù)的高可用性，并針對這種卷模式，使用iozone與nmon工具，進(jìn)行同步與異步場景下不同文件大小相關(guān)讀寫性能測試，測試設(shè)備信息如表1：|服務(wù)器型號|內(nèi)存|CPU|類型|存儲大小|網(wǎng)絡(luò)帶寬|

|---|---|---|---|---|---|

|戴爾（DELL）|64G|12C|物理機(jī)|3TB(HDD)+128G(SSD)|10G|

|戴爾（DELL）|64G|12C|物理機(jī)|3TB(HDD)+128G(SSD)|10G|

|戴爾（DELL）|64G|12C|物理機(jī)|3TB(HDD)+128G(SSD)|10G|表1：同步讀寫測試設(shè)備數(shù)據(jù)1.1.Glusterfs集群架構(gòu)

圖3：Glusterfs集群架構(gòu)1.2測試用例文件大小命令4k./iozone-s4k-i0-i1-w-t1-G-F/mnt/t12G./iozone-s2g-i0-i1-w-t1-G-F/mnt/t14G./iozone-s4g-i0-i1-w-t1-G-F/mnt/t18G./iozone-s8g-i0-i1-w-t1-G-F/mnt/t116G./iozone-s16g-i0-i1-w-t1-G-F/mnt/t1表2：同步讀寫文件大小命令4k./iozone-s4k-i0-i1-w-t1-D-F/mnt/t12G./iozone-s2g-i0-i1-w-t1-D-F/mnt/t14G./iozone-s4g-i0-i1-w-t1-D-F/mnt/t18G./iozone-s8g-i0-i1-w-t1-D-F/mnt/t116G./iozone-s16g-i0-i1-w-t1-D-F/mnt/t1表3：異步讀寫1.3測試結(jié)果在分布式復(fù)制卷模式，同/異步寫入，讀取數(shù)據(jù)的場景下，發(fā)現(xiàn)其對于大文件的讀寫支持很好，測試結(jié)果如表4，表5：用例編號寫（平均吞吐量）重復(fù)寫（平均吞吐量）讀（平均吞吐量）重復(fù)讀（平均吞吐量）4K7352.60KB/sec3508.55KB/sec6007.30KB/sec6379.64KB/sec2G53855.92KB/sec59589.48KB/sec59170.50KB/sec57179.84KB/sec4G58806.86KB/sec57990.84KB/sec59863.32KB/sec56777.48KB/sec8G57767.80KB/sec55574.25KB/sec57562.49KB/sec53913.17KB/sec16G57196.66KB/sec58980.97KB/sec51425.59KB/sec51036.16KB/sec表4：同步讀寫測試數(shù)據(jù)用例編號寫（平均吞吐量）重復(fù)寫（平均吞吐量）讀（平均吞吐量）重復(fù)讀（平均吞吐量）4K121745.45KB/sec6700.69KB/sec6493.22KB/sec7381.72KB/sec2G21596.56KB/sec22723.56KB/sec99259.41KB/sec2848802.50KB/sec4G22864.95KB/sec20860.88KB/sec93040.98KB/sec2735853.50KB/sec8G21247.79KB/sec20742.79KB/sec93401.04KB/sec88304.33KB/sec16G20912.14KB/sec20835.54KB/sec90287.25KB/sec91120.91KB/sec表5：異步讀寫測試數(shù)據(jù)根據(jù)表4可看出，Glusterfs存儲對于小文件的讀寫性能支持并不是很好，但是對于大文件來說，讀寫性能很強(qiáng)，適合視頻流媒體等影像文件的讀寫根據(jù)表5可看出，雖然Glusterfs適合大文件讀寫，但是異步讀寫下，并不是文件越大，讀寫性能越好，反而在筆者的測試環(huán)境下，2G大小的文件，讀寫性能達(dá)到最佳。該測試數(shù)據(jù)是基于分布式復(fù)制卷進(jìn)行的數(shù)據(jù)讀寫，理論上來講，該模式下相對于分布式條帶卷，讀寫性能要略微差一些，但是由于采用了多副本機(jī)制，所以保證了數(shù)據(jù)的高可用，但隨之帶來的是存儲容量有效利用率較低以及數(shù)據(jù)查詢效率的降低。另外，值得一提的是，由于測試場景使用的硬盤為HHD，故而相對于純SSD存儲場景下，讀寫性能要低一些，后期為滿足客戶高速讀寫的需求，