企業(yè)數(shù)據(jù)存儲的發(fā)展挑戰(zhàn)和機遇

企業(yè)數(shù)據(jù)存儲的發(fā)展挑戰(zhàn)和機遇《邁向YB數(shù)據(jù)時代》

隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，企業(yè)的業(yè)務模式發(fā)生了顛覆性的變化，相應的數(shù)據(jù)無論從結構、量級以及數(shù)據(jù)價值的挖掘角度上都有了質的變化，這必然導致企業(yè)存儲系統(tǒng)面臨一系列的挑戰(zhàn)和機遇。企業(yè)數(shù)據(jù)未來如何發(fā)展？企業(yè)數(shù)據(jù)存儲由此會面臨哪些挑戰(zhàn)和機遇？金融企業(yè)未來的數(shù)據(jù)結構、規(guī)模特性以及交易行為固有的業(yè)務要求就決定了數(shù)據(jù)存儲系統(tǒng)底層的技術架構必然是精準匹配模式。把最適合的底層技術應用到需要的數(shù)據(jù)業(yè)務場景當中去，這是底層技術選型設計應該遵循的基本原則。金融行業(yè)的存量數(shù)據(jù)管理水平在各行業(yè)當中應該算是相對比較高的，IT基礎架構當中的存儲架構也相對穩(wěn)定成熟，但是隨著近些年的信息化大浪潮的不斷涌動，其實已經(jīng)悄然發(fā)生或者正在醞釀著即將來臨的系列變革，相應的存儲架構也會面臨著挑戰(zhàn)和機遇，透過對金融企業(yè)存量數(shù)據(jù)的梳理分析看到未來的變革趨勢是我們的初衷。一、金融企業(yè)存量數(shù)據(jù)現(xiàn)狀是什么樣的？1.數(shù)據(jù)標準方面以銀行業(yè)為例，通過90年代的數(shù)據(jù)大集中變革，在架構、數(shù)據(jù)、接口等各方面都有了系列的標準化指導。例如，2014年發(fā)布的《銀行數(shù)據(jù)標準定義規(guī)范》，類似這樣的標準幾乎每年都會有所更新。有了這些規(guī)范的約束，無論是誰在開發(fā)銀行的金融系統(tǒng)，它的數(shù)據(jù)模型設計基本上都要遵循這樣的標準進行。因此大多數(shù)銀行企業(yè)都已經(jīng)具備了一套以核心系統(tǒng)賬戶及客戶為中心，以各交易各渠道系統(tǒng)簽約信息為擴展的結構化數(shù)據(jù)標準體系，以客戶為中心的結構化數(shù)據(jù)體系具備了后續(xù)挖掘和分析的基本條件。與銀行相比而言，保險和證券的標準化程度可能會差一些，但隨著監(jiān)管口徑的統(tǒng)一化發(fā)展，整個金融行業(yè)基本都沿著這個方向在前行。2.數(shù)據(jù)挖掘方面在數(shù)據(jù)挖掘方面，銀行業(yè)有著已經(jīng)穩(wěn)定運行很多年并且架構、模型、算法都很成熟的數(shù)據(jù)倉庫應用。但是這么多年來似乎業(yè)務領域擴展也非常穩(wěn)定，幾乎都集中在監(jiān)管報送、反洗錢分析、信貸風險評估等這幾個方面，而且這些數(shù)據(jù)分析都是基于已經(jīng)經(jīng)過標準化洗禮的結構化數(shù)據(jù)進行。隨著大數(shù)據(jù)技術的發(fā)展，越來越多的銀行開始評估非結構化數(shù)據(jù)和結構化數(shù)據(jù)結合起來的價值挖掘，在拓深原有業(yè)務領域的同時，增加了新的價值挖掘領域的應用，例如：精準營銷、風險評估、智能運維等各個方面。在保險行業(yè)，越來越多的企業(yè)開始探索數(shù)據(jù)在客戶畫像、精算模型等方面的探討。3.數(shù)據(jù)管理方面數(shù)據(jù)管理一方面是要對數(shù)據(jù)全生命周期進行管理，另外一方面是要對數(shù)據(jù)利用的各個維度進行精準有效的管理。從數(shù)據(jù)源的管理上來講，現(xiàn)狀還是比較分散獨立，各個系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)下沉接口，大多數(shù)場景都是基于特定數(shù)據(jù)分析系統(tǒng)的需求分別向各數(shù)據(jù)源頭請數(shù)；從數(shù)據(jù)管理工具上來講，基本上還沒有成型的工具可以實現(xiàn)數(shù)據(jù)的資源分配、過程控制、動態(tài)調整、服務計算等方面的整合；從數(shù)據(jù)生命周期上來講，基于在線數(shù)據(jù)的管理和利用有基本的框架，基于離線或歸檔的歷史數(shù)據(jù)管理只有比較單一的存儲功能。4.數(shù)據(jù)擴展方面大多數(shù)金融企業(yè)對數(shù)據(jù)價值的利用基本都是集中在自己企業(yè)內部的存量結構化數(shù)據(jù)，比如基于各系統(tǒng)內的源數(shù)據(jù)以及歷史數(shù)據(jù)進行再次加工，從而形成具備特定業(yè)務特性的匯總類、分析類、抽象類延申數(shù)據(jù)。但是對于系統(tǒng)外的數(shù)據(jù)利用相對比較少，比如：互聯(lián)網(wǎng)渠道的客戶動態(tài)行為屬性類數(shù)據(jù)的獲取和利用、外部企業(yè)或實體的數(shù)據(jù)利用、IT運維維度的數(shù)據(jù)利用等，對于非結構化類數(shù)據(jù)的挖掘程度沒有開始或者還在探索當中。二、金融企業(yè)數(shù)據(jù)發(fā)展面臨的問題1.標準化需要向非結構化數(shù)據(jù)拓展從數(shù)據(jù)治理的角度來看，數(shù)據(jù)標準化體系的建設不僅僅要落在結構化數(shù)據(jù)上，更需要建立在非結構化以及半結構化的數(shù)據(jù)上，從數(shù)據(jù)模型設計、數(shù)據(jù)存儲管理、數(shù)據(jù)挖掘利用等各方面都迫切需要對結構化之外的數(shù)據(jù)進行治理。金融企業(yè)目前保存最多的可能就是影像平臺里面的票據(jù)、單據(jù)、證件等業(yè)務相關的圖片數(shù)據(jù)，以及系統(tǒng)運行過程中留下的各類賬務類以及運行類日志數(shù)據(jù)，未來還會有更多的網(wǎng)頁類數(shù)據(jù)以及視頻媒體類數(shù)據(jù)會積淀下來。那么這些數(shù)據(jù)要想在后期的數(shù)據(jù)挖掘和分析上起到與結構化數(shù)據(jù)同等重要的作用，從數(shù)據(jù)本身的模型標準、存取過程以及再生產(chǎn)過程等各個維度，都需要建立一套標準化體系以備存在的和潛在的數(shù)據(jù)價值挖掘所用。2.非結構化數(shù)據(jù)的價值挖掘深度不夠從數(shù)據(jù)挖掘的角度來看，金融企業(yè)對結構化數(shù)據(jù)的挖掘深度和廣度在不斷發(fā)展。但是對于非結構化及半結構化數(shù)據(jù)的價值挖掘深度遠遠不夠。以銀行的影像系統(tǒng)為例，可能90%的數(shù)據(jù)行為是寫，而只有少量的讀取行為，這少量的數(shù)據(jù)讀取也是為了信貸類、票據(jù)類業(yè)務的復核。而透過這些半結構化數(shù)據(jù)的元數(shù)據(jù)本身以及還沒有提取的結構化信息，結合結構化數(shù)據(jù)線索，其實是可以進行再分析和再利用的。以金融行業(yè)的互聯(lián)網(wǎng)業(yè)務為例，更多的客戶網(wǎng)絡行為數(shù)據(jù)以及線上產(chǎn)品相關的線上效應數(shù)據(jù)應該被沉淀下來，這些非結構化數(shù)據(jù)應該被不斷提取信息，不斷放到特定分析場景中提煉價值。3.數(shù)據(jù)源的向外擴展程度不夠基于安全的要求，金融企業(yè)的數(shù)據(jù)相對比較敏感，這也就決定了這類數(shù)據(jù)的獨特性。因此金融企業(yè)無論是做風險評估也好，還是做精準營銷也好，還是做監(jiān)管報送也好，基本上都是基于自己的存量數(shù)據(jù)和少數(shù)具備資質的數(shù)據(jù)源渠道進行交互。實際上對于很多評估類的業(yè)務以及精準營銷類的業(yè)務，它是需要大量的不同維度的數(shù)據(jù)來支持的。相信政策面會逐步放開對某些具備資質的數(shù)據(jù)源的限制，這些數(shù)據(jù)雖然不是客戶直接的金融行為，但是可以間接映射客戶的金融風險承受能力以及金融產(chǎn)品需求的變化情況。因此金融企業(yè)有必要做好接口，迎接廣泛的、合理合法的數(shù)據(jù)源輸入。4.數(shù)據(jù)價值利用的維度擴展性不夠以銀行為例，對數(shù)據(jù)價值的利用基本停留在監(jiān)管報送、信貸風險評估等有限的幾個領域；以保險為例，對數(shù)據(jù)價值的利用也基本停留在保險定價模型的分析；以證券為例，可能現(xiàn)階段對數(shù)據(jù)價值的利用最多的就在于金融產(chǎn)品的精準營銷方面，客戶風險評估還主要采用問答式?；ヂ?lián)網(wǎng)企業(yè)針對客戶的行為數(shù)據(jù)分析利用的思路在金融企業(yè)基本上沒有得到廣泛應用，利用數(shù)據(jù)分析代替人工審核提高評估準確度和效率的思路在少數(shù)企業(yè)開始應用，IT運營過程中積淀的運維數(shù)據(jù)沒有在業(yè)務量級、規(guī)模、頻率方面的優(yōu)化和應急方面提供太多支持。因此數(shù)據(jù)利用的維度有待進一步擴展。三、金融企業(yè)存儲平臺需求及未來發(fā)展趨勢1.分布式存儲架構比重不斷提升數(shù)據(jù)的變化趨勢必然決定數(shù)據(jù)存儲平臺的變化，上文我們分析到數(shù)據(jù)變化的一個重要趨勢就是非結構化和半結構化數(shù)據(jù)的不斷增加，無論從數(shù)據(jù)規(guī)模上，還是從數(shù)據(jù)存取行為方式都會面臨巨大的變化。那么這種變化必然帶來對存儲系統(tǒng)本身的架構設計、存取規(guī)劃、服務管理等方面的挑戰(zhàn)。截至目前為止，IT存儲界爭論了很多關于分布式存儲架構和集中式存儲架構的選擇，其實從技術層面本身已經(jīng)有了一個明確的答案：分布式存儲架構是大規(guī)模非結構化數(shù)據(jù)產(chǎn)生后的最佳解決方案。傳統(tǒng)的集中式文件系統(tǒng)架構可以支持一定規(guī)模下的非結構化數(shù)據(jù)存儲，但是面對海量的非結構化數(shù)據(jù)量級，樹狀元數(shù)據(jù)的掃描機制就顯得力不從心了。面對需要通過各種維度對數(shù)據(jù)進行再加工、再分析的數(shù)據(jù)價值挖掘場景，從并發(fā)量控制、數(shù)據(jù)基礎加工、數(shù)據(jù)動態(tài)流動等各方面都提出了挑戰(zhàn)，這也是分布存儲架構粉墨登場的重要原因。2.存儲技術與數(shù)據(jù)業(yè)務場景的精準化匹配無論數(shù)據(jù)存取服務的上層遵循什么樣的思路設計，但對于底層數(shù)據(jù)存儲技術的選型設計應該遵循技術最優(yōu)思路。首先我們先明確一個結論：底層設計上，集中式存儲架構適合金融企業(yè)存量結構化數(shù)據(jù)場景和高可用、高性能要求的半結構化/結構化數(shù)據(jù)場景，分布式存儲架構適合金融企業(yè)存量及增量的多樣化、海量非結構化數(shù)據(jù)和半結構化數(shù)據(jù)場景。至于集中式存儲架構存在的原因，有兩個重要方面：其一，分布式存儲產(chǎn)品有很多，但歸根結底就那么幾種技術流派出身，只有基于Ceph的流派在原理上是要求強一致性的，其他的基本為了性能會舍棄事務特性的強烈追求，這與交易類業(yè)務場景需求相悖；其二，無論是分布式文件系統(tǒng)派系，還是去中心化分布式對象派系，從其讀寫和并發(fā)控制的原理上看，對具有熱點的隨機讀寫交易業(yè)務應用都是不太友好的。至于分布式存儲架構不斷增比的原因，同樣有兩個。其一，分布式存儲架構設計初衷就是基于大規(guī)模非結構或者半結構化數(shù)據(jù)存儲場景設計的，比如計算尋址和掃描尋址在小規(guī)模場景下是分不出高低的，只有當數(shù)據(jù)量達到一定程度才能顯示出計算尋址的性能。其二，互聯(lián)網(wǎng)企業(yè)的實踐證明了分布式存儲架構最擅長的場景。因此，金融企業(yè)未來的數(shù)據(jù)結構、規(guī)模特性以及交易行為固有的業(yè)務要求就決定了數(shù)據(jù)存儲系統(tǒng)底層的技術架構必然是精準匹配模式。把最適合的底層技術應用到需要的數(shù)據(jù)業(yè)務場景當中去，這是底層技術選型設計應該遵循的基本原則。3.存儲管理上的云化融合雖然底層存儲技術與數(shù)據(jù)業(yè)務場景需要精準匹配，因地制宜。但是從存儲的管理上來講，其實又提出了新的需求。數(shù)據(jù)規(guī)模越來越大，尤其是非結構化數(shù)據(jù)增量發(fā)展趨勢會越來越明顯；數(shù)據(jù)形態(tài)越來越多元化，結構化的二維表、非結構化的圖片、日志、文本、視頻、網(wǎng)頁等等各類數(shù)據(jù)最終需要融合到一起，又需要從不同的維度抽絲剝繭；數(shù)據(jù)性能要求越來越細分化，隨機讀寫、順序讀寫這幾種行為方式必然形成多元化的需求組合對存儲系統(tǒng)本身提出性能需求。這一系列的數(shù)據(jù)變革必然要求存儲管理上的自動化、動態(tài)化、服務化。所謂自動化就需要統(tǒng)一的管理接口和各類的技術模塊能夠有標準化的接口渠道和調用機制，無論底層是什么架構和技術，管理上都可以通過標準接口實現(xiàn)功能上的整合管理；所謂動態(tài)化就需要底層架構和數(shù)據(jù)上層應用解耦，底層的節(jié)點、容量、配置變化對上層無感知；所謂服務化就是簡化存儲管理的復雜度，提高運營的效率和成本，這就要求存儲底層技術和上層應用之間進行功能上的聚類和包裝，把簡單的接口提供給應用，把復雜的聚合包裝留在存儲管理平臺內部。說到這里，這不就是很多人看到的存儲云化的一些關鍵功能么？四、結語經(jīng)過上述的梳理和分析，基本可以得出幾個觀點：1）企業(yè)數(shù)據(jù)本身的結構、量級、用途變革必然帶來存儲技術元素的多元化調整。2）企業(yè)數(shù)據(jù)業(yè)務特性及數(shù)據(jù)多元化戰(zhàn)略發(fā)展必然要求存儲技術選型設計按照精準定位的原則執(zhí)行。3）企業(yè)數(shù)據(jù)發(fā)展變化需求必然要求數(shù)據(jù)存儲管理向自動化、動態(tài)化、服務化方向邁進。

高鶴嘉興銀行信息安全負責人：金融行業(yè)的應用系統(tǒng)也在不斷的互聯(lián)網(wǎng)化，各種秒殺場景的新應用也層出不窮，金融行業(yè)交易系統(tǒng)面對突發(fā)和不確定性的高并發(fā)業(yè)務場景，對交易系統(tǒng)的穩(wěn)定性和性能要求提出了更高的要求。需求分析云平臺存儲需要符合云平臺的整體設計需求，但最終還是為企業(yè)業(yè)務應用服務的。云平臺存儲的需求分析不能只關注與云平臺的對接適配需求，還需要重點關注企業(yè)業(yè)務數(shù)據(jù)的存儲需求，即數(shù)據(jù)存儲分層分級需求。數(shù)據(jù)存儲分層分級應在滿足不同類型業(yè)務系統(tǒng)存儲需求的基礎上，降低云平臺存儲整體成本，結合我司業(yè)務情況分為：1）核心業(yè)務類型系統(tǒng)及其數(shù)據(jù)庫，需要最高的存儲性能和可靠性，性能更關注于IO延時；2）其他輕量級數(shù)據(jù)庫，需要較高的存儲性能和可靠性，需關注IO延時性能；3）數(shù)據(jù)分析類應用及其數(shù)據(jù)庫，存儲擴展性要求高，性能更關注于IO吞吐；4）互聯(lián)網(wǎng)類新業(yè)務和一般業(yè)務應用，需要較好的擴展性，有一定的IO延時性能要求；5）非結構化類型業(yè)務數(shù)據(jù)，存儲擴展性要求高，性能更關注于IO吞吐。架構設計方法根據(jù)需求分析階段的數(shù)據(jù)存儲分級結果，又可將核心業(yè)務應用、數(shù)據(jù)庫等歸類為穩(wěn)態(tài)類應用場景，其更關注于存儲可靠性，存儲IOsize小，性能更關注于IO延時；而互聯(lián)網(wǎng)類新業(yè)務、一般業(yè)務應用和數(shù)據(jù)分析類則可歸類為敏態(tài)類應用場景。針對穩(wěn)態(tài)和敏態(tài)的存儲架構如何設計，主要是采用兩種不同的架構設計方法：?自頂向下：自頂向下是從整體架構出發(fā)，逐步求精，去分析設計云平臺存儲通用框架及其組成元素。該設計分析方法既需要對問題域有清晰的了解，對行業(yè)未來一段時間內的應用場景有清晰的認識，又需要能把控住求解域，對云平臺存儲技術發(fā)展和應用有深刻的認識。?自底向上：與自底向上方法則相反，針對實際需要解決的問題，去做存儲的技術選型，逐步搭建云平臺存儲架構框架，從具體到抽象。整體來看，穩(wěn)態(tài)類應用場景更偏向于穩(wěn)定可靠的存儲方案，穩(wěn)態(tài)的業(yè)務量增長是規(guī)律的，容量是可預估的，系統(tǒng)架構穩(wěn)定，有著明確的業(yè)務連續(xù)性和數(shù)據(jù)安全需求。因此穩(wěn)態(tài)類應用場景是適合采用自頂向下的架構設計分析方法的，存儲方案可選擇更加穩(wěn)定可靠的企業(yè)存儲，落地前需要做好充分測試和整體存儲架構規(guī)劃，減少存儲架構方案的不確定性，盡量避免后期存儲架構的調整。而敏態(tài)類業(yè)務的起伏變化較大，系統(tǒng)架構從簡單到復雜，要求彈性伸縮，架構可擴展。穩(wěn)態(tài)類場景的存儲需求就是有不確定性的，存在著較大的差異。以自頂向下的架構設計思路來看，擴展性和包容性是敏態(tài)類存儲架構最需要滿足的特性，這也是一個繞不開的難點，過于強調擴展性和包容性，又會帶來性能、成本和復雜性的問題。但是可以改變思路，采用自底向上的架構設計分析方法，去專注考慮實際場景的確定性部分。自底向上的架構設計降低了整體規(guī)劃設計的復雜性，是追求快速應用落地，根據(jù)各種敏態(tài)類業(yè)務應用場景，去評估落地適合的存儲方案，在實踐過程中去推進云平臺存儲架構框架的演進。架構權衡和風險點評估架構權衡是對需求做權衡取舍，在存儲架構設計中有太多的需求，而眾多需求之間往往會互相限制。比如說，存儲的軟硬件成本會很大程度上影響存儲的可靠性和性能，高可靠性很多時候也是需要犧牲成本和性能來實現(xiàn)的，靈活擴展能力往往又會帶來更高的架構復雜度。架構設計也是一個需求的權衡評估過程，需要適當舍棄部分非關鍵的需求，去優(yōu)先滿足那些最關鍵的需求。風險點評估也是需要重點關注的，也是架構設計成敗的關鍵。存儲架構設計需要去深入理解具體存儲方案的架構和實現(xiàn)原理，找出存儲方案中的風險點，并通過恰當?shù)臏y試方案去驗證也是很有必要的。一般來說，風險點包括：方案的成熟度和穩(wěn)定性風險、性能風險、新版本風險、擴展能力不足、架構適配風險、運維風險等等。這些風險點甚至會直接關系到存儲架構方案的可行性，不可謂不重要。結合企業(yè)實際業(yè)務需求，做好架構權衡和風險點評估，才能設計出更合理的存儲架構。張俊禧長安銀行存儲架構師：構筑企業(yè)的云平臺存儲可以使企業(yè)適應快速迭代創(chuàng)新的業(yè)務發(fā)展，在市場占得先機，可以提升企業(yè)運維管理水平，邁出上云的第一步。金融行業(yè)隨著數(shù)字化轉型持續(xù)加速，金融科技技術不斷迭代，云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等新技術應用呈現(xiàn)倍增效應，企業(yè)數(shù)據(jù)量也呈現(xiàn)爆發(fā)式增長態(tài)勢，無論是結構化數(shù)據(jù)、還是非結構化數(shù)據(jù)，面臨業(yè)務場景越來越多，適配數(shù)據(jù)存儲的需求也多樣化，下面我來分析和總結一下企業(yè)數(shù)據(jù)存儲將面臨的挑戰(zhàn)和機遇。在金融行業(yè)的信息系統(tǒng)中，存儲設備具有舉足輕重的位置。因為，金融客戶的賬務數(shù)據(jù)、交易信息等都存在信息系統(tǒng)中，都是數(shù)字化和電子化的，最終數(shù)據(jù)都落盤到存儲設備中，這些數(shù)據(jù)對金融企業(yè)的重要性可想而知。那么，金融行業(yè)的數(shù)據(jù)，從業(yè)務類型來說，有核心賬務類系統(tǒng)、經(jīng)營管理類系統(tǒng)、管理分析類系統(tǒng)、辦公類系統(tǒng)等。從數(shù)據(jù)類型來說，有結構化數(shù)據(jù)、半結構化數(shù)據(jù)、非結構化數(shù)據(jù)等。從數(shù)據(jù)生命周期管理來說，有在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)等。隨著金融行業(yè)數(shù)字化轉型后，其應用多樣化，也決定了數(shù)據(jù)的多樣化，不同業(yè)務場景也決定了存儲設備選擇的多樣化。對于核心交易類系統(tǒng)是金融行業(yè)的重要信息系統(tǒng)，一般有應用交易服務和數(shù)據(jù)庫服務組成，我們對數(shù)據(jù)庫數(shù)據(jù)稱之為結構化數(shù)據(jù)，屬于在線數(shù)據(jù)，數(shù)據(jù)一般保存在集中式存儲中。核心交易類系統(tǒng)是需要直接向客戶提供全渠道、全實時的金融服務。那么圍繞核心交易系統(tǒng)，還有很多其他的業(yè)務系統(tǒng)，如渠道整合類系統(tǒng)、支付系統(tǒng)、收單系統(tǒng)、中間業(yè)務系統(tǒng)等，這些系統(tǒng)構成了一套復雜的分布式業(yè)務處理系統(tǒng)，每套系統(tǒng)都有相對獨立的功能，客戶任何一筆金融交易都會涉及到多套業(yè)務處理系統(tǒng)，典型的業(yè)務場景如網(wǎng)上銀行、手機銀行、自助存取款機、POS等交易。若其中任何一套系統(tǒng)出現(xiàn)故障或緩慢都將會影響客戶的交易，給客戶造成較差的體驗。因此，每套系統(tǒng)都需要具有高安全性、高穩(wěn)定性和高并發(fā)交易處理能力。隨著移動互聯(lián)網(wǎng)的廣泛普及，金融行業(yè)的應用系統(tǒng)也在不斷的互聯(lián)網(wǎng)化，各種秒殺場景的新應用也層出不窮，金融行業(yè)交易系統(tǒng)面對突發(fā)和不確定性的高并發(fā)業(yè)務場景，對交易系統(tǒng)的穩(wěn)定性和性能要求提出了更高的要求。除了對各交易系統(tǒng)集群提供穩(wěn)定高效運行的計算資源外，也對支撐交易系統(tǒng)的數(shù)據(jù)庫存儲設備提出了更高的高可用和高性能要求。對于經(jīng)營管理類系統(tǒng)也是金融行業(yè)的重要信息系統(tǒng)，管理分析類系統(tǒng)有實時分析系統(tǒng)及非實時分析系統(tǒng)，這些系統(tǒng)的數(shù)據(jù)類型和數(shù)據(jù)處理方式和交易系統(tǒng)有較大不同，結構化、半結構化、非結構化數(shù)據(jù)都有，而且在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)場景均存在，不同場景下對存儲的要求也有所不同。管理類或分析類系統(tǒng)不會面臨突發(fā)和不確定性的并發(fā)量，也不需要快速的單筆交易處理時間，但是管理類或分析類系統(tǒng)需要在一定的時間內完成海量數(shù)據(jù)的處理和計算，需要具備非常強的批量處理能力和并行處理能力，這就要求對應的存儲系統(tǒng)有較大的吞吐能力。對于辦公類系統(tǒng)是金融行業(yè)日常辦公必不可少的應用系統(tǒng)，雖然不涉及對客交易，但對于金融企業(yè)內部流程審批也起到至關重要的作用，同樣存在結構化、半結構化、非結構化數(shù)據(jù)，也涉及在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)的生命周期管理。這些系統(tǒng)對存儲的需求接近經(jīng)營管理類系統(tǒng)的需求，但它沒有處理海量數(shù)據(jù)和并行處理的需求，所以對存儲的吞吐能力沒有過多的要求。在互聯(lián)網(wǎng)大潮下，以及近兩年信創(chuàng)的大背景下，數(shù)據(jù)量大規(guī)模增長，金融行業(yè)數(shù)據(jù)存儲需要進一步提升，需要順應當下的發(fā)展格局。我個人認為機遇和挑戰(zhàn)如下，一是從存儲整個產(chǎn)業(yè)鏈來說，存儲廠商要盡量基于全閃存的技術來構建新的存儲設備產(chǎn)品，提升存儲的吞吐量性能；二是摒棄之前雙控制器的弊端，基于多控制器的分布式處理架構，進一步提升存儲的高可用能力；三是進一步完善存儲的容災架構能力，契合金融行業(yè)監(jiān)管指引要求，精細化研發(fā)，雙中心雙活、多中心多活存儲架構，在跨中心數(shù)據(jù)同步方面壓縮數(shù)據(jù)傳輸延時，簡化跨中心切換操作過程，降低操作復雜度。四是在存儲底層研發(fā)方面趨向分布式部署架構，增加其擴展能力、同時做到單一存儲產(chǎn)品服務協(xié)議全適配，例如，F(xiàn)C-SAN、NFS、CIFS、HDFS、S3等協(xié)議；五是加強友商合作，實現(xiàn)跨廠商存儲產(chǎn)品服務協(xié)議標準化、統(tǒng)一化，降低異構管控復雜度；六是大力發(fā)展國芯國操存儲產(chǎn)品的研發(fā)與市場推廣，筑牢中國產(chǎn)品發(fā)展基石。針對金融行業(yè)目前數(shù)據(jù)存儲未來的發(fā)展趨勢及需要關注的熱點問題，個人認為有如下這幾個方面。1.存儲架構的演變支撐了更多的業(yè)務場景集中式存儲架構為金融業(yè)務提供了良好的性能及穩(wěn)定性，目前金融機構大多采用“x86服務器+SAN/IP交換機+集中存儲陣列”的傳統(tǒng)架構構建自己的虛擬化平臺，在此基礎上初步實現(xiàn)計算資源池化，提升資源利用率和運行效率。但傳統(tǒng)架構下，擴展性以及彈性部署都難以實現(xiàn)敏捷化處理。近年隨著虛擬化技術的不斷成熟，計算資源、網(wǎng)絡、分布式存儲等各類資源分離的架構也成為各個互聯(lián)網(wǎng)廠商應對快速市場變化、快速業(yè)務響應、有效降低搭建成本的絕佳方式。仿照互聯(lián)網(wǎng)模式，很多金融機構進行了自己的私有云平臺建設，在實現(xiàn)了可彈性擴展的資源池，可以很好地支撐敏態(tài)業(yè)務發(fā)展，適應互聯(lián)網(wǎng)渠道業(yè)務瞬時高并發(fā)、多頻次、大流量的新型金融場景特征。并且對云管理層、虛擬化層、分布式存儲到硬件層都具有良好的開放性。2.海量數(shù)據(jù)對存儲的需求非計劃數(shù)據(jù)和歸檔數(shù)據(jù)的特點是文件數(shù)量大，文件數(shù)量通常在數(shù)億級以上。對存儲的時延要求不高，要求在幾十毫秒左右，但整個存儲架構要具有較強的擴展能力。這種場景無疑使用分布式存儲的對象存儲更為合適，但使用分布式存儲，個人認為有如下幾點需要提前進行規(guī)劃。1）對分布式存儲做好建設規(guī)劃。例如這套存儲集群的預期規(guī)模大小，機柜的物理位置及電力，網(wǎng)絡交換機的接口余量，新老設備的兼容能力等等，這些因素都在某種程度上影響了集群整體的擴容能力及規(guī)模大小。本人認為，目前分布式架構存儲都在普遍使用糾刪碼的數(shù)據(jù)冗余模式，而+3是絕大部分廠商推薦配置的最大冗余配比，所以從設備冗余配置來考慮，建議單個分布式存儲的集群規(guī)模要控制一下，不超過3至4個機柜為宜，這樣交換機接口使用率、實際可用空間比例、分布式集群的整體性能等都可以達到一個較為理想的狀態(tài)。2）確定業(yè)務數(shù)據(jù)的生命周期。分布式對象存儲具備生命周期管理能力，利用好這項功能，可實現(xiàn)數(shù)據(jù)生命周期的自動管理，可極大地節(jié)省數(shù)據(jù)管理的人力成本，提升存儲的有效使用率。3）確定要根據(jù)數(shù)據(jù)的保存機制。分布式對象存儲具備數(shù)據(jù)流動功能，在建設前，可提前制定“熱、溫、冷”數(shù)據(jù)保存方式，實現(xiàn)不同生命周期的數(shù)據(jù)存放在不同的物理介質上。例如，可將經(jīng)常使用的“熱、溫”數(shù)據(jù)放性能較好的存儲資源池，在達到生命周期設定值后，數(shù)據(jù)變?yōu)椤袄洹睌?shù)據(jù)后，可自動轉存在性能相對差一些的存儲資源池，或者對接藍光光盤庫，將離線保存。而對于數(shù)據(jù)的使用方來說，它仍是從同一個