企業(yè)數(shù)據(jù)存儲的發(fā)展挑戰(zhàn)和機(jī)遇

金融企業(yè)未來的數(shù)據(jù)結(jié)構(gòu)、規(guī)模特性以及交易行為固有的業(yè)務(wù)要求就決定了數(shù)據(jù)存儲系統(tǒng)底層的技術(shù)架構(gòu)必然是精準(zhǔn)匹配模式。把最適合的底層技術(shù)應(yīng)用到需要的數(shù)據(jù)業(yè)務(wù)場景當(dāng)中去，這是底層技術(shù)選型設(shè)計應(yīng)該遵循的基本原則。構(gòu)當(dāng)中的存儲架構(gòu)也相對穩(wěn)定成熟，但是隨著近些年的信息化大浪潮的不斷涌動，其實已經(jīng)悄然發(fā)生或者正在醞釀著即將來臨的系列變革，相應(yīng)的存儲架構(gòu)類似這樣的標(biāo)準(zhǔn)幾乎每年都會有所更新。有了這些規(guī)范的約束，無論是誰在開發(fā)銀行的金融系統(tǒng)，它的數(shù)據(jù)模型設(shè)計基本上都要遵循這樣的標(biāo)準(zhǔn)進(jìn)行。因此大多數(shù)銀行企業(yè)都已經(jīng)具備了一套以核心系統(tǒng)賬戶及客戶為中心，以各交易各渠道系統(tǒng)簽約信息為擴(kuò)展的結(jié)構(gòu)化數(shù)據(jù)標(biāo)準(zhǔn)體系，以客戶為中心的結(jié)構(gòu)化數(shù)據(jù)體系具備了后續(xù)挖掘和分析的基本條件。與銀行相比而言，保險和證券的標(biāo)準(zhǔn)成熟的數(shù)據(jù)倉庫應(yīng)用。但是這么多年來似乎業(yè)務(wù)領(lǐng)域擴(kuò)展也非常穩(wěn)定，幾乎都越來越多的銀行開始評估非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)結(jié)合起來的價值挖掘，在拓深原有業(yè)務(wù)領(lǐng)域的同時，增加了新的價值挖掘領(lǐng)域的應(yīng)用，例如：精準(zhǔn)營數(shù)據(jù)管理一方面是要對數(shù)據(jù)全生命周期進(jìn)行管理，另外一方面是要對數(shù)據(jù)利用的各個維度進(jìn)行精準(zhǔn)有效的管理。從數(shù)據(jù)源的管理上來講，現(xiàn)狀還是比較分散獨立，各個系統(tǒng)沒有統(tǒng)一的數(shù)據(jù)下沉接口，大多數(shù)場景都是基于特定數(shù)據(jù)分析系統(tǒng)的需求分別向各數(shù)據(jù)源頭請數(shù)；從數(shù)據(jù)管理工具上來講，基本上還沒有成型的工具可以實現(xiàn)數(shù)據(jù)的資源分配、過程控制、動態(tài)調(diào)整、服務(wù)計算等方面的整合；從數(shù)據(jù)生命周期上來講，基于在線數(shù)據(jù)的管理和利用有基本的框架，基大多數(shù)金融企業(yè)對數(shù)據(jù)價值的利用基本都是集中在自己企業(yè)內(nèi)部的存量結(jié)構(gòu)化數(shù)據(jù)，比如基于各系統(tǒng)內(nèi)的源數(shù)據(jù)以及歷史數(shù)據(jù)進(jìn)行再次加工，從而形成具備2.非結(jié)構(gòu)化數(shù)據(jù)的價值挖掘深度不夠從數(shù)據(jù)挖掘的角度來看，金融企業(yè)對結(jié)構(gòu)化數(shù)據(jù)的挖掘深度和廣度在不斷發(fā)展。但是對于非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)的價值挖掘深度遠(yuǎn)遠(yuǎn)不夠。以銀行的影據(jù)讀取也是為了信貸類、票據(jù)類業(yè)務(wù)的復(fù)核。而透過這些半結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)本身以及還沒有提取的結(jié)構(gòu)化信息，結(jié)合結(jié)構(gòu)化數(shù)據(jù)線索，其實是可以進(jìn)行再分析和再利用的。以金融行業(yè)的互聯(lián)網(wǎng)業(yè)務(wù)為例，更多的客戶網(wǎng)絡(luò)行為數(shù)據(jù)以及線上產(chǎn)品相關(guān)的線上效應(yīng)數(shù)據(jù)應(yīng)該被沉淀下來，這些非結(jié)構(gòu)化數(shù)據(jù)應(yīng)該被3.數(shù)據(jù)源的向外擴(kuò)展程度不夠基于安全的要求，金融企業(yè)的數(shù)據(jù)相對比較敏感，這也就決定了這類數(shù)據(jù)的獨特性。因此金融企業(yè)無論是做風(fēng)險評估也好，還是做精準(zhǔn)營銷也好，還是做監(jiān)4.數(shù)據(jù)價值利用的維度擴(kuò)展性不夠營銷方面，客戶風(fēng)險評估還主要采用問答式?；ヂ?lián)網(wǎng)企業(yè)針對客戶的行為數(shù)據(jù)分析利用的思路在金融企業(yè)基本上沒有得到廣泛應(yīng)用，利用數(shù)據(jù)分析代替人工數(shù)據(jù)的變化趨勢必然決定數(shù)據(jù)存儲平臺的變化，上文我們分析到數(shù)據(jù)變化的一2.存儲技術(shù)與數(shù)據(jù)業(yè)務(wù)場景的精準(zhǔn)化匹配無論數(shù)據(jù)存取服務(wù)的上層遵循什么樣的思路設(shè)計，但對于底層數(shù)據(jù)存儲技術(shù)的構(gòu)化數(shù)據(jù)場景和高可用、高性能要求的半結(jié)構(gòu)化/結(jié)構(gòu)化數(shù)據(jù)架構(gòu)適合金融企業(yè)存量及增量的多樣化、海量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)場上是要求強(qiáng)一致性的，其他的基本為了性能會舍棄事務(wù)特性的強(qiáng)烈追求，這與分布式對象派系，從其讀寫和并發(fā)控制的原理上看，對具有熱點的隨機(jī)讀寫交易業(yè)務(wù)應(yīng)用都是不太友好的。至于分布式存儲架構(gòu)不斷增比的原因，同樣有兩個。其一，分布式存儲架構(gòu)設(shè)計初衷就是基于大規(guī)模非結(jié)構(gòu)或者半結(jié)構(gòu)化數(shù)據(jù)雖然底層存儲技術(shù)與數(shù)據(jù)業(yè)務(wù)場景需要精準(zhǔn)匹配，因地制宜。但是從存儲的管數(shù)據(jù)規(guī)模越來越大，尤其是非結(jié)構(gòu)化數(shù)據(jù)增量發(fā)展趨勢會越來越明顯；數(shù)據(jù)形需求組合對存儲系統(tǒng)本身提出性能需求。這一系列的數(shù)據(jù)變革必然要求存儲管管理上都可以通過標(biāo)準(zhǔn)接口實現(xiàn)功能上的整合管理；所謂動態(tài)化就需要底層架構(gòu)和數(shù)據(jù)上層應(yīng)用解耦，底層的節(jié)點、容量、配置變化對上層無感知；所謂服1）企業(yè)數(shù)據(jù)本身的結(jié)構(gòu)、量級、用途變革必然帶來存儲技術(shù)元素的多元化調(diào)2）企業(yè)數(shù)據(jù)業(yè)務(wù)特性及數(shù)據(jù)多元化戰(zhàn)略發(fā)展必然要求存儲技術(shù)選型設(shè)計按照金融行業(yè)交易系統(tǒng)面對突發(fā)和不確定性的高并發(fā)業(yè)務(wù)場景，對交易系統(tǒng)的穩(wěn)定性和性能要求提出了更高的要求。根據(jù)需求分析階段的數(shù)據(jù)存儲分級結(jié)果，又可將核心業(yè)務(wù)應(yīng)用、數(shù)據(jù)庫等歸類通用框架及其組成元素。該設(shè)計分析方法既需要對問題域有清晰業(yè)未來一段時間內(nèi)的應(yīng)用場景有清晰的認(rèn)識，又需要能把控住求解域，對云平整體來看，穩(wěn)態(tài)類應(yīng)用場景更偏向于穩(wěn)定可靠的存儲方案，穩(wěn)態(tài)的業(yè)務(wù)量增長是規(guī)律的，容量是可預(yù)估的，系統(tǒng)架構(gòu)穩(wěn)定，有著明確的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安可擴(kuò)展。穩(wěn)態(tài)類場景的存儲需求就是有不確定性的，存在著較大的差異。以自法，去專注考慮實際場景的確定性部分。自底向上的架設(shè)計的復(fù)雜性，是追求快速應(yīng)用落地，根據(jù)各種敏態(tài)類業(yè)務(wù)應(yīng)用場景，去評估構(gòu)筑企業(yè)的云平臺存儲可以使企業(yè)適應(yīng)快速迭代創(chuàng)新的業(yè)務(wù)發(fā)展，在市場占得先機(jī)，可以提升企業(yè)運(yùn)維管理水平，邁出上云的第一步。金融行業(yè)隨著數(shù)字化轉(zhuǎn)型持續(xù)加速，金融科技技術(shù)不斷迭代，云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等新技術(shù)應(yīng)用呈現(xiàn)倍增效應(yīng)，企業(yè)數(shù)據(jù)量也呈現(xiàn)爆發(fā)式增長態(tài)勢，無論是結(jié)構(gòu)化數(shù)據(jù)、還是非結(jié)構(gòu)化數(shù)據(jù)，面臨業(yè)務(wù)場景越來越多，跨中心切換操作過程，降低操作復(fù)雜度。四是在存儲底層產(chǎn)品服務(wù)協(xié)議標(biāo)準(zhǔn)化、統(tǒng)一化，降低異構(gòu)管控復(fù)雜度；六集中式存儲架構(gòu)為金融業(yè)務(wù)提供了良好的性能及穩(wěn)定性，目前金融機(jī)構(gòu)大多采統(tǒng)架構(gòu)下，擴(kuò)展性以及彈性部署都難以實現(xiàn)敏近年隨著虛擬化技術(shù)的不斷成熟，計算資源、網(wǎng)絡(luò)、分布式存儲等各類資源分臺建設(shè)，在實現(xiàn)了可彈性擴(kuò)展的資源池，可以很好地支撐敏態(tài)業(yè)務(wù)發(fā)展，適應(yīng)互聯(lián)網(wǎng)渠道業(yè)務(wù)瞬時高并發(fā)、多頻次、大流量的新型金融場景特征。并且對云現(xiàn)如今幾乎所有的金融機(jī)構(gòu)里，集中式存儲、分布式存儲、大數(shù)據(jù)等混合架構(gòu)如何基于多種異構(gòu)型的存儲，構(gòu)建一體化的運(yùn)維平臺，需要綜合考慮多方面因素，包括應(yīng)用系統(tǒng)業(yè)務(wù)連續(xù)性要求、聯(lián)機(jī)業(yè)務(wù)量大小、業(yè)務(wù)數(shù)據(jù)類型、平臺建要成功實施完備的異構(gòu)存儲資源池，不僅要選擇合適、成熟和高效的存理的復(fù)雜情形下，金融企業(yè)數(shù)據(jù)中心需要有新型的管理方案，能夠按需分配存平臺場景而言，由于虛擬機(jī)硬件是被虛擬中間層軟件定義的，這就意味著所有虛擬機(jī)的硬件環(huán)境可以很方便地進(jìn)行創(chuàng)建和變更，不再受到物理硬件的影響，使全系統(tǒng)備份和恢復(fù)變得簡單。所以，在私有云環(huán)境下，全系統(tǒng)部分將成為備在移動互聯(lián)網(wǎng)已經(jīng)普及、用戶對業(yè)務(wù)實時性需求越來越高的今天，保障業(yè)務(wù)連續(xù)性是重中之重。做好完備的災(zāi)備方案規(guī)劃和實施，實現(xiàn)業(yè)務(wù)不中斷、數(shù)據(jù)不在數(shù)據(jù)中心中，完整的數(shù)據(jù)保護(hù)的過程應(yīng)該是一個數(shù)據(jù)加熱的過程，熱數(shù)據(jù)應(yīng)故障發(fā)生時，備份數(shù)據(jù)就能夠快速轉(zhuǎn)變成我們需要的生產(chǎn)數(shù)據(jù)