XX證券期互聯(lián)網(wǎng)金融投資者大數(shù)據(jù)平臺建設方案(匯報稿)2016

1、思迪信息深圳市思迪信息技術有限公司目錄124走進數(shù)據(jù)集中備份存儲數(shù)據(jù)集中備份存儲架構數(shù)據(jù)集中備份存儲項目設計13數(shù)據(jù)集中備份存儲特點與優(yōu)勢5 行業(yè)趨勢業(yè)務場景化智能化融合應用l前端應用數(shù)據(jù)l中臺統(tǒng)計數(shù)據(jù)l后端清算數(shù)據(jù)金融行業(yè)發(fā)展趨勢l海量數(shù)據(jù)存儲共享l行業(yè)應用整合l金融與IT技術融合l運維告警管理l故障自動替換l業(yè)務負載均衡l數(shù)據(jù)智能分析數(shù)據(jù)集中備份存儲系統(tǒng)簡介 思迪數(shù)據(jù)集中備份存儲系統(tǒng)針對金融監(jiān)控行業(yè)應用的專業(yè)級集中備份存儲系統(tǒng)Text in here集群化虛擬化離散存儲流式數(shù)據(jù)結構云架構存儲模式數(shù)據(jù)備份存儲是否能針對金融數(shù)據(jù)特點和金融應用擴展做出面向應用的調整與優(yōu)化云 存 儲數(shù)據(jù)集中備份存

2、儲針對金融數(shù)據(jù)存儲的流式非結構化特點，以流式數(shù)據(jù)結構統(tǒng)創(chuàng)新地將數(shù)據(jù)存儲、金融應用擴展與集中備份存儲優(yōu)勢結合，靈活運用集群化、虛擬化、分布式存儲等技術、改造和優(yōu)化集中備份存儲結構以滿足大規(guī)模金融監(jiān)控系統(tǒng)對集中備份存儲服務的需求集中備份存儲通過軟件運用集群技術、虛擬化技術、分布式存儲技術將網(wǎng)絡中大量各種不同類型的存儲設備集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能，適合通用的文件存儲。數(shù)據(jù)集中備份存儲數(shù)據(jù)集中備份存儲概念核心技術：集群化虛擬化分布式存儲 核心技術：云核心技術流式數(shù)據(jù)結構金融應用融合 目錄24走進數(shù)據(jù)集中備份存儲數(shù)據(jù)集中備份存儲架構數(shù)據(jù)集中備份存儲項目設計3數(shù)據(jù)集中備份存儲特

3、點與優(yōu)勢51數(shù)據(jù)集中備份存儲系統(tǒng)-邏輯架構支撐應用管理層接口層機構本地設備層存儲層應用層集群管理業(yè)務調度資源管理設備管理索引管理日志管理容量整理機構存儲設備通過流式數(shù)據(jù)結構將數(shù)據(jù)、數(shù)據(jù)、附屬流寫入存儲設備機構存儲設備機構存儲設備數(shù)據(jù)備份平臺數(shù)據(jù)監(jiān)控應用運維平臺提供標準、靈活的接口；Web Service接口、API接口、Mibs接口等虛擬化存儲資源池設備層接口層標準、靈活的接口；Web Service接口、API接口、Mibs接口等存儲設備存儲設備存儲設備數(shù)據(jù)集中備份存儲系統(tǒng)-物理拓撲成本低數(shù)據(jù)集中備份存儲系統(tǒng)-數(shù)據(jù)流程1、平臺下發(fā)數(shù)據(jù)計劃管理節(jié)點集群存儲節(jié)點存儲節(jié)點存儲節(jié)點全域虛擬化存儲資源

4、告警服務器監(jiān)控管理平臺集中備份存儲系統(tǒng)2、數(shù)據(jù)計劃同步中心管理服務器3、數(shù)據(jù)接口直寫存儲機構數(shù)據(jù)服務器負載均衡分布式數(shù)據(jù)存儲集群（Hadoop）元數(shù)據(jù)存儲數(shù)據(jù)集中備份存儲系統(tǒng)-數(shù)據(jù)存儲流程1、平臺向集中備份存儲請求并獲取數(shù)據(jù)存儲空間2、數(shù)據(jù)接口將數(shù)據(jù)寫入接入服務器3、平臺接入服務器將數(shù)據(jù)存入指定集中備份存儲管理節(jié)點集群接入服務器監(jiān)控管理平臺集中備份存儲系統(tǒng)中心管理服務器全域虛擬化存儲資源機構數(shù)據(jù)服務器存儲節(jié)點存儲節(jié)點存儲節(jié)點負載均衡分布式數(shù)據(jù)存儲集群（Hadoop）元數(shù)據(jù)存儲負載均衡 1、平臺下發(fā)回放請求管理節(jié)點集群告警服務器數(shù)據(jù)監(jiān)控管理平臺集中備份存儲系統(tǒng)2、集中備份存儲返回數(shù)據(jù)索引中心管理

5、服務器3、存儲節(jié)點推送數(shù)據(jù)數(shù)據(jù)集中備份存儲系統(tǒng)-下載流程全域虛擬化存儲資源機構數(shù)據(jù)服務器存儲節(jié)點存儲節(jié)點存儲節(jié)點分布式數(shù)據(jù)存儲集群（Hadoop）元數(shù)據(jù)存儲數(shù)據(jù)集中備份存儲系統(tǒng)-兩大節(jié)點數(shù)據(jù)集中備份存儲管理節(jié)點（ CVMN ）數(shù)據(jù)集中備份存儲存儲節(jié)點（ CVSN ）l 內(nèi)置數(shù)據(jù)集中備份存儲管理軟件（CVM）l 可組建CVMN 管理集群，線性提升系統(tǒng)性能l 負責整個系統(tǒng)的運行與管理，支持業(yè)務負載均衡、實時動態(tài)調整l 支持雙機HA和集群部署模式l 內(nèi)置數(shù)據(jù)集中備份存儲存儲軟件（CVS）和數(shù)據(jù)集中備份存儲接入軟件（CVA）；l 可支持主動數(shù)據(jù)、數(shù)據(jù)離散存儲、并發(fā)讀取，可提供高效的業(yè)務持續(xù)性服務；l

6、支持服務器、控制器架構磁盤陣列；l 支持16、24、36、48、60盤位磁盤陣列數(shù)據(jù)集中備份存儲系統(tǒng)-四大構件數(shù)據(jù)集中備份存儲接入軟件 CVM(數(shù)據(jù)集中備份存儲管理軟件) : 負責集中備份存儲系統(tǒng)資源管理、索引管理、計劃管理、策略調度。 CVS (數(shù)據(jù)集中備份存儲存儲軟件) : 負責數(shù)據(jù)數(shù)據(jù)存儲、讀取、存儲設備管理、存儲空間管理。 CVA (數(shù)據(jù)集中備份存儲接入軟件):負責數(shù)據(jù)計劃執(zhí)行、數(shù)據(jù)數(shù)據(jù)寫入。異構存儲服務軟件ASS(異構存儲服務)軟件：負責接入第三方iSCSI/FC 存儲設備。數(shù)據(jù)集中備份存儲系統(tǒng)由CVM（集群）協(xié)同其它節(jié)點共同為用戶提供優(yōu)質服務體驗數(shù)據(jù)集中備份存儲管理軟件數(shù)據(jù)集中備份

7、存儲存儲軟件數(shù)據(jù)集中備份存儲接入軟件異構存儲服務軟件數(shù)據(jù)存儲功能 相關數(shù)據(jù) 數(shù)據(jù)檢索 數(shù)據(jù)上傳 數(shù)據(jù)下載 數(shù)據(jù)標注 數(shù)據(jù)摘要 主動補錄 冗余備份 運維管理功能系統(tǒng)管理功能 集群化管理 虛擬化管理 存儲空間管理 負載均衡管理 自動精簡管理 分散存儲管理數(shù)據(jù)管理功能 數(shù)據(jù)計劃管理 數(shù)據(jù)計劃執(zhí)行 移動偵測數(shù)據(jù) 事件數(shù)據(jù) 數(shù)據(jù)幀分析 系統(tǒng)信息獲取 系統(tǒng)故障告警 存儲設備告警 標準協(xié)議對接數(shù)據(jù)存儲功能數(shù)據(jù)寫入 數(shù)據(jù)壓縮 HTTP訪問 數(shù)據(jù)鎖定 數(shù)據(jù)刪除 周期覆蓋數(shù)據(jù)集中備份存儲5大基礎功能數(shù)據(jù)運維管理傳輸系統(tǒng)數(shù)據(jù)集中備份存儲-Smart IPC接入 數(shù)據(jù)集中備份存儲系統(tǒng)支持與智能IPC無縫對接，支持數(shù)據(jù)

8、流和智能流同步存儲，支持快速智能檢索，比如越界檢測、區(qū)域入侵檢測報警等相關應用。Smart IPC數(shù)據(jù)集中備份存儲客戶端存儲節(jié)點管理節(jié)點存儲節(jié)點存儲節(jié)點管理節(jié)點指定數(shù)據(jù)流數(shù)據(jù)流數(shù)據(jù)集中備份存儲-智能補錄 網(wǎng)絡故障時。數(shù)據(jù)本地數(shù)據(jù)庫本地保存。 網(wǎng)絡恢復時，鏈路通暢，數(shù)據(jù)回傳。 數(shù)據(jù)集中備份存儲系統(tǒng)支持網(wǎng)絡恢復后從前端存儲卡或編碼器獲取鏈路中斷期間的數(shù)據(jù)數(shù)據(jù)。本地數(shù)據(jù)庫數(shù)據(jù)集中備份存儲存儲節(jié)點管理節(jié)點存儲節(jié)點存儲節(jié)點管理節(jié)點斷網(wǎng)本地數(shù)據(jù)補錄數(shù)據(jù)集中備份存儲文件合并 數(shù)據(jù)集中備份存儲系統(tǒng)支持通過文件合并技術，對歷史數(shù)據(jù)合并后再存儲，使存儲空間大幅減少。節(jié)省空間高達50%-70%。存儲節(jié)點存儲節(jié)點存儲

9、節(jié)點已使用的數(shù)據(jù)資源池使用空間減少50%-70%數(shù)據(jù)資源池數(shù)據(jù)資源池文件合并數(shù)據(jù)集中備份存儲云備份 通過云備份功能將同一份數(shù)據(jù)數(shù)據(jù)在集中備份存儲系統(tǒng)內(nèi)部異設備存儲2次； 數(shù)據(jù)集中備份存儲支持存儲內(nèi)備份和多存儲備份。存儲節(jié)點A存儲節(jié)點B數(shù)據(jù)塊1數(shù)據(jù)塊N數(shù)據(jù)塊N數(shù)據(jù)塊1本地數(shù)據(jù)庫視頻流視頻流數(shù)據(jù)備份原數(shù)據(jù)塊備份數(shù)據(jù)塊數(shù)據(jù)集中備份存儲-運維管理硬件運維軟件運維實時監(jiān)控系統(tǒng)告警監(jiān)控服務器、存儲設備的CPU、內(nèi)存、網(wǎng)絡、磁盤、塊設備、風扇、溫度等狀態(tài)。監(jiān)控軟件模塊運行狀態(tài)、包括資源池的存儲空間利用、前端的接入和數(shù)據(jù)情況。動態(tài)更新當前系統(tǒng)的運行狀況，提供管理依據(jù)。 當硬件故障、系統(tǒng)壓力過大、軟件資源消耗過

10、大時，運維系統(tǒng)會采用實時語音 、郵件等方式告知管理員。目錄34走進數(shù)據(jù)集中備份存儲數(shù)據(jù)集中備份存儲特點與優(yōu)勢數(shù)據(jù)集中備份存儲項目設計12數(shù)據(jù)集中備份存儲架構1數(shù)據(jù)集中備份存儲3大技術亮點全面整合存儲容量，始終對總容量進行管理和維護可按照實際需求對總容量進行分配針對業(yè)務調整，分配后的容量可以靈活的進行擴大和縮小全域虛擬化技術離散存儲技術 虛擬化完成存儲資源整和分配； 離散存儲實現(xiàn)高并發(fā)和大吞吐的處理性能； 集群保證存儲系統(tǒng)的高可靠性和安全性業(yè)務支撐；流數(shù)據(jù)離散算法均衡切片，數(shù)據(jù)塊分布式存儲，奠定數(shù)據(jù)高效性的基礎降低單點故障數(shù)據(jù)的丟失概率和風險以集群的響應方式，并發(fā)提供服務，如高速的并發(fā)下載高效集

11、群技術集群運行負載均衡算法，全面提升系統(tǒng)內(nèi)設備利用率，均衡設備壓力集群根據(jù)前端數(shù)量變化、存儲設備數(shù)量變化動態(tài)調整系統(tǒng)壓力，保持業(yè)務的穩(wěn)定和高效N+M系統(tǒng)級高可靠性和業(yè)務持續(xù)性，安全系數(shù)全面提升虛擬化技術優(yōu)點數(shù)據(jù)集中備份存儲全域虛擬化.全面整合存儲容量，始終對總容量進行管理和維護?？砂凑諏嶋H需求對總容量進行分配針對業(yè)務調整，分配后的容量可以靈活的進行擴大和縮小存儲節(jié)點數(shù)據(jù)塊存儲資源池創(chuàng)建數(shù)據(jù)池A創(chuàng)建數(shù)據(jù)池B創(chuàng)建數(shù)據(jù)池C擴大數(shù)據(jù)池縮小數(shù)據(jù)池數(shù)據(jù)池A數(shù)據(jù)池B數(shù)據(jù)池C虛擬化數(shù)據(jù)集中備份存儲-虛擬化對比虛擬資源池集中存儲環(huán)境中，前端數(shù)據(jù)與存儲設備一一對應，存儲位置固定。集中備份存儲環(huán)境中，前端數(shù)據(jù)與虛擬

12、資源對應，與存儲設備無對應關系，存儲位置分散。數(shù)據(jù)數(shù)據(jù)還原集中存儲數(shù)據(jù)集中備份存儲數(shù)據(jù)數(shù)據(jù)集中存儲數(shù)據(jù)集中備份存儲-虛擬化對比管理復雜修改前數(shù)據(jù)無法回放虛擬資源池集中存儲環(huán)境需要多人維護，每臺設備都需要進行獨立管理；集中備份存儲環(huán)境中存儲資源虛擬化后，只需要管理一個界面，類似管理一臺設備；數(shù)據(jù)集中備份存儲管理便捷數(shù)據(jù)集中備份存儲-離散存儲.存儲節(jié)點數(shù)據(jù)塊存儲資源池數(shù)據(jù)池離散存儲優(yōu)點流數(shù)據(jù)離散算法均衡切片，數(shù)據(jù)塊分布式存儲，奠定數(shù)據(jù)高效性的基礎降低單點故障數(shù)據(jù)的丟失概率和風險以集群的響應方式，并發(fā)提供服務，如高速的并發(fā)下載虛擬化數(shù)據(jù)集中備份存儲負載均衡-前端變化存儲節(jié)點數(shù)據(jù)塊數(shù)據(jù)池集群技術優(yōu)點集

13、群技術優(yōu)點集群運行負載均衡算法，全面提升系統(tǒng)內(nèi)設備利用率，均衡設備壓力集群根據(jù)前端數(shù)量變化、存儲設備數(shù)量變化動態(tài)調整系統(tǒng)壓力，保持業(yè)務的穩(wěn)定和高效N+M系統(tǒng)級高可靠性和業(yè)務持續(xù)性，安全系數(shù)全面提升 虛 擬 化存儲資源池300100路數(shù)據(jù)前端路數(shù)據(jù)100路數(shù)據(jù)100路數(shù)據(jù)500166167167數(shù)據(jù)集中備份存儲負載均衡-存儲變化存儲節(jié)點數(shù)據(jù)塊數(shù)據(jù)池集群技術有點集群運行負載均衡算法，全面提升系統(tǒng)內(nèi)設備利用率，均衡設備壓力集群根據(jù)前端數(shù)量變化、存儲設備數(shù)量變化動態(tài)調整系統(tǒng)壓力，保持業(yè)務的穩(wěn)定和高效N+M系統(tǒng)級高可靠性和業(yè)務持續(xù)性，安全系數(shù)全面提升 虛 擬 化存儲資源池500166路數(shù)據(jù)前端路數(shù)據(jù)16

14、7路數(shù)據(jù)167路數(shù)據(jù)250250路數(shù)據(jù)路數(shù)據(jù)125125125125數(shù)據(jù)集中備份存儲-集群容災.存儲節(jié)點數(shù)據(jù)塊數(shù)據(jù)池集群技術優(yōu)點集群運行負載均衡算法，全面提升系統(tǒng)內(nèi)設備利用率，均衡設備壓力集群根據(jù)前端數(shù)量變化、存儲設備數(shù)量變化動態(tài)調整系統(tǒng)壓力，保持業(yè)務的穩(wěn)定和高效N+M系統(tǒng)級高可靠性和業(yè)務持續(xù)性，安全系數(shù)全面提升虛擬化存儲資源池數(shù)據(jù)集中備份存儲用戶價值節(jié)省投資彈性擴展存儲資源按需分配數(shù)據(jù)并發(fā)高速上傳/下載低投入高產(chǎn)出系統(tǒng)可靠穩(wěn)定，屏蔽單多點故障云運維管理面向大數(shù)據(jù)融合 集中備份存儲系統(tǒng)用戶價值 n 節(jié)省投資 文件數(shù)據(jù)和數(shù)據(jù)數(shù)據(jù)只需要一套數(shù)據(jù)集中備份存儲系統(tǒng)； 數(shù)據(jù)集中備份存儲系統(tǒng)不再需要流媒體

15、服務器、存儲服務器、數(shù)據(jù)應用服務器；數(shù)據(jù)集中備份存儲用戶價值n 彈性擴展 數(shù)據(jù)集中備份存儲通過自身彈性擴展可適應由小到大，不同規(guī)模的監(jiān)控系統(tǒng)； 彈性擴展過程系統(tǒng)運行、存儲服務不中斷；數(shù)據(jù)集中備份存儲用戶價值n 數(shù)據(jù)集中備份存儲系統(tǒng)大數(shù)據(jù)支撐 數(shù)據(jù)集中備份存儲系統(tǒng)以高并發(fā)的大數(shù)據(jù)吞吐率向云計算、智能分析系統(tǒng)提供預處理、基礎運算數(shù)據(jù)單元；數(shù)據(jù)集中備份存儲用戶價值目錄43走進數(shù)據(jù)集中備份存儲數(shù)據(jù)集中備份存儲項目設計數(shù)據(jù)集中備份存儲特點與優(yōu)勢2數(shù)據(jù)集中備份存儲架構1 數(shù)據(jù)集中備份存儲設計步驟集中備份存儲套數(shù)逐套集中備份存儲設計Click to add TitleFINISH 實際項目中受機房和網(wǎng)絡環(huán)境

16、的影響，選擇采用一套集中備份存儲或者多套集中備份存儲 管理服務器設計 存儲設備設計 軟件清單的設計 本地數(shù)據(jù)接口，決定管理備份數(shù)據(jù)服務器的數(shù)量和型號集中備份存儲管理服務器集中備份存儲存儲設備 存儲容量決定存儲設備的數(shù)量 平均設備負載決定存儲設備型號軟硬件清單 硬件清單由管理服務器和存儲設備組成 軟件清單由硬件上集成的軟件數(shù)量得出數(shù)據(jù)集中備份存儲設計步驟設計原則機房情況網(wǎng)絡情況 存儲所有設備集中放置，集中備份存儲套數(shù)越少越好一個機房部署一套集中備份存儲系統(tǒng)，集中備份存儲套數(shù)與機房數(shù)量一樣單個機房網(wǎng)絡帶寬需滿足所有前端數(shù)據(jù)流傳送到集中備份存儲系統(tǒng)的帶寬總和。123集中備份存儲套數(shù)數(shù)據(jù)集中備份存儲設

17、計步驟4設計原則1000路規(guī)模 前端本地數(shù)據(jù)接口越多服務器數(shù)量越多、配置越高數(shù)量： 2臺（雙機HA部署）型號： IS-VSE2326X-FDA 4000路規(guī)模數(shù)量： 3臺（集群部署）型號： IS-VSE2326X-FDA 6000路規(guī)模數(shù)量： 5臺（集群部署）型號： IS-VSE2326M-GDA 3124集中備份存儲管理服務器3數(shù)據(jù)集中備份存儲設計步驟設計原則容量計算存儲設備型號和數(shù)量選定需要同時滿足存儲容量和存儲性能的要求。依據(jù)數(shù)據(jù)集中備份存儲容量計算工具算出總容量和設備數(shù)量；容量計算時需保證一定冗余，一般為10%-25%性能計算單機并發(fā)數(shù)據(jù)性能 設備數(shù)量全部前端數(shù)量；推薦形態(tài)數(shù)據(jù)項目： 16盤位或者24盤位數(shù)據(jù)項目： 16、24、36、48、60盤位124集中備份存儲存儲設備3數(shù)據(jù)集中備份存儲設計步驟設計原則硬件清單軟件清單123軟硬件清單軟件清單數(shù)量指的是集成在硬件上的軟件數(shù)量若軟件清單各平臺進行了定義，可按平臺定義的方式列出管理服務器臺數(shù)=N；存儲設備臺數(shù)=M;CVM=N；CVS=M；CVA=M(數(shù)據(jù)項目)；數(shù)據(jù)