存儲系統(tǒng)利舊云化改造方案V1.0

1、存儲利舊云化改造方案目錄1. 方案概述22. 現(xiàn)狀分析與挑戰(zhàn)22.1. 現(xiàn)狀分析22.2. 面臨挑戰(zhàn)23. 解決方案設(shè)計43.1. 指導思想43.2. 總體框架43.3. 系統(tǒng)組成53.4. 系統(tǒng)優(yōu)勢74. 客戶價值95. 案列分享101、方案概述隨著國家對社會治安的越來越重視，在平安城市的建設(shè)中視頻圖像也越來越高清化，原來視頻點位已不能滿足現(xiàn)實需求，因此有了平安城市二期和三期的建設(shè)。在大量視頻點投入和視頻高清化后，原有的存儲系統(tǒng)也不能滿足現(xiàn)實需求，如果重新建設(shè)新的存儲系統(tǒng)就會占用大量資源，而且原有資源也不能再利用造成大量的浪費，基于對城市存儲系統(tǒng)的深入分析，我們推薦使用云存儲改造為公安局架設(shè)

2、統(tǒng)一云存儲系統(tǒng)，通過其高性能、高IO、高可靠、易擴展、易管理的五大特性，從存儲底層來保障公安行業(yè)相關(guān)應用的安全穩(wěn)定可靠的運行。2、現(xiàn)狀分析與挑戰(zhàn)（1）現(xiàn)狀分析舊存儲為 XX 品牌，XX 年采購，共計 XXT 存儲容量， 架構(gòu)為 SAN+NAS，一個機頭+3 個盤柜，F(xiàn)C 交換機為 XX 品牌。目前放到分局使用，容量已不夠，現(xiàn)階段迫切需要解決的問題是存儲空間擴容的問題，同時對陳舊設(shè)備整合有一定要求，保護現(xiàn)有投資。（2）面臨挑戰(zhàn)警務平臺現(xiàn)階段用戶所面臨的瓶頸依然是性能問題、安全性問題、擴展性問題以及管理問題1、性能瓶頸針對智能分析等應用數(shù)以萬計的小文件使得存儲系統(tǒng)針對個別文件的索引速度降低，往往查

3、找數(shù)據(jù)和讀取數(shù)據(jù)需要等待很長的時間。2、安全隱患視頻監(jiān)控平臺，智能分析平臺等海量數(shù)據(jù)下，傳統(tǒng) Raid 安全難以保證在磁盤故障率越來越高的情況下數(shù)據(jù)的安全，且硬盤級別的安全機制已不適用于大規(guī)模的數(shù)據(jù)存儲平臺。3、擴展問題長時間保存的視頻文件，案件資料等海量數(shù)據(jù)占用空間每時每刻都在增長，越來越龐大的數(shù)據(jù)規(guī)模如果擴展存儲平臺將是越來越多警務平臺存儲所面臨的問題。4、管理問題海量數(shù)據(jù)下如何做到統(tǒng)一管理和統(tǒng)一分配空間是傳統(tǒng)存儲所不能及的。5、投資保護新設(shè)備的加入無法保證舊設(shè)備的高利用率，無法保護現(xiàn)有建設(shè)的投資?，F(xiàn)階段存儲容量已不夠，迫切需要解決的問題是存儲空間擴容的問題，同時對陳舊設(shè)備整合有一定要求，

4、保護現(xiàn)有投資。3、解決方案設(shè)計（1）指導思想1充分利用原有存儲設(shè)備不浪費。2新存儲設(shè)備和原有存儲設(shè)備通過云平臺改造可以通用，實現(xiàn)一體化管理。3云平臺建設(shè)要突出安全性高、高性能、擴展性強、高可用性強、操作簡便、易整合等特點。（2）總體框架云存儲平臺架構(gòu)應用了國際領(lǐng)先的分布式HxStor 全局文件系統(tǒng)作為支撐，可支持海量的環(huán)境信息數(shù)據(jù)處理。計算性能與數(shù)據(jù)處理規(guī)模可以動態(tài)伸縮。未來可以自由的擴展，滿足不斷增長的應用需求 。將所有硬件資源構(gòu)建成一個大的集群資源池，將處理性能、緩存、帶寬聚合按需分配資源。服務應用不再與硬件一一綁定，即一個硬件不再單獨為一個硬件服務，資源從專有獨占的方式轉(zhuǎn)變?yōu)橥耆蚕矸绞?/p>

5、，現(xiàn)實自動化的管理，故障自動遷移恢復，不需人工干涉。通過 DRS 技術(shù)自動合理分配資源，自動休眠。透明的 IT 資產(chǎn)管理，清晰的網(wǎng)絡(luò)運維情況，在線人數(shù)檢測 ，設(shè)備使用率在線檢測。原有存儲云改造：原有存儲兩臺 SNA 設(shè)備分別掛接到兩臺 PC 服務器和新增兩臺 X86 架構(gòu)存儲一體機構(gòu)成云節(jié)點，PC 服務器和 X86 架構(gòu)存儲一體機上分別部署互信 HxStor 云存儲平臺軟件共同組成云存儲池，為應用平臺提供存儲空間。（3）系統(tǒng)組成1原有存儲 SAN 設(shè)備掛到 PC 服務器下，作為云改造節(jié)點。2X86 架構(gòu)存儲一體機（16、24、32 等盤位）做為新增云節(jié)點。3云平臺軟件(HxStor)構(gòu)成：應用

6、系統(tǒng)應用系統(tǒng)應用系統(tǒng)存儲集群訪問客戶端HxStor AP（POSIX、NFS、iSCSI）虛擬存儲池元數(shù)據(jù)集群管理引擎存儲系統(tǒng)交換網(wǎng)絡(luò)MDSCIB、1GbE、對象存儲集群管理引擎10GbEOSSCA. 元數(shù)據(jù)服務集群管理模塊：存放整個文件系統(tǒng)的元數(shù)據(jù)，管理整個文件系統(tǒng)的名字空間。提供單一的系統(tǒng)映像，部署在一組通用 X86 結(jié)構(gòu)的 PC 服務器上。B. 對象存儲集群管理模塊：存儲應用系統(tǒng)的文件數(shù)據(jù)，具有故障探測、自我修復功能，內(nèi)置獨特的文件存儲與備份機制，每個文件被系統(tǒng)分割成多塊后按一定規(guī)則存放在多個存儲服務器中，并且每塊文件在其他服務器中至少有 1 份備份（根據(jù)安全和性能需求可設(shè)定為多份），這

7、些軟件部署在一組通用 X86 結(jié)構(gòu)的 PC 服務器上。C. 訪問客戶端：對上層提供標準 POSIX 語義的訪問接口和統(tǒng)一的文件系統(tǒng)映像，響應上層應用對文件訪問請求并通過內(nèi)部私有協(xié)議高速訪問后端集群存儲上的文件數(shù)據(jù)，形成對上層統(tǒng)一的虛擬存儲池。訪問客戶端軟件可以安裝在應用系統(tǒng)服務器上，對應用系統(tǒng)提供訪問存儲的文件支撐，也可以單獨安裝在一組服務器上并與 NFS 或 iSCSI 系統(tǒng)結(jié)合。為了更好的支持高性能計算或虛擬機應用場景下對高 IOPS 的要求，（HxStor）提供高速緩存模塊SOCache（SuperIOCache），利用高性能的 SSD 盤做訪問客戶端的二級緩存，大幅提高性能，同時在兩個

8、訪問客戶端之間使用 InfiniBand 實現(xiàn)高速緩存同步，即時備份和保護用戶數(shù)據(jù)。SOCache 部署在 HxStor AP 的服務器上，可根據(jù)用戶實際需求進行選擇。標準訪問客戶端HxStor集群存儲對象存儲集群管理引擎高性能訪問客戶端SOCache元數(shù)據(jù)集群管理引擎IB（4）系統(tǒng)優(yōu)勢1在線擴容能力A、存儲支持在線擴展，當存儲空間不夠后，直接增加新的存儲設(shè)備，就可以看到存儲空間的增加，應用不用進行停機操作。而傳統(tǒng)存儲，由于提供的為卷設(shè)備，無法進行方便的擴展，擴展的時候需要將大量數(shù)據(jù)導出增加設(shè)備數(shù)據(jù)倒入的操作，在擴容的時候需要停止應用且擴容周期較長。B、隨擴容性能提升，HxStor 的架構(gòu)對決

9、定其存儲訪問效率與存儲設(shè)備數(shù)量有直接關(guān)系，隨著存儲設(shè)備的增多其訪問效率也將近線性增加。傳統(tǒng)磁盤陣列，架構(gòu)所限，后端盤柜的擴展并不能影響機頭的能力，無法實現(xiàn)存儲性能的近線性增加。2原有存儲改造可以將現(xiàn)有磁盤陣列接入系統(tǒng)。對于磁盤陣列起到利舊作用，同時依靠數(shù)據(jù)副本技術(shù)提高其可靠性，同時可以對所有納入HxStor存儲的空間進行統(tǒng)一管理。3數(shù)據(jù)副本高可用存儲系統(tǒng)采用數(shù)據(jù)副本技術(shù)，準許15臺設(shè)備同時故障而不影響應用訪問。例如有10臺我們當存儲設(shè)備，對于關(guān)鍵數(shù)據(jù)我們做了6份副本，如果有5臺存儲設(shè)備完全故障，對于該關(guān)鍵應用來說也將不受任何影。4HxStor存儲系統(tǒng)可以輸出多種接口Linux Posix 接口

10、，用于 Linux 系統(tǒng)應用使用，文件級別接口，效率高。 ISCSI 接口，用于支持桌面虛擬化，特點為高 IOPS?？?NFS、CIFS，windows、unix 操作系統(tǒng)訪問使用，windows、unix 操作系統(tǒng)可以獲得海量數(shù)據(jù)存儲能力。4、客戶價值1保護原有投資針對原有存儲系統(tǒng)有效整合，讓原有投資不浪費，繼續(xù)發(fā)揮存儲作用。2數(shù)據(jù)高安全性HxStor 系統(tǒng)不僅可以把存儲安全級別從硬盤 RAID 級別提升到物理節(jié)點級安全，徹底顛覆了傳統(tǒng)存儲系統(tǒng)架構(gòu)，更加有力的保障了存儲數(shù)據(jù)的安全性。3滿足高性能要求在實際應用環(huán)境中，多臺應用服務器同時并發(fā)訪問存儲時，對存儲的性能要求十分高，本套集群存儲系統(tǒng)聚

11、合所有網(wǎng)絡(luò)帶寬，對外提供服務，正好滿足了對存儲系統(tǒng)性能的要求。4提高業(yè)務連續(xù)性在存儲系統(tǒng)安全性得到保障的同時，大大的提高了前端應用服務器訪問后端存儲設(shè)備的安全，減少了故障發(fā)生的概率，大大的提高了業(yè)務連續(xù)性。5應用場景介紹平安城市公安分局存儲擴容改造、市局存儲擴容改造、公安網(wǎng)、視頻專網(wǎng)、社會資源接入網(wǎng)存儲擴容改造、智能分析等海量數(shù)據(jù)存儲。5、案列分享HxStor 在 CNGI 科學數(shù)據(jù)云中云存儲改造的應用:1項目背景概述面向科學數(shù)據(jù)管理的云存儲環(huán)境（簡稱科學數(shù)據(jù)云）作為中國下一代互聯(lián)網(wǎng)示范工程(CNGI 項目)的 CNG-CstNet的重要組成部分，主要為科學院系統(tǒng)遍布全國的 100 多個科研院

12、所、八萬多科研人員以及上萬個課題組服務，為這些單位用戶、個人用戶、集體用戶提供基礎(chǔ)的虛擬資源存儲服務，同時考慮各地現(xiàn)在存儲設(shè)備利用通過云存儲改造逐步建設(shè)適應科學數(shù)據(jù)管理的數(shù)據(jù)交互、數(shù)據(jù)處理、數(shù)據(jù)備份服務，為將來科學數(shù)據(jù)歸檔中心建設(shè)奠定基礎(chǔ)。2項目總體結(jié)構(gòu)在 CNGI 國家科學數(shù)據(jù)云項目中北京互信互通信息技術(shù)有限公司根據(jù)現(xiàn)實情況充分利用了各區(qū)域的現(xiàn)在存儲設(shè)備，通過和 PC 服務器對接和新增 X86 架構(gòu)造體機一起成為云存儲平臺節(jié)點，全面采用了 HxStor 集群存儲系統(tǒng)，為科學數(shù)據(jù)云平臺提供方便高效的存儲支撐、應用訪問支撐。目前已經(jīng)采購 HxStor 集群文件系統(tǒng)多套（共計容量 5PB），形成了比較完善的協(xié)議棧，滿足不同類型用戶的需要和未來應用擴展的需要。3應用與部署情況l 分布式集群存儲系統(tǒng) HxStor 將根據(jù)需求部署中科院多個分院數(shù)據(jù)中心。l 每套 HxStor 集群存儲系統(tǒng)均基于標準 X86 存儲服務器構(gòu)建。l 數(shù)據(jù)中心間通過科技網(wǎng)（IPV6/IPV4）網(wǎng)絡(luò)高速互聯(lián)。l 建立統(tǒng)一存儲