雙控存儲系統(tǒng)

雙控存儲系統(tǒng)隨著我國科技的發(fā)展和信息化建設(shè)的不斷深入，各種數(shù)據(jù)量迅速增長，數(shù)據(jù)應(yīng)用的深度也不斷增加。在英國工業(yè)革命之后，各種書籍等以文字為載體的知識大約每十年翻一番，１９世紀７０年代后，全球信息總量大約每三年就翻一番。而到了現(xiàn)如今，全球信息總量每兩年就可翻一番。２０1１年全球數(shù)據(jù)總量已經(jīng)達到１．８ＺＢ，并且根據(jù)預(yù)計每年以５０％的速度增長，我們己經(jīng)進入了大數(shù)據(jù)時代。在大數(shù)據(jù)時代，數(shù)據(jù)的存儲不僅是針對原生數(shù)據(jù)，更多的是第三方數(shù)據(jù)。隨著大數(shù)據(jù)時代的不斷推進，原生數(shù)據(jù)越來越呈現(xiàn)單一孤立化，而大數(shù)據(jù)處理就是要將眾多看似毫無聯(lián)系的單一孤立化數(shù)據(jù)聯(lián)系起來，產(chǎn)生各種針對性很強的第三方數(shù)據(jù)。隨著大數(shù)據(jù)處理的發(fā)展，第Ｈ方數(shù)據(jù)量與日俱增，帶有各項綜合價值的第三方數(shù)據(jù)在質(zhì)量和數(shù)量上都遠超單一的原生數(shù)據(jù)。特別是政府、金融、軍工、通信等特殊行業(yè)，對數(shù)據(jù)存儲的安全、可靠性等有更加特殊的技術(shù)要求。棱鏡門事件后有報告宣稱部分國外科技公司在我國很多關(guān)鍵領(lǐng)域特別是數(shù)據(jù)存儲領(lǐng)域拓展業(yè)務(wù)的同時，與他國軍隊、政府等保持密切聯(lián)系，導(dǎo)致他國情報部門通過這些公司在關(guān)鍵領(lǐng)域鋪設(shè)的設(shè)備、網(wǎng)絡(luò)等非法獲取我國機密信息，給我國的信息安全帶來巨大威脅。特別是棱鏡門后，我國加大了政府信息工程的國產(chǎn)化工作。在這種情況下，存儲系統(tǒng)的數(shù)據(jù)重要性日益凸顯，發(fā)展國產(chǎn)存儲對降低我國信息化成本、保障國家的信息安全有著非比尋常的意義。與此同時，隨著存儲需求的迅速膨脹，我國存儲產(chǎn)業(yè)己經(jīng)達到了上百億的規(guī)模。存儲的產(chǎn)業(yè)經(jīng)濟價值也開始凸現(xiàn)出來。與此同時，保證數(shù)據(jù)的高可用和高可靠逐漸成為各大廠商存儲研究的熱點。磁盤陣列技術(shù)的不斷應(yīng)用使得存儲系統(tǒng)的故障單點有逐漸向控制器轉(zhuǎn)移的趨勢。在金融、電信、互聯(lián)網(wǎng)等行業(yè)里，存儲系統(tǒng)發(fā)生宕機會給用戶帶來致命問題。所以研制擁有自主知識產(chǎn)權(quán)的雙控存儲系統(tǒng)就具有強烈的現(xiàn)實意義和極高的經(jīng)濟價值。存儲技術(shù)的發(fā)展計算機最初采用串行的延遲線存儲器，不久又用磁鼓存儲器。50年代中期，主要使用磁芯存儲器作為主存。60年代中期以后，半導(dǎo)體存儲器已取代磁芯存儲器。在邏輯結(jié)構(gòu)上，并行存儲和從屬存儲器技術(shù)的采用提高了主存的供數(shù)速度，緩和了主存和高速的中央處理器速度不匹配的矛盾。1968年IBM-360／85最早采用了高速緩沖存儲器——主存儲器結(jié)構(gòu)。高速緩沖存儲器的存取周期與中央處理器主頻周期一樣，由硬件自動調(diào)度高速緩沖存儲器與主存儲器之間信息的傳遞，使中央處理器對主存儲器的絕大部分存取操作，可以在中央處理器和高速緩沖存儲器之間進行。1970年，美國RCA公司研究成功虛擬存儲器系統(tǒng)。IBM公司于1972年在IBM370系統(tǒng)上全面采用了虛擬存儲技術(shù)。由于科學(xué)計算和數(shù)據(jù)處理對存儲系統(tǒng)的要求越來越高，需要不斷改進已有的存儲技術(shù)，研究新型的存儲介質(zhì)，改善存儲系統(tǒng)的結(jié)構(gòu)和管理。大規(guī)模集成電路和磁盤依然是主要的存儲介質(zhì)。利用新型材據(jù)也不會丟失?？蛻舳酥鳈C和存儲設(shè)備之間的連接方式可以采用故障轉(zhuǎn)移或者綁定虛擬IP地址的方式。鏡像控制器時刻監(jiān)控主控制器是否工作正常，當主控制器發(fā)生異常后，客戶端接收不到數(shù)據(jù)請求響應(yīng)，會使用與鏡像控制器的連接發(fā)送命令。此時鏡像控制器上線代替主控制器處理請求，保證了高可用性。同時鏡像控制器將緩存中的備份數(shù)據(jù)做適當處理，寫入磁盤，或直接作為緩存數(shù)據(jù)使用。Active-Standby設(shè)計方案實現(xiàn)簡單，成本相對較低，但是同時只有一個控制器工作，降低了性能和利用率，主要面對中低端市場。2.Active-Active在Active-Actiive設(shè)計方案中，兩個控制器可以同時操作磁盤陣列，同時對外提供讀寫請求服務(wù)。兩個控制器的地位是對等的，不同的是兩個控制器接收到的數(shù)據(jù)請求是客戶端經(jīng)過協(xié)議分發(fā)之后的。為了保證緩存數(shù)據(jù)的可靠性，兩個控制器要分別備份對方控制器的緩存數(shù)據(jù)。每個控制器本身的緩存空間分為兩個部分，一部分是當前控制器的緩存數(shù)據(jù)，另一部分氏對方控制器的緩存?zhèn)浞?。當其中一個控制器發(fā)生異常無法工作后，另一個接管所有的客戶端數(shù)據(jù)請求，不會導(dǎo)致存儲服務(wù)中斷，并且緩存里的數(shù)據(jù)沒有丟失。由于連個控制器可以同時上線工作，所以Active-Active的性能和資源利用率要比Active-Standby方式高，但同時緩存的設(shè)計實現(xiàn)更加復(fù)雜，成本高，主要面向中高端市場。雙控存儲系統(tǒng)實現(xiàn)原理雙控存儲系統(tǒng)利用增加磁盤控制器來處理系統(tǒng)的單點故障。雙控制器之間通過ＮＴＢ高速鏈路通道進行數(shù)據(jù)的緩存鏡像，控制器之間通過心跳鏈路來實時監(jiān)控對方狀態(tài)。每個控制器都單獨通過ＳＡＳ接口與后端磁盤陣列相連，并且在單一控制器巖機時可以實現(xiàn)控制器切換，最大程度的減少控制器故障帶來的損失ＢＢＵ系統(tǒng)會在在整機系統(tǒng)掉電時進行緩存數(shù)據(jù)往ＳＳＤ的寫入，做到意外掉電不丟數(shù)據(jù)。雙控存儲系統(tǒng)設(shè)計原則１、模塊化原則雙控存儲系統(tǒng)嚴格遵從整體到局部，自上而下的原則進行設(shè)計。遵循模塊化設(shè)計原則，軟硬組件依據(jù)不同功能進行劃分，雙控系統(tǒng)內(nèi)部的按制流、數(shù)據(jù)流和管理流彼此分離，管理與控制任務(wù)不會對數(shù)據(jù)的訪問造成任何影響，從而有力的保證數(shù)據(jù)訪問的離效性與存儲系統(tǒng)整體結(jié)構(gòu)的穩(wěn)定性。２、高性能原則雙控存儲系統(tǒng)為各個應(yīng)用場景提供髙帶寬、高性能、低延遲的數(shù)據(jù)訪問服務(wù)，能夠承擔大規(guī)模的數(shù)據(jù)吞吐量和大量用戶的并發(fā)訪問，這就要求系統(tǒng)以提高整體性能為目標，優(yōu)化內(nèi)部數(shù)據(jù)流程，提高用戶訪問效率。３、高可靠、高可用原則雙控存儲系統(tǒng)的處理的數(shù)據(jù)量很大，但是無論多大的數(shù)據(jù)量丟失都會給客戶帶來無可彌補的損失。數(shù)據(jù)無價，所Ｗ存儲系統(tǒng)的設(shè)計必須以保證高可靠和高可用為最大原則。系統(tǒng)采用冗余方式設(shè)計，使得系統(tǒng)沒有單點故障的風險，建設(shè)完巧善的系統(tǒng)狀態(tài)監(jiān)控和糾錯算法，對重點部件進行重點防護。數(shù)據(jù)在內(nèi)部采用兀余存儲，并形成一套完整的災(zāi)難恢復(fù)策略，確保系統(tǒng)被破壞后可及時進行恢復(fù)。４、可擴展原則雙控存儲系統(tǒng)力求靈活且可擴展，能夠在規(guī)模、容量和性能等幾個方面依據(jù)用戶需求進行調(diào)整，動態(tài)増刪磁盤陣列、網(wǎng)絡(luò)設(shè)備與存儲服務(wù)器，以適應(yīng)用戶對網(wǎng)絡(luò)帶寬、存儲容量和數(shù)據(jù)存儲效率的需求。５、易管理原則雙控存儲系統(tǒng)包含數(shù)量眾多的磁盤陣列、網(wǎng)絡(luò)連接設(shè)備和存儲服務(wù)器，內(nèi)部運行功能各異的存儲核屯、軟件，需要對各種資源進行有效的管理，使用繞一視圖的方式提供給管理員，方便對整個系統(tǒng)進行監(jiān)控與管理。６、經(jīng)濟性原則雙控存儲系統(tǒng)需要整機各個部件搭配合適才能發(fā)揮出每個部件的最大性能，而且也有利于控制整機的成本，降低不必要的開銷。７、保障性原則雙控存儲系統(tǒng)設(shè)計時以最大程度保證高性能、易擴展、髙可用、易管理為核屯、出發(fā)點，在設(shè)計出現(xiàn)沖突時以此為基礎(chǔ)進行折衷，保證設(shè)計結(jié)果的有效性。系統(tǒng)實施后可保證對用戶的訪問請求進行快速響應(yīng)，確保數(shù)據(jù)的安全可靠存儲，并可對系統(tǒng)內(nèi)部的各類資源進行方便的統(tǒng)一監(jiān)控與管理，為各種類型的用戶提供良好的數(shù)據(jù)訪問服務(wù)。架構(gòu)設(shè)計雙控制器存儲系統(tǒng)由兩臺軟硬件完全相同的計算機作為列陣控制器，兩個控制器通過高速通道連接實現(xiàn)數(shù)據(jù)傳輸，用于一共高速緩存同步、心跳信號傳輸、控制切換等功能。雙控制器及背板之間殘念用無線纜設(shè)計，將大大減少信號間的串擾。每個控制器搭載一顆P3041斯和控制器，向外拓展8個PCIE插槽，可以連接萬兆等設(shè)備?？刂破魍ㄟ^SAS驅(qū)動卡或者RAID卡連接到磁盤陣列，對外提供ISCSI和FC網(wǎng)絡(luò)接口，為客戶及提供高速的數(shù)據(jù)傳輸。為了防止突然斷電造成數(shù)據(jù)損壞，平臺提供了備用電源，在斷電時將內(nèi)存的數(shù)據(jù)寫入到其他設(shè)備中，通電后可恢復(fù)。雙控存儲系統(tǒng)體系結(jié)構(gòu)優(yōu)勢普通的基于Ｘ％平臺架構(gòu)的２Ｕ／３Ｕ單控存儲系統(tǒng)在遇到系統(tǒng)單點故障特別是控制器故障時極易宕機，對企業(yè)生產(chǎn)是一種潛在的巨大危機。雙控存儲系統(tǒng)利用增加磁盤控制器來處理系統(tǒng)的單點故障。雙控制器之間通過ＮＴＢ高速鏈路通道進行數(shù)據(jù)的緩存鏡像，控制器之間通過也跳鏈路來實時監(jiān)控對方狀態(tài)，并且在單一控制器若機時可以實現(xiàn)控制器切換，最大程度的減少控制器故障帶來的損失。此外，ＢＢＵ系統(tǒng)會在在整機系統(tǒng)掉電時進行緩存數(shù)據(jù)往ＳＳＤ的寫入，做到意外掉電不丟數(shù)據(jù)。增加了系統(tǒng)整體可靠性。而且本雙控存儲系統(tǒng)還可搭配相應(yīng)的磁盤擴展柜進行磁盤擴展，支持大容量磁盤陣列控制。國內(nèi)外研究現(xiàn)狀隨著技術(shù)進步，存儲系統(tǒng)的接入形式由最初的ＤＡＳ演變到ＮＡＳ、ＳＡＮ，磁盤陣列的結(jié)構(gòu)也由最初的單控逐漸發(fā)展到雙控，目前國外公司己經(jīng)推出成熟的雙控產(chǎn)品，如ＥＭＣＣＸ系列、舊ＭＤＳ系列、ＮｅｔａｐｐＥ５系列產(chǎn)品。國內(nèi)一些存儲領(lǐng)域研巧知名高校如清華、華中科技大學(xué)，企業(yè)如浪潮、華為等在雙控存儲產(chǎn)品的開發(fā)方面投入了大量的資源，有了較強的技術(shù)積累。但在各自的研巧方向上，這些機構(gòu)又有所分別，如高校機構(gòu)的技術(shù)研究比較前沿，但產(chǎn)品化有所欠缺，企業(yè)研究的技術(shù)實用性強，但前瞻性不夠。在雙控存儲技術(shù)領(lǐng)域，國內(nèi)有了一些技術(shù)基礎(chǔ)，但還沒有形成大規(guī)模的產(chǎn)業(yè)化。雙控存儲系統(tǒng)的實現(xiàn)方式可以分為兩種：純軟件方式和硬件共享磁盤架構(gòu)。前者主要是利用軟件進行數(shù)據(jù)的鏡像，但是兩個控制器之間是完全獨立的，可以理解為兩套一樣的數(shù)據(jù)存儲設(shè)備。純軟件方式的優(yōu)點在于對硬件的需求較小，而且方便部署安裝，缺點就是難于進行數(shù)據(jù)管理而且容易損失整機性能。后者則是兩個控制器利用ｉＳＣＳＩ總線訪問同一個磁盤組的硬件共享磁盤架構(gòu)。從本質(zhì)上來講，只有硬件共享磁盤架構(gòu)才是真正的雙控存儲系統(tǒng)采用的架構(gòu)方式。采用這種架構(gòu)的雙控存儲系統(tǒng)在發(fā)生單一控制器故障時可ｙＡ不用考慮數(shù)據(jù)一致性的問題而僅僅進行控制器的切換，可Ｗ更加及時有效而且準確的進巧數(shù)據(jù)保護。目前國內(nèi)采用純軟件方式進行雙控系統(tǒng)搭建一般是利用LIFEＫｅｅｐｅｒ、ＲｏｓｅＨＡ等雙控方案，其中ＬｉFEＫｅｅｐｅｒ是當前比較常用的集群軟件，致力于解決控制故障容錯的問題。它除了可支持創(chuàng)建集群，也可以支持雙機工作。ＬｉｆｅＫｅｅｐｅｒ在擴展鏡像方式下可從相互熱備份且實現(xiàn)兩個控制器各自運行不同應(yīng)用，實現(xiàn)雙Ａｃｔｉｖｅ工作模式。當出現(xiàn)控制器故障時，ＬｉｆｅＫｅｅｐｅｒ可實時進行系統(tǒng)資源切換。ＲｍｃＨＡ雙控系統(tǒng)采用兩個控制器與磁盤陣列直連的方式，控制器應(yīng)用軟件和ＲｏｓｅＨＡ分別安裝在兩個控制器上，兩個控制器之間通過也跳鏈路連接曰－Ｗ。ＲｏｓｅＨＡ軟件通過監(jiān)控也跳信息來實時采集對方控制器的運行狀態(tài)。這類純軟件的方式易于搭建而且對硬件平臺的要求不髙，但是配置過程異常的繁瑣，后期還需要專業(yè)人員進行定期維護。國外一些存儲公司的存儲產(chǎn)品比如舊Ｍ的ＳｔｏｒｗｉｚｅＶ７０００就是采用硬件共享磁盤架構(gòu)模式，兩個控制器都通過ＳＡＳ接口與后端磁盤陣列相連。大致來看，國內(nèi)的雙控存儲系統(tǒng)還不能完全與海外公司競爭。而且國外的中高端雙控存儲系統(tǒng)成本高昂，對國內(nèi)企事業(yè)單位有著不低的價格口檻和安全風險。所研制擁有自主知識產(chǎn)權(quán)的雙控存儲系統(tǒng)具有非常重要的現(xiàn)實意義和經(jīng)濟價值。目