曙光媒資管理系統(tǒng)存儲(chǔ)解決方案

1、第一章 媒資管理系統(tǒng)存儲(chǔ)需求分析隨著數(shù)字媒體技術(shù)的發(fā)展，存儲(chǔ)技術(shù)在數(shù)字媒體領(lǐng)域也得到了廣泛應(yīng)用。特別是數(shù)字技術(shù)的迅猛變革，使存儲(chǔ)數(shù)字媒體的技術(shù)手段也發(fā)生很大變化。在媒體爆炸性增長(zhǎng)的同時(shí)，廣電行業(yè)十分關(guān)心數(shù)字技術(shù)的未來(lái)發(fā)展，同時(shí)也更加關(guān)心數(shù)字媒體資產(chǎn)的管理、使用和存儲(chǔ)。 數(shù)字媒體節(jié)目平臺(tái)通常由節(jié)目制作系統(tǒng)、媒資存儲(chǔ)管理系統(tǒng)、節(jié)目播出系統(tǒng)三部分組成。其中媒資存儲(chǔ)管理系統(tǒng)是核心。媒體資產(chǎn)管理（MAM）的實(shí)質(zhì)是：以智能存儲(chǔ)為中心，建立具有資源共享的數(shù)據(jù)化、網(wǎng)絡(luò)化、自動(dòng)化系統(tǒng)，能夠支持電視臺(tái)各頻道節(jié)目的數(shù)字化采集、編輯、播出、審查、存儲(chǔ)，全面提高節(jié)目制作效率。它是以內(nèi)容管理為基本理念的一個(gè)對(duì)媒體及內(nèi)容(

2、如視/音頻資料、文本文件、圖表等)進(jìn)行總體管理的完整存儲(chǔ)管理系統(tǒng)，它基本能滿足資產(chǎn)擁有者收集、保存、查找、發(fā)布各種信息的要求，為媒體資源的使用者提供了訪問(wèn)內(nèi)容更為簡(jiǎn)便的方法，從而高效地保存和利用了媒體資產(chǎn)，拓展了新的業(yè)務(wù)增長(zhǎng)點(diǎn)。媒體資產(chǎn)是廣播電臺(tái)最基本也是最重要的生產(chǎn)資料，要有效推動(dòng)廣播電臺(tái)的發(fā)展，應(yīng)將內(nèi)容生產(chǎn)和資源管理緊密結(jié)合，以建設(shè)多接口、數(shù)字化、網(wǎng)絡(luò)化的海量媒體內(nèi)容存儲(chǔ)和管理平臺(tái)為目標(biāo)，滿足廣播電臺(tái)節(jié)目資料存儲(chǔ)檢索、節(jié)目制作發(fā)布和內(nèi)容版權(quán)經(jīng)營(yíng)的需求。隨著數(shù)字媒體技術(shù)發(fā)展的不斷推進(jìn)以及高清、新媒體等業(yè)務(wù)的全面展開，為了更好的滿足采集整理、編目檢索、運(yùn)行管理等多個(gè)業(yè)務(wù)系統(tǒng)的要求，媒資管理系統(tǒng)

3、對(duì)存儲(chǔ)容量、訪問(wèn)寬帶等要求提高，具體要求如下：容量要求隨著高清視頻的普及，電視臺(tái)節(jié)目素材的快速增長(zhǎng)，對(duì)存儲(chǔ)系統(tǒng)提出了大容量的存儲(chǔ)需求 高帶寬要求電臺(tái)制作人員需要頻繁訪問(wèn)媒資系統(tǒng)，進(jìn)行媒資文件的讀取和寫入，且由于電視臺(tái)節(jié)目制作的特殊性，該媒資文件系統(tǒng)隨時(shí)都有可能處于高速運(yùn)轉(zhuǎn)模式下，必須有足夠的帶寬才能保證視頻的圖像連續(xù)可靠性要求非編系統(tǒng)中素材文件珍貴，數(shù)據(jù)存儲(chǔ)系統(tǒng)的可靠性是數(shù)據(jù)安全的有力保障。要具備從硬件到軟件的冗余機(jī)制或安全機(jī)制，具有容錯(cuò)性，能提供持續(xù)正常的數(shù)據(jù)訪問(wèn)服務(wù)?？蓴U(kuò)展性多媒體業(yè)務(wù)日新月異的發(fā)展，要求存儲(chǔ)系統(tǒng)不僅在容量上可持續(xù)擴(kuò)展，同時(shí)在性能上也要不斷提高。 高性價(jià)比 媒資管理系統(tǒng)是一

4、個(gè)海量存儲(chǔ)系統(tǒng)，存儲(chǔ)系統(tǒng)不僅要提供海量的存儲(chǔ)空間，同時(shí)要保證訪問(wèn)的性能。 高效的檢索能力 海量的存儲(chǔ)空間中，需要快速的查找出所需的素材，提高媒資系統(tǒng)的管理能力，因此存儲(chǔ)系統(tǒng)應(yīng)提供高速IO的訪問(wèn)能力，減少系統(tǒng)響應(yīng)時(shí)間。 第二章 曙光存儲(chǔ)解決方案介紹媒資系統(tǒng)通常采用分級(jí)存儲(chǔ)架構(gòu)，一般分為在線+近線；其中在線又分為高碼流存儲(chǔ)、低碼流存儲(chǔ)；高碼流存儲(chǔ)主要為高碼流視音頻文件的緩存，為采集、入庫(kù)及出庫(kù)等業(yè)務(wù)提供存儲(chǔ)支撐；低碼流存儲(chǔ)主要為流媒體文件的長(zhǎng)期存儲(chǔ)，為編目、檢索等業(yè)務(wù)提供存儲(chǔ)支撐。在媒資系統(tǒng)中，存儲(chǔ)的分量愈發(fā)厚重，對(duì)存儲(chǔ)系統(tǒng)的性能、擴(kuò)展性、可用性的要求也愈發(fā)嚴(yán)格。1.1.1. 傳統(tǒng)FC+以太的雙網(wǎng)

5、結(jié)構(gòu)解決方案?jìng)鹘y(tǒng)的媒資存儲(chǔ)系統(tǒng)以磁盤陣列作為在線存儲(chǔ)設(shè)備、數(shù)據(jù)流磁帶庫(kù)作為近線存儲(chǔ)設(shè)備，通過(guò)分布式存儲(chǔ)歸檔軟件，實(shí)現(xiàn)了不同存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移，建立起廣電數(shù)字節(jié)目平臺(tái)的存儲(chǔ)管理系統(tǒng)。目前電視臺(tái)一般都采用 FC+以太的雙網(wǎng)結(jié)構(gòu)模式構(gòu)建其媒資存儲(chǔ)系統(tǒng)，其中SAN網(wǎng)絡(luò)用于連接前端應(yīng)用服務(wù)器、工作站和存儲(chǔ)系統(tǒng)，為了實(shí)現(xiàn)SAN上的數(shù)據(jù)共享，目前通常使用SAN共享文件系統(tǒng)軟件，如SANergy、Stornext等來(lái)完成。這些軟件的工作機(jī)理是采用一臺(tái)或兩臺(tái)服務(wù)器作為元數(shù)據(jù)控制器(Meta Data Controller，MDC)，負(fù)責(zé)管理整個(gè)文件系統(tǒng)，SAN中其他客戶端進(jìn)行數(shù)據(jù)讀寫時(shí)，須先向MDC申請(qǐng)令牌，

6、在MDC進(jìn)行數(shù)據(jù)調(diào)度后方可操作。為保證SAN共享文件系統(tǒng)軟件的正常工作，除建立FC網(wǎng)絡(luò)，還須要建立以太網(wǎng)用于傳遞控制信息。這就是所謂的雙網(wǎng)結(jié)構(gòu)。它由基于FC協(xié)議的光纖通道網(wǎng)和基于TCP/IP協(xié)議的以太網(wǎng)組成，其中以太網(wǎng)主要傳輸控制信息和數(shù)據(jù)庫(kù)信息，F(xiàn)C網(wǎng)絡(luò)主要傳輸高碼率的視音頻素材數(shù)據(jù)。存儲(chǔ)系統(tǒng)包括磁盤陣列和數(shù)據(jù)流磁帶庫(kù)，其中磁盤陣列作為在線存儲(chǔ)設(shè)備，通常選用具有超級(jí)的吞吐性能和更加強(qiáng)勁的連接能力的光纖磁盤陣列，用于存儲(chǔ)用戶的熱點(diǎn)音視頻素材，磁帶庫(kù)作為近線存儲(chǔ)設(shè)備，通常配置較大的存儲(chǔ)空間，用于存儲(chǔ)用戶的非熱點(diǎn)數(shù)據(jù)。為了實(shí)現(xiàn)在線存儲(chǔ)系統(tǒng)與近線存儲(chǔ)系統(tǒng)間的遷移、回遷和數(shù)據(jù)管理，還需要購(gòu)買專業(yè)的數(shù)據(jù)

7、遷移管理系統(tǒng) 。雙網(wǎng)架構(gòu)媒資存儲(chǔ)系統(tǒng)方案架構(gòu)基于“FC+以太”的雙網(wǎng)結(jié)構(gòu)的媒資分級(jí)存儲(chǔ)系統(tǒng)，最大的優(yōu)點(diǎn)在于高性能，可以保證大數(shù)據(jù)量的并發(fā)訪問(wèn)情況下主機(jī)讀寫帶寬的穩(wěn)定。但這種架構(gòu)也存在著相當(dāng)多的不足。系統(tǒng)復(fù)雜，管理維護(hù)成本過(guò)高存儲(chǔ)系統(tǒng)由磁盤陣列、磁帶庫(kù)、SAN共享軟件、分級(jí)存儲(chǔ)軟件、FC SAN以及IP SAN網(wǎng)絡(luò)構(gòu)成，管理和使用人員要對(duì)這些設(shè)備都比較了解，才能順利地使用和管理，對(duì)操作人員的素質(zhì)要求比較高。并且由于此種結(jié)構(gòu)的存儲(chǔ)系統(tǒng)其產(chǎn)品通常采購(gòu)自不同的廠商，當(dāng)存儲(chǔ)系統(tǒng)出現(xiàn)故障時(shí)，存在著職責(zé)劃分不清、工程師難以協(xié)調(diào)等諸多問(wèn)題，不利于系統(tǒng)的盡快維修和恢復(fù)。系統(tǒng)可靠性不高同樣由于存儲(chǔ)系統(tǒng)包含的功能模

8、塊過(guò)多，每個(gè)功能模塊都是一個(gè)潛在的系統(tǒng)故障點(diǎn)，任以模塊出現(xiàn)問(wèn)題，整個(gè)存儲(chǔ)系統(tǒng)將會(huì)癱瘓。構(gòu)建成本過(guò)高，存在嚴(yán)重的資源浪費(fèi)同時(shí)由于服務(wù)器和工作站都需要安裝FC HBA，網(wǎng)絡(luò)中需要大量的光纖通道交換機(jī)，這種網(wǎng)絡(luò)結(jié)構(gòu)也大大地增加了系統(tǒng)的建設(shè)成本，相當(dāng)大的一部分投資要用購(gòu)買光纖通道網(wǎng)絡(luò)設(shè)備和光纖存儲(chǔ)；而且，全臺(tái)網(wǎng)中的編目工作站、檢索工作站以及其它的需要進(jìn)行低碼率文件讀寫的工作站數(shù)量一般都是幾十臺(tái)，甚至上百臺(tái)，與之相關(guān)存儲(chǔ)共享管理軟件的購(gòu)置費(fèi)用也會(huì)非常昂貴。同時(shí)，專業(yè)的數(shù)據(jù)遷移軟件也需要一筆不少的資金投入。系統(tǒng)擴(kuò)展性不好同時(shí)，隨著電視臺(tái)節(jié)目數(shù)量的增加，要求存儲(chǔ)系統(tǒng)的性能和容量可以進(jìn)行按需動(dòng)態(tài)添加，而傳統(tǒng)的

9、雙網(wǎng)結(jié)構(gòu)存儲(chǔ)系統(tǒng)在性能和容量都存在著擴(kuò)展的上限，很難滿足未來(lái)業(yè)務(wù)發(fā)展的需要。 存在兼容性問(wèn)題其次，由于FC協(xié)議發(fā)展的時(shí)間還比較短(與以太網(wǎng)相比)，標(biāo)準(zhǔn)化工作完成得不夠好，不同廠商的產(chǎn)品間互操作性比較差，用戶在實(shí)際使用中，經(jīng)常會(huì)被一些設(shè)備不兼容的問(wèn)題所困擾，特別是在不同品牌的交換設(shè)備進(jìn)行級(jí)聯(lián)或路由時(shí)尤為突出，故在進(jìn)行產(chǎn)品選擇時(shí)會(huì)有很大的局限性。1.2. 基于單網(wǎng)架構(gòu)的集群NAS存儲(chǔ)解決方案近一兩年來(lái)，隨著IT技術(shù)日新月異的發(fā)展，特別是千兆/萬(wàn)兆以太網(wǎng)技術(shù)的成熟、芯片處理能力的提升、iSCSI等相關(guān)標(biāo)準(zhǔn)的制定，一種面向視音頻應(yīng)用的基于純以太網(wǎng)的單網(wǎng)架構(gòu)解決方案開始出現(xiàn)，并已經(jīng)在國(guó)內(nèi)外諸多項(xiàng)目中得到

10、了應(yīng)用。目前幾種常見的基于單網(wǎng)的解決方案主要包括NAS技術(shù)、iSCSI技術(shù)和集群NAS存儲(chǔ)系統(tǒng)等三類。其中NAS和iSCSI技術(shù)由于其本身技術(shù)的限制，主要應(yīng)用于對(duì)性能及擴(kuò)展性要求不是很苛刻的中小規(guī)模存儲(chǔ)系統(tǒng)，而集群NAS存儲(chǔ)系統(tǒng)由于其高性能、高可擴(kuò)展性、高可靠和易管理使用等特色，是近幾年在廣電行業(yè)得以大規(guī)模推廣和使用的高端存儲(chǔ)系統(tǒng)。集群NAS是眾多主流存儲(chǔ)廠商力推的一套存儲(chǔ)解決方案，準(zhǔn)確地說(shuō)它是基于并行文件系統(tǒng)的多NAS網(wǎng)關(guān)存儲(chǔ)服務(wù)器。它的核心是并行文件系統(tǒng)，這是一個(gè)SAN共享文件系統(tǒng)，與NAS文件系統(tǒng)相比，具有明顯的優(yōu)勢(shì)，這些優(yōu)勢(shì)包括其支持PB級(jí)的單文件系統(tǒng)、支持并行讀寫同一文件、支持文件系

11、統(tǒng)動(dòng)態(tài)擴(kuò)展、支持零秒的故障切換等。集群NAS解決方案的實(shí)質(zhì)是采用多個(gè)安裝有并行文件系統(tǒng)的節(jié)點(diǎn)服務(wù)器，通過(guò)NFS、CIFS等協(xié)議共享同一個(gè)卷。集群NAS由存儲(chǔ)子系統(tǒng)、NAS集群（機(jī)頭）、客戶端和網(wǎng)絡(luò)組成?？蛻舳藢?duì)數(shù)據(jù)的訪問(wèn)方式與訪問(wèn)普通的NAS是一樣的，只不過(guò)這個(gè)NAS網(wǎng)關(guān)的性能是可以水平擴(kuò)展的。當(dāng)一個(gè)NAS網(wǎng)關(guān)性能無(wú)法滿足整體系統(tǒng)需要時(shí)，可以通過(guò)增加節(jié)點(diǎn)的方式擴(kuò)充系統(tǒng)的整體帶寬。當(dāng)系統(tǒng)的容量無(wú)法滿足業(yè)務(wù)需要時(shí)，可以通過(guò)增加存儲(chǔ)系統(tǒng)的方式擴(kuò)容系統(tǒng)的整體容量。集群NAS存儲(chǔ)系統(tǒng)通常具有如下特點(diǎn)：n 開放式架構(gòu)（高擴(kuò)展性）。開放式架構(gòu)是針對(duì)集群NAS存儲(chǔ)系統(tǒng)內(nèi)部構(gòu)成單元而言。集群NAS存儲(chǔ)系統(tǒng)通常包

12、括存儲(chǔ)單元、NAS節(jié)點(diǎn)單元、網(wǎng)絡(luò)單元、客戶端單元，每個(gè)單元都可以按需進(jìn)行動(dòng)態(tài)擴(kuò)展，并且每個(gè)單元可以開放的采用其業(yè)界最新的技術(shù)，而無(wú)需改變系統(tǒng)架構(gòu)。n 并行文件系統(tǒng)。并行文件系統(tǒng)是集群NAS系統(tǒng)的靈魂所在，所有對(duì)集群NAS的操作都經(jīng)由并行文件系統(tǒng)統(tǒng)一調(diào)度和分發(fā)，分散到集群NAS存儲(chǔ)系統(tǒng)各個(gè)NAS節(jié)點(diǎn)上完成。n 全局統(tǒng)一命名空間。全局統(tǒng)一命名空間在很多廠家的存儲(chǔ)概念中都出現(xiàn)過(guò)，在集群NAS存儲(chǔ)系統(tǒng)中全局統(tǒng)一命名空間強(qiáng)調(diào)的是同一個(gè)文件系統(tǒng)下的統(tǒng)一命名空間。n 易管理使用性。集群NAS存儲(chǔ)系統(tǒng)通常能夠提供一種集中的、簡(jiǎn)便易用的使用方式，不需要修改或重新編譯客戶端操作系統(tǒng)，采用文件系統(tǒng)提供的高速客戶端軟

13、件或是業(yè)界標(biāo)準(zhǔn)的訪問(wèn)協(xié)議訪問(wèn)存儲(chǔ)系統(tǒng)。而且，隨著存儲(chǔ)容量的增加，客戶不需要增加額外的管理人員，將精力更多的投向自己的應(yīng)用領(lǐng)域。n 動(dòng)態(tài)負(fù)載均衡。在集群NAS存儲(chǔ)系統(tǒng)中，前端訪問(wèn)存儲(chǔ)系統(tǒng)的讀寫操作，通過(guò)并行文件系統(tǒng)的負(fù)載均衡策略，將數(shù)據(jù)訪問(wèn)分散到存儲(chǔ)系統(tǒng)的各個(gè)數(shù)據(jù)節(jié)點(diǎn)上，大大減輕了每個(gè)節(jié)點(diǎn)的負(fù)載。而后端訪問(wèn)數(shù)據(jù)，通過(guò)開放式的架構(gòu)和存儲(chǔ)網(wǎng)絡(luò)，數(shù)據(jù)會(huì)分布在所有存儲(chǔ)設(shè)備上進(jìn)行存放和讀取，每個(gè)讀寫操作都由更多的磁盤參與，因此大大的提高了讀寫操作的性能。n 高性能。集群NAS存儲(chǔ)系統(tǒng)通常能夠提供比傳統(tǒng)存儲(chǔ)架構(gòu)更優(yōu)的性能和更大的存儲(chǔ)容量（EB級(jí)別）以及更高的磁盤空間利用率（80%以上），尤其是在存儲(chǔ)帶寬方面

14、，集群NAS存儲(chǔ)系統(tǒng)的存儲(chǔ)帶寬能夠達(dá)到幾十甚至幾百GB/s。從集群NAS存儲(chǔ)系統(tǒng)集中了SAN和NAS結(jié)構(gòu)的優(yōu)點(diǎn)，并且具備SAN和NAS不具有的優(yōu)點(diǎn)。具有存儲(chǔ)帶寬和容量可以按需動(dòng)態(tài)添加、使用方便和管理簡(jiǎn)單等諸多優(yōu)點(diǎn)，屆時(shí)，隨著以太網(wǎng)和FC網(wǎng)之間性能差距的進(jìn)一步縮小，單網(wǎng)結(jié)構(gòu)的集群NAS解決方案能夠支撐更大規(guī)模的標(biāo)清甚至高清應(yīng)用。在未來(lái)一段時(shí)間內(nèi)，它將在越來(lái)越廣泛的領(lǐng)域內(nèi)，不斷對(duì)傳統(tǒng)的FC+以太網(wǎng)的雙網(wǎng)結(jié)構(gòu)帶來(lái)沖擊，并最終有可能取而代之，成為數(shù)字媒體網(wǎng)絡(luò)化存儲(chǔ)的標(biāo)準(zhǔn)方案。是廣電行業(yè)海量音視頻素材集中存儲(chǔ)的最佳平臺(tái)。1.3. 曙光集群NAS存儲(chǔ)解決方案作為國(guó)內(nèi)專業(yè)的存儲(chǔ)廠商之一，曙光公司為廣電用戶的

15、媒資、非線編等海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)應(yīng)用推出了基于單網(wǎng)架構(gòu)的集群NAS存儲(chǔ)解決方案Parastor100H。ParaStor100H集群NAS存儲(chǔ)系統(tǒng)匯集了曙光公司多年以來(lái)在廣電行業(yè)和海量數(shù)據(jù)處理方面的豐富經(jīng)驗(yàn)，從架構(gòu)上徹底消除了傳統(tǒng)存儲(chǔ)系統(tǒng)的瓶頸，能夠滿足高帶寬和高并發(fā)的海量富媒體文件存取的需求，為用戶帶來(lái)前所未有的存儲(chǔ)性能體驗(yàn)。ParaStor100H集群NAS系統(tǒng)采用了代表存儲(chǔ)技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及數(shù)據(jù)管理技術(shù)發(fā)展方向的并行體系架構(gòu)，是一款面向海量非結(jié)構(gòu)化數(shù)據(jù)處理、擁有自主知識(shí)產(chǎn)權(quán)的高端存儲(chǔ)系統(tǒng)。Parastor100H集群NAS存儲(chǔ)系統(tǒng)基于開放式的存儲(chǔ)架構(gòu)，基層采用曙光自主研發(fā)的Para

16、stor并行文件系統(tǒng)，將多臺(tái)物理存儲(chǔ)設(shè)備（這些物理設(shè)備可以是磁盤陣列，也可以是通用的存儲(chǔ)服務(wù)器）的存儲(chǔ)空間虛擬成一個(gè)具有統(tǒng)一訪問(wèn)接口和管理界面的存儲(chǔ)池（也叫統(tǒng)一命名空間）。用戶的數(shù)據(jù)按照一定的負(fù)載均衡策略，條帶化的分布到后臺(tái)的多套存儲(chǔ)設(shè)備上，從而能夠?qū)崿F(xiàn)數(shù)據(jù)的并行讀寫以獲得更高的并發(fā)訪問(wèn)性能，充分利用多臺(tái)存儲(chǔ)設(shè)備的性能和更大的存儲(chǔ)容量，并有效的提高存儲(chǔ)空間利用率，并且所有的存儲(chǔ)設(shè)備可以實(shí)現(xiàn)統(tǒng)一的管理和監(jiān)控，大大減輕了管理工作負(fù)擔(dān)！ 方案拓?fù)浣Y(jié)構(gòu)如上圖所示。Parastor100H存儲(chǔ)系統(tǒng)包括管理控制器P100-MGR、索引控制器P100-oPara、數(shù)據(jù)控制器 P100-oStor以及存儲(chǔ)設(shè)備

17、P100-SSU。其中管理控制器通過(guò)管理網(wǎng)絡(luò)監(jiān)控系統(tǒng)的各個(gè)模塊的狀態(tài)，提供統(tǒng)一的控制管理界面，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的集中部署和監(jiān)控，1套Parastor100H只需要配置1臺(tái)管理控制器即可；索引控制器用于管理存儲(chǔ)系統(tǒng)的所有索引數(shù)據(jù)和命名空間，對(duì)外提供單一的全局映像，1套Parastor100H存儲(chǔ)系統(tǒng)至少需要2個(gè)索引控制器，2個(gè)索引控制器以Active-Active高可靠模式運(yùn)行，一個(gè)控制器出現(xiàn)問(wèn)題，不會(huì)影響存儲(chǔ)系統(tǒng)的正常運(yùn)行，索引控制器可以按需以成對(duì)的方式進(jìn)行擴(kuò)展；數(shù)據(jù)控制器用于提供文件數(shù)據(jù)I/O通道，并實(shí)現(xiàn)存取的動(dòng)作，數(shù)據(jù)控制器根據(jù)用戶實(shí)際的帶寬需要進(jìn)行配置，并可以按需進(jìn)行動(dòng)態(tài)添加，I/O通道具有

18、千兆、萬(wàn)兆和IB多種選擇，并且parastor100H支持多個(gè)I/O通道的冗余和負(fù)載均衡；存儲(chǔ)設(shè)備用來(lái)存放實(shí)際數(shù)據(jù)，依靠本身的冗余部件設(shè)計(jì)及RAID技術(shù)，保證數(shù)據(jù)的安全，存儲(chǔ)設(shè)備根據(jù)用戶實(shí)際的容量和帶寬需要進(jìn)行配置，并且可以按需進(jìn)行動(dòng)態(tài)添加。媒資系統(tǒng)的前端應(yīng)用服務(wù)器和工作站可以通過(guò)兩種方式訪問(wèn)Parastor100H存儲(chǔ)系統(tǒng)：一種方式是通過(guò)Parastor100H提供的專有Linux、Windows客戶端軟件，這種方式?jīng)]有額外的開銷，性能較好；另一種方式是通過(guò)Parastor100H提供的通用NFS、CIFS協(xié)議，這種方式支持的操作類型更為豐富，使用也更為簡(jiǎn)單，但是性能與第一種方式相比有所降低

19、。1.4. 曙光解決方案優(yōu)勢(shì)采用Parastor100H構(gòu)建廣電行業(yè)的媒資集中存儲(chǔ)系統(tǒng)，具有如下優(yōu)勢(shì)：l 單一命名存儲(chǔ)空間，集中化共享虛擬存儲(chǔ)池，使用簡(jiǎn)單、管理方便ParaStor100H可以智能地將數(shù)據(jù)存放到存儲(chǔ)系統(tǒng)的智能存儲(chǔ)設(shè)備上，創(chuàng)建一個(gè)集中化的共享虛擬存儲(chǔ)池，提供全局單一的命名空間。目前業(yè)界有很多存儲(chǔ)系統(tǒng)也聲明支持PB級(jí)的單一命名空間，但是底層無(wú)一不是通過(guò)將若干卷掛載在同一個(gè)根目錄下來(lái)形成的大容量統(tǒng)一命名空間，其效率和出現(xiàn)存儲(chǔ)熱點(diǎn)時(shí)的性能，將會(huì)大大低于將上PB級(jí)別的存儲(chǔ)空間置于同一個(gè)文件系統(tǒng)下管理的統(tǒng)一命名空間。全局單一命名空間使用戶直接對(duì)虛擬資源池進(jìn)行讀寫和管理，而無(wú)需考慮數(shù)據(jù)在存儲(chǔ)

20、設(shè)備中的存放模式，與傳統(tǒng)的SAN存儲(chǔ)系統(tǒng)相比，簡(jiǎn)化了海量數(shù)據(jù)存儲(chǔ)和管理的復(fù)雜性；同時(shí)，不同于SAN存儲(chǔ)系統(tǒng)，Parastor100H底層的存儲(chǔ)空間為所有的用戶所共享，不存在已分配給某個(gè)用戶而未被使用的空閑獨(dú)占空間，有利于提高存儲(chǔ)空間的利用率，測(cè)試數(shù)據(jù)表明，Parastor存儲(chǔ)空間的利用率高達(dá)90%左右，遠(yuǎn)遠(yuǎn)高于SAN存儲(chǔ)設(shè)備60%左右的利用率；另外，單一命名空間其容量可以近乎無(wú)限的擴(kuò)大，突破了以前廣電用戶所要面臨的32位操作系統(tǒng)單一目錄不能超過(guò)2TB的限制，為高清大視頻文件的存儲(chǔ)帶來(lái)了便利。l 存儲(chǔ)系統(tǒng)自動(dòng)實(shí)現(xiàn)數(shù)據(jù)遷移，有效降低存儲(chǔ)系統(tǒng)的復(fù)雜度Parastor100H硬件平臺(tái)構(gòu)建靈活：索引控制

21、器和數(shù)據(jù)控制器可根據(jù)實(shí)際的應(yīng)用環(huán)境進(jìn)行軟、硬平臺(tái)配置優(yōu)化，存儲(chǔ)設(shè)備可選曙光全系列的從低端到高端的磁盤陣列，存儲(chǔ)介質(zhì)也可以根據(jù)實(shí)際需要選擇高性能SSD、FC、SAS硬盤或是大容量高性價(jià)比SATA硬盤。這種靈活的構(gòu)建方式可以極為方便的為媒資應(yīng)用構(gòu)建高性能存儲(chǔ)區(qū)和大容量低速存儲(chǔ)區(qū)，高性能存儲(chǔ)區(qū)可以用來(lái)存儲(chǔ)用戶訪問(wèn)頻繁的音視頻素材，低速存儲(chǔ)區(qū)用來(lái)存儲(chǔ)用戶海量的歷史冷數(shù)據(jù)，Parastor100H支持用戶采用自動(dòng)或是手動(dòng)的方式實(shí)現(xiàn)音視頻素材在這兩個(gè)區(qū)的遷移。Parastor100H這種靈活的分層存儲(chǔ)架構(gòu)和對(duì)數(shù)據(jù)遷移功能的支持，使得媒資存儲(chǔ)系統(tǒng)不不需要額外的數(shù)據(jù)遷移管理系統(tǒng)，有效的降低了存儲(chǔ)系統(tǒng)的構(gòu)建復(fù)雜

22、度，同時(shí)提高了存儲(chǔ)系統(tǒng)的可靠性以及查詢的效率，在最大程度上降低用戶的投資成本以及使用和管理成本。l 高性能并行存儲(chǔ)系統(tǒng)，支持并發(fā)I/O讀寫，提供高達(dá)數(shù)百GB/s的聚合帶寬衡量一個(gè)存儲(chǔ)架構(gòu)的優(yōu)劣，無(wú)外乎從讀寫兩個(gè)方面來(lái)看，ParaStor100H的聚合性能可隨著數(shù)據(jù)控制器節(jié)點(diǎn)的增加而增加，根據(jù)實(shí)際測(cè)試結(jié)果，ParaStor系統(tǒng)數(shù)據(jù)控制器節(jié)點(diǎn)每個(gè)插兩塊雙口千兆以太網(wǎng)卡，提供4個(gè)數(shù)據(jù)傳輸通道，單節(jié)點(diǎn)可以提供高達(dá)150MB/s的寫帶寬和360MB/s的讀帶寬。ParaStor100H系統(tǒng)的聚合帶寬，可以用每節(jié)點(diǎn)帶寬乘以節(jié)點(diǎn)數(shù)來(lái)計(jì)算，系統(tǒng)性能可實(shí)現(xiàn)線性增長(zhǎng)。部署于深圳云計(jì)算中心的、系統(tǒng)總?cè)萘?6PB的P

23、araStor系統(tǒng)可提供高達(dá)一百多GB/s的聚合帶寬！那么，ParaStor100H是如何達(dá)到超高性能的呢？我們可以通過(guò)ParaStor100H系統(tǒng)的讀寫機(jī)制來(lái)分析。某個(gè)客戶端發(fā)起讀寫請(qǐng)求，通過(guò)核心交換機(jī)，向ParaStor100H系統(tǒng)發(fā)起讀寫請(qǐng)求。以兩個(gè)索引控制器和八個(gè)數(shù)據(jù)控制器為例，索引控制器首先會(huì)接收此次讀寫請(qǐng)求，并通過(guò)分析數(shù)據(jù)控制器的狀態(tài)來(lái)確定將文件如何分割以及寫到哪些數(shù)據(jù)控制器上，然后將此信息反饋給客戶端，客戶端通過(guò)讀取此信息，利用與數(shù)據(jù)控制器相連的數(shù)據(jù)通道并發(fā)的將文件塊寫入到對(duì)應(yīng)的節(jié)點(diǎn)磁盤上。反過(guò)來(lái)看讀一個(gè)文件，這個(gè)非常好理解，就是寫的一個(gè)反過(guò)程。形象地舉個(gè)例子，傳統(tǒng)架構(gòu)數(shù)據(jù)要寫到

24、磁盤上或從磁盤上讀取數(shù)據(jù)，相當(dāng)于一個(gè)人（一個(gè)機(jī)頭）搬八個(gè)箱子，而ParaStor100H存儲(chǔ)系統(tǒng)是八個(gè)人搬八個(gè)箱子，效率和速度大大提高，這種并行架構(gòu)決定了系統(tǒng)讀寫的性能比一般的存儲(chǔ)性能高很多。Parastor100H這種優(yōu)異的并行讀寫機(jī)制，可以充分利用后端多臺(tái)存儲(chǔ)設(shè)備的聚合帶寬，滿足廣電媒資管理系統(tǒng)多用戶并發(fā)所需的高帶寬需要。l Scale-out擴(kuò)展方式，性能和容量隨數(shù)據(jù)控制器數(shù)量的增加而線性增長(zhǎng)不同于Scale-up的單個(gè)設(shè)備向更強(qiáng)大的CPU、內(nèi)存、通道及其他設(shè)備擴(kuò)展的方式，Scale-out則是通過(guò)一定的技術(shù)將一個(gè)個(gè)獨(dú)立的低成本設(shè)備聚合成一個(gè)大而強(qiáng)的系統(tǒng)。對(duì)于用戶來(lái)講，Scale-up架

25、構(gòu)的存儲(chǔ)系統(tǒng)其設(shè)備處理能力上限在購(gòu)買時(shí)已經(jīng)確定，如果需求超過(guò)上限，只能重新購(gòu)買更高性能的設(shè)備；而Scale-out架構(gòu)的系統(tǒng)可以采用搭積木的方式，通過(guò)把成百上千臺(tái)個(gè)體聚合起來(lái)，來(lái)滿足不斷增長(zhǎng)的存儲(chǔ)容量和性能的需求。SAN和NAS存儲(chǔ)系統(tǒng)采用Scale-up擴(kuò)展方式，存儲(chǔ)性能和容量都存在擴(kuò)展上限，而ParaStor100H系統(tǒng)就是一款基于Scale-out架構(gòu)的高端存儲(chǔ)系統(tǒng)，其存儲(chǔ)性能和容量可以按需進(jìn)行動(dòng)態(tài)擴(kuò)展。由于采用了Scale-out橫向動(dòng)態(tài)擴(kuò)展技術(shù)，ParaStor100H系統(tǒng)可以為用戶提供如下好處：打破了傳統(tǒng)SAN架構(gòu)的擴(kuò)展限制，容量可擴(kuò)展到EB級(jí)，同時(shí)可以保證存儲(chǔ)系統(tǒng)容量和性能的均衡

26、，可以很好的滿足廣電用戶未來(lái)隨業(yè)務(wù)增長(zhǎng)所帶來(lái)的海量數(shù)據(jù)的存儲(chǔ)空間和帶寬的需求；避免由于用戶需求的不斷增長(zhǎng)而帶來(lái)的數(shù)據(jù)遷移和應(yīng)用中斷的問(wèn)題，可隨業(yè)務(wù)需求變化而動(dòng)態(tài)調(diào)整資源，帶寬、處理能力和存儲(chǔ)容量都可以實(shí)時(shí)調(diào)整和擴(kuò)展；所有擴(kuò)容操作均可以在線進(jìn)行，無(wú)須中斷應(yīng)用的正常執(zhí)行。l RAID、全冗余架構(gòu)、多副本等多種數(shù)據(jù)保護(hù)機(jī)制確保整套存儲(chǔ)系統(tǒng)安全可靠，無(wú)單點(diǎn)故障，提供始終如一的高可用性Parastor100H系統(tǒng)采用集群化架構(gòu)，元數(shù)據(jù)控制器、數(shù)據(jù)控制器、數(shù)據(jù)網(wǎng)絡(luò)、存儲(chǔ)設(shè)備等模塊都有2個(gè)或者多個(gè)模塊組成，一個(gè)模塊出現(xiàn)問(wèn)題，不會(huì)影響存儲(chǔ)系統(tǒng)的正常運(yùn)行。同時(shí)采用后端存儲(chǔ)系統(tǒng)采用全冗余架構(gòu)設(shè)計(jì)，整機(jī)無(wú)線纜連接，

27、保障系統(tǒng)長(zhǎng)時(shí)間運(yùn)行的可靠性；冗余的控制器，控制器Cache互為鏡像，支持路徑冗余；冗余電源模塊、冷卻模組，整機(jī)無(wú)單點(diǎn)故障；永久性緩存?zhèn)浞?確保在斷電時(shí)獲取緩存中的數(shù)據(jù)并確保其安全。ParaStor100H系統(tǒng)由于采用了全冗余架構(gòu)、RAID技術(shù)以及數(shù)據(jù)多副本技術(shù)，系統(tǒng)可靠性和數(shù)據(jù)安全性非常高！ParaStor100H可以提供針對(duì)系統(tǒng)級(jí)和數(shù)據(jù)級(jí)的兩個(gè)級(jí)別容錯(cuò)。系統(tǒng)級(jí)容錯(cuò)：數(shù)據(jù)讀取和傳輸過(guò)程中，當(dāng)某一個(gè)模塊（可以是索引控制器、硬盤、電源、風(fēng)扇或者交換機(jī)）發(fā)生問(wèn)題宕掉了，通過(guò)系統(tǒng)級(jí)容錯(cuò)，冗余模塊可以接替問(wèn)題模塊繼續(xù)工作，系統(tǒng)仍是可用的，數(shù)據(jù)仍然是安全的、完整的，用戶端感覺(jué)不到任何變化。整套系統(tǒng)沒(méi)有單點(diǎn)

28、故障！數(shù)據(jù)級(jí)容錯(cuò)： 支持支持RAID0、1、3、5、6、10、30、50、60、NRAID等多種RAID級(jí)別，數(shù)據(jù)條帶從16KB到1024KB動(dòng)態(tài)可調(diào)；可在不同業(yè)務(wù)模式下，根據(jù)I/O特性，調(diào)整優(yōu)化存儲(chǔ)系統(tǒng)的性能；提供RAID遷移，RAID擴(kuò)容，RAID級(jí)別調(diào)整等在線功能。同時(shí)存儲(chǔ)系統(tǒng)還支持多副本數(shù)據(jù)保護(hù)技術(shù)，一份數(shù)據(jù)可以存儲(chǔ)2個(gè)或是多個(gè)副本在不同的存儲(chǔ)介質(zhì)上，從而實(shí)現(xiàn)數(shù)據(jù)的高可靠性！l 豐富的使用方式Parastor100H為用戶提供了豐富的使用方式。Parastor100H為追求極致性能的Linux、Windows客戶提供專有接口應(yīng)用模式，該應(yīng)用模式在需要在客戶端安裝曙光提供的客戶端軟件，客

29、戶端軟件不用修改和編譯操作系統(tǒng)內(nèi)核，這種直接訪問(wèn)方式?jīng)]有額外的開銷，因此具有最好的性能。Parastor100H還為用戶提供通用應(yīng)用模式，在該應(yīng)用模式下，Parastor100為用戶提供NFS、CIFS標(biāo)準(zhǔn)訪問(wèn)協(xié)議，用戶的Linux、Windows客戶端通過(guò)這些標(biāo)準(zhǔn)訪問(wèn)協(xié)議訪問(wèn)后端存儲(chǔ)系統(tǒng)，這種方式對(duì)客戶端沒(méi)有影響，使用最簡(jiǎn)單。l 集成曙光并行存儲(chǔ)管理系統(tǒng)，實(shí)現(xiàn)可視化的統(tǒng)一管理和監(jiān)控ParaStor并行存儲(chǔ)管理系統(tǒng)是專為ParaStor系列產(chǎn)品開發(fā)的統(tǒng)一監(jiān)控管理平臺(tái)，提供系統(tǒng)配置、客戶端管理、性能優(yōu)化、監(jiān)控告警等功能，直觀易懂的中文圖形化界面方便用戶實(shí)時(shí)監(jiān)控系統(tǒng)的軟硬件狀態(tài)和性能，簡(jiǎn)化安裝和維

30、護(hù)過(guò)程，提高管理效率。ParaStor并行存儲(chǔ)管理系統(tǒng)主要提供以下功能： 管理維護(hù)：提供服務(wù)啟動(dòng)停止和節(jié)點(diǎn)上線離線功能 文件系統(tǒng)管理：提供文件系統(tǒng)查詢、文件系統(tǒng)創(chuàng)建、文件系統(tǒng)刪除功能 客戶端管理：提供客戶端查詢、增加刪除客戶端以及修改客戶端功能 安裝配置：為管理員提供系統(tǒng)的安裝卸載、節(jié)點(diǎn)擴(kuò)容刪除、系統(tǒng)升級(jí)、數(shù)據(jù)刪除、數(shù)據(jù)磁盤增加刪除、配置修改、配置備份恢復(fù)功能 監(jiān)控管理：提供索引控制器、數(shù)據(jù)控制器，以及并行文件系統(tǒng)和整個(gè)存儲(chǔ)系統(tǒng)的監(jiān)控通過(guò)Parastor并行存儲(chǔ)管理系統(tǒng)，安裝部署5個(gè)節(jié)點(diǎn)與安裝部署500個(gè)節(jié)點(diǎn)所需時(shí)間和工作量基本相同，管理和使用10TB的存儲(chǔ)空間與管理和使用10PB的存儲(chǔ)空間一

31、樣，極大地降低了廣電用戶后期的使用和管理成本，節(jié)省了大量的人力、物力和財(cái)力。第三章 Parastor性能結(jié)果展示2.1.2.3.3.1.2.1. 測(cè)試環(huán)境1.2.3.3.1.3.1.1. 拓樸結(jié)構(gòu)圖1給出了ParaStor測(cè)試環(huán)境。數(shù)據(jù)控制器采用曙光I640r-G，元數(shù)據(jù)控制器采用曙光I840服務(wù)器。管理節(jié)點(diǎn)通過(guò)管理網(wǎng)絡(luò)（藍(lán)線）和所有節(jié)點(diǎn)相連，數(shù)據(jù)網(wǎng)絡(luò)可以是千兆網(wǎng)、萬(wàn)兆網(wǎng)或IB網(wǎng)絡(luò)。圖1 拓樸結(jié)構(gòu)3.1.2. 系統(tǒng)配置表一給出了高性能計(jì)算環(huán)境下的典型配置，計(jì)算節(jié)點(diǎn)一般采用曙光刀片，使用IB網(wǎng)絡(luò)連接。表一 Parastor系統(tǒng)的詳細(xì)配置設(shè)備型號(hào)具體配置數(shù)量操作系統(tǒng)1MGR高性能64位處理器，12

32、GB Cache，2個(gè)1Gb管理網(wǎng)絡(luò)接口，內(nèi)嵌曙光并行存儲(chǔ)管理軟件，中文圖形界面，包含系統(tǒng)配置、客戶端管理、性能優(yōu)化、監(jiān)控告警等功能模塊，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的集中化部署、管理、監(jiān)控和維護(hù)，提供命令行支持12oPara高性能64位處理器，48GB Cache，2個(gè)1Gb管理網(wǎng)絡(luò)接口，1個(gè)40Gb IB元數(shù)據(jù)訪問(wèn)接口，Raid10模式保護(hù)的290GB高可靠SAS存儲(chǔ)空間，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，管理客戶端的并行訪問(wèn)，實(shí)現(xiàn)全局統(tǒng)一命名空間，并支持兩個(gè)索引控制器以Active-Active方式運(yùn)行。2SLES10SP2x643oStor高性能64位處理器，24GB Cache，2個(gè)1Gb管理網(wǎng)絡(luò)接

33、口，1個(gè)40Gb IB數(shù)據(jù)訪問(wèn)接口，2個(gè)8Gb FC存儲(chǔ)接口，用來(lái)訪問(wèn)后端磁盤陣列提供的存儲(chǔ)空間，支持按需動(dòng)態(tài)在線擴(kuò)展；53SSU高性能64位處理器，全冗余架構(gòu)，1個(gè)管理網(wǎng)絡(luò)端口，8個(gè)8Gb FC主機(jī)接口，為數(shù)據(jù)控制器提供存儲(chǔ)空間，支持RAID5、RAID6等多種RAID級(jí)別，支持SAS、SATA兩種存儲(chǔ)介質(zhì)，提供海量存儲(chǔ)空間，單套系統(tǒng)最大可擴(kuò)展至168TB；實(shí)際配置2TB SATA硬盤作為存儲(chǔ)介質(zhì)，存儲(chǔ)容量為72TB2SLES10SP2x644oApp曙光刀片服務(wù)器100SLES11SP1x642.2. IB帶寬測(cè)試本節(jié)給出iozone測(cè)出ParaStor的單流帶寬、單客戶端可以達(dá)到的性能，

34、以及整體的聚合性能。iozone測(cè)試的每個(gè)文件大小為30GB，記錄長(zhǎng)度為4KB。3.2.3.2.1. 單流帶寬測(cè)試有些應(yīng)用使用單個(gè)進(jìn)程訪問(wèn)存儲(chǔ)，ParaStor通過(guò)設(shè)置文件的條帶化參數(shù)，將單個(gè)進(jìn)程的操作散布到多個(gè)磁盤設(shè)備上，加速這類場(chǎng)景的運(yùn)算速度。如表二所示，設(shè)置fs16b2r2表示條帶寬度為16，存儲(chǔ)帶寬度為2，2個(gè)副本。表二 測(cè)試配置stripesizestripewidthbandwidthrep_nr文件大小 設(shè)置標(biāo)號(hào)16K11248G*fs1b1r2116K1612128Gfs16b1r2216K1622128Gfs16b2r23圖2給出了不同配置下的單個(gè)進(jìn)程可以使用的性能，將數(shù)據(jù)散

35、布到更多設(shè)備上增加了存儲(chǔ)通道，從而提高了性能。在僅使用4KB大小的記錄時(shí)，即可以達(dá)到350MB/s的讀帶寬和600MB/s的寫帶寬。圖2 單流性能測(cè)試3.2.2. 單客戶端性能測(cè)試本小節(jié)測(cè)試了單個(gè)客戶端啟動(dòng)多個(gè)進(jìn)程可以達(dá)到獲得的聚合帶寬值，這對(duì)應(yīng)于使用少數(shù)高性能節(jié)點(diǎn)執(zhí)行高并發(fā)程序的應(yīng)用場(chǎng)景。采用fs4b1r2的存儲(chǔ)設(shè)置。圖3 單客戶端多進(jìn)程測(cè)試圖3給出的測(cè)試結(jié)果表明，單個(gè)客戶端起兩個(gè)線程時(shí)即分別達(dá)到超過(guò)600MB/s的讀速度和超過(guò)1GB/s的寫速度。由于讀數(shù)據(jù)必須操作磁盤，因此從繼續(xù)增加線程數(shù)可以進(jìn)一步提高。在條帶化模式下，單客戶端讀帶寬超過(guò)1GB/s，寫帶寬超過(guò)1.5GB/s。條帶化操作加大了并發(fā)，在分片數(shù)為16時(shí)，超過(guò)6個(gè)線程時(shí)，性能有所下降。3.2.3. 多客戶端聚合帶寬測(cè)試圖4 多客戶端聚合帶寬測(cè)試同樣使用fs4b1r2的文件系統(tǒng)設(shè)置，多個(gè)客戶端單線程同時(shí)訪問(wèn)并行存儲(chǔ)。圖4給出了聚合性能的變化。隨著客戶端個(gè)數(shù)增加，對(duì)于存儲(chǔ)系統(tǒng)的壓力也越來(lái)越大，當(dāng)使用8個(gè)客戶端時(shí)，聚合讀寫帶寬都可以達(dá)到2.0GB/s。當(dāng)增加到16客戶端時(shí)，聚合寫性能進(jìn)一步