龍存大規(guī)模集群存儲系統(tǒng)臺交流

LoongStore大規(guī)模集群

系統(tǒng)科技目標(biāo)研究理念產(chǎn)品目標(biāo)：科技

公司（以下簡稱“致力于幫助用戶解決高性能計(jì)算、高并發(fā)科技”），量以及儲存管理可靠性和易用性的快速提升帶來的，通過最新的

技術(shù)提高業(yè)務(wù)效率，為用戶創(chuàng)造價(jià)值和更大的增長潛力。研究理念：科技以用戶至上和持續(xù)創(chuàng)新的理念，為企業(yè)解決傳統(tǒng)NAS架構(gòu)存在的架構(gòu)隱患，提供高效、兼容、可靠、易用的平臺。產(chǎn)品：科技以“簡易、高效、可靠

”理念為研發(fā)導(dǎo)向，采用帶外架構(gòu)，可以在滿足高性能、高可靠數(shù)據(jù)需求的同時(shí)極大簡化系統(tǒng)的管理工作，完成模塊化擴(kuò)展、全局冗余，無單點(diǎn)故障，自動化恢復(fù)，提升數(shù)據(jù)恢復(fù)效率，增加數(shù)據(jù)安全性和可靠性?！獢?shù)據(jù)服務(wù)器集群服務(wù)器集群千兆/萬兆以太網(wǎng)/InfiniBand應(yīng)用服務(wù)器集群……元數(shù)據(jù)服務(wù)器LoongStore集群 系統(tǒng)需要1000億以上文件需要提供

系統(tǒng)文件檢索效率需要支撐20000個(gè)以上客戶端系統(tǒng)總體檢索效率提升元數(shù)據(jù)可擴(kuò)容至128臺元數(shù)據(jù)采用集群架構(gòu)所有元數(shù)據(jù)同時(shí) 提供服務(wù)系統(tǒng)中的索引由各臺元數(shù)據(jù)獨(dú)立管理系統(tǒng)索引層服務(wù)器LoongStore集群 系統(tǒng)需要提升需要提升系統(tǒng)容量系統(tǒng)聚合帶寬系統(tǒng)總體容量提升系統(tǒng)聚合帶寬提升通過手動數(shù)據(jù)恢復(fù)以及負(fù)載均衡功能，實(shí)現(xiàn)

更換

系統(tǒng)中所有老舊設(shè)備ServersServersServers客戶端在進(jìn)行數(shù)據(jù)寫入前，先將元數(shù)據(jù)根據(jù)信息通過算法寫入到元數(shù)據(jù)中，然后元數(shù)據(jù)根據(jù)算法回復(fù)一條信息給客戶端，客戶端根據(jù)這些信息把數(shù)據(jù)切片并寫入到 服務(wù)器ServersServersServers客戶端在進(jìn)行數(shù)據(jù)

之前，先將讀數(shù)據(jù)

給元數(shù)據(jù)，然后元數(shù)據(jù)根據(jù)算法回復(fù)一條信息給客戶端，客戶端根據(jù)這些信息把數(shù)據(jù)從 服務(wù)器中讀出；CI

FS、LeoFSHTTP、FTP、ISCSI應(yīng)用服務(wù)器文件A在客戶端生成校驗(yàn)數(shù)據(jù),形成文件級別RAID客戶端負(fù)載均衡探測，將數(shù)據(jù)寫入負(fù)載較輕磁盤以分布式讀寫以及負(fù)載均衡機(jī)制提升數(shù)據(jù)讀寫帶寬以文件級別RAID機(jī)制形成數(shù)據(jù)保護(hù)支持副本模式，N+1冗余模式ServersServersServersServersServersServersServersServersServers數(shù)據(jù)數(shù)據(jù)失敗獲取數(shù)據(jù)失敗獲取數(shù)據(jù)萬兆網(wǎng)絡(luò)環(huán)境下，windwos客戶端掛載存儲系統(tǒng)進(jìn)行iozone性能測試截圖千兆網(wǎng)絡(luò)環(huán)境下，windwos客戶端掛載系統(tǒng)進(jìn)行單進(jìn)程cp性能測試截圖測試時(shí)間千兆網(wǎng)絡(luò)下，7臺客戶端采用SANgery測試 進(jìn)行讀寫測試，每臺寫性能在65MB/s以上，每臺讀性能在

95MB/s以上萬兆網(wǎng)絡(luò)下，每臺客戶端寫性能在215MB/s以上，讀性能在229MB/s以上萬兆客戶端寫性能測試萬兆客戶端讀性能測試千兆網(wǎng)絡(luò)下，每臺客戶端使用喜馬拉雅流暢編輯6層（每層120Mb/s）萬兆網(wǎng)絡(luò)下，每臺客戶端流暢非編16層（每層120Mb/s）千兆客戶端非編6層萬兆客戶端非編16層測試時(shí)間千兆網(wǎng)絡(luò)下，9臺客戶端采用SANgery測試 進(jìn)行讀寫測試，每臺寫性能在50MB/s以上，每臺讀性能在 90MB/s以上萬兆網(wǎng)絡(luò)下，每臺客戶端寫性能在300MB/s以上，讀性能在389MB/s以上萬兆客戶端寫性能測試萬兆客戶端讀性能測試千兆網(wǎng)絡(luò)下，9臺客戶端采用敦煌

同時(shí)進(jìn)行非編業(yè)務(wù)，每臺均流暢編輯6層（每層碼率100Mb/s）萬兆網(wǎng)絡(luò)

暢編輯8層（每層碼率100Mb/s）（客戶端配置為8層編輯配置，層數(shù)與光纖網(wǎng)絡(luò)環(huán)境一致）9臺千兆客戶端非編6層萬兆客戶端非編8層的世界級宣傳平臺依托于原有

高端

系統(tǒng)，上線后，無法支撐高壓潰，經(jīng)面向世界多方對比選型，全面替換

存海量，導(dǎo)致系統(tǒng)頻繁崩系統(tǒng)活躍點(diǎn)播用戶超過500萬，共建設(shè)4個(gè)數(shù)據(jù)中心，整體容量超6000TB在2014

期間高效支撐5000萬PV值，支持100臺點(diǎn)播服務(wù)器共計(jì)4萬并發(fā)數(shù)日

人數(shù)在兩千萬以上，不間斷服務(wù)操作1600天平臺，

最 流量超過1.5GB/s單卷2.1PB，連續(xù)1621天優(yōu)秀的省級

頻道廣西

在本省覆蓋上創(chuàng)造獨(dú)一無二的經(jīng)營模式，

首先實(shí)現(xiàn)全頻道全省覆蓋，并連續(xù)三年名列

級視

前十名，是

最具創(chuàng)新精神和投資價(jià)值的黃金時(shí)段收頻道。新

轉(zhuǎn)碼應(yīng)用，用戶可通過Web瀏覽器、Andriod、IOS等多種方式登錄

電視

。方案優(yōu)勢可控的構(gòu)建和運(yùn)維成本容量和性能同時(shí)線性擴(kuò)展能力針對流

應(yīng)用突出的性能優(yōu)勢簡易的管理中國最大的

制作公司，國內(nèi)規(guī)模最大、功能最齊備的

數(shù)字制作經(jīng)過深度對比，

系統(tǒng)全面

了IBM的高端

系統(tǒng)，并成功入選《 》、《赤壁》、《建國大業(yè)》、《建黨偉業(yè)》等影片的制作都是在

量

系統(tǒng)上完成支持前端400多個(gè)桌面工作站和100多l(xiāng)inux工作站并發(fā)進(jìn)行數(shù)據(jù)數(shù)碼乃至全亞洲最大的CG制作公司之一，能自行研發(fā)、策劃、制作、承接各類三維動畫

、電視劇集，同時(shí)還為國內(nèi)唯一可制作大型及具國際質(zhì)量的三維計(jì)算機(jī)動畫電視連續(xù)劇及經(jīng)過深度對比，

系統(tǒng)替換了原有的IP

SAN的公司。系統(tǒng)，并成功入選2012年6月上映取得1700萬的好成績的《潛艇總動員2》，全面采用量

系統(tǒng)進(jìn)行支撐支撐2000節(jié)點(diǎn)同時(shí)進(jìn)行渲染業(yè)務(wù)36盤位的

服務(wù)器進(jìn)行搭建，每個(gè)硬盤4TB，每個(gè) 節(jié)點(diǎn)可以達(dá)到144TB總?cè)萘?，單?jié)點(diǎn)讀寫帶寬1.1GB以上新臺，老臺，兩套，數(shù)據(jù)通過光線進(jìn)行傳輸與通信如果采用4+1數(shù)據(jù)保護(hù)模式，空間使用率80%，則在臺里要求4PB有效使用