龍存大規(guī)模集群存儲(chǔ)系統(tǒng)臺(tái)交流

LoongStore大規(guī)模集群

系統(tǒng)科技目標(biāo)研究理念產(chǎn)品目標(biāo)：科技

公司（以下簡(jiǎn)稱“致力于幫助用戶解決高性能計(jì)算、高并發(fā)科技”），量以及儲(chǔ)存管理可靠性和易用性的快速提升帶來(lái)的，通過(guò)最新的

技術(shù)提高業(yè)務(wù)效率，為用戶創(chuàng)造價(jià)值和更大的增長(zhǎng)潛力。研究理念：科技以用戶至上和持續(xù)創(chuàng)新的理念，為企業(yè)解決傳統(tǒng)NAS架構(gòu)存在的架構(gòu)隱患，提供高效、兼容、可靠、易用的平臺(tái)。產(chǎn)品：科技以“簡(jiǎn)易、高效、可靠

”理念為研發(fā)導(dǎo)向，采用帶外架構(gòu)，可以在滿足高性能、高可靠數(shù)據(jù)需求的同時(shí)極大簡(jiǎn)化系統(tǒng)的管理工作，完成模塊化擴(kuò)展、全局冗余，無(wú)單點(diǎn)故障，自動(dòng)化恢復(fù)，提升數(shù)據(jù)恢復(fù)效率，增加數(shù)據(jù)安全性和可靠性?！獢?shù)據(jù)服務(wù)器集群服務(wù)器集群千兆/萬(wàn)兆以太網(wǎng)/InfiniBand應(yīng)用服務(wù)器集群……元數(shù)據(jù)服務(wù)器LoongStore集群 系統(tǒng)需要1000億以上文件需要提供

系統(tǒng)文件檢索效率需要支撐20000個(gè)以上客戶端系統(tǒng)總體檢索效率提升元數(shù)據(jù)可擴(kuò)容至128臺(tái)元數(shù)據(jù)采用集群架構(gòu)所有元數(shù)據(jù)同時(shí) 提供服務(wù)系統(tǒng)中的索引由各臺(tái)元數(shù)據(jù)獨(dú)立管理系統(tǒng)索引層服務(wù)器LoongStore集群 系統(tǒng)需要提升需要提升系統(tǒng)容量系統(tǒng)聚合帶寬系統(tǒng)總體容量提升系統(tǒng)聚合帶寬提升通過(guò)手動(dòng)數(shù)據(jù)恢復(fù)以及負(fù)載均衡功能，實(shí)現(xiàn)

更換

系統(tǒng)中所有老舊設(shè)備ServersServersServers客戶端在進(jìn)行數(shù)據(jù)寫入前，先將元數(shù)據(jù)根據(jù)信息通過(guò)算法寫入到元數(shù)據(jù)中，然后元數(shù)據(jù)根據(jù)算法回復(fù)一條信息給客戶端，客戶端根據(jù)這些信息把數(shù)據(jù)切片并寫入到 服務(wù)器ServersServersServers客戶端在進(jìn)行數(shù)據(jù)

之前，先將讀數(shù)據(jù)

給元數(shù)據(jù)，然后元數(shù)據(jù)根據(jù)算法回復(fù)一條信息給客戶端，客戶端根據(jù)這些信息把數(shù)據(jù)從 服務(wù)器中讀出；CI

FS、LeoFSHTTP、FTP、ISCSI應(yīng)用服務(wù)器文件A在客戶端生成校驗(yàn)數(shù)據(jù),形成文件級(jí)別RAID客戶端負(fù)載均衡探測(cè)，將數(shù)據(jù)寫入負(fù)載較輕磁盤以分布式讀寫以及負(fù)載均衡機(jī)制提升數(shù)據(jù)讀寫帶寬以文件級(jí)別RAID機(jī)制形成數(shù)據(jù)保護(hù)支持副本模式，N+1冗余模式ServersServersServersServersServersServersServersServersServers數(shù)據(jù)數(shù)據(jù)失敗獲取數(shù)據(jù)失敗獲取數(shù)據(jù)萬(wàn)兆網(wǎng)絡(luò)環(huán)境下，windwos客戶端掛載存儲(chǔ)系統(tǒng)進(jìn)行iozone性能測(cè)試截圖千兆網(wǎng)絡(luò)環(huán)境下，windwos客戶端掛載系統(tǒng)進(jìn)行單進(jìn)程cp性能測(cè)試截圖測(cè)試時(shí)間千兆網(wǎng)絡(luò)下，7臺(tái)客戶端采用SANgery測(cè)試 進(jìn)行讀寫測(cè)試，每臺(tái)寫性能在65MB/s以上，每臺(tái)讀性能在

95MB/s以上萬(wàn)兆網(wǎng)絡(luò)下，每臺(tái)客戶端寫性能在215MB/s以上，讀性能在229MB/s以上萬(wàn)兆客戶端寫性能測(cè)試萬(wàn)兆客戶端讀性能測(cè)試千兆網(wǎng)絡(luò)下，每臺(tái)客戶端使用喜馬拉雅流暢編輯6層（每層120Mb/s）萬(wàn)兆網(wǎng)絡(luò)下，每臺(tái)客戶端流暢非編16層（每層120Mb/s）千兆客戶端非編6層萬(wàn)兆客戶端非編16層測(cè)試時(shí)間千兆網(wǎng)絡(luò)下，9臺(tái)客戶端采用SANgery測(cè)試 進(jìn)行讀寫測(cè)試，每臺(tái)寫性能在50MB/s以上，每臺(tái)讀性能在 90MB/s以上萬(wàn)兆網(wǎng)絡(luò)下，每臺(tái)客戶端寫性能在300MB/s以上，讀性能在389MB/s以上萬(wàn)兆客戶端寫性能測(cè)試萬(wàn)兆客戶端讀性能測(cè)試千兆網(wǎng)絡(luò)下，9臺(tái)客戶端采用敦煌

同時(shí)進(jìn)行非編業(yè)務(wù)，每臺(tái)均流暢編輯6層（每層碼率100Mb/s）萬(wàn)兆網(wǎng)絡(luò)

暢編輯8層（每層碼率100Mb/s）（客戶端配置為8層編輯配置，層數(shù)與光纖網(wǎng)絡(luò)環(huán)境一致）9臺(tái)千兆客戶端非編6層萬(wàn)兆客戶端非編8層的世界級(jí)宣傳平臺(tái)依托于原有

高端

系統(tǒng)，上線后，無(wú)法支撐高壓潰，經(jīng)面向世界多方對(duì)比選型，全面替換

存海量，導(dǎo)致系統(tǒng)頻繁崩系統(tǒng)活躍點(diǎn)播用戶超過(guò)500萬(wàn)，共建設(shè)4個(gè)數(shù)據(jù)中心，整體容量超6000TB在2014

期間高效支撐5000萬(wàn)PV值，支持100臺(tái)點(diǎn)播服務(wù)器共計(jì)4萬(wàn)并發(fā)數(shù)日

人數(shù)在兩千萬(wàn)以上，不間斷服務(wù)操作1600天平臺(tái)，

最 流量超過(guò)1.5GB/s單卷2.1PB，連續(xù)1621天優(yōu)秀的省級(jí)

頻道廣西

在本省覆蓋上創(chuàng)造獨(dú)一無(wú)二的經(jīng)營(yíng)模式，

首先實(shí)現(xiàn)全頻道全省覆蓋，并連續(xù)三年名列

級(jí)視

前十名，是

最具創(chuàng)新精神和投資價(jià)值的黃金時(shí)段收頻道。新

轉(zhuǎn)碼應(yīng)用，用戶可通過(guò)Web瀏覽器、Andriod、IOS等多種方式登錄

電視

。方案優(yōu)勢(shì)可控的構(gòu)建和運(yùn)維成本容量和性能同時(shí)線性擴(kuò)展能力針對(duì)流

應(yīng)用突出的性能優(yōu)勢(shì)簡(jiǎn)易的管理中國(guó)最大的

制作公司，國(guó)內(nèi)規(guī)模最大、功能最齊備的

數(shù)字制作經(jīng)過(guò)深度對(duì)比，

系統(tǒng)全面

了IBM的高端

系統(tǒng)，并成功入選《 》、《赤壁》、《建國(guó)大業(yè)》、《建黨偉業(yè)》等影片的制作都是在

量

系統(tǒng)上完成支持前端400多個(gè)桌面工作站和100多l(xiāng)inux工作站并發(fā)進(jìn)行數(shù)據(jù)數(shù)碼乃至全亞洲最大的CG制作公司之一，能自行研發(fā)、策劃、制作、承接各類三維動(dòng)畫

、電視劇集，同時(shí)還為國(guó)內(nèi)唯一可制作大型及具國(guó)際質(zhì)量的三維計(jì)算機(jī)動(dòng)畫電視連續(xù)劇及經(jīng)過(guò)深度對(duì)比，

系統(tǒng)替換了原有的IP

SAN的公司。系統(tǒng)，并成功入選2012年6月上映取得1700萬(wàn)的好成績(jī)的《潛艇總動(dòng)員2》，全面采用量

系統(tǒng)進(jìn)行支撐支撐2000節(jié)點(diǎn)同時(shí)進(jìn)行渲染業(yè)務(wù)36盤位的

服務(wù)器進(jìn)行搭建，每個(gè)硬盤4TB，每個(gè) 節(jié)點(diǎn)可以達(dá)到144TB總?cè)萘?，單?jié)點(diǎn)讀寫帶寬1.1GB以上新臺(tái)，老臺(tái)，兩套，數(shù)據(jù)通過(guò)光線進(jìn)行傳輸與通信如果采用4+1數(shù)據(jù)保護(hù)模式，空間使用率80%，則在臺(tái)里要求4PB有效使用