iCache互聯(lián)網(wǎng)緩存方案V1.5.ppt

iCache互聯(lián)網(wǎng)緩存方案主打膠片,Page 2,目錄,電信運營商的困惑和機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 成功案例,Page 3,數(shù)據(jù)業(yè)務(wù)爆炸式增長，種類形勢多樣化,媒體視頻內(nèi)容、應(yīng)用不斷增加,文件分享、P2P應(yīng)用蓬勃發(fā)展,1,2,3,4,開放、協(xié)作、分享成為互聯(lián)網(wǎng)發(fā)展趨勢,Page 4,互聯(lián)網(wǎng)進入新媒體時代,Internet， wireless,移動網(wǎng)絡(luò),寬帶網(wǎng)絡(luò),Page 5,來源：CacheLogic Research:Internet Protocol Breakdown 1997 - 2008,互聯(lián)網(wǎng)中P2P應(yīng)用蓬勃發(fā)展,P2P流量增長迅速，占互聯(lián)網(wǎng)流量5080%,P2P的使用很普遍，而且越來越多 P2P成為主流的互聯(lián)網(wǎng)內(nèi)容傳播方式,Page 6,運營商面臨的挑戰(zhàn),下載速度慢,用戶體驗差,骨干帶寬壓力巨大,在現(xiàn)有帶寬下很難發(fā)展新的用戶 難于保持用戶的滿意度 危及到新業(yè)務(wù)的發(fā)展,視頻、P2P流量吞噬了大量的帶寬，用戶的關(guān)鍵業(yè)務(wù)無法保障， 用戶抱怨增多，粘合度急劇下降，造成用戶流失。,Page 7,運營商解決辦法,流量限制,擴容帶寬,引入內(nèi)容源 IDC,CDN,iCache 互聯(lián)網(wǎng)緩存系統(tǒng),實施難度大，需要和每個內(nèi)容提供商溝通,成本高效果不明顯，擴容部分很快被占用,用戶體驗下降 抱怨增加,掌控權(quán)在CDN運營商手中，如果自建CDN需要和每個內(nèi)容提供商溝通,智能方式解決客戶問題，效果明顯，性價比高,Page 8,8,運營商解決辦法,高,低,服務(wù)質(zhì)量,高,低,投資成本,Page 9,目錄,電信運營商的困惑與機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 成功案例,Page 10,iCache互聯(lián)網(wǎng)緩存解決方案,iCache方案,P2P緩存 加速,HTTP緩存加速,在線視頻緩存加速,iCacheSIG疏堵結(jié)合,iCache互聯(lián)網(wǎng)緩存方案，是專門面向電信級運營商和寬帶運營商的流量緩存加速解決方案，用于P2P、HTTP、在線視頻等大流量應(yīng)用的網(wǎng)內(nèi)緩存， 降低出口流量，減少網(wǎng)間結(jié)算費用； 大幅度改善用戶網(wǎng)絡(luò)使用體驗； 支持內(nèi)容匯聚，提供運營基礎(chǔ)； iCache互聯(lián)網(wǎng)緩存方案，可與流量優(yōu)化控制設(shè)備SIG相結(jié)合，形成疏堵結(jié)合方案。,Page 11,Internet,出口帶寬不足 用戶體驗下降,iCache互聯(lián)網(wǎng)緩存方案部署前,用戶增多，流量增加,用戶,運營商網(wǎng)絡(luò),用戶從外網(wǎng)獲取資源,Page 12,Internet,iCache 緩存系統(tǒng),iCache互聯(lián)網(wǎng)緩存方案部署后,用戶,運營商網(wǎng)絡(luò),節(jié)省出口帶寬,緩存外網(wǎng)資源,用戶從緩存系統(tǒng)獲取資源，加速下載,Page 13,目錄,電信運營商的困惑與機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 成功案例,Page 14,iCache,iCache互聯(lián)網(wǎng)緩存系統(tǒng)功能,土豆網(wǎng) 優(yōu)酷網(wǎng) 新浪播客 搜狐視頻 酷6網(wǎng) 56.Com 偶偶視頻 大視網(wǎng) 爆米花 ,天空軟件站 華軍軟件園 太平洋下載 ,BT、 迅雷、 eMule / eDonkey,P2P緩存加速,HTTP 緩存加速,在線視頻 緩存加速,涵蓋了國內(nèi)目前主流在線視頻網(wǎng)站,避免重復(fù)緩存專利技術(shù),網(wǎng)絡(luò)應(yīng)用層實時調(diào)度,Page 15,在線視頻緩存加速,主流在線播放網(wǎng)站,實現(xiàn)各類在線視頻網(wǎng)站緩存 平均20分鐘新聞的緩沖速度從2分鐘提升到了5秒 將網(wǎng)絡(luò)出口中的在線視頻網(wǎng)站的流量降低了6575%,Page 16,緩 存,Internet,用 戶,HTTP緩存加速,用戶數(shù)量增加 帶寬占用大 下載速度慢,緩存下載內(nèi)容,用戶從緩存快速下載資源,自動緩存下載重復(fù)度較高的HTTP下載資源 支持迅雷、FlashGet、超級旋風(fēng)等客戶端 支持IE、傲游、FireFox、Google瀏覽器,亮點： 文件快速預(yù)取機制 MD5校驗文件唯一性 避免數(shù)據(jù)重復(fù)緩存,Page 17,P2P緩存加速,根據(jù)用戶需求自動緩存P2P資源，采用直接提供流量和調(diào)度本地流量相結(jié)合的方式，最大限度提升用戶下載效果,Page 18,目錄,電信運營商的困惑與機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 成功案例,Page 19,互聯(lián)網(wǎng)緩存方案典型部署架構(gòu),關(guān)口局,Internet,接入網(wǎng),P2P緩存子系統(tǒng),HTTP緩存子系統(tǒng),在線視頻緩存 子系統(tǒng),SIG,iCache互聯(lián)網(wǎng)緩存系統(tǒng),重定向 子系統(tǒng),調(diào)度 子系統(tǒng),管理 子系統(tǒng),Page 20,SIG與iCache系統(tǒng)的整合,網(wǎng)絡(luò)出口,Internet,接入網(wǎng),SIG,在網(wǎng)絡(luò)出口做鏈路分光,SIG將鏡像流量進行深度包檢測，根據(jù)緩存系統(tǒng)所需檢測報文要求，進行特征匹配分流后轉(zhuǎn)發(fā)給緩存系統(tǒng)。,流量分析設(shè)備對流量進行分析、統(tǒng)計、報表，并應(yīng)用控制策略,根據(jù)Cache聯(lián)動策略，發(fā)出干擾包，對非主流P2P協(xié)議等流量進行控制。,iCache 互聯(lián)網(wǎng)緩存系統(tǒng),Page 21,未緩存資源的下載流程,關(guān)口 局,Internet,接入網(wǎng),重定向 子系統(tǒng),P2P緩存子系統(tǒng),HTTP緩存 子系統(tǒng),在線視頻緩存 子系統(tǒng),調(diào)度 子系統(tǒng),互聯(lián)網(wǎng)緩存系統(tǒng),管理 子系統(tǒng),沒有緩存該資源不重定向,沒有緩存該資源，且未到緩存熱度，增加熱度計數(shù),SIG,Page 22,緩存資源進站流程,關(guān)口 局,Internet,接入網(wǎng),重定向 子系統(tǒng),P2P緩存子系統(tǒng),HTTP緩存 子系統(tǒng),在線視頻 緩存子系統(tǒng),調(diào)度 子系統(tǒng),互聯(lián)網(wǎng)緩存系統(tǒng),管理 子系統(tǒng),SIG,未緩存此資源，此時到達緩存熱度，調(diào)度資源緩存進站,Page 23,用戶從緩存獲取資源的流程,關(guān)口 局,Internet,接入網(wǎng),重定向 子系統(tǒng),P2P緩存子系統(tǒng),HTTP緩存 子系統(tǒng),在線視頻 緩存子系統(tǒng),調(diào)度 子系統(tǒng),互聯(lián)網(wǎng)緩存系統(tǒng),管理 子系統(tǒng),SIG,Page 24,信令報文建模分析,重定向子系統(tǒng)計算性能計算公式： TPMC= (M*D*T*E*R+ M*D*T*N*O*E*S +M*D*T*N*O*P*Q*E*X)/C,建模過程,重定向子系統(tǒng)網(wǎng)絡(luò)性能計算公式：,調(diào)度子系統(tǒng)計算性能計算公式： TPMC= M*D*T*N*O*P*E*U+M*D*T*N*O*P*Q*E*V+M*D*T*N*O*P*(1-Q)*E*W H*X/C 管理子系統(tǒng)容量計算公式： T = (C*Z*(1440*P)*S + C*X/B) / 10243 (單位：),緩存子系統(tǒng)存儲計算公式： IOPS=Y*A*B*C*D+ Y*A*B*C*D(1- I )/E= Y*A*B*C*D*(2 - I)/E HTTP_IOPS= Y*A*B*C*D*(2 - I)/E =200000*50%*64%*5%*80KB(2-0.95)/40KB BT_IOPS= Y*A*B*C*D*(2 - I)/E = 200000*50%*10.7%*30%*50KB(2-0.95)/40KB EM_IOPS= Y*A*B*C*D*(2 - I)/E = 200000*50%*2.6%*30%*50KB(2-0.95)/40KB TOTAL_IOPS= HTTP_IOPS+ BT_IOPS+ EM_IOPS=11958，約為12000,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)計說明,深入的業(yè)務(wù)建模,按照全球不同流量場景業(yè)務(wù)建模，精確配比的硬件性能和存儲比例,Page 25,跨越網(wǎng)絡(luò)、負載、IO領(lǐng)域的性能優(yōu)化,管理子系統(tǒng),設(shè)備選型計算方法 確定優(yōu)化關(guān)鍵要素： 計算優(yōu)化可行性,緩存子系統(tǒng),設(shè)備選型計算方法 確定優(yōu)化關(guān)鍵要素： 集群負載方案開發(fā),設(shè)備選型計算方法 確定優(yōu)化關(guān)鍵要素： 與SIG流控產(chǎn)品對接方案開發(fā) 計算優(yōu)化結(jié)果,重定向子系統(tǒng),調(diào)度子系統(tǒng),設(shè)備選型計算方法 確定優(yōu)化關(guān)鍵要素：,減少系統(tǒng)流量負荷,實現(xiàn)調(diào)度壓力負載均衡,提高設(shè)備吞吐量,實現(xiàn)流控、緩存統(tǒng)一管理,Page 26,重定向子系統(tǒng),功能 對用戶請求進行深度檢測 將用戶請求重定向到內(nèi)網(wǎng)緩存服務(wù)器 電信級的高速報文處理、重定向能力 快捷簡便的升級擴展 分布式、Scale Out部署，擴展升級方便 iCache重定向子系統(tǒng)和SIG聯(lián)動 低成本、可靠的接入方式 通過聯(lián)動SIG實現(xiàn)報文過濾旁路接入，節(jié)省協(xié)議轉(zhuǎn)換平臺 可靠的容錯能力 SIG接口轉(zhuǎn)發(fā)心跳判斷機制 集群負載機制，各臺設(shè)備均勻負載出口總流量,Page 27,調(diào)度子系統(tǒng),功能 基于緩存服務(wù)器負載、容量的集群調(diào)度模式，實現(xiàn)用戶緩存服務(wù)器調(diào)度 基于內(nèi)網(wǎng)資源數(shù)智能計算，實現(xiàn)“優(yōu)先調(diào)度內(nèi)網(wǎng)傳輸” 一體化的協(xié)議調(diào)度機制 HTTP 下載智能調(diào)度 在線視頻智能調(diào)度 BT Tracker調(diào)度 ED2K Server調(diào)度 迅雷下載智能調(diào)度 用戶服務(wù)設(shè)置 自由設(shè)置服務(wù)范圍,Page 28/32,管理子系統(tǒng),易用性 簡單方便管理,直觀 決策依據(jù),統(tǒng)一的管理界面,強大的報表統(tǒng)計功能,策略設(shè)置 通過設(shè)置各種參數(shù)保證系統(tǒng)按照既定策略工作 狀態(tài)監(jiān)控 同時可對運行狀態(tài)和各種數(shù)據(jù)進行監(jiān)控。,Page 29,緩存子系統(tǒng),功能 存儲互聯(lián)網(wǎng)熱點P2P、HTTP、在線視頻資源 緩存自動更新 高性能吞吐 OceanStor海量存儲 高吞吐、高并發(fā) 低能耗 從存儲控制器到整機的綠色設(shè)計，降低用戶TCO 緩存命中率 僅服務(wù)器協(xié)議吞吐命中率超過90%,Page 30,目錄,電信運營商的困惑與機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 典型場景,Page 31,iCache,同一平臺支持P2P文件 傳輸 、HTTP文件下載 、在線播放的緩存。,一體化緩存解決方案,疏堵結(jié)合有效降低出口 帶寬，大幅提升用戶體 驗,疏堵結(jié)合,綠色節(jié)能設(shè)計 大幅降低客戶TCO,綠色節(jié)能,可通過增加設(shè)備的方法 實現(xiàn)性能提升，支持平 滑升級和擴容。,高擴展性,采用高性能海量存儲設(shè) 備，實現(xiàn)單臺高吞吐量,高性能海量存儲,iCache互聯(lián)網(wǎng)緩存方案亮點,采用旁路方式部署， 不改變現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)， 不影響現(xiàn)有網(wǎng)絡(luò)性能。,Page 32,熱點文件緩存 提高P2P下載體驗 提高在線視頻體驗 提高Http下載體驗 降低網(wǎng)間流量與結(jié)算 不能實現(xiàn)出口流量控制,流量過濾轉(zhuǎn)發(fā) 聯(lián)動流控機制 非主流P2P流量控制 主流P2P流量輔助控制 現(xiàn)網(wǎng)流量實時分析統(tǒng)計 不能實現(xiàn)應(yīng)用加速 不能降低網(wǎng)間流量,疏堵結(jié)合，特性互補,SIG,iCache 互聯(lián)網(wǎng)緩存系統(tǒng),Page 33,4U/ 24盤位 440mm*670mm 20TB,海量緩存設(shè)備,熱門數(shù)據(jù)讀取總量=冷門數(shù)據(jù)讀取總量 僅緩存熱門數(shù)據(jù)的全局命中率有限 海量存儲帶來高全局命中率,Page 34,高性能緩存設(shè)備,IOAT 芯片支持IOAT，高網(wǎng)絡(luò)訪問性能 IOPS 智能調(diào)度緩存下載、回吐任務(wù)均勻分布于每設(shè)備24硬盤，24硬盤平均承擔(dān)IOPS 吞吐量 針對P2P、HTTP、在線視頻等應(yīng)用單獨優(yōu)化線程以保證吞吐量 可靠性 硬盤支持熱插拔 數(shù)據(jù)自動重緩存,Page 35,硬盤緩啟動設(shè)計，控制啟動電流，降低了系統(tǒng)整體功耗需求,特有的硬盤休眠技術(shù)和自動喚醒功能,低功耗板卡設(shè)計，整機大幅功耗降低,通信用高效率電源模塊，減少無謂功率損失,智能調(diào)速風(fēng)扇，支持環(huán)境溫度和系統(tǒng)實時溫度檢測，自動調(diào)節(jié)風(fēng)扇轉(zhuǎn)速，降低功耗,低功耗芯片，深度滿足對功耗有特殊要求的客戶,綠色節(jié)能,降低客戶TCO-綠色節(jié)能設(shè)計,緩存系統(tǒng)24小時在線頻繁讀取，綠色節(jié)能設(shè)計將大幅降低客戶TCO,Page 36,目錄,電信運營商的困惑與機遇 華為互聯(lián)網(wǎng)緩存解決之道 方案簡介 功能介紹 系統(tǒng)架構(gòu) 華為互聯(lián)網(wǎng)緩存方案的亮點 華為互聯(lián)網(wǎng)緩存方案的價值 成功案例,Page 37,對運營商的價值,NO cache,With cache,提升用戶體驗，降低運營商的CAPEX和OPEX 通過緩存加速以及對流量的優(yōu)化和控制，節(jié)省30%60%的出口總帶寬,iCache,Page 38,對運營商的價值投資回報分析,運營商關(guān)口局,40萬用戶,Internet,40 Gbps,出口帶寬: 40G 用戶數(shù)：40萬 P2P流量: 50% HTTP流量：30%,部署規(guī)劃： 重定向子系統(tǒng)（RSS）4臺 調(diào)度子系統(tǒng)（DSS）2臺 管理子系統(tǒng)（MSS）1臺 緩存子系統(tǒng)（CSS）20臺,緩存吐出流量：7800Mb 緩存調(diào)度內(nèi)部傳輸節(jié)省流量：3300Mb 系統(tǒng)總共節(jié)省流量：11G,節(jié)省出口流量可以用于發(fā)展新用戶 每G帶寬發(fā)展用戶數(shù)為1萬 節(jié)省11G可擴展11萬用戶 按照每用戶每月60元，每月用戶擴展 投資回報為11萬*60 =660萬元！,Page 39,分期投資，分期部署 動態(tài)擴展存儲空間 保護用戶的原有投資 iCache系統(tǒng)與網(wǎng)絡(luò)規(guī)模并行成長,iCache 系 統(tǒng),分期投資、平滑演進，保護長期投資,P2P緩存子系統(tǒng),HTTP緩存子系統(tǒng),在線視頻緩存子系統(tǒng),Internet,隨需擴展,Page 40,P2P下載情況,對最終用戶的價值,寬帶接入方式為LAN 接入帶寬10M 下載速度