基于云計算的web流量智能緩存方案

1、成果上報申請書成果名稱基于云計算的web流量智能緩存方案成果申報單位江蘇省公司成果承擔部門/分公司項目負責人姓名項目負責人聯(lián)系電話和email成果專業(yè)類別*數(shù)據(jù)網(wǎng)絡所屬專業(yè)部門*數(shù)據(jù)線條成果研究類別*相關網(wǎng)絡解決方案省內(nèi)評審結果*優(yōu)秀關鍵詞索引（35個）web、緩存、云計算應用投資緩存系統(tǒng)投資40萬元左右產(chǎn)品版權歸屬單位 中國移動通信集團江蘇有限公司對企業(yè)現(xiàn)有標準規(guī)范的符合度：（按填寫說明5）符合如果該成果來源于研發(fā)項目，請?zhí)顚懷邪l(fā)項目的年度、名稱和類型（類型包括：集團重點研發(fā)項目、集團聯(lián)合研發(fā)項目、省公司重點研發(fā)項目、其他研發(fā)項目），可填寫多個：其他研發(fā)項目成果簡介：簡要描述成果目的和意義，

2、解決的問題，取得的社會和經(jīng)濟效益?；ヂ?lián)網(wǎng)網(wǎng)頁訪問的快慢會直接影響用戶的上網(wǎng)感知和體驗，目前移動寬帶客戶訪問延遲增大，www服務質量問題日益突顯。web緩存技術被認為是減輕服務器負載、降低網(wǎng)絡擁塞、增強www可擴展性的有效途徑之一，其基本思想是利用客戶訪問的時間局部性（temporal locality）原理，將客戶訪問過的內(nèi)容在cache中存放一個副本，當該內(nèi)容下次被訪問時，不必連接到駐留網(wǎng)站，而是由cache中保留的副本提供。目前移動各個省市都在逐步開展本地web緩存的建設工作，但是緩存系統(tǒng)的性能參差不齊。江蘇公司整合本地緩存和各種疏導出口的資源，并結合云計算技術對緩存系統(tǒng)進行整體性能的優(yōu)化

3、和提升。采取云計算技術的緩存系統(tǒng)和第三方智能疏導相結合部署的組網(wǎng)方案部署，提升了緩存性能，節(jié)省了昂貴的第三方出口帶寬，提升了用戶上網(wǎng)感知。其主要成果如下，（1）減少疏導出口網(wǎng)絡流量和網(wǎng)絡擁塞，從而節(jié)省昂貴的第三方出口帶寬資源；（2）降低客戶訪問延遲，緩存在代理服務器中的內(nèi)容，客戶可以直接從代理獲取而不是從遠程服務器獲取，從而減小了傳輸延遲；沒有被緩存的內(nèi)容由于網(wǎng)絡擁塞及服務器負載的減輕而可以較快地被客戶獲??；（3）緩存系統(tǒng)設計時，充分考慮到了緩存失效的情況，同時為避免因緩存失效而引起客戶的訪問延遲增加。在設計web緩存系統(tǒng)時，采用了七層負載均衡交換機對進入緩存的流量進行篩選，做到cache命中

4、率最大化和失效代價最小化。省內(nèi)試運行效果：描述成果引入后在本省試運行方案、取得的效果、推廣價值和建議等。采用七層交換與智能疏導a10設備和web緩存系統(tǒng)提升效能。a10設備實現(xiàn)會話及七層應用的第三方分流優(yōu)化和負載均衡功能，突破了傳統(tǒng)路由器最多只能識別到四層和手工調(diào)整第三方出口流量的局限；還可對進入緩存系統(tǒng)的web流量進行篩選，自動剔除非標準tcp 80 端口的流量，降低緩存系統(tǒng)冗余負荷，提高命中率。 整個緩存系統(tǒng)建設完成后節(jié)省第三方出口總體帶寬的20%左右，提升寬帶網(wǎng)速約5-10個百分點，有效提升了客戶感知，為目前寬帶網(wǎng)速的優(yōu)化以及第三方疏導系統(tǒng)的建設提供一個較好的方案。該系統(tǒng)除了已經(jīng)在無錫公

5、司使用之外，常州、徐州分公司已引進使用，還有部分分公司也正在積極測試準備引入。文章主體（3000字以上，可附在表格后）：根據(jù)成果研究類別，主體內(nèi)容的要求有差異，具體要求見表格后的“填寫說明6”。一、 項目背景（1）在移動寬帶面臨日益增加的互聯(lián)互通壓力和昂貴的第三方電路租賃費用情況下，如何提高逐步增長的寬帶用戶的上網(wǎng)感知，是我們當前面臨的主要困難。（2）目前各個地市都在逐步開展本地web緩存的建設工作，但是緩存系統(tǒng)的建設沒有一個很好的模式以及性能都不高，所以我們提出了整合本地緩存和第三方出口的資源，結合云計算技術進行緩存系統(tǒng)整體性能的優(yōu)化和提升。采取云計算技術的緩存系統(tǒng)和第三方智能疏導相結合部署

6、的組網(wǎng)方案，提升緩存性能，節(jié)省第三方出口帶寬，提升用戶上網(wǎng)感知。本次研究課題旨在對地市本地緩存系統(tǒng)的建設和優(yōu)化工作做出積極有益的探索，并積累經(jīng)驗。二、 目前寬帶優(yōu)化中存在的問題目前第三方出口帶寬資源有限并且價格高昂，如果一旦用戶投訴就往第三方疏導，勢必造成第三方出口資源的不足。所以如何更好地利用和發(fā)揮第三方出口的功能是我們面臨的一個重要問題。具體如下，（1）采用傳統(tǒng)路由器時，當一個出口中斷后只能倒換會cmnet，無法在出口間備份。（2）通過傳統(tǒng)路由器不能篩選出非80標準包，不能將純http流量給緩存系統(tǒng)，造成緩存系統(tǒng)因這些非標準包的處理而降低了緩存的工作效率。（3）傳統(tǒng)路由器不能選擇最快鏈路來

7、實現(xiàn)優(yōu)化疏導，只能選擇某條固定鏈路。三、 web緩存系統(tǒng)主要功能及方案總體方案介紹：web緩存解決方案包括兩個組件,網(wǎng)絡流量處理系統(tǒng)和緩存系統(tǒng)。該web緩存解決方案，基于虛擬化和云計算架構，支持所有基于http協(xié)議的服務和應用，包括新浪、搜狐等大型門戶網(wǎng)站，華軍、非凡等軟件下載網(wǎng)站，操作系統(tǒng)、殺毒軟件以及游戲軟件的升級安裝包下載，以及所有基于http的視頻媒體分享網(wǎng)站，如優(yōu)酷網(wǎng)、土豆網(wǎng)等，支持flv、mp4、mpg、mpeg和wmv等文件類型。本方案使用高性能、分布式的網(wǎng)格計算集群架構，充分利用虛擬化、并行計算等前沿技術，提供一個完全冗余具有電信級可靠性及具有數(shù)千兆部署擴展性的緩存內(nèi)容加速平臺

8、，并且允許擴展存儲和處理器，對部分特定內(nèi)容提供定制優(yōu)化服務。該web緩存解決方案的緩存算法可以根據(jù)請求內(nèi)容的大眾化或使用頻率、內(nèi)容刷新和準確性提供緩存服務，其目的是將優(yōu)選普遍的http媒體內(nèi)容緩存至本地網(wǎng)絡，從而可以更迅速地對用戶提供快速傳送，排除相同內(nèi)容的重復下載，使流量本地化，節(jié)省出口帶寬，節(jié)省昂貴的鏈路租用費用，并減少增加帶寬所需的網(wǎng)絡設備購置費用。（一）組成模塊web緩存解決方案包括兩個組件：網(wǎng)絡流量處理系統(tǒng)和緩存系統(tǒng)。1、網(wǎng)絡流量處理系統(tǒng)網(wǎng)絡流量處理系統(tǒng)包括流量七層帥選和wccp協(xié)議的流量分發(fā)。利用七層交換機開啟七層包監(jiān)測, 進一步過濾分揀流量的方式，篩選出非80標準包，將純http

9、流量給緩存系統(tǒng)，提高cache緩存命中率，降低緩存cpu使用率，從而達到更高效利用緩存系統(tǒng)的目的。網(wǎng)絡流量處理系統(tǒng)通過wccp協(xié)議（web cache communication protocol），根據(jù)預設的轉發(fā)規(guī)則及分發(fā)算法，將http流量重定向到緩存系統(tǒng)并具體分發(fā)到每臺緩存設備。如果緩存系統(tǒng)中有緩存設備發(fā)生故障，無法正常工作，流量處理系統(tǒng)可以自動探測，并立即將轉往該緩存設備的流量分發(fā)到其他緩存；如果緩存系統(tǒng)所有設備均發(fā)生故障或整個緩存系統(tǒng)離線，流量處理系統(tǒng)則停止向緩存系統(tǒng)轉發(fā)流量，而是直接將流量發(fā)往默認路由下一跳節(jié)點。2、緩存系統(tǒng)緩存系統(tǒng)可以透明地分析流量處理系統(tǒng)轉發(fā)過來的http流量，

10、判斷內(nèi)容是否能夠緩存，并執(zhí)行相應操作。如果能夠緩存，就檢查存儲系統(tǒng)中是否已經(jīng)保存了相應的內(nèi)容拷貝，如果有，則從存儲系統(tǒng)中直接讀取該內(nèi)容并返回給用戶；如果沒有，就主動連接遠程主機下載該內(nèi)容，并將內(nèi)容轉發(fā)給請求的用戶，同時在存儲系統(tǒng)中保存相應的拷貝。整個過程對用戶端來說是完全透明的，即終端用戶無需修改任何設置，也感覺不到緩存系統(tǒng)的存在。網(wǎng)絡流量處理系統(tǒng)與緩存系統(tǒng)分離，可以增加網(wǎng)絡的擴展性能，為增加帶寬提供可擴展的平臺。（二）設備組件web緩存緩存系統(tǒng)主要包括以下主要組件：1、緩存設備緩存設備的硬件平臺，具體配置如下：平臺1 dell r510cpu兩顆intel 至強 e5660 六核處理器，2.

11、8ghz， 12mb高速緩存，5.86gt/s qpi，內(nèi)存64gb ，1333mhz雙列rdimm內(nèi)存硬盤10450gb 15k 6gbps sas 3.5英寸熱插拔硬盤；4100g ssd磁盤陣列卡1perc h700集成raid控制器，512m高速緩存1perc h800 raid控制器，1g高速緩存網(wǎng)卡broadcom 5716雙端口千兆以太網(wǎng)卡；2 intel 千兆et四端口服務器適配器磁盤擴展柜1dell md122024600g 10k sas電源冗余電源（750w） 2；遠程管理idrac enterprise緩存虛擬機8路虛機并行。處理性能1.5gbps，7000請求/秒。2

12、、流量處理設備流量處理設備為一臺cisco 3750g三層交換機，具體型號為cisco-3750g-24ts-s，具體配置參數(shù)如下： 24個千兆電口，10/100/1000m自適應 4個sfp接口 轉發(fā)速率：160gbps 包轉發(fā)率：38.6mpps 支持：wccp、ospf、pbr 電源：雙電源（三）部署方法1、系統(tǒng)拓撲結構系統(tǒng)拓撲結構如圖 1系統(tǒng)拓撲結構所示：圖 1系統(tǒng)拓撲結構（1）web緩存系統(tǒng)配置： 每臺緩存2500服務器上的intel 4口千兆網(wǎng)卡分別連接四條五類線到cisco 3750（共4條千兆鏈路），劃分到vlan500中（description $_link.to.緩存.se

13、rvers），提供緩存服務； 每臺緩存2500服務器上的板載broadcom千兆網(wǎng)卡連接一條線到cisco 3750（共2條千兆鏈路），劃分到vlan600中（description $_link.to.緩存.servers.configure），提供遠程管理配置服務； 每臺緩存2500服務器上的idrac遠程管理模塊卡連接一條線到cisco 3750（共2條千兆鏈路） cisco3750通過port-channel連接到核心交換機（視轉發(fā)流量而定）的上行口和下行口（description $_subscribers），分別劃分到vlan100和vlan200。（2）七層負載均衡設備a10策略

14、 七層負載均衡設備所要管理的流量由7600路由器策略路由引入a10 ax 3000設備后，再根據(jù)策略轉發(fā)至緩存系統(tǒng)或者第三方鏈路； ax 3000和7600之間采用多個端口捆綁引入流量 多個第三方鏈路通過防火墻后接入a10 ax 3000設備，防火墻nat通過ax 3000設備發(fā)送會內(nèi)網(wǎng)日志服務器 green cache緩存系統(tǒng)和思科3750仍舊保持原有wccp配置和流量分發(fā)方式；思科3750原來和7600直連，現(xiàn)在改為和a10 ax 3000捆綁接入，由ax 3000分揀流量后發(fā)送給green cache系統(tǒng)。 針對cache系統(tǒng)，ax 3000可以通過黑名單或者白名單方式過濾流量，將適合發(fā)

15、送給緩存的流量轉發(fā)給緩存系統(tǒng) 針對出口鏈路，ax 3000可以通過多種手段靈活調(diào)整流量分配策略，包括o 根據(jù)目標地址所屬運營商，在鏈路中按照鏈路帶寬選路o 按照最快響應選擇最佳鏈路o 可根據(jù)需求，同一個鏈路可以為不同運營商服務，例如同時處理電信和網(wǎng)通流量 需要疏導的流量ax可以設置不同策略，例如o 所有port 80端口流量經(jīng)過分辨后發(fā)送緩存o 其他端口流量和不適合發(fā)送緩存的port 80端口流量智能選路使用第三方鏈路o 緩存使用本身ip地址獲取和更新內(nèi)容，針對這些源地址流量智能選路使用第三方鏈路以上配置的關鍵在于避免cache環(huán)路，保障正常流量的分發(fā) 其他o 基于7層的鏈路健康監(jiān)測，按照特定

16、網(wǎng)站是否可以訪問作為判定鏈路健康與否的方式o 鏈路故障或者恢復可以通過日志報警，例如發(fā)送139信息到手機上流量處理的邏輯圖如下，2、流量導入機制為避免給現(xiàn)網(wǎng)流量造成過大沖擊，導入流量可以采取分階段抓重點的方法進行，即：第一階段可將一部分用戶（1000-3000用戶）的所有http請求通過策略路由（pbr）方式在核心交換機上轉發(fā)給cisco 3750，緩存系統(tǒng)在每天處理完用戶請求后，可以根據(jù)訪問日志，分析匯總得出用戶訪問流量分布構成報表，根據(jù)這個報表，可以進行第二階段的流量導入。第二階段根據(jù)緩存得出的用戶訪問流量分布報表，將占流量構成top 50-100的源或目的地址網(wǎng)段加入到轉發(fā)列表，導給ci

17、sco 3750；同時逐步將用戶流量限制范圍擴大，最終取消限制，將所有用戶的訪問top列表網(wǎng)段的請求導給緩存系統(tǒng)，實現(xiàn)緩存效益的最大化。四、 解決的問題（1）web緩存系統(tǒng)上線后采用互聯(lián)網(wǎng)探針系統(tǒng)測試統(tǒng)計提升寬帶網(wǎng)速約10%，晚忙時節(jié)省第三出口約400mbps左右。（2）a10開啟7層交換機功能，可以篩選出非80標準包，將純http流量給緩存，避免緩存對這些非標準包的處理，提升緩存效率。優(yōu)化前緩存系統(tǒng)的情況：優(yōu)化后緩存系統(tǒng)的情況： 優(yōu)化后緩存命中率由日均36.55%增加到48.49%，較之前提升約12個百分點。測試前緩存處理用戶上網(wǎng)請求數(shù)日均1.5k/s左右（包含網(wǎng)頁請求和非標準網(wǎng)頁請求），a10上線后緩存處理的請求數(shù)下降為0.8k/s左右，其中a10過濾了約40%的迅雷等非標準80端口的流量，降低了緩存負載，使緩存可以處理更大的web流量。（3）原cisco7604路由模式，當一條第三方出口故障后，原路由器模式是自動切換到cmnet出口，通過a10，可以再重新選一條第三方出口。（4）a10可以根據(jù)業(yè)務質量實現(xiàn)第三方出口的路由調(diào)度，即會選一條最優(yōu)的路由來疏導。原路由器模式只能靜態(tài)手工指定。五、 產(chǎn)生的效益（1） w