利用WCCP協(xié)議優(yōu)化代理服務(wù)器的部署

1、利用WCCP協(xié)議優(yōu)化代理服務(wù)器的部署摘要：本文基于實際網(wǎng)絡(luò)維護(hù)經(jīng)驗，總結(jié)了代理服務(wù)器在大型園區(qū)網(wǎng)用戶訪問互聯(lián)網(wǎng)中的作用和存在的各種問題，并針對存在的問題進(jìn)行分析，提出可實施的解決方案關(guān)鍵詞：代理服務(wù)器；緩存；wccp協(xié)議；重定向to optimize the deployment of proxy server withwccp protocolwei wei(beijing capital international airport,beijing100621)abstract: this paper, based on the actual network maintenance expe

2、rience, summarizes the functions and disadvantages of proxy servers when they are used in large lan users access to the internet, and in the light of the analysis of existing problems, puts forward the solutions can be implementedkeywords: proxy server;cache;wccp protocol;redirect通常情況下，我們使用網(wǎng)絡(luò)瀏覽器訪問in

3、ternet站點或其他目的服務(wù)器時，是由客戶端直接訪問到目的站點服務(wù)器，然后由目的站點服務(wù)器把信息傳送回來。代理服務(wù)器是介于客戶端和目的服務(wù)器之間的另一臺服務(wù)器，有了它之后，客戶端不是直接到目的服務(wù)器去取回信息而是向代理服務(wù)器發(fā)出請求，由代理服務(wù)器取回客戶端所需要的信息并傳送給客戶端瀏覽器。使用代理服務(wù)器帶來的主要好處：1、速度提升：根據(jù)筆者對數(shù)千用戶訪問internet的流量進(jìn)行長達(dá)2年的統(tǒng)計，發(fā)現(xiàn)用戶總的訪問需求中，大概50%的訪問目的資源是重復(fù)的，如果每個用戶都直接訪問到目的站點，則會造成巨大的流量浪費，企業(yè)也必須為此租用更寬的internet鏈路，支付更高的費用。而代理服務(wù)器的存在，則

4、很好的解決了這個問題，代理服務(wù)器通常都具有緩存功能，用戶通過代理服務(wù)器訪問internet的數(shù)據(jù)均先下載到代理服務(wù)器本地后再發(fā)給源請求用戶，由于代理服務(wù)器通常具有較大的本地存儲空間和經(jīng)過特別優(yōu)化的i/o設(shè)計，能保證大量用戶并發(fā)訪問時快速響應(yīng)，把數(shù)據(jù)快速傳送給客戶端，而客戶端與代理服務(wù)器通常在一個局域網(wǎng)內(nèi)，使用100m、1000m甚至更高帶寬互聯(lián)，所有當(dāng)客戶端訪問的資源在代理服務(wù)器上具有本地緩存時，訪問速度大幅提升。通過代理服務(wù)器的緩存功能實現(xiàn)訪問速度提升在訪問internet人數(shù)較多的大型企事業(yè)單位中能得到明顯體現(xiàn)。2、安全提升：傳統(tǒng)方式中，客戶端直接訪問目的站點時，客戶端經(jīng)常使用的通用網(wǎng)絡(luò)瀏

5、覽器及操作系統(tǒng)等由于漏洞及安全管理等各種原因，容易遭受網(wǎng)頁病毒、木馬、惡意插件等的侵襲，帶來較大的安全隱患和較高的安全管理成本。而代理服務(wù)器機制由于本身的架構(gòu)設(shè)計就避免了用戶直接被侵襲的可能，而且代理服務(wù)器由于采用專用的軟件設(shè)計，本身并不容易遭受常見病毒、木馬和惡意插件等的干擾，加之現(xiàn)在很多代理服務(wù)器都具有病毒檢測、url過濾、深層檢測、流量清洗等功能，如果用戶訪問的目的站點存在安全問題或者下載到代理服務(wù)器本地的數(shù)據(jù)存在安全問題，則不會發(fā)給用戶，從而極大提升安全水平。除此以外，代理服務(wù)器還可與ldap或radius等認(rèn)證系統(tǒng)結(jié)合實現(xiàn)安全認(rèn)證、日志審計、行為控制等功能，從而全方位提升訪問互聯(lián)網(wǎng)的

6、安全性。代理服務(wù)器的不足之處：代理服務(wù)器的使用過程中，一個比較關(guān)鍵的地方就是如何讓終端用戶找到代理服務(wù)器？通常的方式是：在用戶的網(wǎng)絡(luò)瀏覽器中進(jìn)行設(shè)置，指定代理服務(wù)器。但是使用瀏覽器設(shè)置代理服務(wù)器時會帶來如下問題：1、如果需要在瀏覽器中設(shè)置代理服務(wù)器的終端電腦很多，面對技術(shù)水平參差不齊的用戶，如何快速部署實施？2、用戶訪問本地局域網(wǎng)資源時，需要對訪問的本地局域網(wǎng)資源進(jìn)行例外設(shè)置，使訪問本地資源的流量不經(jīng)過代理服務(wù)器，如果大量用戶都不會設(shè)置怎么辦？如果設(shè)置好了以后陸陸續(xù)續(xù)又有很多新增的內(nèi)網(wǎng)服務(wù)器需要增加例外設(shè)置怎么辦？3、使用代理服務(wù)器訪問互聯(lián)網(wǎng)的網(wǎng)絡(luò)中，基于安全考慮，通常不允許用戶直接訪問互聯(lián)網(wǎng)

7、，用戶訪問互聯(lián)網(wǎng)的請求均通過代理服務(wù)器實現(xiàn)，但是如果用戶訪問互聯(lián)網(wǎng)不是通過瀏覽器，而是通過某個c/s應(yīng)用中的應(yīng)用程序訪問互聯(lián)網(wǎng)，應(yīng)用程序不支持設(shè)置代理服務(wù)器時怎么辦？當(dāng)然，可以允許這部分用戶直接訪問互聯(lián)網(wǎng)，但是如果有大量用戶都需要使用此應(yīng)用程序呢？安全原則是否要被打破？網(wǎng)絡(luò)結(jié)構(gòu)與路由策略是否要調(diào)整？4、大量用戶通過代理服務(wù)器訪問互聯(lián)網(wǎng)，代理服務(wù)器成為瓶頸點，性能夠么？代理服務(wù)器宕機了怎么辦？當(dāng)然，上述的幾個問題都有常規(guī)的解決辦法應(yīng)對：用戶端部署實施可以通過windows域管理和腳本文件等解決，c/s應(yīng)用不支持問題可以通過路由和安全調(diào)整等解決，代理服務(wù)器瓶頸問題可以通過服務(wù)器負(fù)載均衡設(shè)備的引入解

8、決辦法總是有的，但是很多辦法在解決了老問題的同時引入了新的問題和帶來很高的成本：域管理本身就是一個實施難度較高的工作，如果原來就是域管理環(huán)境還可以，但是如果沒有而且短期內(nèi)不計劃部署呢？我想這種情況下域管理實施的成本已經(jīng)遠(yuǎn)遠(yuǎn)超過代理服務(wù)器帶來的好處了；通過安全調(diào)整等解決c/s應(yīng)用問題，將最終導(dǎo)致代理服務(wù)器成為雞肋；購買服務(wù)器負(fù)載均衡設(shè)備解決代理服務(wù)器瓶頸問題，又是一筆巨大的投入，不值！如此看來，代理服務(wù)器的好處很明顯，但為了維持它的使用居然有這么多的問題，干脆別用它了，或者有沒有兩全其美的辦法呢？答案是，有，而且很廉價，很好用，什么辦法？代理服務(wù)器+wccpwccp （web cache com

9、munication protocol ）是一種高速緩存技術(shù)協(xié)議，是路由器與緩存引擎cache engine之間的通信協(xié)議，當(dāng)用戶訪問的請求經(jīng)過路由器或支持wccp功能的交換機防火墻等時，路由器進(jìn)行攔截，并重定向到cache服務(wù)器，這樣可以提供訪問速度，減輕網(wǎng)絡(luò)帶寬負(fù)擔(dān)。wccp 協(xié)議定義了路由和緩存引擎之間透明重定向的機制，在網(wǎng)絡(luò)緩存引擎中實現(xiàn)負(fù)載分配的方法、轉(zhuǎn)發(fā)方式的協(xié)商等等各個方面，wccp的版本有v1和v2，目前最新的版本是v2，新版本具有以下功能一、支持動態(tài)服務(wù)與標(biāo)準(zhǔn)服務(wù)wccp 支持將多種tcp 端口的數(shù)據(jù)流重定向到緩存引擎。wccp 除了支持把tcp端口為80 的bbb 數(shù)據(jù)流重

10、定向到緩存引擎的標(biāo)準(zhǔn)服務(wù)外，還支持將把tcp 端口為非80 的數(shù)據(jù)流重定向到緩存引擎的動態(tài)服務(wù)（如ftp、ssl等）二、支持多路由器wccp 允許系列緩存引擎連接到若干路由器上，提供冗余和分布式的結(jié)構(gòu)。wccp是這樣實現(xiàn)路由器和緩存引擎之間的通信的：將若干路由器和系列緩存引擎組成一個服務(wù)組service group ，并且這些路由器和引擎都彼此知道對方的存在。一旦建立了服務(wù)組，就專門指定一個緩存引擎來決定各個緩存引擎間的負(fù)載分配。在一個服務(wù)組中，一般能夠為所有路由器所見，并具有最小ip 位置的那個緩存引擎成為首領(lǐng)緩存引擎，它的任務(wù)是為緩存引擎群分配數(shù)據(jù)流，其分配信息被傳送給整個服務(wù)組，這樣每個

11、路由器就可以正確地重定向數(shù)據(jù)分組，而緩存引擎群可以更好地管理它們的負(fù)載。三、實現(xiàn)透明地重定向wccp 路由器透明地實現(xiàn)用戶瀏覽器對web 服務(wù)器的bbb 請求的重定向，最終用戶并不知道所瀏覽的頁面并不是直接來自web 服務(wù)器而是緩存引擎。除此之外，緩存引擎的操作對網(wǎng)絡(luò)也是透明的，對非重定向傳輸來說路由器完全扮演了他的通常角色即正常的轉(zhuǎn)發(fā)。四、支持兩種重定向方法wccp 支持兩種重定向方法：gre 封裝重定向和l2 重寫重定向。gre 封裝重定向方法，是在ip 報文的頭部封裝一個gre頭，在ip 報文尾部封裝一個四字節(jié)的redirect頭，形成一個新的ip 報文的方法。l2 重寫重定向方法，則不

12、封裝ip 報文，而是由wccp 路由器直接用目標(biāo)緩存引擎的mac 位置替換ip 報文的目的mac 位置即可。gre 封裝重定向方法允許目標(biāo)緩存引擎與路由器之間跨網(wǎng)絡(luò)連接，而l2 重寫重定向方法要求目標(biāo)緩存引擎與路由器在鏈路層layer2 直接相連。五、負(fù)載均衡wccp 在緩存引擎群之間的負(fù)載均衡方式有兩種：散列方式和掩碼/變量值集合方式。負(fù)載均衡的目的是為了將數(shù)據(jù)流負(fù)載均勻地分配給緩存引擎群集。通過負(fù)載均衡的方法，wccp 可將通信流重定向到緩存引擎，因此，當(dāng)服務(wù)組中增加或減少了緩存引擎時，wccp 可重新在緩存引擎群之間分配負(fù)載。這樣wccp 支持可伸縮的緩存引擎群集，使可用資源更有效地利，

13、用同時為用戶提供高質(zhì)量的服務(wù)。六、報文退還當(dāng)緩存引擎把不能處理的報文退還給路由器時，該路由器將不再把該報文重定向，而進(jìn)行正常的轉(zhuǎn)發(fā)。例如，緩存引擎已經(jīng)過載沒有空間緩存報文時，它將拒絕任何重定向報文并把它們退還安全驗證。figure 1wccp流量示意圖圖中cache/service group的位置由代理服務(wù)器承擔(dān)，代理服務(wù)器本身就是一個cache服務(wù)器.過程如下：1、客戶端流量先經(jīng)過內(nèi)網(wǎng)訪問到與代理服務(wù)器連接的路由器.2、路由器將此流量重定向到代理服務(wù)器（路由器和代理服務(wù)器已經(jīng)通過wccp協(xié)商形成鄰居關(guān)系，并約定好由代理服務(wù)器進(jìn)行處理的業(yè)務(wù)類型，如80、443等）.3、在代理服務(wù)內(nèi)部，80、

14、443端口又重定向到3128端口（squid的監(jiān)聽端口默認(rèn)為3128，此處以squid為例子），代理服務(wù)器需要查看本地存儲中是否有最新的資源數(shù)據(jù)，有責(zé)直接發(fā)送給客戶端，沒有則連接到互聯(lián)網(wǎng)后再傳給客戶端。由于代理服務(wù)器和路由器之間通過運行wccp形成鄰居關(guān)系，系統(tǒng)管理員在wccp的配置中指定固定的服務(wù)由代理服務(wù)器承擔(dān)，通常是占用戶訪問網(wǎng)絡(luò)流量較大的bbb流量、視頻流量等，當(dāng)然，也可以將所有流量均由代理服務(wù)器處理，但考慮到部分應(yīng)用通過代理服務(wù)器訪問時可能出現(xiàn)異常錯誤，如網(wǎng)銀登錄等，通常只指定占流量較大和可能造成安全隱患的服務(wù)由代理服務(wù)器處理。在此種結(jié)構(gòu)下，代理服務(wù)器的作用得以保留，但用戶端卻無需任

15、何代理服務(wù)器相關(guān)配置，提高了用戶端使用便利性，網(wǎng)絡(luò)管理員的維護(hù)工作量也大幅度降低；針對部分c/s應(yīng)用無法通過代理服務(wù)器使用問題，可在路由器上配置此應(yīng)用程序所使用的端口的流量不經(jīng)過wccp協(xié)議轉(zhuǎn)發(fā)即可解決。wccp v2版本還支持負(fù)載均衡功能，將幾臺代理服務(wù)器部署好以后，路由器端可設(shè)置指定的幾臺代理服務(wù)器位置作為cache服務(wù)器使用，并且可以設(shè)定每臺代理服務(wù)器的使用權(quán)重，低性能的代理服務(wù)器分配低權(quán)重，高性能服務(wù)器分配高權(quán)重，每臺設(shè)備的性能都得到使用，不僅十分方便，也省去了服務(wù)器負(fù)載均衡等四層轉(zhuǎn)發(fā)設(shè)備的高昂投入。至此，傳統(tǒng)代理服務(wù)器部署過程中存在的各種問題均得到解決，而且投入成本非常低，只需要具有wccp v2功能支持的三層交換機、路由器或防火墻即可，wccp協(xié)議原是cisco公司的私有協(xié)議，但后來得以開放，目前很多廠商的設(shè)備均支持此協(xié)議，如：h3c、bluecoat、riv