利用WCCP協(xié)議優(yōu)化代理服務器的部署

1、利用WCCP協(xié)議優(yōu)化代理服務器的部署摘要：本文基于實際網(wǎng)絡維護經(jīng)驗，總結(jié)了代理服務器在大型園區(qū)網(wǎng)用戶訪問互聯(lián)網(wǎng)中的作用和存在的各種問題，并針對存在的問題進行分析，提出可實施的解決方案關鍵詞：代理服務器；緩存；wccp協(xié)議；重定向to optimize the deployment of proxy server withwccp protocolwei wei(beijing capital international airport,beijing100621)abstract: this paper, based on the actual network maintenance expe

2、rience, summarizes the functions and disadvantages of proxy servers when they are used in large lan users access to the internet, and in the light of the analysis of existing problems, puts forward the solutions can be implementedkeywords: proxy server;cache;wccp protocol;redirect通常情況下，我們使用網(wǎng)絡瀏覽器訪問in

3、ternet站點或其他目的服務器時，是由客戶端直接訪問到目的站點服務器，然后由目的站點服務器把信息傳送回來。代理服務器是介于客戶端和目的服務器之間的另一臺服務器，有了它之后，客戶端不是直接到目的服務器去取回信息而是向代理服務器發(fā)出請求，由代理服務器取回客戶端所需要的信息并傳送給客戶端瀏覽器。使用代理服務器帶來的主要好處：1、速度提升：根據(jù)筆者對數(shù)千用戶訪問internet的流量進行長達2年的統(tǒng)計，發(fā)現(xiàn)用戶總的訪問需求中，大概50%的訪問目的資源是重復的，如果每個用戶都直接訪問到目的站點，則會造成巨大的流量浪費，企業(yè)也必須為此租用更寬的internet鏈路，支付更高的費用。而代理服務器的存在，則

4、很好的解決了這個問題，代理服務器通常都具有緩存功能，用戶通過代理服務器訪問internet的數(shù)據(jù)均先下載到代理服務器本地后再發(fā)給源請求用戶，由于代理服務器通常具有較大的本地存儲空間和經(jīng)過特別優(yōu)化的i/o設計，能保證大量用戶并發(fā)訪問時快速響應，把數(shù)據(jù)快速傳送給客戶端，而客戶端與代理服務器通常在一個局域網(wǎng)內(nèi)，使用100m、1000m甚至更高帶寬互聯(lián)，所有當客戶端訪問的資源在代理服務器上具有本地緩存時，訪問速度大幅提升。通過代理服務器的緩存功能實現(xiàn)訪問速度提升在訪問internet人數(shù)較多的大型企事業(yè)單位中能得到明顯體現(xiàn)。2、安全提升：傳統(tǒng)方式中，客戶端直接訪問目的站點時，客戶端經(jīng)常使用的通用網(wǎng)絡瀏

5、覽器及操作系統(tǒng)等由于漏洞及安全管理等各種原因，容易遭受網(wǎng)頁病毒、木馬、惡意插件等的侵襲，帶來較大的安全隱患和較高的安全管理成本。而代理服務器機制由于本身的架構(gòu)設計就避免了用戶直接被侵襲的可能，而且代理服務器由于采用專用的軟件設計，本身并不容易遭受常見病毒、木馬和惡意插件等的干擾，加之現(xiàn)在很多代理服務器都具有病毒檢測、url過濾、深層檢測、流量清洗等功能，如果用戶訪問的目的站點存在安全問題或者下載到代理服務器本地的數(shù)據(jù)存在安全問題，則不會發(fā)給用戶，從而極大提升安全水平。除此以外，代理服務器還可與ldap或radius等認證系統(tǒng)結(jié)合實現(xiàn)安全認證、日志審計、行為控制等功能，從而全方位提升訪問互聯(lián)網(wǎng)的

6、安全性。代理服務器的不足之處：代理服務器的使用過程中，一個比較關鍵的地方就是如何讓終端用戶找到代理服務器？通常的方式是：在用戶的網(wǎng)絡瀏覽器中進行設置，指定代理服務器。但是使用瀏覽器設置代理服務器時會帶來如下問題：1、如果需要在瀏覽器中設置代理服務器的終端電腦很多，面對技術水平參差不齊的用戶，如何快速部署實施？2、用戶訪問本地局域網(wǎng)資源時，需要對訪問的本地局域網(wǎng)資源進行例外設置，使訪問本地資源的流量不經(jīng)過代理服務器，如果大量用戶都不會設置怎么辦？如果設置好了以后陸陸續(xù)續(xù)又有很多新增的內(nèi)網(wǎng)服務器需要增加例外設置怎么辦？3、使用代理服務器訪問互聯(lián)網(wǎng)的網(wǎng)絡中，基于安全考慮，通常不允許用戶直接訪問互聯(lián)網(wǎng)

7、，用戶訪問互聯(lián)網(wǎng)的請求均通過代理服務器實現(xiàn)，但是如果用戶訪問互聯(lián)網(wǎng)不是通過瀏覽器，而是通過某個c/s應用中的應用程序訪問互聯(lián)網(wǎng)，應用程序不支持設置代理服務器時怎么辦？當然，可以允許這部分用戶直接訪問互聯(lián)網(wǎng)，但是如果有大量用戶都需要使用此應用程序呢？安全原則是否要被打破？網(wǎng)絡結(jié)構(gòu)與路由策略是否要調(diào)整？4、大量用戶通過代理服務器訪問互聯(lián)網(wǎng)，代理服務器成為瓶頸點，性能夠么？代理服務器宕機了怎么辦？當然，上述的幾個問題都有常規(guī)的解決辦法應對：用戶端部署實施可以通過windows域管理和腳本文件等解決，c/s應用不支持問題可以通過路由和安全調(diào)整等解決，代理服務器瓶頸問題可以通過服務器負載均衡設備的引入解

8、決辦法總是有的，但是很多辦法在解決了老問題的同時引入了新的問題和帶來很高的成本：域管理本身就是一個實施難度較高的工作，如果原來就是域管理環(huán)境還可以，但是如果沒有而且短期內(nèi)不計劃部署呢？我想這種情況下域管理實施的成本已經(jīng)遠遠超過代理服務器帶來的好處了；通過安全調(diào)整等解決c/s應用問題，將最終導致代理服務器成為雞肋；購買服務器負載均衡設備解決代理服務器瓶頸問題，又是一筆巨大的投入，不值！如此看來，代理服務器的好處很明顯，但為了維持它的使用居然有這么多的問題，干脆別用它了，或者有沒有兩全其美的辦法呢？答案是，有，而且很廉價，很好用，什么辦法？代理服務器+wccpwccp （web cache com

9、munication protocol ）是一種高速緩存技術協(xié)議，是路由器與緩存引擎cache engine之間的通信協(xié)議，當用戶訪問的請求經(jīng)過路由器或支持wccp功能的交換機防火墻等時，路由器進行攔截，并重定向到cache服務器，這樣可以提供訪問速度，減輕網(wǎng)絡帶寬負擔。wccp 協(xié)議定義了路由和緩存引擎之間透明重定向的機制，在網(wǎng)絡緩存引擎中實現(xiàn)負載分配的方法、轉(zhuǎn)發(fā)方式的協(xié)商等等各個方面，wccp的版本有v1和v2，目前最新的版本是v2，新版本具有以下功能一、支持動態(tài)服務與標準服務wccp 支持將多種tcp 端口的數(shù)據(jù)流重定向到緩存引擎。wccp 除了支持把tcp端口為80 的bbb 數(shù)據(jù)流重

10、定向到緩存引擎的標準服務外，還支持將把tcp 端口為非80 的數(shù)據(jù)流重定向到緩存引擎的動態(tài)服務（如ftp、ssl等）二、支持多路由器wccp 允許系列緩存引擎連接到若干路由器上，提供冗余和分布式的結(jié)構(gòu)。wccp是這樣實現(xiàn)路由器和緩存引擎之間的通信的：將若干路由器和系列緩存引擎組成一個服務組service group ，并且這些路由器和引擎都彼此知道對方的存在。一旦建立了服務組，就專門指定一個緩存引擎來決定各個緩存引擎間的負載分配。在一個服務組中，一般能夠為所有路由器所見，并具有最小ip 位置的那個緩存引擎成為首領緩存引擎，它的任務是為緩存引擎群分配數(shù)據(jù)流，其分配信息被傳送給整個服務組，這樣每個

11、路由器就可以正確地重定向數(shù)據(jù)分組，而緩存引擎群可以更好地管理它們的負載。三、實現(xiàn)透明地重定向wccp 路由器透明地實現(xiàn)用戶瀏覽器對web 服務器的bbb 請求的重定向，最終用戶并不知道所瀏覽的頁面并不是直接來自web 服務器而是緩存引擎。除此之外，緩存引擎的操作對網(wǎng)絡也是透明的，對非重定向傳輸來說路由器完全扮演了他的通常角色即正常的轉(zhuǎn)發(fā)。四、支持兩種重定向方法wccp 支持兩種重定向方法：gre 封裝重定向和l2 重寫重定向。gre 封裝重定向方法，是在ip 報文的頭部封裝一個gre頭，在ip 報文尾部封裝一個四字節(jié)的redirect頭，形成一個新的ip 報文的方法。l2 重寫重定向方法，則不

12、封裝ip 報文，而是由wccp 路由器直接用目標緩存引擎的mac 位置替換ip 報文的目的mac 位置即可。gre 封裝重定向方法允許目標緩存引擎與路由器之間跨網(wǎng)絡連接，而l2 重寫重定向方法要求目標緩存引擎與路由器在鏈路層layer2 直接相連。五、負載均衡wccp 在緩存引擎群之間的負載均衡方式有兩種：散列方式和掩碼/變量值集合方式。負載均衡的目的是為了將數(shù)據(jù)流負載均勻地分配給緩存引擎群集。通過負載均衡的方法，wccp 可將通信流重定向到緩存引擎，因此，當服務組中增加或減少了緩存引擎時，wccp 可重新在緩存引擎群之間分配負載。這樣wccp 支持可伸縮的緩存引擎群集，使可用資源更有效地利，

13、用同時為用戶提供高質(zhì)量的服務。六、報文退還當緩存引擎把不能處理的報文退還給路由器時，該路由器將不再把該報文重定向，而進行正常的轉(zhuǎn)發(fā)。例如，緩存引擎已經(jīng)過載沒有空間緩存報文時，它將拒絕任何重定向報文并把它們退還安全驗證。figure 1wccp流量示意圖圖中cache/service group的位置由代理服務器承擔，代理服務器本身就是一個cache服務器.過程如下：1、客戶端流量先經(jīng)過內(nèi)網(wǎng)訪問到與代理服務器連接的路由器.2、路由器將此流量重定向到代理服務器（路由器和代理服務器已經(jīng)通過wccp協(xié)商形成鄰居關系，并約定好由代理服務器進行處理的業(yè)務類型，如80、443等）.3、在代理服務內(nèi)部，80、

14、443端口又重定向到3128端口（squid的監(jiān)聽端口默認為3128，此處以squid為例子），代理服務器需要查看本地存儲中是否有最新的資源數(shù)據(jù)，有責直接發(fā)送給客戶端，沒有則連接到互聯(lián)網(wǎng)后再傳給客戶端。由于代理服務器和路由器之間通過運行wccp形成鄰居關系，系統(tǒng)管理員在wccp的配置中指定固定的服務由代理服務器承擔，通常是占用戶訪問網(wǎng)絡流量較大的bbb流量、視頻流量等，當然，也可以將所有流量均由代理服務器處理，但考慮到部分應用通過代理服務器訪問時可能出現(xiàn)異常錯誤，如網(wǎng)銀登錄等，通常只指定占流量較大和可能造成安全隱患的服務由代理服務器處理。在此種結(jié)構(gòu)下，代理服務器的作用得以保留，但用戶端卻無需任

15、何代理服務器相關配置，提高了用戶端使用便利性，網(wǎng)絡管理員的維護工作量也大幅度降低；針對部分c/s應用無法通過代理服務器使用問題，可在路由器上配置此應用程序所使用的端口的流量不經(jīng)過wccp協(xié)議轉(zhuǎn)發(fā)即可解決。wccp v2版本還支持負載均衡功能，將幾臺代理服務器部署好以后，路由器端可設置指定的幾臺代理服務器位置作為cache服務器使用，并且可以設定每臺代理服務器的使用權重，低性能的代理服務器分配低權重，高性能服務器分配高權重，每臺設備的性能都得到使用，不僅十分方便，也省去了服務器負載均衡等四層轉(zhuǎn)發(fā)設備的高昂投入。至此，傳統(tǒng)代理服務器部署過程中存在的各種問題均得到解決，而且投入成本非常低，只需要具有wccp v2功能支持的三層交換機、路由器或防火墻即可，wccp協(xié)議原是cisco公司的私有協(xié)議，但后來得以開放，目前很多廠商的設備均支持此協(xié)議，如：h3c、bluecoat、riv