BluecoatSPHTTP反向代理和CDN技術(shù)方案建議jun

1、xxx用戶用戶 反向代理和反向代理和 cdn 技術(shù)方案建議書(shū)技術(shù)方案建議書(shū) 2007 年年 7 月月 17 日日 目目 錄錄 1前言前言.4 2用戶需求分析用戶需求分析.5 3方案設(shè)計(jì)原則方案設(shè)計(jì)原則.6 4技術(shù)方案建議技術(shù)方案建議.7 4.1反向代理網(wǎng)絡(luò)的總體設(shè)計(jì).7 4.1.1在同一數(shù)據(jù)中心部署反向代理節(jié)點(diǎn).7 4.1.2異地部署反向代理節(jié)點(diǎn).9 4.2adn + cdn 業(yè)務(wù)（動(dòng)態(tài)和靜態(tài)網(wǎng)頁(yè)同時(shí)加速業(yè)務(wù)） .10 4.2.1設(shè)計(jì)概述.10 4.2.2動(dòng)態(tài)網(wǎng)頁(yè)加速流程.11 4.2.3設(shè)備選型.13 4.2.4https 加密動(dòng)態(tài)網(wǎng)頁(yè)加速業(yè)務(wù).14 4.2.5reflect client

2、ip(用戶 ip 地址傳送).17 4.2.6保留用戶原有域名.17 4.3bluecoat http 業(yè)務(wù)特點(diǎn).18 4.3.1https 源服務(wù)器卸載.19 4.3.2http 壓縮.19 4.3.3多線程下載.20 4.3.4典型 http 策略設(shè)置.20 4.4bluecoat網(wǎng)絡(luò)安全設(shè)計(jì) .20 4.4.1bluecoat 抗ddos攻擊和port scanning.20 4.4.2sgos 操作系統(tǒng).21 4.4.3bluecoat 協(xié)議檢測(cè).22 4.4.4防止反向代理服務(wù)器成為open proxy .22 4.4.5管理員訪問(wèn)限制和安全.23 4.5用戶行為分析和統(tǒng)計(jì)及錯(cuò)誤定位

3、用戶的追蹤.23 4.6全局網(wǎng)絡(luò)管理.24 4.7未來(lái)擴(kuò)展.25 5bluecoat http 緩存技術(shù)特點(diǎn)緩存技術(shù)特點(diǎn).27 5.1pipelining：快速的內(nèi)容抓取 .27 5.2自適應(yīng)的刷新：快速、新鮮的內(nèi)容.28 5.3自適應(yīng)的刷新：對(duì)帶寬消耗的影響.30 5.4新鮮度測(cè)量和報(bào)告.31 5.5blue coat 存儲(chǔ)子系統(tǒng).32 5.6http 策略控制引擎.33 5.6.1blue coat 可視化策略管理器.34 1 前言前言 本文是 bluecoat 對(duì) xxx 用戶 http 反向代理工程的技術(shù)方案建議。 我們期待著和 xxx 用戶進(jìn)行進(jìn)一步的深入交流。 2 用戶需求分析用戶

4、需求分析 xxx 用戶目前的網(wǎng)站站點(diǎn)設(shè)計(jì)有 http apache 服務(wù)器，主要服務(wù)的內(nèi)容是 大量新聞和圖片及一些 flash 視頻類的節(jié)目。 采用 apache 服務(wù)器帶來(lái)的主要挑戰(zhàn)有三方面，一方面系統(tǒng)運(yùn)行在通用操 作系統(tǒng)上，網(wǎng)站安全性存在風(fēng)險(xiǎn)。另一方面 apache 服務(wù)器的性能受限，通常一 臺(tái)服務(wù)器只能處理 3000-5000 個(gè)并發(fā) http 客戶連接。性能上存在瓶頸。最后還 有在后臺(tái)存儲(chǔ) xxx 用戶使用基于 fc san 的磁盤(pán)陣列。當(dāng)為了提升網(wǎng)站性能而增 加前面的 apache 服務(wù)器時(shí)，后臺(tái)存儲(chǔ)的共享也成為了一個(gè)復(fù)雜的技術(shù)問(wèn)題。 為了解決上述的一些實(shí)際問(wèn)題。xxx 用戶需要在

5、http web server 前端增 加硬件反向代理服務(wù)器，利用其安全和高性能的特性來(lái)降低 apache 服務(wù)器的負(fù) 載和被黑客攻擊的風(fēng)險(xiǎn)。同時(shí)由于主要的負(fù)載都被反向代理服務(wù)器所承擔(dān)，源 服務(wù)器只需要保持一個(gè)基本的 ha 服務(wù)器就可以，也無(wú)需涉及復(fù)雜的 fc san 共 享問(wèn)題。 3 方案設(shè)計(jì)原則方案設(shè)計(jì)原則 考慮 xxx 用戶的實(shí)際情況，在方案設(shè)計(jì)時(shí)需要遵循如下原則： 1標(biāo)準(zhǔn)性 現(xiàn)在構(gòu)建的 http 反向代理網(wǎng)絡(luò)應(yīng)當(dāng)符合網(wǎng)絡(luò)業(yè)界的主流標(biāo)準(zhǔn)，保證系統(tǒng) 和已有的 web server 的兼容性。 2合理的性能價(jià)格比 在滿足當(dāng)前的業(yè)務(wù)需求的同時(shí)，還考慮到今后業(yè)務(wù)發(fā)展的需求，確保在 未來(lái)擴(kuò)容時(shí)能夠

6、擴(kuò)展到更多的性能和容量支持。同時(shí)盡量選擇經(jīng)濟(jì)的設(shè)備，做 到最優(yōu)的性價(jià)比。 3高可靠性 在確保系統(tǒng)可靠工作和數(shù)據(jù)的可靠性的原則基礎(chǔ)上，盡可能的做到高起 點(diǎn)，選用先進(jìn)的技術(shù)和設(shè)備，使構(gòu)建的反向代理系統(tǒng)有較高的可靠性，以適應(yīng) 今后的發(fā)展。 4可管理性和可維護(hù)性 反向代理設(shè)備可以通過(guò)多種技術(shù)和方式實(shí)現(xiàn)了高可靠性，同時(shí)也增加了系 統(tǒng)的復(fù)雜性，從而容易導(dǎo)致維護(hù)和管理的復(fù)雜性。因此在方案設(shè)計(jì)中在提供高 可靠性的同時(shí)，也要注重提供反向代理系統(tǒng)的可管理性和可維護(hù)性。 整個(gè)系統(tǒng)應(yīng)該能夠采用基于 web 的界面對(duì)存儲(chǔ)設(shè)備進(jìn)行配置管理。系統(tǒng)配 置工作應(yīng)該簡(jiǎn)單明了，流程清晰。系統(tǒng)應(yīng)該能夠提供遠(yuǎn)程告警。 5. 高性能 整

7、個(gè)反向代理系統(tǒng)應(yīng)該提供較高的 http 和 https 性能，能夠滿足大量 用戶同時(shí)使用時(shí)的性能要求。 4 技術(shù)方案建議技術(shù)方案建議 4.1反向代理網(wǎng)絡(luò)的總體設(shè)計(jì)反向代理網(wǎng)絡(luò)的總體設(shè)計(jì) 使用 bluecoat sg 設(shè)備作為反向代理的方式對(duì)源服務(wù)器進(jìn)行加速，利用 bluecoat 設(shè)備的安全性和強(qiáng)大的性能來(lái)實(shí)現(xiàn)對(duì)源服務(wù)器的卸載和安全防護(hù)。同 時(shí)可以部署多臺(tái) bluecoat sg 設(shè)備在前端，實(shí)現(xiàn)高速性能負(fù)載均衡和系統(tǒng)高可 用性。并且會(huì)降低后臺(tái)源服務(wù)器的部署數(shù)量，解決存儲(chǔ)共享的問(wèn)題。 .1 在同一數(shù)據(jù)中心部署反向代理節(jié)點(diǎn)在同一數(shù)據(jù)中心部署反向代理節(jié)點(diǎn) 在同一數(shù)據(jù)中心的條件下，部

8、署反向代理的結(jié)構(gòu)如下圖所示： slb設(shè)備設(shè)備/ 四層交換機(jī)四層交換機(jī) internet sgsg 內(nèi)網(wǎng)內(nèi)網(wǎng) ocs 源服務(wù)器源服務(wù)器 用戶用戶 sg 實(shí)際部署在源服務(wù)器的前端，緩存用戶訪問(wèn)的內(nèi)容，因此大部分的服 務(wù)壓力都會(huì)被 sg 所承擔(dān)，而不需要源服務(wù)器具有高性能的處理能力。同時(shí)由于 sg 和源服務(wù)器之間是通過(guò)內(nèi)部私網(wǎng)地址的連接，這樣保證了內(nèi)部的源服務(wù)器是 絕對(duì)安全的，因?yàn)闆](méi)有黑客能夠從公網(wǎng)上訪問(wèn)到源服務(wù)器。 后臺(tái)的源服務(wù)器還可以使用多臺(tái) web server 來(lái)實(shí)現(xiàn)冗余和可靠性。在 bluecoat 的方案中，后臺(tái)的源服務(wù)器組并不需要使用四/七層交換機(jī)來(lái)實(shí)施負(fù) 載均衡，因?yàn)?sg 設(shè)備本身

9、可以具有負(fù)載均衡能力。在從 sg 向源服務(wù)器請(qǐng)求未 命中的內(nèi)容時(shí)會(huì)根據(jù)幾種不同的算法進(jìn)行負(fù)責(zé)均衡，包括：round-robin, 最少 連接，用戶源地址關(guān)聯(lián)，根據(jù)用戶被加速設(shè)備設(shè)置的 cookie 關(guān)聯(lián)等。bluecoat sg 設(shè)備還可以對(duì)后臺(tái)的源服務(wù)器實(shí)施健康檢查，檢查的方法包括四層協(xié)議和 http 協(xié)議等。如果發(fā)現(xiàn)某一臺(tái)源服務(wù)器出現(xiàn)故障，sg 則會(huì)自動(dòng)將流量切換到別 的服務(wù)器上。 bluecoat sg 也提供了性能上的顯著提升，通常的 web server 具有二方 面的性能瓶頸：http 并發(fā)連接數(shù)，http 吞吐量。盡管可以給這些服務(wù)器配置較 大的內(nèi)存和更新的 cpu，但是其性能依

10、然無(wú)法令人滿意。而作為對(duì)比， bluecoat 的設(shè)備 sg810-c 可以支持 12000 個(gè)客戶端的并發(fā) http 連接，并且在 典型環(huán)境下支持 150mbps 到 200mbps 的反向 http 代理吞吐量。因此同樣的性能 要求條件下，會(huì)使用數(shù)量很少的 sg 設(shè)備就可以滿足用戶的性能要求，并由此節(jié) 省了大量的機(jī)房空間，電源消耗和空調(diào)消耗等相關(guān)資源。從維護(hù)成本的角度上 來(lái)考慮，是更為節(jié)省的一個(gè)方案。 在反向代理的方案中，對(duì)于靜態(tài)網(wǎng)頁(yè)的性能提升效果是非常明顯的。因?yàn)?大部分的靜態(tài)網(wǎng)頁(yè)會(huì)緩存在本地。而對(duì)于動(dòng)態(tài)網(wǎng)頁(yè)而言，由于不能緩存在代理 服務(wù)器內(nèi)部，所以必須代理回源服務(wù)器，此時(shí)對(duì)源服務(wù)器的服

11、務(wù)并沒(méi)有性能卸 載的能力。對(duì)于這種動(dòng)態(tài)網(wǎng)頁(yè)的加速，可以參考后續(xù)章節(jié)的方案，bluecoat 提 供了一種獨(dú)到的 adn 加速方案來(lái)對(duì)動(dòng)態(tài)網(wǎng)頁(yè)進(jìn)行加速。這一方案的范圍已經(jīng)超 出了反向代理的概念，而是和 cdn 的方案融合在一起。 .2 異地部署反向代理節(jié)點(diǎn)異地部署反向代理節(jié)點(diǎn) 整個(gè)反向代理網(wǎng)絡(luò)組件包括：gslb 和 slb 設(shè)備，http 緩存設(shè)備，web 源 服務(wù)器等。這種部署實(shí)際上已經(jīng)成為了 cdn 的部署。下圖表示了整體的網(wǎng)絡(luò)架 構(gòu)： sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動(dòng)態(tài)網(wǎng)頁(yè)加速動(dòng)態(tài)網(wǎng)頁(yè) wan sg 加速動(dòng)態(tài)網(wǎng)頁(yè)加速動(dòng)態(tài)網(wǎng)頁(yè) sg 加速靜態(tài)網(wǎng)頁(yè)加速靜態(tài)網(wǎng)頁(yè) sg 加速流媒體加

12、速流媒體 sg 加速流媒體加速流媒體 鏡像服務(wù)器鏡像服務(wù)器 gslb設(shè)備設(shè)備slb設(shè)備設(shè)備 slb設(shè)備設(shè)備 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 源服務(wù)器源服務(wù)器 數(shù)據(jù)中心數(shù)據(jù)中心 新建新建cdn節(jié)點(diǎn)節(jié)點(diǎn) 動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器 在新建反向代理節(jié)點(diǎn)中部署 4 臺(tái) sg 緩存設(shè)備，其中 2 臺(tái)主要用于加速流 媒體業(yè)務(wù)，1 臺(tái)主要用于加速靜態(tài)網(wǎng)頁(yè)和 flash 視頻的業(yè)務(wù)，1 臺(tái)主要用于加速 動(dòng)態(tài)網(wǎng)頁(yè)的業(yè)務(wù)?？紤]到業(yè)務(wù)安全的需要，2 臺(tái)加速 http 網(wǎng)頁(yè)的 sg 緩存設(shè)備 可以通過(guò) slb 設(shè)備進(jìn)行負(fù)載均衡。2 臺(tái)加速流媒體業(yè)務(wù)的 sg 緩存設(shè)備通過(guò) slb 設(shè)備進(jìn)行負(fù)載均衡。

13、這里假定緩存設(shè)備中已經(jīng)存有用戶需要訪問(wèn)的內(nèi)容（用戶訪問(wèn)命中的情況） ，其中第 1 步是 dns 解析，用戶解析過(guò)一次后就可以把 dns 記錄緩存在本機(jī)上， 下次可以不用再去 gslb 設(shè)備進(jìn)行解析。如果用戶訪問(wèn)的內(nèi)容未命中，則會(huì)由 cache 去源服務(wù)器抓取。 對(duì)于較簡(jiǎn)單的單個(gè)節(jié)點(diǎn)異地反向代理方案，可以不使用 gslb 設(shè)備，只使 用 dns 解析到反向代理服務(wù)器即可。 4.2adn + cdn 業(yè)務(wù)（動(dòng)態(tài)和靜態(tài)網(wǎng)頁(yè)同時(shí)加速業(yè)務(wù)）業(yè)務(wù)（動(dòng)態(tài)和靜態(tài)網(wǎng)頁(yè)同時(shí)加速業(yè)務(wù)） .1 設(shè)計(jì)概述設(shè)計(jì)概述 在中心和邊緣節(jié)點(diǎn)部署的 sg 緩存設(shè)備和網(wǎng)絡(luò)的總體架構(gòu)如下圖所示： internet gs

14、lb設(shè)備設(shè)備 slb 設(shè)備設(shè)備 slb設(shè)備設(shè)備 靜態(tài)對(duì)象靜態(tài)對(duì)象 （http,ftp） 源服務(wù)器源服務(wù)器 中心節(jié)點(diǎn)中心節(jié)點(diǎn) (全國(guó)和北京全國(guó)和北京) 邊緣邊緣cdn節(jié)點(diǎn)節(jié)點(diǎn) 動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器 sg 加速動(dòng)態(tài)加速動(dòng)態(tài)/靜態(tài)網(wǎng)頁(yè)靜態(tài)網(wǎng)頁(yè) sg 加速動(dòng)態(tài)加速動(dòng)態(tài)/靜態(tài)網(wǎng)頁(yè)靜態(tài)網(wǎng)頁(yè) sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動(dòng)態(tài)網(wǎng)頁(yè)加速動(dòng)態(tài)網(wǎng)頁(yè) 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 director cdn管理和管理和 內(nèi)容分發(fā)內(nèi)容分發(fā) 考慮到冗余的設(shè)計(jì)要求。在中心節(jié)點(diǎn)放置二臺(tái) sg 加速設(shè)備，這二臺(tái)加速 設(shè)備并不需要一定連接在 slb 設(shè)備之后來(lái)實(shí)施負(fù)載均衡。因?yàn)?bluecoat 的 ad

15、n sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動(dòng)態(tài)網(wǎng)頁(yè)加速動(dòng)態(tài)網(wǎng)頁(yè) 加速方案里提供了不需要 slb 的中心點(diǎn)負(fù)載均衡。因此只需要給這二臺(tái)設(shè)備各 一個(gè)公網(wǎng) ip 地址就可以。二臺(tái)中心點(diǎn)的設(shè)備會(huì)設(shè)置 adn 路由表，自動(dòng)把源服務(wù) 器的網(wǎng)段地址廣播給所有的邊緣的 sg 設(shè)備。 在邊緣節(jié)點(diǎn)，如果有多臺(tái) sg 設(shè)備的話，則可以放置在 slb 負(fù)載均衡設(shè)備 后面，使用私網(wǎng)地址，然后在 slb 上映射為公網(wǎng)的 vip。此時(shí) slb 負(fù)載均衡設(shè) 備的算法建議使用基于用戶源地址 hash 的，來(lái)保證每個(gè)用戶的連接都達(dá)到同一 臺(tái) sg 設(shè)備中進(jìn)行處理。這樣加速效果更好。邊緣節(jié)點(diǎn)的 sg 設(shè)備和中心節(jié)點(diǎn)的 sg 設(shè)備之間會(huì)形成

16、peer 關(guān)系，并建立 adn 隧道進(jìn)行加速。二者的字節(jié)緩存是 完全同步的。邊緣節(jié)點(diǎn)的 sg 會(huì)根據(jù)目的地網(wǎng)段的 adn 路由進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)選擇。 如果發(fā)現(xiàn)去往目的地的網(wǎng)段有多臺(tái) sg peer 都可以通達(dá)，則會(huì)根據(jù)自己的設(shè)備 id 采用 hash 的方式自動(dòng)選擇一個(gè) peer 作為下一跳。由于邊緣節(jié)點(diǎn)有眾多 sg 設(shè)備，因此最終會(huì)使得流量較為平均的轉(zhuǎn)到中心節(jié)點(diǎn)的 2 臺(tái) sg 設(shè)備上。如果中 心節(jié)點(diǎn)有一臺(tái) sg 設(shè)備故障，則邊緣節(jié)點(diǎn)的 sg 設(shè)備會(huì)自動(dòng)切換到另外一臺(tái)中心 節(jié)點(diǎn) sg 上。 director 分發(fā)設(shè)備需要一個(gè)獨(dú)立的公網(wǎng) ip 地址來(lái)管理所有的 sg 設(shè)備。 為了管理的目的，每個(gè)

17、邊緣節(jié)點(diǎn)的 sg 也需要配置一個(gè)單獨(dú)的公網(wǎng) ip 地址用于 管理。director 使用 ssh 協(xié)議管理 sg 設(shè)備。director 設(shè)備也可以被配置為冗 余的來(lái)保證可靠性。 .2 動(dòng)態(tài)網(wǎng)頁(yè)加速流程動(dòng)態(tài)網(wǎng)頁(yè)加速流程 下圖表示了用戶訪問(wèn)動(dòng)態(tài)網(wǎng)頁(yè)時(shí)的數(shù)據(jù)包流程： sg 全國(guó)數(shù)據(jù)中心全國(guó)數(shù)據(jù)中心 加速動(dòng)態(tài)網(wǎng)頁(yè)加速動(dòng)態(tài)網(wǎng)頁(yè) internet sg 加速動(dòng)態(tài)加速動(dòng)態(tài)/靜態(tài)網(wǎng)頁(yè)靜態(tài)網(wǎng)頁(yè) gslb設(shè)備設(shè)備slb設(shè)備設(shè)備 slb設(shè)備設(shè)備 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 源服務(wù)器源服務(wù)器 邊緣邊緣cdn節(jié)點(diǎn)節(jié)點(diǎn) 動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器動(dòng)態(tài)網(wǎng)頁(yè)源服務(wù)器 1 2 3 4 5 6 7 8 s

18、g 加速動(dòng)態(tài)加速動(dòng)態(tài)/靜態(tài)網(wǎng)頁(yè)靜態(tài)網(wǎng)頁(yè) 中心節(jié)點(diǎn)中心節(jié)點(diǎn) (全國(guó)和北京全國(guó)和北京) 這些流程可以分步驟解釋如下： 1）用戶請(qǐng)求內(nèi)容 http:/ dns 解析請(qǐng) 求會(huì)達(dá)到 gslb 設(shè)備。 2）gslb 設(shè)備作出就近性判斷把用戶的請(qǐng)求重定向到離用戶最近的 adn 節(jié)點(diǎn)(邊 緣節(jié)點(diǎn))的 slb 設(shè)備上 3）邊緣節(jié)點(diǎn) slb 把用戶請(qǐng)求 http:/ 發(fā)送給邊 緣 sg。 4）sg 設(shè)備根據(jù)自己的加速策略判斷需要進(jìn)行 adn 加速，把用戶的請(qǐng)求通過(guò) adn 隧道發(fā)給對(duì)端的 sg 設(shè)備（中心節(jié)點(diǎn)）。這一請(qǐng)求過(guò)程本身也會(huì)被加速， 因?yàn)橥ǔＲ粋€(gè) http request 數(shù)據(jù)包在幾百個(gè)字節(jié)，如果加速后，

19、則可能只 傳送 12 個(gè)字節(jié)，因此大大縮短了在廣域網(wǎng)上的傳送延時(shí)。 5）sg 中心節(jié)點(diǎn)收到數(shù)據(jù)包后，向動(dòng)態(tài)網(wǎng)頁(yè)的源服務(wù)器發(fā)起請(qǐng)求 6）動(dòng)態(tài)網(wǎng)頁(yè)的源服務(wù)器響應(yīng)給 sg 中心節(jié)點(diǎn)真正的用戶數(shù)據(jù)，如數(shù)據(jù)庫(kù)表單查 詢或網(wǎng)上購(gòu)物明細(xì)等頁(yè)面。 7）sg 中心節(jié)點(diǎn)收到響應(yīng)后和自己的字節(jié)緩存數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，將差量數(shù)據(jù)傳 送到對(duì)端的邊緣節(jié)點(diǎn) sg，這一傳送過(guò)程的速度會(huì)較未加速前大大加快。 8）sg 邊緣節(jié)點(diǎn)收到響應(yīng)后，根據(jù)自己的字節(jié)緩存，把源服務(wù)器的響應(yīng)還原并 發(fā)送給用戶。 上述流程就是一個(gè)完整的用戶請(qǐng)求動(dòng)態(tài)網(wǎng)頁(yè)加速的流程。如果用戶請(qǐng)求的一 個(gè)域名下的內(nèi)容是既有動(dòng)態(tài)網(wǎng)頁(yè)，又有靜態(tài)網(wǎng)頁(yè)。則 sg 加速的流程如下：

20、 1）sg 判斷是否是可緩存的頁(yè)面，如果是，則檢查 a) 是否已經(jīng)在本地的 http 對(duì)象緩存中且未過(guò)期，如果是則直接給用戶服 務(wù) b) 如果已經(jīng)在本地的 http 對(duì)象緩存中但對(duì)象已經(jīng)過(guò)期，則向源服務(wù)器發(fā) 送 ims 請(qǐng)求要求最新的對(duì)象。這一請(qǐng)求過(guò)程同樣會(huì)經(jīng)過(guò) adn 加速。 c) 如果不在本地的 http 對(duì)象緩存中，則向源服務(wù)器發(fā)送內(nèi)容請(qǐng)求。這一 請(qǐng)求過(guò)程同樣會(huì)經(jīng)過(guò) adn 加速。 2）sg 判斷此網(wǎng)頁(yè)為不可緩存，則會(huì)直接把請(qǐng)求發(fā)給源服務(wù)器并且這一請(qǐng)求過(guò) 程會(huì)經(jīng)過(guò) adn 加速。 .3 設(shè)備選型設(shè)備選型 這里給出了不同設(shè)備型號(hào)之間的硬件參數(shù)對(duì)比： sg8100-gsg81

21、0fsg810esg510b 磁盤(pán) 6x300g 15k4x300g scsi4x144gb scsi1x300gb sata 內(nèi)存 4gb4gb4gb1gb 網(wǎng)絡(luò)接口2 個(gè) ge 標(biāo)配， 可擴(kuò)展到 6 個(gè) ge 2 個(gè) ge 標(biāo)配， 可擴(kuò)展到 6 個(gè) ge 2 個(gè) ge 標(biāo)配， 可擴(kuò)展到 6 個(gè) ge 2 個(gè) ge 標(biāo)配， 可擴(kuò)展到 6 個(gè) ge .4 httpshttps 加密動(dòng)態(tài)網(wǎng)頁(yè)加速業(yè)務(wù)加密動(dòng)態(tài)網(wǎng)頁(yè)加速業(yè)務(wù) 在實(shí)際的網(wǎng)站類型的客戶中，很多網(wǎng)站是使用 https 進(jìn)行加密的業(yè)務(wù)處理。 而且這些 https 的頁(yè)面往往是個(gè)性化的動(dòng)態(tài)的頁(yè)面。這就要求 cdn/adn 業(yè)務(wù)能

22、 夠提供針對(duì) https 的動(dòng)態(tài)網(wǎng)頁(yè)加速能力。而傳統(tǒng)的 adn 加速方案是無(wú)法直接加 速 https 的業(yè)務(wù)的。這一問(wèn)題的原因在于 adn 的字典壓縮算法對(duì)于加密的數(shù)據(jù) 流是沒(méi)有顯著效果的。 bluecoat 的 adn/cdn 解決方案提供了一個(gè)完整的解決方案可以對(duì) https 類型的動(dòng)態(tài)網(wǎng)頁(yè)進(jìn)行加速。從而擴(kuò)展 cdn/adn 加速的適應(yīng)范圍。它的工作原理 是利用 ssl proxy 來(lái)截取 https 的流量并對(duì)未加密的頁(yè)面進(jìn)行字典壓縮，然后 再把壓縮后的流量進(jìn)行 ssl 加密傳送到 adn 對(duì)端設(shè)備。這里也分為二種情況： 1）源服務(wù)器使用了 https 加密，用戶也使用 https 協(xié)議

23、請(qǐng)求內(nèi)容。 2）用戶使用 https 協(xié)議請(qǐng)求內(nèi)容，但是源服務(wù)器只使用普通的未加密 http。從 sg 邊緣節(jié)點(diǎn)到源服務(wù)器之間使用加密的數(shù)據(jù)傳送。 第一種情況的工作原理如下圖所示： 邊緣節(jié)點(diǎn)的 sg 會(huì)直接向 https 源服務(wù)器發(fā)送請(qǐng)求，并得到源服務(wù)器頒發(fā) 的證書(shū)。邊緣節(jié)點(diǎn)的 sg 和中心節(jié)點(diǎn)的 sg 之間會(huì)形成一個(gè)聯(lián)合工作的 ssl proxy。bluecoat 稱之為 ssl split proxy。邊緣節(jié)點(diǎn)的 sg 會(huì)把證書(shū)傳遞給中 心節(jié)點(diǎn)，由中心節(jié)點(diǎn)作為客戶端和 https 源服務(wù)器進(jìn)行直接通訊，并形成一個(gè) 完整的 https 連接。中心節(jié)點(diǎn)的 sg 在得到 ssl 內(nèi)容后可以解密，

24、從而得到了解 密后的 http 內(nèi)容，能夠直接對(duì)這些不加密的內(nèi)容實(shí)施高效的字典壓縮。而在邊 緣節(jié)點(diǎn)和中心節(jié)點(diǎn)之間，二者使用自己預(yù)裝的有效證書(shū)進(jìn)行認(rèn)證和傳輸加密。 這保證了數(shù)據(jù)傳輸?shù)陌踩?。在邊緣?jié)點(diǎn)的 sg 會(huì)自動(dòng)根據(jù)源服務(wù)器頒發(fā)證書(shū)的 信息仿真一個(gè)新的證書(shū)頒發(fā)給客戶端。 對(duì)于 xxx 用戶來(lái)說(shuō)，這樣的技術(shù)方案帶來(lái)的優(yōu)勢(shì)是，由于在 xxx 用戶 cdn 托管的互聯(lián)網(wǎng)公司會(huì)有非常多的源服務(wù)器，每個(gè)源服務(wù)器頒發(fā)的證書(shū)都是不同 的。而采用了證書(shū)仿真和 ssl split proxy 技術(shù)后，整個(gè) cdn/adn 網(wǎng)絡(luò)的管理 會(huì)變得異常簡(jiǎn)單。bluecoat sg 設(shè)備會(huì)自動(dòng)為每個(gè)源服務(wù)器創(chuàng)建一個(gè)新的

25、用于 用戶端的證書(shū)。這種技術(shù)可以大大節(jié)省 xxx 用戶的維護(hù)成本。 第二種情況的工作原理如下圖所示： internet sg中心節(jié)點(diǎn)中心節(jié)點(diǎn)sg邊緣節(jié)點(diǎn)邊緣節(jié)點(diǎn) http 源服務(wù)器源服務(wù)器 動(dòng)態(tài)網(wǎng)頁(yè)動(dòng)態(tài)網(wǎng)頁(yè) 建立https連接 https 請(qǐng)求 在adn隧道中請(qǐng)求http對(duì)象, 字典壓縮，并且可以使用ssl加密 頒發(fā)證書(shū)（預(yù)裝） 請(qǐng)求http內(nèi)容 返回http內(nèi)容在adn隧道中返回http內(nèi)容, 字典壓縮，并且可以使用ssl加密 返回https內(nèi)容 在這個(gè)部署方式下，邊緣節(jié)點(diǎn)的 sg 預(yù)裝了已經(jīng)簽過(guò)的數(shù)字證書(shū)。當(dāng)用戶訪 問(wèn) https 內(nèi)容時(shí)，邊緣節(jié)點(diǎn)的 sg 會(huì)把預(yù)裝的數(shù)字證書(shū)發(fā)給用戶。然后

26、邊緣節(jié)點(diǎn) sg 可以把用戶的解密內(nèi)容進(jìn)行字典壓縮，并通過(guò)加密 adn 隧道傳送給對(duì)端的中 心節(jié)點(diǎn)設(shè)備。中心節(jié)點(diǎn)設(shè)備會(huì)以 http 的方式和源服務(wù)器進(jìn)行通信。這種方式源 服務(wù)器不需要支持 https，可以節(jié)省大量源服務(wù)器的計(jì)算資源。這種方式實(shí)際 上是對(duì)源服務(wù)器的 https 卸載。 上面的二種部署方案可以共存在邊緣節(jié)點(diǎn) sg 中，sg 設(shè)備可以根據(jù)用戶的訪 問(wèn)條件，如域名，url 路徑，http header 等多種信息來(lái)定義，定義部分用戶請(qǐng) 求需要是全程使用 https 加密，部分是需要做 https 卸載的。 .5 reflectreflect clientclient ip

27、(ip(用戶用戶 ipip 地址傳送地址傳送) ) 如果有網(wǎng)站客戶需要統(tǒng)計(jì)用戶的源 ip 地址，或者有特別的認(rèn)證需求是基于 源 ip 地址的。此時(shí)需要把用戶的源地址發(fā)送給源服務(wù)器。bluecoat 中心節(jié)點(diǎn) 的 sg 設(shè)備此時(shí)需要打開(kāi) reflect client ip 選項(xiàng)，并使用用戶真正的源地址連 接到源服務(wù)器來(lái)請(qǐng)求內(nèi)容。 但這里需要注意的是，需要增加四層交換機(jī)或設(shè)置路由器上的 wccp 流量把 源服務(wù)器送回的流量重定向到中心節(jié)點(diǎn)的 sg 上。否則會(huì)無(wú)法建立完整的 tcp 連 接。 .6 保留用戶原有域名保留用戶原有域名 在實(shí)際的 cdn 運(yùn)營(yíng)中，會(huì)有客戶提出這樣的需求，他

28、們的原有網(wǎng)站已經(jīng)申 請(qǐng)了域名，不想放棄，同時(shí)又想通過(guò) cdn 的方案部署新的服務(wù)，并使用全新的 域名。此時(shí) bluecoat 可以提供一個(gè)非常好的方案自動(dòng)的幫助用戶實(shí)施全新域名 的 cdn，同時(shí)用戶原有網(wǎng)站的域名和內(nèi)容都不需要更改。這里舉例如下： 用戶原有的域名和網(wǎng)站 url 為：http:/http:/, 希望通過(guò) xxx 用戶的 cdn 部署為 https:/https:/, 實(shí)際客戶訪問(wèn)到 https:/https:/ 時(shí)是訪問(wèn) xxx 用戶的 cdn，然后再作反向代理，其 源服務(wù)器是 http:/http:/ 。這樣 xxx 用戶給其用戶的網(wǎng)站提供了 ssl 卸載服務(wù)和 cdn 服務(wù)。

29、而用戶原有的 http:/http:/ 可以繼續(xù)保 留，用于測(cè)試或繼續(xù)服務(wù)的目的。 這里面需要注意的一個(gè)技術(shù)問(wèn)題是在原有的 http:/http:/ 網(wǎng)站 中其頁(yè)面內(nèi)容中還會(huì)嵌入大量的連接，都是基于 域名的鏈接。 如果對(duì)這樣的網(wǎng)頁(yè)實(shí)施 cdn 加速，用戶點(diǎn)擊其中 cdn 加速頁(yè)面的鏈接時(shí)會(huì)直接 訪問(wèn) ，這樣會(huì)繞過(guò) cdn 網(wǎng)絡(luò)而直接訪問(wèn)源服務(wù)器。為了避免 這個(gè)問(wèn)題，通常是需要源網(wǎng)站改寫(xiě)其中的頁(yè)面，這樣的工作量是相當(dāng)大的。 bluecoat sg 緩存設(shè)備提供了一個(gè)功能叫做 two way url rewriting，可以解決 這個(gè)問(wèn)題，它可以自動(dòng)改寫(xiě)網(wǎng)頁(yè)內(nèi)部嵌入的鏈接，如果源網(wǎng)站中頁(yè)面嵌入的鏈

30、 接為 http:/ 則 bluecoatsg 設(shè)備在接受到 源服務(wù)器響應(yīng)后，把頁(yè)面中的這個(gè)鏈接自動(dòng)的改寫(xiě)為： https:/ 這一功能可以避免用戶在源網(wǎng)站側(cè) 保留域名的同時(shí)還需要對(duì)自己的網(wǎng)站內(nèi)容進(jìn)行大量改寫(xiě)。是一個(gè)提高用戶滿意 度的非常好的功能。 這里面需要注意的是 bluecoat sg 的 two way url rewriting 功能目前不 能對(duì)網(wǎng)頁(yè)中的 activex 控件中的鏈接進(jìn)行改寫(xiě)。如果用戶的網(wǎng)站大量使用了 acitvex 控件則此功能目前還無(wú)法實(shí)施。 4.3bluecoat http 業(yè)務(wù)特點(diǎn)業(yè)務(wù)特點(diǎn) http 緩存是整個(gè)反向代理的基礎(chǔ)業(yè)務(wù)。bluecoat proxys

31、g 提供了非常豐 富的 http 業(yè)務(wù)服務(wù)功能，包括： 非常靈活的 http 策略設(shè)置 支持認(rèn)證，授權(quán)，sso 靈活的對(duì)象刷新機(jī)制 支持 http 壓縮 支持多線程下載 https 加速和緩存 帶寬管理 內(nèi)容安全的保證 對(duì)用戶上傳內(nèi)容進(jìn)行病毒掃描 這里需要指出的是，http 壓縮功能也是免費(fèi)提供的。下面就其中的一些 具體業(yè)務(wù)進(jìn)行詳細(xì)描述： .1 httpshttps 源服務(wù)器卸載源服務(wù)器卸載 使用 bluecoat sg 設(shè)備作為反向代理的方式對(duì)源服務(wù)器進(jìn)行加速，可利用 bluecoat 設(shè)備的安全性和強(qiáng)大的性能來(lái)實(shí)現(xiàn)對(duì)源服務(wù)器的卸載和安全防護(hù)。如 果直接在源服務(wù)器上部署 ht

32、tps 的業(yè)務(wù)，則會(huì)給源服務(wù)器帶來(lái)很大的壓力和資 源開(kāi)銷。如果一個(gè)基于軟件的 http 服務(wù)器上實(shí)施 https 服務(wù)，其性能通常只有 4-5mbps 的 ssl 吞吐量，并且能夠處理的每秒請(qǐng)求數(shù)量也是非常有限的。 而如果在 http 源服務(wù)器前端部署 bluecoat sg 設(shè)備，則可以利用 bluecoat 的設(shè)備內(nèi)置的 ssl 硬件加速卡實(shí)現(xiàn)對(duì) http 源服務(wù)器的 ssl 加速功能， 從而使得源服務(wù)器專注于 http 服務(wù)，而將 ssl 加密的任務(wù)交給 sg 設(shè)備來(lái)處理。 在 bluecoat sg 設(shè)備上，可以通過(guò)二種方式裝入數(shù)字證書(shū)用于頒發(fā)給用戶 的訪問(wèn)。一種是在 bluecoat

33、 設(shè)備上自己簽發(fā)的證書(shū)，這種證書(shū)不需要去互聯(lián)網(wǎng) 上的證書(shū)發(fā)放機(jī)構(gòu)進(jìn)行簽署，但是用戶的瀏覽器可能沒(méi)有直接設(shè)置為信任 bluecoat 簽發(fā)的證書(shū)并彈出一個(gè)提升窗口讓用戶確認(rèn)是否信任這個(gè)證書(shū)。另一 種方式是裝入經(jīng)過(guò)互聯(lián)網(wǎng)上證書(shū)發(fā)放機(jī)構(gòu)發(fā)放的標(biāo)準(zhǔn)數(shù)字證書(shū)，如 verisign，baltimore 等公司簽發(fā)的數(shù)字證書(shū)，這些證書(shū)通常是被用戶客戶端 所信任的。 .2 httphttp 壓縮壓縮 bluecoat sg 設(shè)備支持標(biāo)準(zhǔn)的 http1.1 壓縮，可以支持的 http 壓縮算法 是 gzip 和 deflate。對(duì)于 bluecoat sg 來(lái)說(shuō)，如果源服務(wù)器沒(méi)有使用 http

34、壓 縮，而 client 端請(qǐng)求壓縮對(duì)象，則可以把未壓縮的 http 對(duì)象壓縮后緩存在本 地，對(duì)于后續(xù)的 http 訪問(wèn)則直接提供壓縮后的對(duì)象進(jìn)行服務(wù)，不需要再去源服 務(wù)器拿去內(nèi)容和重新壓縮。 bluecoat http 壓縮功能是可以根據(jù)策略設(shè)定來(lái)啟用的，例如，可以根據(jù) 用戶訪問(wèn) url 的不同來(lái)確定是否啟用 http 壓縮。另外如果用戶請(qǐng)求的是非壓縮 的對(duì)象，則 bluecoat 會(huì)缺省給用戶非壓縮的對(duì)象。對(duì)于一些不能壓縮的對(duì)象， 如 gif 圖像文件和 jpg 圖像文件，此時(shí)盡管 http 策略設(shè)定壓縮這些對(duì)象，但是 bluecoat 設(shè)備也會(huì)自動(dòng)忽略這些請(qǐng)求而給用戶服務(wù)非壓縮的對(duì)象。

35、.3 多線程下載多線程下載 bluecoat sg 設(shè)備支持標(biāo)準(zhǔn)的 http byte-range 字頭，可以被多線程下載 程序如 flashget 用于多線程下載。因此利用 bluecoat 設(shè)備可以支持常見(jiàn)的多 線程下載程序。但是目前 bluecoat 設(shè)備還不能限制單個(gè)用戶同時(shí)使用的多線程 下載的線程個(gè)數(shù)。 .4 典型典型 httphttp 策略設(shè)置策略設(shè)置 bluecoat 的 http 策略引擎提供了非常豐富的 http 策略控制功能，常見(jiàn) 的應(yīng)用案例包括： 1） 去除用戶請(qǐng)求的 no-cache header 來(lái)保證源服務(wù)器的安全。 2） 根據(jù)用戶的

36、 user agent header 來(lái)判斷用戶的瀏覽器版本和類型來(lái)判 斷用戶是否能夠得到理想的頁(yè)面效果 3） 進(jìn)行 http 重定向來(lái)實(shí)現(xiàn)用戶訪問(wèn)轉(zhuǎn)向 4） 強(qiáng)制緩存指定的內(nèi)容 5） 對(duì) http 源服務(wù)器的錯(cuò)誤代碼響應(yīng)提供定制的出錯(cuò)提示頁(yè)面 6） 拒絕某些指定用戶對(duì)內(nèi)容的訪問(wèn) 4.4bluecoat網(wǎng)絡(luò)安全設(shè)計(jì)網(wǎng)絡(luò)安全設(shè)計(jì) 4.4.1bluecoat 抗抗 ddos 攻擊和攻擊和 port scanning blue coat 提供了完整的抗 ddos 攻擊能力，包括如下的技術(shù)特性： sg 可以限制單個(gè)客戶地址的 http/tcp 連接數(shù)量，并且對(duì)超過(guò)了連接數(shù)量 限制的客戶連接請(qǐng)求進(jìn)行拒絕

37、和復(fù)位。對(duì)于被限制訪問(wèn)的客戶，可以設(shè)定限制 訪問(wèn)的時(shí)間間隔，時(shí)間到期后恢復(fù)這些客戶的訪問(wèn)權(quán)限。這一防護(hù)能力是針對(duì) tcp 以上的協(xié)議。 對(duì)于常見(jiàn)的底層 ddos 攻擊如 icmp flood, tcp syn flood，sg 可以進(jìn)行安 全防護(hù)并且不會(huì)因此而消耗系統(tǒng)資源。對(duì)于 icmp flood，bluecoat 的設(shè)備可以 實(shí)施限速，保證不會(huì)因?yàn)榇罅康?ping 響應(yīng)而導(dǎo)致系統(tǒng)資源過(guò)載。對(duì)于 tcp syn flood，可以對(duì)不完整的 tcp 連接不分配資源，從而不會(huì)導(dǎo)致系統(tǒng)資源過(guò)載。 對(duì)于端口掃描的攻擊，缺省 bluecoat 設(shè)備不會(huì)打開(kāi)任何端口。只有提供 http 服務(wù)的 80 端

38、口和 ssh 及 https 管理端口。對(duì)于這些提供服務(wù)的端口還可 以實(shí)施訪問(wèn)控制，只有信任的客戶才可以訪問(wèn)這些端口。 4.4.2sgos 操作系統(tǒng)操作系統(tǒng) blue coat 專用設(shè)備的操作系統(tǒng) sgos 是一個(gè)專門(mén)為高速對(duì)象緩存應(yīng)用而開(kāi) 發(fā)的操作系統(tǒng)，它通過(guò)了國(guó)際著名的安全認(rèn)證：icsa labs 安全認(rèn)證。表示這 個(gè)操作系統(tǒng)是一個(gè)非常安全和沒(méi)有后門(mén)的操作系統(tǒng)。黑客不會(huì)知道真正的源服 務(wù)器地址，也無(wú)法通過(guò) bluecoat 的反向代理設(shè)備而去篡改源網(wǎng)站的內(nèi)容和攻擊 源服務(wù)器。 而作為對(duì)比，一個(gè)運(yùn)行在通用操作系統(tǒng)上的 web server 程序，它的安全性 是受限于操作系統(tǒng)的安全性的。在 w

39、ww.cert.org 網(wǎng)站上，可以搜索到成千上 萬(wàn)的關(guān)于 windows, linux, unix 操作系統(tǒng)的安全漏洞。運(yùn)行在這樣的操作系統(tǒng) 之上的網(wǎng)站是非常不安全的。如果把這個(gè) web 服務(wù)器直接暴露在 internet 上實(shí) 際是一個(gè)很危險(xiǎn)的部署方式。 在對(duì)象存儲(chǔ)方面，bluecoat 使用的是按照對(duì)象 url 產(chǎn)生高速索引的存儲(chǔ)機(jī) 制，在硬盤(pán)上沒(méi)有文件系統(tǒng)。即使黑客獲取了 bluecoat 代理服務(wù)器的硬盤(pán)，由 于其不了解 bluecoat 的專有存儲(chǔ)格式，也無(wú)法讀出其中存儲(chǔ)的數(shù)據(jù)內(nèi)容，更不 用說(shuō)篡改其中的內(nèi)容。 美國(guó)軍方的很多網(wǎng)站都采用 bluecoat 的設(shè)備作為反向代理作為安全設(shè)

40、備部 署在網(wǎng)站的前面，避免其網(wǎng)站遭到黑客的攻擊和篡改。 4.4.3bluecoat 協(xié)議檢測(cè)協(xié)議檢測(cè) blue coat sg 可以檢測(cè)到 80 或 443 端口訪問(wèn)的流量是否為真正的 http 或 https 流量。只有真正的 http 或 https 流量才會(huì)被 sg 進(jìn)行處理，轉(zhuǎn)發(fā)回源服 務(wù)器或在本地命中。 這種技術(shù)可以防止黑客利用 80 和 443 端口對(duì)反向代理設(shè)備或源服務(wù)器進(jìn)行 攻擊。對(duì)于標(biāo)準(zhǔn) https 協(xié)議來(lái)說(shuō)，客戶機(jī)會(huì)使用 http connect method 來(lái)連接 服務(wù)器，通過(guò)對(duì)這些方法的檢測(cè)，bluecoat sg 設(shè)備可以清楚地感知是否是真 正的 https 客戶端

41、在使用 443 端口還是偽裝的 https 流量。 4.4.4防止反向代理服務(wù)器成為防止反向代理服務(wù)器成為 open proxy blue coat 反向代理設(shè)備可以被同時(shí)用作正向代理設(shè)備，因此當(dāng) sg 被部署 在公網(wǎng)上的時(shí)候，需要增加相應(yīng)的安全策略保證 sg 設(shè)備不會(huì)被作為一個(gè)公用的 代理服務(wù)器來(lái)被其他非法用戶用于訪問(wèn) internet 上的內(nèi)容。 典型的配置包括： 1）在反向代理服務(wù)器上不要配置 dns 服務(wù)器。這樣非法設(shè)定 sg 為代理 服務(wù)器的客戶將無(wú)法訪問(wèn) internet 上的內(nèi)容。 2）在反向代理服務(wù)器上配置 acl 控制策略。檢查用戶請(qǐng)求的 http host header 是

42、否匹配正在加速的域名，匹配的進(jìn)行處理，不匹配 的則拒絕其訪問(wèn)。 通過(guò)上述的二個(gè)反向代理上的配置可以保證沒(méi)有用戶或黑客使用代理服務(wù) 器訪問(wèn) internet 上的內(nèi)容。 4.4.5管理員訪問(wèn)限制和安全管理員訪問(wèn)限制和安全 為了防止在公網(wǎng)上的黑客掃描 sg 的管理端口和進(jìn)行破壞，在 sg 設(shè)備上可 以設(shè)置管理員訪問(wèn)控制列表，限制只能有特定的工作站才能訪問(wèn) bluecoat sg 的管理端口。 同時(shí)為了保證設(shè)備管理的安全，bluecoat sg 設(shè)備使用的是 https 和 ssh 協(xié)議進(jìn)行管理。并且可以定義使用一個(gè)專用的 https 端口而非標(biāo)準(zhǔn)的 443 端口。 4.5用戶行為分析和統(tǒng)計(jì)及錯(cuò)誤定

43、位用戶的追蹤用戶行為分析和統(tǒng)計(jì)及錯(cuò)誤定位用戶的追蹤 bluecoat proxysg 提供了多種方式的系統(tǒng)訪問(wèn)日志信息，包括：http access log, streaming access log 等。bluecoat proxysg 的系統(tǒng)訪問(wèn)日志可 以被集中的送往 syslog / ftp 服務(wù)器進(jìn)行存儲(chǔ)，也可以以實(shí)時(shí)的方式輸出到一 個(gè)獨(dú)立的 log 服務(wù)器上進(jìn)行實(shí)時(shí)監(jiān)控。為了確保 log 日志的安全性，proxysg 還可以把日志信息進(jìn)行數(shù)字簽名，確保 proxysg 的日志不會(huì)被黑客攻擊。典型 的 proxysg http access log 格式為 w3c，squid 等標(biāo)準(zhǔn)格

44、式。 同時(shí) bluecoat 提供了 reporter 工具軟件來(lái)分析所有 bluecoat 設(shè)備的用 戶訪問(wèn)日志。reporter 工具可以位于一個(gè)數(shù)據(jù)中心，集中地分析反向代理網(wǎng)絡(luò) 中所有的 log 信息，也可以在每個(gè)省網(wǎng)部署一個(gè) reporter 工具。 對(duì)于 xxx 用戶來(lái)說(shuō)，由于實(shí)際運(yùn)營(yíng)商網(wǎng)絡(luò)條件的限制，如果由于錯(cuò)誤配置 或設(shè)備故障引起的電信用戶跨網(wǎng)訪問(wèn) xxx 用戶地址內(nèi)容的情況出現(xiàn)，則會(huì)給用 戶的訪問(wèn)效果來(lái)很大的影響，甚至影響后續(xù)業(yè)務(wù)的發(fā)展。為了避免這個(gè)情況的 出現(xiàn)，需要反向代理的管理員能夠具有追蹤和定位能力，把錯(cuò)誤定位用戶的 ip 地址迅速定位。避免這種跨運(yùn)營(yíng)商訪問(wèn)的情況出現(xiàn)。

45、proxysg 提供了基于策略的 log 能力?？梢援a(chǎn)生一個(gè)獨(dú)立的 log 文件，把 符合條件的錯(cuò)誤定位的用戶記錄在這個(gè) log 中，供反向代理系統(tǒng)管理員來(lái)進(jìn)行 追蹤和分析。例如：假定電信的用戶 ip 地址為 /16 網(wǎng)段，xxx 用戶 的用戶 ip 地址為 /16 網(wǎng)段，cache 上為電信用戶提供服務(wù)的 ip 地址 是 , cache 上為 xxx 用戶用戶提供服務(wù)的 ip 地址是 。如 果電信的用戶錯(cuò)誤定位到了為 xxx 用戶用戶服務(wù)的 ip 地址，則 proxysg 上則會(huì) 產(chǎn)生出用戶訪問(wèn)記錄，記錄 c-ip 和

46、cache 服務(wù) ip 地址。這樣對(duì)于反向代理管 理員來(lái)說(shuō)，只需要察看這個(gè) log 的文件就能追查到任何錯(cuò)誤定位的用戶訪問(wèn)。 4.6全局網(wǎng)絡(luò)管理全局網(wǎng)絡(luò)管理 bluecoat 提供了 bluecoat director 設(shè)備用于 bluecoat proxysg 專用設(shè)備 的功能強(qiáng)大的集中配置管理、更新管理、策略管理平臺(tái)。director 是一個(gè)專用 的硬件可以支持集中管理和內(nèi)容分發(fā)。 blue coat director 集中管理設(shè)備實(shí)現(xiàn)對(duì) blue coat proxysg 系列專用設(shè) 備的可伸展的更新管理、配置管理和策略管理。產(chǎn)品的設(shè)計(jì)基于可擴(kuò)充的管理 專用設(shè)備，director 減少了

47、管理成本和復(fù)雜性。它為管理員提供了強(qiáng)大的平臺(tái)， 來(lái)對(duì)分布的、遠(yuǎn)程的 sg 系列專用設(shè)備進(jìn)行中心化的集中管理。配置信息和安全 策略都可通過(guò)任何一臺(tái) pc 或工作站上，通過(guò)瀏覽器在一個(gè)易于使用的界面來(lái)生 成和管理。 現(xiàn)在，企業(yè)能夠采用管理成百上千的設(shè)備所必須的工具，在他們的整個(gè)網(wǎng) 絡(luò)的全球分支機(jī)構(gòu)內(nèi)部署 proxysg 專用設(shè)備，對(duì)地理位置分布的遠(yuǎn)程系統(tǒng)進(jìn)行 安裝配置和策略更新和耗時(shí)且成本很高的工作。director 集中管理設(shè)備使這個(gè) 改變過(guò)程自動(dòng)化，通過(guò)為企業(yè)提供快速地實(shí)施配置、資源和策略修改所必須的 實(shí)質(zhì)性的工具來(lái)有效地管理 blue coat sg 系列專用設(shè)備。 blue coat di

48、rector 集中管理設(shè)備使企業(yè)能夠： o中心化的、全企業(yè)范圍內(nèi)的、基于策略的管理 o軟件升級(jí)自動(dòng)化 o備份配置，并在災(zāi)難時(shí)恢復(fù) o強(qiáng)大的自動(dòng)化任務(wù)定時(shí)安排 o管理專用設(shè)備，簡(jiǎn)化安裝和日常維護(hù)的難度 o通過(guò)安全的 gui 或 cli 進(jìn)行遠(yuǎn)程管理 o中心化管理策略，進(jìn)行全局策略分發(fā) o可從任何帶有 web 瀏覽器的 pc 或工作站上啟動(dòng)管理 下圖表述了 bluecoat director 管理的方式： 4.74.7未來(lái)擴(kuò)展未來(lái)擴(kuò)展 目前 xxx 用戶的一期工程只考慮了二個(gè)節(jié)點(diǎn)，未來(lái)可以考慮隨著業(yè)務(wù)的發(fā) 展擴(kuò)展為更大規(guī)模的反向代理和 adn。 具體的擴(kuò)展方式非常簡(jiǎn)單。在每個(gè)地方 的新建 pop

49、點(diǎn)，然后增加 slb 設(shè)備，再根據(jù)用戶的業(yè)務(wù)量增加緩存設(shè)備和廣域 網(wǎng)加速設(shè)備。 廣域網(wǎng)加速設(shè)備在擴(kuò)展時(shí)，通常只需要擴(kuò)展 pop 節(jié)點(diǎn)設(shè)備就可以了，因?yàn)?廣域網(wǎng)加速設(shè)備中心節(jié)點(diǎn)設(shè)備可以和多個(gè)邊緣節(jié)點(diǎn)設(shè)備形成 1 對(duì)多的伙伴關(guān)系。 5 bluecoat http 緩存技術(shù)特點(diǎn)緩存技術(shù)特點(diǎn) 下面詳細(xì)介紹 bluecoat sg 緩存設(shè)備針對(duì) http 緩存的高級(jí)特性。 5.1pipelining：快速的內(nèi)容抓?。嚎焖俚膬?nèi)容抓取 當(dāng)瀏覽器請(qǐng)求內(nèi)容時(shí)，在瀏覽器和遠(yuǎn)端的 web 服務(wù)器之間將有許多的往返 通訊發(fā)生，這是因?yàn)橐粋€(gè) web 頁(yè)面通常由許多對(duì)象組成，而對(duì)于每個(gè)對(duì)象的獲 取都必須首先有一個(gè) tcp

50、 會(huì)話建立，然后進(jìn)行 http “get”請(qǐng)求，如下圖： 這種串行的對(duì)象獲取對(duì)于最終用戶來(lái)說(shuō)就意味著大量的延時(shí)，blue coat proxysg 設(shè)備的運(yùn)用，將消除這種延遲的大部分；用戶連接將終結(jié)在 blue coat proxysg 設(shè)備，該設(shè)備運(yùn)行 sgos，包含了針對(duì)延遲的算法；這些算法之一就是 pipeline 抓取，該專利算法將打開(kāi)盡可能多的到源服務(wù)器的 tcp 連接，并發(fā)地 獲取 web 對(duì)象，這些對(duì)象將在瀏覽器請(qǐng)求它們時(shí)，被直接從專用設(shè)備快速地傳 遞到用戶桌面系統(tǒng)，如下圖： object 1 object 2 object n pipeline 抓取的作用，使 blue coa

51、t 產(chǎn)品能夠?qū)?duì) web 頁(yè)面的首次訪問(wèn)速度提 高 2 倍，這種性能的改善對(duì)最終用戶來(lái)說(shuō)是直觀、生動(dòng)的。 5.2自適應(yīng)的刷新：快速、新鮮的內(nèi)容自適應(yīng)的刷新：快速、新鮮的內(nèi)容 由于在 web 服務(wù)器上的內(nèi)容在不斷變化，blue coat proxysg 設(shè)備必須保持 緩存內(nèi)容的更新；對(duì)于 blue coat 專用設(shè)備在將內(nèi)容從其存儲(chǔ)傳遞給用戶時(shí)， 必須確信內(nèi)容是新鮮的，那么，一個(gè)“refresh check”必須被發(fā)給源服務(wù)器； 然而，為了快速地提供內(nèi)容，那就不能等到用戶請(qǐng)求時(shí)才實(shí)現(xiàn)“refresh”操作。 如果“refresh”檢查只在用戶請(qǐng)求內(nèi)容時(shí)進(jìn)行，用戶就必須忍受使得網(wǎng)絡(luò)變慢 的延時(shí)，w

52、eb 頁(yè)面的響應(yīng)時(shí)間必然也得不到很大的改善。 傳遞快速、新鮮的 web 頁(yè)面的唯一可行的方法是將“refresh”操作與實(shí)際 的用戶訪問(wèn)分開(kāi)處理；blue coat 專用設(shè)備實(shí)現(xiàn)這個(gè)操作是通過(guò)另一個(gè)針對(duì)延 遲的算法自適應(yīng)的刷新算法；該專利算法根據(jù) web 對(duì)象的需要進(jìn)行有選擇 地刷新，刷新操作與實(shí)際的用戶請(qǐng)求是異步進(jìn)行的。 選擇哪些對(duì)象、何時(shí)進(jìn)行刷新要求專用設(shè)備理解對(duì)象的變化規(guī)律；web 對(duì)象 以不同的節(jié)奏變化，一部分變化很頻繁、一部分很少變化，而大多數(shù)介于兩者 之間。下圖是 blue coat systems 設(shè)備在全球不同地區(qū)提取的數(shù)據(jù)，可以發(fā)現(xiàn) 對(duì)象變化比例最高的 24 小時(shí)內(nèi)。（該柱狀

53、圖并不代表對(duì)象如何變化的絕對(duì)模型； 它只是說(shuō)明在分析時(shí)的變化比率） 自適應(yīng)的刷新算法是業(yè)界唯一為緩存的每個(gè) web 對(duì)象建立“變化模型”的 技術(shù)，它還根據(jù)這些對(duì)象被用戶訪問(wèn)的歷史情況建立其“使用模型”，然后， 綜合這兩方面信息來(lái)確定適合于這些對(duì)象的刷新模式（刷新產(chǎn)生的結(jié)果將隨這 些模型的變化不斷調(diào)整）。 通過(guò)自適應(yīng)的刷新算法，blue coat proxysg 專用設(shè)備自動(dòng)與源服務(wù)器實(shí)現(xiàn) “新鮮度檢查”，從而保證舊的內(nèi)容被刪除，并用新鮮的內(nèi)容替代。例如，如 果在 首頁(yè)中的對(duì)象，對(duì)于通過(guò) blue coat 專用設(shè)備訪問(wèn)的用戶群， 是訪問(wèn)量很大的；blue coat sgos 將更新那些變化的對(duì)

54、象（例如：“top story”對(duì)象），而不刷新那些不變化的對(duì)象（例如：“cnn logo”對(duì)象）；這 樣保證當(dāng)前內(nèi)容被快速地傳遞給用戶。 并發(fā)抓取能夠改善 web 頁(yè)面的第一次請(qǐng)求的響應(yīng)，同時(shí)，動(dòng)態(tài)刷新由于使 用戶不必等待對(duì)象的刷新時(shí)的延遲，從而巨大地改善對(duì)象的后續(xù)請(qǐng)求的響應(yīng)。 只有通過(guò) blue coat systems 獨(dú)創(chuàng)的針對(duì)延遲的算法，才能對(duì)首次及多次請(qǐng)求 基于 web 的通訊進(jìn)行加速；通過(guò)“快速、新鮮”地傳遞內(nèi)容，blue coat sgos 成為業(yè)界領(lǐng)先的互聯(lián)網(wǎng) proxysg 的基礎(chǔ)。 5.3自適應(yīng)的刷新：對(duì)帶寬消耗的影響自適應(yīng)的刷新：對(duì)帶寬消耗的影響 自適應(yīng)的刷新技術(shù)是關(guān)鍵

55、技術(shù)，用于將常用的 web 內(nèi)容保存在靠近用戶的 地方，并在不引入不必要的網(wǎng)絡(luò)流量前提下保持內(nèi)容更新。測(cè)量 blue coat proxysg 對(duì) wan 或互聯(lián)網(wǎng)連接帶寬的影響，一種有效方法就是區(qū)分出提供給用 戶內(nèi)容的流量和 proxysg 消耗的流量，這兩者的差被稱為“帶寬增益”；當(dāng)一 個(gè) proxysg 傳遞給用戶的通訊量超過(guò)他從主干獲取內(nèi)容的通訊量時(shí)，帶寬增益 就產(chǎn)生了。下圖是 blue coat systems 產(chǎn)品典型應(yīng)用環(huán)境中的帶寬增益情況： 其中，出口連接上的帶寬為 3000kbps，與用戶通訊帶寬為大約 4000kbps，blue coat 專用設(shè)備的安裝有效地將網(wǎng)絡(luò)通道能力

56、提高了 33%。 由于自適應(yīng)的刷新算法能夠高效地選擇對(duì)那些對(duì)象及在何時(shí)進(jìn)行刷新， blue coat sgos 使已有帶寬的使用更高效。 5.4新鮮度測(cè)量和報(bào)告新鮮度測(cè)量和報(bào)告 blue coat 專用設(shè)備自動(dòng)測(cè)量和報(bào)告?zhèn)鬟f給用戶的內(nèi)容的新鮮度，這種報(bào)告 的功能基于自適應(yīng)的刷新算法所跟蹤的 web 對(duì)象屬性。 測(cè)量功能首先跟蹤存儲(chǔ)在 blue coat 專用設(shè)備中的對(duì)象，從上次被檢查新 鮮度之后被用戶訪問(wèn)的次數(shù)，然后與自適應(yīng)的刷新操作相比較；當(dāng)一個(gè)刷新操 作發(fā)生時(shí)不同的結(jié)果將會(huì)產(chǎn)生： 如果一個(gè)對(duì)象在服務(wù)器上沒(méi)有改變，那么該對(duì)象前面的傳遞被記錄為“新 鮮的”；如果該對(duì)象在服務(wù)器上已經(jīng)變化了，sg

57、os 將依據(jù)該對(duì)象在源服務(wù)器上 改變的時(shí)間來(lái)計(jì)算該對(duì)象新鮮傳遞的比率和是否傳遞了“陳舊的”內(nèi)容。 這些信息將報(bào)告在 blue coat 管理終端的統(tǒng)計(jì)部分，如下圖： 通過(guò)這種實(shí)際的報(bào)告機(jī)制，網(wǎng)絡(luò)管理員能夠確定用戶獲得的內(nèi)容是他們生 成請(qǐng)求時(shí) web 上存在的內(nèi)容。 5.5blue coat 存儲(chǔ)子存儲(chǔ)子系統(tǒng)系統(tǒng) 在磁盤(pán)上存儲(chǔ)對(duì)象的方法對(duì)于實(shí)現(xiàn)高性能和高擴(kuò)展能力是至關(guān)重要的，存 儲(chǔ)方法將決定(1) 當(dāng)一個(gè)對(duì)緩存對(duì)象的用戶請(qǐng)求到達(dá)時(shí)，該對(duì)象將以多快的速 度被訪問(wèn)到，(2) 新的對(duì)象將多快被確認(rèn)并存儲(chǔ)到磁盤(pán)上，(3) 每個(gè)磁盤(pán)能對(duì) 用戶請(qǐng)求提供服務(wù)的速率。 blue coat 專用設(shè)備的對(duì)象存儲(chǔ)系統(tǒng)

58、不是文件系統(tǒng)，它是對(duì)象的緩存，在該 專用設(shè)備中沒(méi)有目錄，對(duì)象的訪問(wèn)是通過(guò)內(nèi)存中的 hash 表進(jìn)行的，從而保證任 何對(duì)象的獲取只需一次磁盤(pán)讀操作；傳統(tǒng)的文件系統(tǒng)在滿的時(shí)候運(yùn)行性能很差， 而 blue coat proxysg 能夠在滿的時(shí)候保持高性能。 blue coat 專用設(shè)備中，每個(gè)磁盤(pán)依據(jù) url 的名字部分存儲(chǔ)對(duì)象，訪問(wèn)被自 動(dòng)平衡到各個(gè)可用的磁盤(pán)上；緩存通常運(yùn)行于磁盤(pán)存滿對(duì)象的狀態(tài)下，舊的、 很少被使用的對(duì)象將不斷被刪除，為新進(jìn)入的對(duì)象騰出空間；操作系統(tǒng)中這種 磁盤(pán)布局和刪除算法使得新對(duì)象寫(xiě)入磁盤(pán)的速度等到優(yōu)化；在磁盤(pán)意外失效時(shí)， 那部分 url 名字空間的對(duì)象被自動(dòng)重映射到其它磁

59、盤(pán)上；新磁盤(pán)可以加到專用 設(shè)備中增加其存儲(chǔ)能力；沒(méi)有使用 raid，對(duì)于 web 專用設(shè)備它沒(méi)有實(shí)際的用處， 而會(huì)浪費(fèi)磁盤(pán)資源。 5.6http 策略控制引擎策略控制引擎 bluecoat 獨(dú)特的 web 知識(shí)架構(gòu)使 sg 能夠處理所有的 web 協(xié)議，包括 http、https、ftp、microsoft 流媒體（mms 和 http streaming）、real 流媒 體（rtsp 和 http streaming）、quicktime 流媒體（通過(guò) rtsp）、 mp3、flash、和幾百種其它的 web 對(duì)象類型。 blue coat 擁有專利的策略處理引擎（ppepolicy process engine）提供 強(qiáng)大的策略定義能力，用戶可以定義一系列的、全面的規(guī)則來(lái)保護(hù)、控制和加 速用戶的