CDN自建方案計劃

PAGE9CDN分析與自建要求分析CDN概念CDN的全稱是ContentDelivery(Distribution)Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。構(gòu)建CDN的目的：是通過在現(xiàn)有的互聯(lián)網(wǎng)中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)絡(luò)內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近取得所需的內(nèi)容，解決互聯(lián)網(wǎng)網(wǎng)絡(luò)擁擠的狀況，提高用戶所能獲取服務(wù)或業(yè)務(wù)的服務(wù)質(zhì)量。其實質(zhì)是在互聯(lián)網(wǎng)上構(gòu)建一個覆蓋網(wǎng)絡(luò)CDN的能力：從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點分布不均而產(chǎn)生的用戶使用互聯(lián)網(wǎng)業(yè)務(wù)服務(wù)質(zhì)量差的根本原因。CDN提高服務(wù)質(zhì)量的基本思路及施基本思路：就是盡可能避開互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié)，使內(nèi)容傳輸?shù)母?、更穩(wěn)。通過用戶就近性和服務(wù)器負(fù)載的判斷，CDN確保內(nèi)容以一種極為高效的方式為用戶的請求提供服務(wù)。基本措施：將內(nèi)容推到網(wǎng)絡(luò)的邊緣，為用戶提供就近性的邊緣服務(wù)，從而保證服務(wù)的質(zhì)量和整個網(wǎng)絡(luò)上的訪問秩序，這也是就是CDN的服務(wù)模式措施1：把業(yè)務(wù)的服務(wù)點盡可能的延伸網(wǎng)絡(luò)邊緣，也就是最靠近用戶的地方，避免遠(yuǎn)距離的IP轉(zhuǎn)發(fā)，減少互聯(lián)網(wǎng)內(nèi)部引入的服務(wù)質(zhì)量衰減措施2：提供分布式的負(fù)載均衡，從而減少服務(wù)器端的瓶頸CDN所能提供的服務(wù)（應(yīng)用）用戶終端：PC、PDA，手機(jī)等服務(wù)類型:1.網(wǎng)頁加速2.文件傳輸加速3.流媒體加速CDN的歷史及趨勢CDN基本體系結(jié)構(gòu)CDN基本組成元素(1/2)CDN的特點本地Cache加速：提高了企業(yè)站點（尤其含有大量圖片和靜態(tài)頁面站點）的訪問速度，并大大提高以上性質(zhì)站點的穩(wěn)定性鏡像服務(wù)：消除了不同運(yùn)營商之間互聯(lián)的瓶頸造成的影響，實現(xiàn)了跨運(yùn)營商的網(wǎng)絡(luò)加速，保證不同網(wǎng)絡(luò)中的用戶都能得到良好的訪問質(zhì)量遠(yuǎn)程加速：遠(yuǎn)程訪問用戶根據(jù)DNS負(fù)載均衡技術(shù)智能自動選擇Cache服務(wù)器，選擇最快的Cache服務(wù)器，加快遠(yuǎn)程訪問的速度帶寬優(yōu)化：自動生成服務(wù)器的遠(yuǎn)程Mirror（鏡像）cache服務(wù)器，遠(yuǎn)程用戶訪問時從cache服務(wù)器上讀取數(shù)據(jù)，減少遠(yuǎn)程訪問的帶寬、分擔(dān)網(wǎng)絡(luò)流量、減輕原站點WEB服務(wù)器負(fù)載等功能集群抗攻擊：廣泛分布的CDN節(jié)點加上節(jié)點之間的智能冗于機(jī)制，可以有效地預(yù)防黑客入侵以及降低各種DDoS（DistributionDenialofservice，分布式拒絕服務(wù)攻擊）對網(wǎng)站的影響，同時保證較好的服務(wù)質(zhì)量CDN中的關(guān)鍵技術(shù)內(nèi)容發(fā)布：它借助于建立索引、緩存、流分裂、組播等技術(shù)，將內(nèi)容發(fā)布到距離用戶最近的邊緣服務(wù)器請求路由：它是整體性的網(wǎng)絡(luò)負(fù)載均衡技術(shù)，通過內(nèi)容路由器中的重定向機(jī)制，在多個邊緣服務(wù)器間均衡用戶的請求，以使用戶請求得到最近內(nèi)容源的響應(yīng)負(fù)載均衡：它根據(jù)內(nèi)容的可用性、服務(wù)器的可用性以及用戶情況，在邊緣服務(wù)器上，利用應(yīng)用層交換、流分裂、重定向等技術(shù)，智能地平衡負(fù)載流量性能管理：它通過內(nèi)部和外部監(jiān)控系統(tǒng)，獲取網(wǎng)絡(luò)部件的狀況信息，測量內(nèi)容發(fā)布的端到端性能（如包丟失、延時、平均帶寬、啟動時間、幀速率等），保證網(wǎng)絡(luò)處于最佳的運(yùn)行狀態(tài)CDN中的關(guān)鍵技術(shù)-內(nèi)容發(fā)布根據(jù)內(nèi)容發(fā)布的方式可以分為三類發(fā)布技術(shù)協(xié)作式推送技術(shù)（cooperativepush-based）：即當(dāng)源服務(wù)器有新內(nèi)容時，它把內(nèi)容推送到合適的邊緣服務(wù)器，邊緣服務(wù)器間互相協(xié)而共享各自的內(nèi)容，避免一個內(nèi)容被發(fā)布到所有邊緣服務(wù)器，從而減少了復(fù)制及更新成本。在此種方式中，CDN維護(hù)一個內(nèi)容與邊緣服務(wù)器的映射表，當(dāng)用戶請求時，可以查詢此表，把請求轉(zhuǎn)到距離用戶最近的具有請求該內(nèi)容的邊緣服務(wù)器上。非協(xié)作式拉取技術(shù)（non-cooperativepull-based）：用戶請求總是被重定向到距離最近的邊緣服務(wù)器，如果邊緣服務(wù)器沒有所請求的內(nèi)容，則邊緣服務(wù)器向源服務(wù)器請求該內(nèi)容。該技術(shù)簡單，易實現(xiàn)，缺點是負(fù)責(zé)向用戶提供服務(wù)的邊緣服務(wù)器不總是最優(yōu)的。協(xié)作式拉取技術(shù)（cooperativepull-based）：它與非協(xié)作式拉取技術(shù)主要不同在于，當(dāng)一個邊緣服務(wù)器沒有用戶請求內(nèi)容時，它可以從其它邊緣服務(wù)器請求本地所沒有的內(nèi)容。此種方式的優(yōu)點是減少源服務(wù)器處帶寬成本。目前此技術(shù)仍處于研究實驗階段CDN中的關(guān)鍵技術(shù)-請求路由基于DNS的內(nèi)容請求路由機(jī)制評價CDN系統(tǒng)的性能指標(biāo)緩存命中率（Cachehitratio）：在一定時間內(nèi)，假設(shè)用戶總請求次數(shù)為N，其中，用戶請求內(nèi)容不在邊緣服務(wù)器上而需要向源服務(wù)器獲取內(nèi)容的請求次數(shù)為M，則H=(N-M)/N即為緩存命中率。命中率越高意味CDN系統(tǒng)效率越高。用戶得到的平均響應(yīng)越快保留帶寬RB（Reservedbandwidth）：在一定時間內(nèi)，源服務(wù)器端所使用的網(wǎng)絡(luò)帶寬。RB越小，說明CDN發(fā)揮作用越大，為源服務(wù)器節(jié)省帶寬成本約多響應(yīng)時延（Latency）：指用戶發(fā)出請求至得到請求響應(yīng)間的時間。平均響應(yīng)時延越小說明CDN性能越好，源服務(wù)器消耗帶寬越小邊緣服務(wù)器利用率（Edgeserverutilization）：該指標(biāo)測量的是邊緣服務(wù)器的資源利用的程度，常用CPU利用率、I/0值大小、接受用戶請求的總次數(shù)、以及存儲空間比率來衡量可靠性（Reliability）：主要是通過分組的丟包率來衡量CDN為終端用戶所提供服務(wù)的可靠性。視頻多媒體特性對CDN構(gòu)建的影響帶寬消耗：相對于傳統(tǒng)的網(wǎng)頁加速、文件下載加速等業(yè)務(wù)，提供視頻業(yè)務(wù)的CDN消耗的網(wǎng)絡(luò)帶寬大存儲消耗：占用CDN邊緣服務(wù)器以及內(nèi)部緩存服務(wù)器的存儲空間大實時性要求更高：需要更低的響應(yīng)時延，為保持流暢的視頻效果，需要更低的時延抖動多媒體傳送類型流式傳送：指流式數(shù)據(jù)經(jīng)網(wǎng)絡(luò)傳送到目的地，若目的地有視頻播放器，則既可實時播放文件下載式傳送：常指未經(jīng)流化的數(shù)據(jù)經(jīng)網(wǎng)絡(luò)傳輸?shù)侥康牡?，若目的地視頻播放器，只有視頻文件完整下載完后，視頻播放器才能播放視頻構(gòu)建系統(tǒng)的性能目標(biāo)系統(tǒng)的選型、技術(shù)的取舍、系統(tǒng)規(guī)模規(guī)模等等都需要從兩個角度考慮1.從系統(tǒng)本身考慮：CDN系統(tǒng)代價最小化，也就是低成本2.邊緣服務(wù)器、緩沖設(shè)備等成本消耗帶寬的成本4.從系統(tǒng)對外提供服務(wù)的角度：為用戶提供高質(zhì)量的服務(wù)及用戶體驗，也就是高產(chǎn)出5.用戶響應(yīng)時間6.視頻流暢度7.視頻數(shù)量及類型構(gòu)成（不同清晰度視頻的比例）8所能支持的并發(fā)用戶量9.用戶平均在線時間（直接決定了視頻廣告的效果）典型的CDN架構(gòu)兩層層次結(jié)構(gòu)在高層進(jìn)行內(nèi)容分布（contentdistribution）進(jìn)行的是常規(guī)文件類傳送（對點播而言）或流式傳送（對直播而言）在低層進(jìn)行內(nèi)容傳送（contentdelivery）進(jìn)行流式傳送構(gòu)建CDN涉及的關(guān)鍵問題節(jié)點布置區(qū)域中心布置在大城市城域網(wǎng)高層復(fù)制節(jié)點可下掛多個cache（至少2個以提供互備份）低層邊緣服務(wù)器（proxy/caches）的數(shù)量由現(xiàn)有用戶數(shù)或潛在用戶數(shù)決定（若是獨(dú)立的CDN提供商，一個重要的決定因素是連接多少個ISP）2.網(wǎng)絡(luò)配置高層可用高速的骨干網(wǎng)（10-40G）低層可用城域網(wǎng)（以太網(wǎng)）(1-10G)3.內(nèi)容分配及分布（ContentAllocationandDistribution）：CDN性能不僅與緩存、邊緣服務(wù)器的數(shù)量有關(guān)系，更重要的是與視頻內(nèi)容的分布相關(guān)視頻文件是否分塊若分塊，可提高網(wǎng)絡(luò)交換和存儲效率，但是提高復(fù)雜性若不分塊，實現(xiàn)簡單內(nèi)容發(fā)布方式基于推送（push）：可減小用戶訪問時延，提高Cache命中率基于拉?。≒ull）：實現(xiàn)簡單，存儲節(jié)省.Cache管理策略：由于視頻內(nèi)容占存儲空間大，而存儲總是有限的，必須有較好的Cache管理策略，當(dāng)前常用的是LRU(Leastrecentlyused)4.內(nèi)容傳