淺析內(nèi)容分發(fā)網(wǎng)絡(luò)關(guān)鍵技術(shù)與應(yīng)用

1、    淺析內(nèi)容分發(fā)網(wǎng)絡(luò)關(guān)鍵技術(shù)與應(yīng)用    朱夫明 董彥祥【摘 要】目前，廣電網(wǎng)絡(luò)面臨最大的挑戰(zhàn)就是數(shù)據(jù)傳輸速度的提高以及對網(wǎng)絡(luò)擁塞問題的解決，這需要一種能夠滿足數(shù)據(jù)傳輸業(yè)務(wù)又能對高清時代加以支撐的可靠技術(shù)。cdn具有內(nèi)容分發(fā)、存儲、管理、負(fù)載均衡技術(shù)，能在傳輸速度提高的同時減少時延，是目前廣電網(wǎng)絡(luò)解決數(shù)據(jù)傳輸問題的主要途徑。本文對cdn的關(guān)鍵技術(shù)和其技術(shù)指標(biāo)分析，并探討cdn在廣電中的應(yīng)用。【關(guān)鍵詞】cdn（內(nèi)容分發(fā)網(wǎng)絡(luò)，content delivery network）、cdn關(guān)鍵技術(shù)、cdn技術(shù)應(yīng)用analysis on key tec

2、hnologies and applications of content distribution networkzhu fu-ming，dong yan-xiang（tianyuan ruixin communication technology co.， ltd xi'an shanxi 710000）【abstract】at present， the biggest challenge for broadcasting and television networks is the improvement of data transmission s

3、peed and the solution to network congestion problems. this requires a reliable technology that can satisfy the data transmission service and support the high-definition era. cdn has content distribution， storage， management， load balancing technology， which can reduce the delay while increasing the

4、transmission speed. it is the main way for the broadcasting and television network to solve the data transmission problem. this paper analyzes the key technologies of cdn and its technical indicators， and discusses the application of cdn in broadcasting and television.【key words】cdn （content deliver

5、y network）;cdn key technology;cdn technology application1. 內(nèi)容分發(fā)網(wǎng)絡(luò)概述內(nèi)容分發(fā)網(wǎng)絡(luò)（cdn，content delivery network）伴隨著互聯(lián)網(wǎng)商業(yè)化發(fā)展而發(fā)展，是現(xiàn)代互聯(lián)網(wǎng)的重要支撐網(wǎng)絡(luò)，也是現(xiàn)代通信網(wǎng)的重要組成部分。伴隨著iptv、網(wǎng)絡(luò)視頻、下載等業(yè)務(wù)的快速發(fā)展，及其對網(wǎng)絡(luò)傳輸帶寬和質(zhì)量需求的提升，重要性日益凸顯。內(nèi)容分發(fā)網(wǎng)絡(luò)（cdn）作為流媒體系統(tǒng)的一個重要核心組成部分，開始被運(yùn)營商接受和廣泛部署。內(nèi)容分發(fā)網(wǎng)絡(luò)（cdn）進(jìn)入了發(fā)展的快車道。從互聯(lián)網(wǎng)的發(fā)展來看，網(wǎng)絡(luò)流量的增長遠(yuǎn)遠(yuǎn)超出了人們的預(yù)期。寬帶網(wǎng)的快速發(fā)展，催

6、生了許多新的互聯(lián)網(wǎng)業(yè)務(wù)，如iptv業(yè)務(wù)、互聯(lián)網(wǎng)視頻、ott等業(yè)務(wù)。為解決互聯(lián)網(wǎng)帶寬瓶頸，cdn營運(yùn)而生，cdn的發(fā)展于寬帶互聯(lián)網(wǎng)架構(gòu)緊密相連，它本質(zhì)上是通過一種分布式服務(wù)器構(gòu)成的網(wǎng)絡(luò)，把熱點(diǎn)內(nèi)容存儲在網(wǎng)絡(luò)靠近接入層的服務(wù)器上，從而使用戶訪問熱點(diǎn)內(nèi)容時不再訪問骨干側(cè)的服務(wù)器，減小骨干網(wǎng)流量需求，并提高服務(wù)質(zhì)量。2. cdn基本原理2.1 cdn的基本原理為反向代理，反向代理（reverse proxy）方式是指以代理服務(wù)器來接受internet上的連接請求，然后將請求轉(zhuǎn)發(fā)給內(nèi)部網(wǎng)絡(luò)上的服務(wù)器，并將從服務(wù)器上得到的結(jié)果返回給internet上請求連接的客戶端，此時代理服務(wù)器對外就表現(xiàn)為一

7、個節(jié)點(diǎn)服務(wù)器。通過部署更多的反向代理服務(wù)器，來達(dá)到實(shí)現(xiàn)多節(jié)點(diǎn)cdn的效果。2.2 在描述cdn的實(shí)現(xiàn)原理，讓我們先看傳統(tǒng)的未加緩存服務(wù)的訪問過程，以便了解cdn緩存訪問方式與未加緩存訪問方式的差別：2.2.1 用戶提交域名瀏覽器對域名進(jìn)行解析得到目的主機(jī)的ip地址根據(jù)ip地址訪問發(fā)出請求得到請求數(shù)據(jù)并回復(fù)2.2.2 由上可見，用戶訪問未使用cdn緩存網(wǎng)站的過程為：（1）用戶向瀏覽器提供要訪問的域名;（2）瀏覽器調(diào)用域名解析函數(shù)庫對域名進(jìn)行解析，以得到此域名對應(yīng)的ip地址;（3）瀏覽器使用所得到的ip地址，向域名的服務(wù)主機(jī)發(fā)出數(shù)據(jù)訪問請求;（4）瀏覽器根據(jù)域名主機(jī)返

8、回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。（5）通過以上四個步驟，瀏覽器完成從用戶處接收用戶要訪問的域名到從域名服務(wù)主機(jī)處獲取數(shù)據(jù)的整個過程。3. cdn關(guān)鍵技術(shù)cdn的關(guān)鍵技術(shù)主要有內(nèi)容路由技術(shù)、內(nèi)容分發(fā)技術(shù)、內(nèi)容存儲技術(shù)、內(nèi)容管理技術(shù)等。3.1 內(nèi)容路由技術(shù)。（1）cdn負(fù)載均衡系統(tǒng)實(shí)現(xiàn)cdn的內(nèi)容路由功能。它的作用是將用戶的請求導(dǎo)向整個cdn網(wǎng)絡(luò)中的最佳節(jié)點(diǎn)。最佳節(jié)點(diǎn)的選定可以根據(jù)多種策略，例如距離最近、節(jié)點(diǎn)負(fù)載最輕等。負(fù)載均衡系統(tǒng)是整個cdn的核心，負(fù)載均衡的準(zhǔn)確性和效率直接決定了整個cdn的效率和性能 。（2）通常負(fù)載均衡可以分為兩個層次：全局負(fù)載均衡（gslb）和本地負(fù)載均衡（slb）。全

9、局負(fù)載均衡（gslb）主要的目的是在整個網(wǎng)絡(luò)范圍內(nèi)將用戶的請求定向到最近的節(jié)點(diǎn)（或者區(qū)域）。因此，就近性判斷是全局負(fù)載均衡的主要功能。本地負(fù)載均衡一般局限于一定的區(qū)域范圍內(nèi)，其目標(biāo)是在特定的區(qū)域范圍內(nèi)尋找一臺最適合的節(jié)點(diǎn)提供服務(wù)，因此，cdn節(jié)點(diǎn)的健康性、負(fù)載情況、支持的媒體格式等運(yùn)行狀態(tài)是本地負(fù)載均衡進(jìn)行決策的主要依據(jù)。（3）負(fù)載均衡可以通過多種方法實(shí)現(xiàn)，主要的方法包括dns、應(yīng)用層重定向、傳輸層重定向等等。（4）對于全局負(fù)載均衡而言，為了執(zhí)行就近性判斷，通常可以采用兩種方式，一種是靜態(tài)的配置，例如根據(jù)靜態(tài)的ip地址配置表進(jìn)行ip地址到cdn節(jié)點(diǎn)的映射。另一種方式是動態(tài)的檢測，例如實(shí)時地讓c

10、dn節(jié)點(diǎn)探測到目標(biāo)ip的距離（可以采用rrt，hops作為度量單位），然后比較探測結(jié)果進(jìn)行負(fù)載均衡。當(dāng)然，靜態(tài)和動態(tài)的方式也可以綜合起來使用。（5）對于本地負(fù)載均衡而言，為了執(zhí)行有效的決策，需要實(shí)時地獲取cache設(shè)備的運(yùn)行狀態(tài)。獲取的方法一般有兩種，一種是主動探測，一種是協(xié)議交互。主動探測針對slb設(shè)備和cache設(shè)備沒有協(xié)議交互接口的情況，通過ping等命令 主動發(fā)起探測，根據(jù)返回結(jié)果分析狀態(tài)。另一種是協(xié)議交互，即slb和 cache根據(jù)事先定義好的協(xié)議實(shí)時交換運(yùn)行狀態(tài)信息，以便進(jìn)行負(fù)載均衡。比較而言，協(xié)議交互比探測方式要準(zhǔn)確可靠。3.2 內(nèi)容分發(fā)技術(shù)。（1）內(nèi)容分發(fā)包含從內(nèi)容源

11、到cdn邊緣的cache的過程。從實(shí)現(xiàn)上看，有兩種主流的內(nèi)容分發(fā)技術(shù)：push和pull.（2）push是一種主動分發(fā)的技術(shù)。通常，push由內(nèi)容管理系統(tǒng)發(fā)起，將內(nèi)容從源或者中心媒體資源庫分發(fā)到各邊緣的cache節(jié)點(diǎn)。分發(fā)的協(xié)議可以采用 http/ftp等。通過push分發(fā)的內(nèi)容一般是比較熱點(diǎn)的內(nèi)容，這些內(nèi)容通過push方式預(yù)分發(fā)（preload）到邊緣cache，可以實(shí)現(xiàn)有針對的內(nèi)容提供。對于push分發(fā)需要考慮的主要問題是分發(fā)策略，即在什么時候分發(fā)什么內(nèi)容。一般來說，內(nèi)容分發(fā)可以由cp（內(nèi)容提供商）或者cdn內(nèi)容管理員人工確定，也可以通過智能的方式?jīng)Q定，即所謂的智能分發(fā)。它根據(jù)用戶訪問的統(tǒng)

12、計信息，以及預(yù)定義的內(nèi)容分發(fā)的規(guī)則，確定內(nèi)容分發(fā)的過程。（3）pull是一種被動的分發(fā)技術(shù)，pull分發(fā)通常由用戶請求驅(qū)動。當(dāng)用戶請求的內(nèi)容在本地的邊緣cache上不存在（未命中）時，cache啟動pull方法從內(nèi)容源或者其他cdn節(jié)點(diǎn)實(shí)時獲取內(nèi)容。在pull方式下，內(nèi)容的分發(fā)是按需的。（4）在實(shí)際的cdn系統(tǒng)中，一般兩種分發(fā)方式都支持，但是根據(jù)內(nèi)容的類型和業(yè)務(wù)模式的不同，在選擇主要的內(nèi)容分發(fā)方式時會有所不同。通常，push的方式適合內(nèi)容訪問比較集中的情況，如熱點(diǎn)的影視流媒體內(nèi)容;pull方式比較適合內(nèi)容訪問分散的情況。（5）在內(nèi)容分發(fā)的過程中，對于cache設(shè)備而言，關(guān)鍵的是需要建立內(nèi)容源u

13、rl、內(nèi)容發(fā)布的url、用戶訪問的url，以及內(nèi)容在cache中存儲的位置之間的映射關(guān)系。3.3 內(nèi)容存儲技術(shù)。（1）對于cdn系統(tǒng)而言，需要考慮兩個方面的內(nèi)容存儲問題。一個是內(nèi)容源的存儲，一個是內(nèi)容在cache節(jié)點(diǎn)中的存儲。（2）對于內(nèi)容源的存儲，由于內(nèi)容的規(guī)模比較大（通?？梢赃_(dá)到幾個甚至幾十個tb），而且內(nèi)容的吞吐量較大，因此，通常采用海量存儲架構(gòu)。如nas和son。（3）對于在cache節(jié)點(diǎn)中的存儲，是cache設(shè)計的一個關(guān)鍵問題。需要考慮的因素包括功能和性能兩個方面：在功能上包括對各種內(nèi)容格式的支持、對部分緩存的支持，在性能上包括支持的容量、多文件 吞吐率、可靠性、穩(wěn)定性。（

14、4）其中，多種內(nèi)容格式的支持要求存儲系統(tǒng)根據(jù)不同文件格式的讀寫特點(diǎn)進(jìn)行優(yōu)化 ，以提高文件內(nèi)容讀寫的效率，特別是對流媒體文件的讀寫。（5）部分緩存能力指流媒體內(nèi)容可以以不完整的方式存儲和讀取。部分緩存的需求來自用戶訪問行為的隨機(jī)性，因為許多用戶并不會完整地收看整個流媒體節(jié)目，事實(shí)上，許多用戶訪問單個流媒體節(jié)目的時間不超過10分鐘。因此，部分緩存能力能夠大大提高存儲空間的利用率，并有效地提高用戶請求的響應(yīng)時間。但是部分緩存可能導(dǎo)致內(nèi)容出現(xiàn)碎片問題，需要進(jìn)行良好的設(shè)計和控制。（6）cache存儲的另一個重要因素是存儲的可靠性，目前，多數(shù)存儲系統(tǒng)都采用了raid技術(shù)進(jìn)行可靠存儲。但是不同設(shè)備使用的ra

15、id方式各有不同。3.4 內(nèi)容管理技術(shù)。（1）內(nèi)容管理在廣義上涵蓋了從內(nèi)容的發(fā)布、注入、分發(fā)、調(diào)整、傳遞等一系列過程。在這里，內(nèi)容管理重點(diǎn)強(qiáng)調(diào)內(nèi)容進(jìn)入cache點(diǎn)后的內(nèi)容管理，我們稱為本地內(nèi)容管理。（2）本地內(nèi)容管理主要針對一個cdn節(jié)點(diǎn)（由多個cdn cache設(shè)備和一個slb設(shè)備構(gòu)成）進(jìn)行。本地內(nèi)容管理的主要目標(biāo)是提高內(nèi)容服務(wù)的效率，提高本地節(jié)點(diǎn)的存儲利用率。通過本地內(nèi)容管理，可以在cdn節(jié)點(diǎn)實(shí)現(xiàn)基于內(nèi)容感知的調(diào)度，通過內(nèi)容感知的調(diào)度，可以避免將用戶重定向到?jīng)]有該內(nèi)容的cache設(shè)備上，從而提高負(fù)載均衡的效率。通過本地內(nèi)容管理還可以有效地實(shí)現(xiàn)在cdn節(jié)點(diǎn)內(nèi)容的存儲共享，提高存儲空

16、間的利用率。4. cdn主要技術(shù)指標(biāo)運(yùn)營商和服務(wù)提供商對cdn的服務(wù)指標(biāo)有嚴(yán)格的要求，主要有以下幾個方面。4.1 命中率。cdn命中率是指用戶訪問網(wǎng)絡(luò)資源節(jié)點(diǎn)時，命中緩存的概率。用戶訪問一個使用了cdn的網(wǎng)站，請求會被解析到cdn節(jié)點(diǎn)。此時如果該cdn節(jié)點(diǎn)上已經(jīng)緩存了用戶要請求的內(nèi)容，則直接cdn節(jié)點(diǎn)直接返回，無需再去源站取數(shù)據(jù)（這樣就算命中緩存）。如果該cdn節(jié)點(diǎn)上沒有緩存相應(yīng)的內(nèi)容，則會立即去源站獲取，然后再返回給訪問者，同時把內(nèi)容緩存在該節(jié)點(diǎn)上（這樣就沒有命中緩存）。緩存的命中率越高，就說明回源的次數(shù)越少，這樣，加速效果也就越好。4.2 吞吐量。cdn的吞吐量通常指的

17、是單臺cdn服務(wù)器在單位時間內(nèi)（一般以秒計算）成功輸出的數(shù)據(jù)大?。ㄒ话阋詁it、kbit、mbit、gbit計算），是cdn服務(wù)器的重要性能指標(biāo)之一。吞吐率描述了服務(wù)器在實(shí)際運(yùn)行期間單位時間內(nèi)處理的請求數(shù)，然而，我們更加關(guān)心的是服務(wù)器并發(fā)處理能力的上限，也就是單位時間內(nèi)服務(wù)器能夠處理的最大請求數(shù)，即最大吞吐率。其吞吐能力通常決定于多方面因素，主要為硬件配置、軟件配置、網(wǎng)絡(luò)帶寬。4.3 并發(fā)值。從cdn服務(wù)類型來看，可分為兩類，分別是互聯(lián)網(wǎng)應(yīng)用服務(wù)和流媒體服務(wù)。第一類服務(wù)通常傳輸數(shù)據(jù)量較小，單位時間內(nèi)頻繁發(fā)起tcp/udp連接，對cdn的會話處理能力要求較高，對cdn服務(wù)器cpu、內(nèi)存

18、、軟件要求很高;第二類服務(wù)通常要求較高的帶寬以保證視頻穩(wěn)定傳輸，tcp/udp連接請求不如前者頻繁，但對cdn的吞吐能力要求很高，對cdn服務(wù)器存儲、網(wǎng)口、總線i/o要求很高。4.4 響應(yīng)時間。響應(yīng)時間是指用戶通過終端的瀏覽器或者客戶端發(fā)出的內(nèi)容訪問請求，到收到內(nèi)容第一個數(shù)據(jù)包的時間，也可稱為端到端響應(yīng)時間。響應(yīng)時間對用戶體驗有很大的影響，響應(yīng)時間過長會造成用戶心理煩躁和不安，逐漸失去使用該業(yè)務(wù)的興趣，因此響應(yīng)時間也是cdn最重要的服務(wù)指標(biāo)之一。端到端響應(yīng)時間通常由dns地址解析、訪問cdn服務(wù)器、cdn內(nèi)部重定向、收到數(shù)據(jù)包幾個部分組成。4.5 mdi。mdi（media

19、 delivery index，媒體傳輸質(zhì)量指標(biāo)）用來測量和評估基于ip網(wǎng)絡(luò)的視頻流媒體的傳輸質(zhì)量，是媒體延遲和媒體丟失率的綜合評價指標(biāo)，廣泛應(yīng)用于iptv、ott、數(shù)字電視等基于ip網(wǎng)絡(luò)的流媒體領(lǐng)域。4.6 mos。mos（mean opinion score，評價意見指標(biāo)）主要用于評價通信系統(tǒng)中的語音質(zhì)量優(yōu)劣，在視頻通信等領(lǐng)域已廣泛使用，通常用來評價流媒體類型的cdn服務(wù)質(zhì)量。5. cdn技術(shù)應(yīng)用5.1 iptv cdn應(yīng)用。iptv系統(tǒng)對于用戶的服務(wù)質(zhì)量有很高的要求，而且要保證播放的流暢。在廣域網(wǎng)內(nèi)，從用戶的客戶端到流媒體服務(wù)器之間經(jīng)過了一個很復(fù)雜的路由以后，就很難保

20、證播放的流暢了。為了克服網(wǎng)絡(luò)復(fù)雜路線帶來的制約，在iptv中必須通過邊緣服務(wù)來實(shí)現(xiàn)最終用戶的點(diǎn)播服務(wù)，所以要把內(nèi)容從中心服務(wù)器有效地分發(fā)到邊緣服務(wù)器，就可以通過cdn把內(nèi)容從中心存儲服務(wù)器分發(fā)到邊緣服務(wù)器。通過cdn技術(shù)，可以將內(nèi)容分發(fā)從原來的單一中心結(jié)構(gòu)變?yōu)榉植际降慕Y(jié)構(gòu)，提高用戶訪問網(wǎng)站的響應(yīng)速度。因而，cdn可以提高網(wǎng)絡(luò)中信息流動的效率，從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點(diǎn)分布不均等問題，提高用戶訪問的響應(yīng)速度。5.2 ott cdn應(yīng)用。ott+cdn是ott視頻處理技術(shù)與cdn結(jié)合的平臺。將視頻內(nèi)容經(jīng)過ott技術(shù)處理，再通過cdn節(jié)點(diǎn)分發(fā)給各種終端的訪問用戶。無

21、須安裝任何插件或app即可訪問視頻內(nèi)容。網(wǎng)絡(luò)視頻已經(jīng)成為人們獲取電影、電視、資訊視頻等數(shù)字內(nèi)容的重要渠道。網(wǎng)絡(luò)視頻的市場價值快速增長，在互聯(lián)網(wǎng)行業(yè)中的地位不斷提升。移動互聯(lián)與視頻的結(jié)合必定是未來的發(fā)展趨勢，但移動終端的多樣化，導(dǎo)致視頻內(nèi)容傳播中出現(xiàn)的協(xié)議、格式等不同的多種瓶頸，使得ott+cdn得到了廣泛的應(yīng)用。5.3 web cdn應(yīng)用。web cdn主要通過對web網(wǎng)頁的緩存，為用戶提供web加速服務(wù)，由于web頁面由多種元素組成，如文本、圖片、動畫、音樂、視頻等，因此web cdn通過對這些內(nèi)容進(jìn)行緩存，不僅降低了通過wan連接到服務(wù)器的帶寬消耗，而且降低了響應(yīng)時間，提高用戶感知度。5.4 cdn透明緩存應(yīng)用。目前以視頻服務(wù)、文件分享、移動應(yīng)用為代表的互聯(lián)網(wǎng)應(yīng)用占用了網(wǎng)絡(luò)的大部分帶寬，cdn網(wǎng)絡(luò)通過多級架構(gòu)，將內(nèi)容優(yōu)先推送到邊緣節(jié)點(diǎn)，再根據(jù)節(jié)點(diǎn)負(fù)載情況、網(wǎng)絡(luò)流量、到用戶的距離和響應(yīng)時間等綜合信息，將用戶的服務(wù)請求調(diào)度到離其最近的邊緣節(jié)點(diǎn)，由此節(jié)點(diǎn)為用戶提供服務(wù)，很好的解決了網(wǎng)絡(luò)