上海電信寬帶CDN總體建議方案.doc

上海上海電電信信寬帶寬帶 cdn 總總體體 建建議議方案方案 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 1 目目 錄錄 1概況概況1 1.1cdn 概念1 1.2netapp公司介紹 .2 1.3方案特點簡介4 2系系統(tǒng)統(tǒng)需求需求5 2.1最終目標5 2.2cdn 要素要求5 2.3工程目的6 3設計設計原理原理7 3.1cache技術和流的處理 .7 3.2cache load balance技術 8 3.3cache fail over9 3.4分層的 netcache結構 .10 3.5cdn 結構11 3.6強大的內容過濾和用戶訪問控制13 4解決方案解決方案14 4.1netcache產品選型 14 4.2cdn 產品配置15 4.3全網(wǎng)方案設計16 4.4系統(tǒng)配置組成18 4.5內容報告機制和 log文件的處理及控制.19 4.6netcache刷新機制 21 4.7內容和網(wǎng)絡管理22 4.8流媒體發(fā)布平臺的價值25 5方案特點方案特點29 5.1智能化多級分布式結構29 5.2超大容量29 5.3高吞吐量29 5.4高命中率29 5.5高效性30 5.6多內容30 5.7增值服務30 5.8高安全性30 5.9簡單管理30 5.10豐富的管理特性30 5.11cdn 平臺集成方案31 6客客戶戶名名單單32 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 1 1 概況概況 1.1 cdn 概念概念 大量的網(wǎng)絡內容， 在現(xiàn)有的網(wǎng)絡環(huán)境下如何才能到達內容消費者， 形成 廣大的接受面？ 增加服務的總容量，提高網(wǎng)絡應用的容災和可靠性，減少帶寬、服務器的開 銷，更重要的是可以對內容的部署和利用提供了手段，為以后各種增值業(yè)務建立 開放的平臺， 是多媒體內容發(fā)布面臨的挑戰(zhàn)。 netapp 的 cdn 方案就是針對這種情況，其中 cache 應用已經(jīng)不再簡單 地為了解決帶寬問題， cdn 是一個有機結合的軟硬件系統(tǒng)， 解決內容存儲，移 動，消費過程中的一系列問題， 同時為用戶提供一種開放的增值業(yè)務平臺.。包 括內容的存儲管理平臺，內容發(fā)布的控制軟件，增值服務的開放體系結構，各種 系統(tǒng)的管理和報告工具，全系列的 cache 平臺。 cache 技術是基于這樣一個事實：用戶訪問 internet 的數(shù)據(jù)中， 有很大一部 分是重復的， 包括訪問同樣的網(wǎng)站、下載相同的軟件。通過使用 cache 技術， 可以在本地保存、緩存用戶訪問過的 web 頁面和對象，這樣對相同對象的訪問 就無需再占用主干的出口帶寬。同時，由于用戶對遠端服務器的請求可以由本地 的 cache 立即響應，因此可以極大的提高用戶訪問的響應速度。 但是， 這種用戶拉的方式， 缺乏對內容的有效控制， 基于每臺 cache 的 預取策略， 無法對全網(wǎng)內容進行管理， 資源投入盲目， cache 無法單獨有效地 解決在內容發(fā)布中的許多問題， netapp 提供了一整套完整的內容存儲、管理、 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 2 移動、統(tǒng)計、部署的 cdn 業(yè)務的極為重要的功能，例如豐富的媒體類型、內容的 控制和完備的網(wǎng)絡管理和內容報告。使用戶更有效地利用網(wǎng)絡帶寬，開展增值業(yè) 務。 network appliance 公司在 internet 領域占有主導地位，致力于 internet 內容 發(fā)布的結構設計，與其他一些伙伴共同創(chuàng)立 icap，提供將內容從核心發(fā)布到邊 緣的解決方案。該方案已經(jīng)在眾多電信和 isp 公司 cdn 平臺實施，例如 bt、cable 為 nasdaq 上市公司， 其股票列 為 nasdaq 100 和華爾街標準普爾 500 成分指標股(ntap); 1999，2000 連續(xù)兩年被財富雜志評為全美最快成長公司第四位; 被商業(yè)周 刊雜志評為 99 年全美最佳業(yè)績公司第 19 位 ，1999，2000 年連續(xù)兩年名列高速 增長公司前 100 位(20th/00) /2000/00_13/bw50.htm /2000/00_22/b3683022.htm 其數(shù)據(jù)高端存儲設備 filer 占據(jù) nas 存儲市場的 61%，全球最大的 10 家 icp 有 9 家用其存儲管理內容，處于絕對優(yōu)勢地位； 其高速緩存設備 netcache 占 2000 年 cache 市場的 41%，全球最大的 10 家國家級電信，有九家用其加速用戶訪問，處于市場領先位置； 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 4 network appliance inc 公司美國 santa clara， 加州 92 年 nasdaq 上市 年增長幅度 100% 已代替 ascend 位置成為 sp500 指標 股 公司產品網(wǎng)絡數(shù)據(jù)存儲設備 filer 網(wǎng)絡緩沖存儲器 net cache 內容發(fā)布解決方案 特點 設備專門化以達到高性能、高效、易用、 可擴展、安全、利于業(yè)務增值 市場地位nas、web cache、cdn 市場領導者 用戶 aol、yahoo、hong kong telecom、bt、uunet、telstra internet 等 1.3 方案特點方案特點簡簡介介 方案成熟：netapp 的方案有許多的成功應用案例，如 bt、deutch telecom、cable and wireless、hk telecom 等，他們都成功實施了在寬 帶接入上的 real、mms 流， 并且與各家的 l4 交換機配合。 方案完整：cdn 的各個模塊都已成功應用于眾多大型用用戶，所有產 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 5 品都已經(jīng)經(jīng)過考驗。為目前的應用和今后的發(fā)展提供廣闊的前景。 優(yōu)秀的性價比：netcache 的 appliance 架構使其具有的流處理能力遠遠 領先，c6100 比與其性能最接近的其余廠商的產品性能高 5 倍，每兆流 所需要的投資最經(jīng)濟。 部署方便、擴展能力強：易于安裝、設置，統(tǒng)一網(wǎng)管，可以迅速實施，極 大減低了網(wǎng)絡的維護工作。 更安全：真正完全的 appliance 架構，固化的 tcp/ip 堆棧， 不受與操作 系統(tǒng)相關的安全漏洞的影響 1.4 建建議議可以開展的可以開展的業(yè)務業(yè)務 通過流媒體發(fā)布平臺，可以開展多種業(yè)務，我們建議以下一些業(yè)務，供上海電信 結合自身情況開展： 內容的虛內容的虛擬擬托管托管 面向對象：內容供應商、cdn 伙伴、企業(yè)、idc 業(yè)務模型：對方需要在上海發(fā)布內容，開發(fā)上海地區(qū)用戶，將內容發(fā)布到 cdn 平 臺，按不同的服務級別進行收費。 服務級別：內容種類和數(shù)量 內容消費數(shù)量（存儲容量、發(fā)布流量、突發(fā)帶寬、注冊用戶數(shù)、總消費 流量等） 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 6 按 cdn 提供的權限（可以自定義發(fā)布策略、使用指定的分級策略） 增值服務（內容報告分析、用戶類型等報告） 為用戶提供的價值：用戶無需在本地和上海部署額外設備，無需固定的網(wǎng)絡連接， 可立刻開展上海的服務，無市場和投資風險（無人使用，則無需過高支出），更高 的伸縮性、可用性和服務質量。 開展服務的難易：netapp 提供完整方案，可以立刻開展業(yè)務 內容代理和辛迪加內容代理和辛迪加 面向對象：需要內容的各種機構，如城域網(wǎng)、小區(qū)、企業(yè)和需要特定內容的機構 業(yè)務模型：轉賣內容，擴大 cdn 的外延，利用匯聚的內容開展業(yè)務。對于某些特 定的具有用戶的內容，取得上海地區(qū)的專營權，進行收費。 流媒體服流媒體服務務注冊注冊 面向對象：cdn 覆蓋范圍的用戶 業(yè)務模型：用戶注冊開通 cdn 的流媒體服務。注冊費（根據(jù)服務級別），內容費 （按時間、站點類型、使用量、增值服務），此業(yè)務不同于用戶對特定內容或站點 的注冊。 服務級別：web，128k 以下流免費 按速率、內容分級收費 按個性化程度收費 為用戶提供價值：不通過 cdn 節(jié)點，用戶無法得到服務質量保證，無法獲得特定 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 7 的內容 開展服務的難易：可立刻開展（netcache 提供基于協(xié)議、訪問內容的認證，如， 128k 以下無需認證，用戶通過 cdn 訪問特定內容或使用特定協(xié)議必須先經(jīng)過 netcache 認證，netcache 的認證方式支持批發(fā)給企業(yè)等集團用戶， contentreporter 可以提供各種所需報表，生成計費文件利用 potal 計費，提供個 性化所需的數(shù)據(jù)） 廣告插入廣告插入 面向對象：廣告公司、中介、內容供應商 業(yè)務模式：利用 cdn 產生額外的廣告位置（新增窗口、水印、欄位、片段），替換 原來廣告位置（需取得內容供應商同意，或由廣告公司統(tǒng)一安排，避免版權糾紛）， 插入廣告。 業(yè)務舉例：cdn 與 doubleclick 簽約，將廣告位置交給其經(jīng)營，按點擊數(shù)量分成， doubleclick 通過其廣告服務器，根據(jù)訪問者的特點（profile）插入定向廣告。同 時 cdn 采用 zack 公司的軟件，為當?shù)?isp 插入臺標，同時根據(jù)用戶訪問內容 和用戶類型插入相應內容（用戶訪問 ，打開窗口提供 netapp 的 股票價格，各大證券公司的分析報告等）。 業(yè)務開展難易：doubleclick、adforce 等支持 icap，技術實施較易，基本業(yè)務可 較快實施，但個性化服務需要業(yè)務設計和軟件支持。 內容內容過濾過濾 面向對象：需要特別內容級別的用戶。如學校、企業(yè)等 業(yè)務模式：為用戶提供內容的深度過濾，防止有害的內容，黃色、反動、有安全問 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 8 題的 activex，病毒等從 cdn 傳入用戶。收取附加費，可選。 業(yè)務開展難易：可迅速開展，webwasher(西門子子公司，在法國電信與 netcache 一起部署)提供有害內容的過濾，netcache 提供 smartfilter 的過濾工具（各種有害 站點目錄），支持用戶設定需阻擋的站點。trend、nai 提供支持 icap 的反病毒 工具。 內容適內容適應應 面向對象：各類特殊終端上網(wǎng)接入商。特殊語言支持（為無英文基礎用戶提供語 言翻譯） 業(yè)務模式：為無線接入商（手機、pda）提供廣泛的內容，按內容訪問量收取費用。 業(yè)務開展難易：可以方便開展，netapp 在美國利用 icap 為 palm.net，motorala 提供無線上網(wǎng)。 其他其他 icap 為上海電信提供了強大的分布應用開發(fā)平臺和控制點，上海電信可以根據(jù) 需要設計各種應用。netapp 可以提供支持。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 9 2 系系統(tǒng)統(tǒng)需求需求 2.1 最最終終目目標標 上海寬帶信息源能力建設工程的主要內容是：建立 1（核心節(jié)點）+7（區(qū)域節(jié) 點）的寬帶信息源服務架構；建立基于中、低速的流媒體平臺，充分利用現(xiàn)有的高 速流媒體平臺；在流平臺上開發(fā)基于多媒體的網(wǎng)上教育、網(wǎng)上游戲、網(wǎng)上證券、多 媒體消息中心、視頻商業(yè)應用和互動媒體點播等功能。建設 1+8 的寬帶信息源節(jié) 點目的是滿足向 18 萬寬帶用戶提供信息源服務的要求。 隨著寬帶用戶數(shù)的增 長，將按照 2+9+n 的方案進行擴容，確保支持 50 萬寬帶用戶的需要。 2.2 cdn 要素要求要素要求 scalability and availability 系統(tǒng)的擴充性和可用性，內容容量的擴充，性能的擴充，覆蓋地域的擴充， 應用程序種類擴充，增值業(yè)務擴充，各個部件的可用性，系統(tǒng)的單點故障， 故障的恢復速度 quality of service 高質量的邊緣發(fā)布，減少流量突發(fā) content type support 發(fā)布內容的種類，http，stream，any file，dynamic obj manageability appliance 結構，安全性，設備一致度，安裝，變動，升級，監(jiān)控工具，內容感 知，業(yè)務使能 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 10 easy of use 界面，工作流，系統(tǒng)集成度 cost 每兆流的價格 reporting 全網(wǎng)內容的統(tǒng)計報告，基于 domain 的分析，分布的結構，對計費的支持 viability 技術的創(chuàng)新能力，方案的生命力，業(yè)界的影響力 2.3 工程目的工程目的 建設的目標是配合 l4 交換機和路由器等寬帶網(wǎng)絡設備采用分布式的流平 臺服務結構，建立基于內容的 cdn 分發(fā)及管理系統(tǒng)，提供基于內容的智能 cache 服務，提供流媒體的 cache 及代理服務能力。 ethernet ip網(wǎng)絡 內容分發(fā)管理控制器 cache內容服務器 內容服務器 內容服務器 client cdn 管理 client cache服務器 控制鏈路 內容服務器 內容分發(fā) 內容服務器 中心區(qū)/內容源 統(tǒng)計分析工作站 cdn控制中心 cache點 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 11 流媒體應用平臺系統(tǒng)結構參考示意圖 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 12 3 設計設計原理原理 3.1 cache 技技術術和流的和流的處處理理 cache 的部署可以作加速部署，或者透明 cache 方式。 作為一個采用 web cache 技術加速用戶訪問速度的系統(tǒng)，用戶應當感覺不 到 netcache 設備的存在，應當不用對 pc 的軟件及設置作任何修改。 acceleration deployments netcache will handle more connections and much higher throughput than a single general purpose web server. multiple load-balanced web servers can be replaced by fewer netcache machines. netcache accelerator origin server 加速模式的部署如上圖所示，站點 x 的域名 設在加速器上，用 戶的訪問被定向到了 cache 上，cache 把相關服務器上的內容返還給用戶。這種 方式又稱為反向 proxy。一臺 netcache 可以對多個站點進行加速，分布的 cache 通過第四層集線器網(wǎng)絡的配合，形成分布的站點加速。 transparent cache 可以是基于第四層交換技術來實現(xiàn)的，與傳統(tǒng)的第二、三 層交換技術相比，第四層交換技術不但可以實現(xiàn)基于 mac 地址和 ip 地址的交 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 13 換，還可以實現(xiàn)基于第四層 tcp/udp port 的交換，也就是說，第四層交換機不但 可以根據(jù) mac 地址和 ip 地址區(qū)分數(shù)據(jù)來源，還可以根據(jù) tcp/udp port 區(qū)分數(shù) 據(jù)類型（http、nntp，stream，ftp etc）。 例如，通常 http 請求的 tcp/udp 端口號為 80，第四層交換機可據(jù)此區(qū) 分 http 和非 http 數(shù)據(jù)（同樣可以根據(jù)需要區(qū)分 nntp、real、mms 的各種數(shù) 據(jù)），對于 http 數(shù)據(jù)，第四層交換機將其轉發(fā)到 netcache；對于非 http 數(shù)據(jù)， 第四層交換機可以象一個普通的路由器工作（或讓非 http 數(shù)據(jù)透明穿過交換機） 。 采用 transparent cache 技術，netcache 被隱藏在第四層交換機之后，用戶 感覺不到 netcache 的存在，也不用在瀏覽器上作任何設置，使網(wǎng)絡有了更好的 安全性和易管理性；同時由于第四層交換機的存在，可以很容易的實現(xiàn) fail over、cache cluster 等功能。 流媒體的播放是通過約定的第 4 層端口號， 例如， real8 利用 rtsp，端口 號是 554. 可以利用第 4 層交換機透明轉發(fā)用戶的請求到 cache， netcache 將流 播放給用戶， 并對記費，認證等控制信息透明. netcache 一般利用 tcp 連接從 router l4 switch internet netcache h ht tt tp p w we eb b d da at ta a n no on n- -c ca ac ch he ed d w we eb b d da at ta a n no on n w we eb b t tr ra af ff fi ic c h ht tt tp p 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 14 服務器獲得流數(shù)據(jù)， 或者接受下推來的流文件，并按照合適的方式進行存儲， 以便存取， 在網(wǎng)絡中提供高質量的回放效果. 支持 mms， real，quicktime.。 3.2 cache load balance 技技術術 在單臺 netcache 不足以負擔業(yè)務時，可以使用多臺 netcache。多臺 netcache 間可以使用 icp 協(xié)議協(xié)同工作（icp 效率較低不建議采用），或使用第 四層交換技術實現(xiàn)多臺 cache 間的負載均衡。 第四層交換機可以將用戶的請求按一定的規(guī)則（循環(huán)、比例、最小連接、 hash 算法、源/目的地址等）分配給 netcache server farm 中的 netcache。通過使 用第四層交換機提供的 cache load balance 技術，可以使多個 netcache 協(xié)同工 作，增加處理能力。多個 netcache 對外只有一個虛擬的 ip 地址，當某調整內部 netcache 的 ip 地址時不會對網(wǎng)絡服務造成任何影響。 采用 cache load balance 技術，可以使網(wǎng)絡具有良好的可擴展性，在網(wǎng)絡規(guī) 模迅速擴大的今天，是服務供應商一個良好的選擇。 sd netapp f630 networkappliance powerrecei vestart up back u p sd netapp f630 networkappliance powerrecei vestart up back u p sd netapp f630 networkappliance powerrecei vestart up back u p http netcache server load balancer (slb) s d foundry networks fastiron 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 15 同時，第 4 層交換機具有廣域負載均衡功能，在異地的 cache 可以由 此形成廣域的群集，進行負載均衡。 3.3 cache fail over 利用第四層交換機的特性，可以實現(xiàn) netcache 的 fail over。 當只有一臺 netcache 時 當 netcache 停止服務時，第四層交換機將 http 的請求直接發(fā)送給路由器。 當多臺 netcache 做 server load balance 時 當部分 netcache 停止服務時，第四層交換機將本應由其承擔的負載分配到 其他 netcache 上，當所有 netcache 停止服務時，第四層交換機將 http 的請求 直接發(fā)送給路由器。 注意：通注意：通過過在第四在第四層層交交換換機中機中設設置置 netcache 的最大的最大連連接數(shù)，可以防止接數(shù)，可以防止 netcache 過載過載，超出的，超出的請請求將被直接送往路由器。求將被直接送往路由器。 3.4 分分層層的的 netcache 結結構構 隨著用戶數(shù)量的增加，網(wǎng)絡規(guī)模的擴大，可以在網(wǎng)絡的不同層次部署 netcache。既可以部署在 pop 出口的路由器處，也可以部署在諸如 ras、broadband ras 等處。對于主干的出口處，根據(jù)帶寬流量的要求，可以部 署 cache cluster。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 16 各個 netcache 間既可以獨立工作，也可以根據(jù)網(wǎng)絡實際結構確定不同的層 次、級別，協(xié)同工作，可采用工作形式如下： netcache 間相互獨立工作，在 netcache 上不用設定父子或主從關系； 在子 netcache 上設定其 parent netcache 的 ip 地址，有多個 parent netcache 時可以設定多個 ip 地址，子 netcache 會自動的實現(xiàn)對 parent netcache 訪問的負載均衡。 （如果在多個 parent netcache 前使用了第四 層交換機，可以在子 netcache 上設定一個 ip 地址對應多個 parent netcache 的虛擬 ip 地址，由第四層交換機實現(xiàn) parent netcache 的負載 均衡） 3.5 cdn 結結構構 cdn 應用面臨的挑戰(zhàn)包括，qos、多樣的媒體類型支持、流量爆炸成長、增 值服務、內容的管理和控制。netapp 提供端到端的解決方案，幫助用戶面對這些 挑戰(zhàn)。 1.高度可擴的多協(xié)議存儲 router internet router network sd foundry networks fastiron s d netapp f630 networkappliance po we rr e c ei ve sta r t u p b ac k u p router network sd foundry networks fastiron s d netapp f630 networkappliance po we rr e c ei ve sta r t u p b ac k u p router network sd foundry networks fastiron s d netapp f630 networkappliance po we rr e c ei ve sta r t u p b ac k u p sd foundry networks fastiron s d netapp f630 networkappliance po we rr e c ei ve sta r t u p b ac k u p s d netapp f630 networkappliance po we rr e c ei ve sta r t u p b ac k u p 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 17 2.集成的智能內容管理 3.高質量的多媒體邊緣發(fā)布系統(tǒng) 4.與優(yōu)秀的業(yè)務伙伴一起提供增值服務 5.集中的服務和系統(tǒng)管理 disks filer filerdatabase server web server log file analysis media services high quality streaming media virus scanning & content transformation local ad insertion & user profiling internet content routing for external clients netcache 1.從 cdn 的數(shù)據(jù)中心或者其他內容伙伴將內容傳送至發(fā)布層 staging server，內容的所有者利用 netapp 的 content director 軟件，以各種方 式（ftp 等），將需要發(fā)布的內容推到 cdn 的主要數(shù)據(jù)中心，除了內容 本身，content director 還支持傳送“meta-data”，例如，內容的生存時間， 具有鎖定內容的能力，以及送出數(shù)據(jù)的時間和時段。 2.從發(fā)布層將數(shù)據(jù)傳送至邊緣 cache 上，利用 content director 自動發(fā)現(xiàn) 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 18 位于 cdn 自有網(wǎng)絡以及合作伙伴網(wǎng)絡上的進行發(fā)布的 cache，也可以 手工設置。建立 cache 的邏輯分組，提供不同的服務級別，并使各個內 容客戶具有虛擬的自己的 cdn。cdn 利用 cache director 為位于發(fā)布 層的內容設定發(fā)布作業(yè)和策略，如時程、數(shù)量等。content director 將內 容（流文件、web 文件等）線速送至 cache，并在傳送結束時進行驗證。 content director 通過 email 向管理員報告?zhèn)魉蜖顟B(tài)。cdn 利用中心的 數(shù)據(jù)為內容客戶提供災難恢復服務，增加營收。 3.建立一個能識別內容的網(wǎng)絡，將數(shù)據(jù)流導向正確的 cache.。在 cache 外 圍部署 gslb 網(wǎng)絡，實現(xiàn)智能路由和透明訪問。利用 content director 與這些交換機交換數(shù)據(jù)，使其知道 cache 中的內容，將無和約的（或無 關的）內容請求旁路到原始服務器。見下圖。 4.對傳輸?shù)膬热葸M行分析和服務。利用 netapp 的 content report 軟件， 對從各個 cache 中傳來的 log 進行分析和服務。log 可以進行取樣 或進行完整的分析。content reporter 可以配合第三方的服務軟件定制 log。 5.對部署的 cache 進行統(tǒng)一管理，除了利用 netapp 的多 cache 管理工具， 可以將 appliance watch（基于 snmp mib）集成進 cdn 的現(xiàn)有的網(wǎng)絡 管理平臺，例如 openview 或 tivoli，對全網(wǎng)設備進行統(tǒng)一的監(jiān)控和管 理。 6.除了內容發(fā)布，還可從其他內容服務創(chuàng)造更多的營收。利用 icap 提供 本地廣告插入、內容翻譯等。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 19 3.6 強強大的內容大的內容過濾過濾和用和用戶訪問戶訪問控制控制 netcache 具有內在的過濾引擎，與一般 cache 運行過濾軟件工具相比，具 有卓越的性能， 用戶可以自己定義需要過濾的站點。 netcache5.0 支持 ldap、radius 和 ntlm 的認證方式，netcache 也可以根 據(jù)自身的用戶數(shù)據(jù)庫進行訪問控制，支持強大的 acl 功能，支持針對流的 acl， 例如，可以控制用戶只能訪問某一速率以下的流服務， 可以設定用戶只 能在某些時段進行訪問。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 20 4 解決方案解決方案 4.1 netcache 產產品品選選型型 解決方案由 8 個服務點部署的 cache c6100，以及核心站點的 content reporter，content director 組成。方案中也會涉及 l4 交換機的支持，我們支持主 流的 l4 交換機。 容量估算： 假設 18 萬用戶 10%的峰值并發(fā)量，每個用戶平均訪問流量 512kbps（adsl 為 1mb 以下，lan 等寬帶用戶帶寬可能會較高）、 總服務容量=并發(fā)用戶數(shù) x 平均帶寬=18000x512k=9gb。 選型和配置： 每臺 c6100 支持 1gbps 的實時流，600mbps 的 vod， （參考 zd 的公開測試 結果）。方案建議 c6100 的數(shù)量為 8 臺。配合 server，為全網(wǎng)提供相應的服務能力。 每臺 c6100 的配置為： 一個 intel 733m copper mine cpu，可以擴充到 2 個。 3 gb ecc memory、128m nvram 4 個 36gb fc_al 10000rpm 磁盤，進行 raid，提供 3x36gb=108gb 的 容量。 2 塊 1000base-sx 網(wǎng)絡卡，支持 trunk 和 jumbo frame，最多可以支 持 5 個千兆口或 21 個 10/100 兆以太網(wǎng)口。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 21 netcache 5.1 版軟件 rtsp license ，對 rtsp 支持的許可 mms license，對微軟支持的許可 用于 contentdirector 和 contentreporter 的許可，配置了這些許可 netcache 可以成為 cdn 的有機組成部分。 streaming capacity of cache vender in hkt bakeoff 2000/11/23 660 120 57 0 100 200 300 400 500 600 700 mbps netcache 6100cacheflow 6285 inktomi sun3500 nc $121 / mbps cf $589 / mbps tcs $987 / mbps 4.2 cdn 產產品配置品配置 作為 cdn 中心控制的核心軟件為 contentdirector，控制內容、發(fā)布方式、發(fā) 布地點等。cd 有三個組成部分，核心控制軟件、cache 組領導（group leader）和 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 22 控制界面。組領導是 cd 和 netcache 之間的傳令官，控制界面通過 cd 的 java 虛擬機工作，可以安裝在網(wǎng)絡的任何地方。建議 cd 安裝在一臺 sun ultra 5 工作 站，solaris 2.7，256m ram，18gb disk。groupleader 和控制界面建議也安裝在 該機。 與 cd 關系密切的是 stagingserver，staging server 實際上是一個存儲池，內 容供應者將其內容出版到這里，該存儲可以是任何 cd 可以訪問到的邏輯盤、網(wǎng) 絡文件系統(tǒng)等。cd 需要的另一塊存儲為 workspace，保存 cd 內容發(fā)布過程數(shù) 據(jù)，如 shadow 文件，checkpoint 等，woekspace 應大于發(fā)布作業(yè)的內容的容量。 contentreporter 是內容報告工具，提供內容消費情況和網(wǎng)絡使用情況，提供 機費數(shù)據(jù)。cdn 計費所基于的大量 log 信息都會傳給 cr，建議配置與 cd 同 樣的機型。 appliancewatch 是所有 netapp 設備的基于 openview 的管理工具，可運行 于現(xiàn)有的 openview 平臺上。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 23 4.3 全網(wǎng)方案全網(wǎng)方案設計設計 data center secondary data center snap mirror www.icp1.com www.icp2.com enterprise content reporter appliance watch content director web serve r database media serve r staging server storage content push content push content push content push content pull edge delivery log retrieve from every cache storage 體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體 content director 的 workspace 可以是本地或者網(wǎng)絡磁盤文件， cd 自動識 別需要發(fā)布的內容，以及內容的變動情況， content reporter 所收集和處理后的 數(shù)據(jù)也需要在集中存儲中加以規(guī)劃。 在 8 個節(jié)點，各配置一臺 c6100，c6100 配置與主站點相同的域名，作加速 器部署；同時這些 l4 交換機與主站點的 dns 服務器形成廣域負載均衡網(wǎng)絡，智 能路由用戶的請求，cache 與主站為接入用戶提供服務，l4 交換機通過千兆以太 網(wǎng) trunk 或者千兆網(wǎng)與 cache 相連；netcache 可提供 10/100/1000 端口，與 4 層交換機相連，每臺 c6100 提供 622mb 的流媒體 vod 能力和 155mb 的 http 能力。 l4 交換機配置 transparent cache、global cache load balance 及 cache 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 24 fail over 的功能。 netcache 具有強大的分層部署能力， 利用 netcache 的分層， 可以方便地 擴充服務范圍和能力， 今后在小區(qū)或學校， 部署 c1105，可以支持 160mbps 流， 存儲 72gb 的流.由于其 appliance 的結構特點，其低端產品也具有前大的流加速 能力。 l4 switch 除了實現(xiàn)上述功能外， 還可以作為防火墻使用， 設置 acl， 對用戶進行 2、3、4、7 層 （url 級）的訪問控制；還可以在 l4 switch 上設置 acl，只將訪問需要被 cache 網(wǎng)站的數(shù)據(jù)轉發(fā)到 netcache。如果 l4 集線器支持 基于 url 的交換，可以直接將無關內容旁路。 content reporter 和 content director 運行在中心的 sun 工作站上，將內容 發(fā)布到各個 cache 上，報告內容使用情況。 各個需要進行發(fā)布的 icp 將內容 publish 到 staging server， staging server 是任何 content director 可以訪問到的本地或網(wǎng)絡硬盤，cd 將內容發(fā)布到有關 的 cache 上，cd 根據(jù)內容的變化，將變化部分更新到 cache；netcache 具有 raid 和熱后備磁盤保護，確保內容的完整，任何一個硬盤故障都無需重新傳送 數(shù)據(jù)。content director 保存內容的 shadow 和各個作業(yè)的 checkpoint，以便迅速 同步 cache 上的內容組。 用戶訪問被定向到“鄰近”的 cache，cache 代替服務器相應用戶請求，如 cache 中無用戶訪問的內容，cache 替用戶到父一級 cache 或服務器取得內容后 相應用戶。 content reporter 從 cache 中取得 log，基于域對全網(wǎng)進行內容和網(wǎng)絡報 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 25 告，結果可以直接輸出到計費工具。 4.4 系系統(tǒng)統(tǒng)配置配置組組成成 在數(shù)據(jù)中心的部署：在數(shù)據(jù)中心的部署： 配置 8 臺 cache c6100。 體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體 在在 pop 點的部署：點的部署： 每個 pop 點配置 cache c6100 一臺。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 26 pop體 體體 體體 體體 體體 體體 體體 體體 體體 體體 體 4.5 內容內容報報告機制和告機制和 log 文件的文件的處處理及控制理及控制 content reporter 提供對全網(wǎng)的內容和運行狀況的詳細報告，收集數(shù)據(jù)，同 時生成計費所需的數(shù)據(jù)，netcache 可以對流經(jīng)的數(shù)據(jù)進行記錄，生成 log 文件， 包括： messages log cache access log referrer log nntp access log nntp trace log streaming access log streaming detailed log 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 27 例如，cache access log 中詳細的記錄了用戶訪問的數(shù)據(jù)，可以通過 第三方 提供的分析軟件對其進行分析，生成相應的訪問統(tǒng)計數(shù)據(jù)或圖表。 current time (in seconds and milliseconds) elapsed time (in milliseconds) the transaction took to complete client (ip address or host name) transaction type (see “transaction types“) reply code object size (in bytes) method (get， put， post， and so on) url user name (uses “-“ if the user name is unknown) hierarchy code server ip address， if any， from which the url was fetched content type (from the mime header) note log 文件的大小可以定義，但每個 log 文件最大不超過 2gb，當 log 文件 達到設定尺寸時，會自動 push 到指定的 ftp 服務器或在 netcache 內部保存， netcache 可以保存 10 個 log 文件，舊文件將會被新文件覆蓋。log 文件還可以 stream 到 content report 以支持實時統(tǒng)計。 利用 content reporter 軟件，可以實時生成各種報表和直接用于計費的數(shù)據(jù)， 提供豐富的內容報告和統(tǒng)計，具有強大的分析功能。提供全網(wǎng)基于域的分析統(tǒng)計。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 28 full suite of tools for billing and analysis content reporter consolidate site analysis automated collection bandwidth and server-usage reports plug into existing billing infrastructure billing partners solect portal software amdocs lhs 4.6 netcache 刷新機制刷新機制 content director 使得 cdn 可以定義內容的有效期， 控制內容在網(wǎng)絡上的生 存期. netcache 根據(jù)對象的屬性進行操作，例如，no cache， cache live time 等， 并可以對某些內容（jpeg， gif 等）進行強制 cache。 對于沒有生存時間指示的目標，netcache 不進行 cache 工作，或為其設定 動態(tài)自適應的生存時間 ttl 生存周期。對于有 ttl 生存周期的 objects，netcache 根據(jù)其 ttl 生存周期決定 objects 是否 expire；對于沒有 ttl 生存周期的 objects，netcache 根據(jù)算法決定 objects 是否 expire。 對于 expire 的 objects，netcache 并不對其進行立即刪除或更新，當用戶訪問 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 29 expire 的 objects 時，netcache 向 objects 的 originating web server 查詢 objects 是 否被修改，如被修改，netcache 將 objects 更新，如沒有修改，netcache 只修改 objects 的 cache timestamp， 無需重取。content director 具有 cache 內容的同步 功能，自動將內容刷新。 netcache 的刷新可以最大地節(jié)省網(wǎng)絡帶寬，增加用戶的服務質量。 4.7 內容和網(wǎng)內容和網(wǎng)絡絡管理管理 content director 和 content reporter 提供對內容的控制， 管理和報告功能， 并且和所有主要的內容管理軟件進行合作。 cdn 基于工作流的功能部件有: who (users)用戶 首先在系統(tǒng)內定義用戶。通過建立/更新 user profiles。 系統(tǒng)有 2 類用戶: administrators & users.。對 content director 的訪問通過 user 向 console 的登錄控制。 administrators 可以訪問修改所有已定義的 configuration. users 可以訪問修改他們建立的 configuration (jobs).user 有自己 的網(wǎng)絡視圖。如果我們?yōu)?yahoo broadcast 發(fā)布內容，我們可以設立 user yahoo，yahoo 可以自己進行發(fā)布工作，我們可以根據(jù) yahoo 的使用量和服務級別 進行收費。 what， where， & when (jobs) 第二步定義發(fā)布什么內容， 什么時候發(fā)布.。通過定義 job 進行。 job 是一個內容發(fā)布事件的完整描述。一個 job 可以部署一個文件到一臺 cache， 或幾千個文件到幾百臺 cache。 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 30 job name 首先被定義。如果已有其他的 jobs 被定義， ，可以 import 它的定義 。job 里最重要的是它的 policy，它定義了何時何地等內容分發(fā)的高層參數(shù)。 要分發(fā)的內容在 content tab 里定義， 定義內容分發(fā)任務的內容源和目的 地. 例如 ， source 可以是一個 local staging directory， destination 可以是一個 cache 或 cache 組 (又稱為 content group)。 filter filter 可以幫助用戶決定從內容發(fā)布作業(yè)里過濾掉某些類型數(shù)據(jù)。例如， 用 戶可以決定不發(fā)布特定的數(shù)據(jù)文件，如 avi 文件. 最后在 schedule 里定義 where 和 when 發(fā)布內容。schedule 定義發(fā)布內容 的頻率。通過 scheduler 可以定時自動發(fā)布， 選擇在在網(wǎng)絡流量最少時預載內容 以節(jié)省帶寬。 how (policies) policy 是用戶確定的一些原則， 可以被一個或多個 job 使用. policy 定 義 job 如何被執(zhí)行. 一些重要的項目有: contacts: email job 執(zhí)行狀態(tài)的聯(lián)絡人列表. 執(zhí)行狀態(tài): 例如 job 順利完成。 retries: 確定 job 失敗前的 job 重試次數(shù)。 security: 定義 job 的安全級別， encryption， verification。 cache: 描述 cache 對待該內容的方式。失效期， max age，min age。并且指定內容鎖定在 cache 里的時間長短。 where (network) 上海電信寬帶網(wǎng)絡流媒體應用平臺方案 31 network area 提供了圖形化的 content distribution network 拓撲。定義 cache 的邏輯組（content group）。 另外還有： network segments:：定義 caches 和 group leaders 所在的網(wǎng)絡。 destination servers (caches)：定義 caches 和響應的 group leader。 hosted sites：定義源和目的的路徑。 netapp 提供基于 web 的對全網(wǎng)設備進行管理的工具和 gui 管理工具。 netapp 還提供兩種基于 snmp 的網(wǎng)絡管理方式，一種是獨立的 cache manager，一種是基于 hp openview 的 appliance watch。由于網(wǎng)絡規(guī)模較大，分 布較廣，一次建議采用基于 hp openview 的 appliance watch 對 netcache 進行 集中管理。 appliance watc