CDN技術(shù)演進(jìn)分析

1、 CDN技術(shù)演進(jìn)分析51CTO技術(shù)棧 微信號 blog51cto功能介紹 有趣 | 有料 | 有內(nèi)涵，為您提供最優(yōu)質(zhì)的內(nèi)容，愿我們一起悅享技術(shù)，成就人生。2000 年左右是全球互聯(lián)網(wǎng)發(fā)展的鼎盛時期，由于 HTTP 網(wǎng)頁內(nèi)容加速的需求日益暴增，進(jìn)而 CDN 成為了產(chǎn)業(yè)關(guān)注的熱點。當(dāng)下，CDN 行業(yè)化、智能化越來越明顯，主要是因為每個行業(yè)在技術(shù)、使用場景等方面都有個性化的需求。近日，51CTO 以“Tech Neo”為主題的技術(shù)沙龍第十五期于北京舉行，本次沙龍邀請了來自國美互聯(lián)網(wǎng)應(yīng)用運維技術(shù)負(fù)責(zé)人張高明。這位互聯(lián)網(wǎng)老兵的演講，不僅讓開發(fā)者對智能 CDN有了更深入的了解，而且從中可以窺見國美互聯(lián)網(wǎng)在

2、CDN方向的實踐與痛點。目前，國美互聯(lián)網(wǎng)的體量較小，與大型互聯(lián)網(wǎng)公司有一定差距。但麻雀雖小五臟俱全，在 CDN 方面的應(yīng)用有很多。包括視頻、圖片、Js、css、Html 等傳統(tǒng)的一些內(nèi)容；以及 APP 的安裝包、更新包、下載包等內(nèi)容；還有抗 D，防攻擊方面的一系列產(chǎn)品。介紹下抗 D 的產(chǎn)品，2016 年，在 APP 推廣過程中受到幾次攻擊，導(dǎo)致服務(wù)處于不可用狀態(tài)，非常被動。當(dāng)時可選的解決方案有兩套：自研，但受到多方面限制，如資源不足（機(jī)房帶寬、服務(wù)器都需要采購）、沒有人員儲備、時間周期不允許等。和已經(jīng)有成熟產(chǎn)品的第三方公司合作，鑒于實際情況，采用第二套方案。產(chǎn)品的確沒有出現(xiàn)問題，但對于第三方公

3、司提供的數(shù)據(jù)沒有有效的方法能夠驗證有效性和真實性。智能 CDN 的六大元素智能 CDN 也是 CDN，但是智能化是趨勢，智能化的本質(zhì)是通過技術(shù)、智能手段為消費者提供更好的服務(wù)。談智能 CDN 之前，有必要先來了解一下 CDN 的使用模型：從瀏覽器或其他途徑請求資源。由 DNS 對域名進(jìn)行解析得到真實 IP 的地址。通過鏈路傳輸，到達(dá)目的機(jī)房。經(jīng)過 CDN 調(diào)度器把資源返給用戶（CDN 跳轉(zhuǎn)或請求資源）?；?CDN 的使用模型，依次具體地分析智能 CDN，如下圖所示：智能 CDN 由智能 DNS、鏈路優(yōu)化以及智能調(diào)度器、大數(shù)據(jù)、AI、人六大元素組成。01智能 DNS在目前所有網(wǎng)絡(luò)活動中，DNS

4、 的作用可以說是不可替代的。早期 DNS 相對簡單，功能也較單一，這里我們稱之為 DNS 1.0。DNS 1.0 的作用非常簡單，只是收到網(wǎng)址，反饋 IP 地址。隨著技術(shù)發(fā)展和產(chǎn)品需要，DNS 2.0、3.0 先后出現(xiàn)。DNS 2.0 是根據(jù)用戶所在 ISP、區(qū)域，智能提供最優(yōu) IP 地址，使得訪問速度得到提升。DNS 3.0 彌補(bǔ)了之前 1.0、2.0 沒有的狀態(tài)缺陷，新增了健康檢查的功能。智能剔除異常節(jié)點，把可用且最優(yōu)的節(jié)點返給用戶。這里值得提醒的是 DNS 有兩個不可規(guī)避的坎兒：進(jìn)行全網(wǎng) DNS 更新時，時間不可控。當(dāng)更改 DNS 配置時，用戶的生效時間不一，有時會達(dá)到不能容忍的時間長度

5、。用戶地址解析的準(zhǔn)確度完全依賴于用戶 Local Dns 的設(shè)置。DNS 是以 Local Dns 作為反饋的唯一依據(jù)，反饋最終地址。一旦 Local Dns 設(shè)置錯誤，那么地址一定不是最優(yōu)，甚至有可能是錯誤的。這樣一來，就會導(dǎo)致用戶訪問過慢或訪問不到資源的情況出現(xiàn)。02 鏈路優(yōu)化中國網(wǎng)絡(luò)的復(fù)雜度眾所周知，運營商多，并且每個運營商的用戶都各自為戰(zhàn)，融合起來并非易事。在跨網(wǎng)絡(luò)請求情況下，不僅僅是慢的問題，有時候甚至無法訪問目的資源。鏈路優(yōu)化方面，可以借鑒一些成熟方案，如協(xié)議的優(yōu)化，比如 BGP、OSPF 等。還有就是資源部分，如通過帶寬的建設(shè)、POP 點建設(shè)、機(jī)房的擴(kuò)容進(jìn)一步對鏈路進(jìn)行優(yōu)化。03

6、 智能調(diào)度器DNS 在細(xì)分時顆粒度很大，不能精確為用戶區(qū)分優(yōu)化策略。想要提升精確度，就要靠調(diào)度器來實現(xiàn)。調(diào)度器會基于訪問請求資源的熱度、大小、內(nèi)部資源情況為用戶提供最優(yōu)的節(jié)點。04 大數(shù)據(jù)與 AI談智能化不得不提大數(shù)據(jù)與 AI，因為這兩者正在給我們的生活帶來潛移默化的影響。對于 DOS / DDOS 攻擊，大數(shù)據(jù)可以給訪問源地址合適的權(quán)重，知道哪些 ip更危險(以前發(fā)起過攻擊)，更加精確地定位是普通訪問還是攻擊，進(jìn)而能夠更加有力的防御攻擊。邊緣計算與 CDN 的結(jié)合，帶動了整個“人工智能+云”在各個場景的服務(wù)。以視頻直播為例，同城互動直播放到邊緣節(jié)點里去成本可能會減少 50%，涉黃的內(nèi)容 90

7、% 都能夠在邊緣網(wǎng)絡(luò)上處理。這其中涉及到與 AI 相結(jié)合的部分，云廠商在其間擁有優(yōu)勢：一邊有數(shù)據(jù)中心，一邊運營邊緣網(wǎng)絡(luò)，并且能夠知道這兩者之間如何高效合作。而單純的 CDN 公司在所獲得的數(shù)據(jù)不多的情況下可能很難判斷哪些東西需要過濾和分發(fā)，最終還是需要與云及AI協(xié)同去完成。05 人決策為什么要在智能 CDN 模塊加入人的元素呢？因為大多情況下，都是人在做決策，像采用哪種網(wǎng)絡(luò)模型、哪種算法、哪種分布式結(jié)構(gòu)等等；另一方面，就是人的服務(wù)。綜上這些是張高明老師對智能 CDN 的一些見解，但國美互聯(lián)網(wǎng)因為精力、時間等原因沒有涉及到這些。下面我們來看看國美互聯(lián)網(wǎng)在 CDN 方面的優(yōu)化實踐和一些不可避免的痛

8、點。國美 CDN 的優(yōu)化實踐下面主要介紹國美互聯(lián)網(wǎng)在 APP、IMG 和視頻三方面的 CDN 優(yōu)化實踐。01 APP 端APP 端主要做的是針對靜態(tài)文件進(jìn)行優(yōu)化，采用方式如下：縮略圖。這里最主要的事情是圖片匹配，國美互聯(lián)網(wǎng)之前的縮略圖更適用于 PC 端，不是很合理。這里的解決方案是基于自身訪問和第三方的數(shù)據(jù)，得到主流機(jī)型的標(biāo)準(zhǔn)，再根據(jù)產(chǎn)品需求，制定五種縮略圖。這樣做在提升用戶訪問速度的同時還對帶寬進(jìn)行了優(yōu)化。兩種 Cache。前端開發(fā)有一個簡單的技術(shù)，叫 App Cache。把重要的 Cache 緩存到本地，一定時間段內(nèi)，請求時無須重新下載，會對提升用戶訪問質(zhì)量有很大幫助。短緩存。規(guī)定合理的本

9、地緩存時間，提升用戶的訪問速度，尤其是弱網(wǎng)情況下，效果特別好。同時，還能優(yōu)化帶寬。02 IMG圖片部分，采用 WebP 的格式，谷歌推出這個圖片格式的優(yōu)點非常明顯，和其他格式相比，WebP 格式僅占用 60%-70% 資源。它的缺點也同樣明顯，就是不是所有瀏覽器都支持。在移動端就是 Android 的手機(jī)系統(tǒng)支持，但是 IOS 的不支持。國美互聯(lián)網(wǎng)的解決方案是在 CDN 中儲存 WebP 和 JPG 兩種 Cache，在調(diào)度器設(shè)置 UA 判斷流程，對節(jié)省帶寬有很大改進(jìn)。03 視頻視頻部分，主要涉及推、拉模式選擇、CDN 調(diào)度器、自適應(yīng)播放器：推、拉模式選擇。以當(dāng)前的技術(shù)手段，無論是把視頻流推給

10、 CDN，還是 CDN 主動來拉視頻流，在技術(shù)上都可以實現(xiàn)。但在特定場景下，比如故障排查時，還是要選擇 CDN 來拉的方式，這樣對視頻流的故障排查就可以由 CDN 提供方來完成。CDN調(diào)度器。CDN 流量是分階段計算的，1G 以下、12G 價格不同，通過 CDN 調(diào)度可以把成本控制在最優(yōu)。還有是在出現(xiàn)異常情況下，對用戶的訪問也可做一些調(diào)整。這上面的調(diào)整比在 DNS 層面調(diào)整更迅速。自適應(yīng)播放器。自主開發(fā)，能根據(jù)不同的業(yè)務(wù)特點采用自適應(yīng)播放器。比如實時性要求高的直播，就使用支持 rtmp 的播放器，需要回看的情況下，就使用支持 HLS 的播放器。CDN 優(yōu)化不可避免的痛點在 CDN 優(yōu)化過程中，

11、也有很多痛點不可避免。這里主要分享三方面：ISP、CDN 廠商、內(nèi)外部用戶。01 ISP說到 CDN 優(yōu)化，必然離不開 ISP（互聯(lián)網(wǎng)服務(wù)提供商），這里涉及到如下四個方面：劫持。常見的劫持有兩種。第一種是 DNS 劫持，可通過商務(wù)手段解決，但時間跨度很長；還可通過私人關(guān)系解決，但不是每個人都有這種關(guān)系。針對這種劫持，目前還沒有特別好的解決方案。還有一種就是內(nèi)容劫持，會在 PC 或 APP 端出現(xiàn)其他公司的廣告，這種劫持的解決方案是做全站 HTTPS。IP。IP 使用比較混亂，運營商之間有混用的情況。如出現(xiàn)跨運營商的情況，對用戶進(jìn)行 DNS 解析時，精確度就會受到影響。移動端。用手機(jī)進(jìn)行網(wǎng)絡(luò)訪問

12、，第一跳肯定是手機(jī)和基站之間的連接。目前基于大的環(huán)境，手機(jī)和基站在通訊過程中的延遲無法避免，而且也沒有有效的監(jiān)控方法。GFW。這個是所有擁有海外業(yè)務(wù)公司的痛點，目前國美互聯(lián)網(wǎng)采用的是第三方的設(shè)備。02 CDN廠商CDN 廠商這部分，涉及四個方面：服務(wù)質(zhì)量。這里的服務(wù)質(zhì)量其一是指節(jié)點的響應(yīng)速度，其二是節(jié)點正常運行的保障。服務(wù)質(zhì)量是一切的前提條件。計費方式。一般計費方式有按平均帶寬、95 計費，第四峰值計費等，根據(jù)業(yè)務(wù)情況可能還有根據(jù)訪問次數(shù)計費。一般采用 95 計費即可，具體情況根據(jù)業(yè)務(wù)來定。以國美直播舉例，發(fā)展初期，直播場次少，基本一月一次，那么按照 95 計費是比較合理的，對公司成本也是最優(yōu)的。個性化需求。有些 CDN 廠商，不太愿意提供個性化的需求，所以在合作前期就要溝通好，因為每個公司，每個產(chǎn)品對 CDN 的需求都是不一樣的。朋友非敵人。和 CDN 廠商合作，是朋友而非敵人的關(guān)系，是相互學(xué)習(xí)的過程。在合作的過程中，都能學(xué)習(xí)到很多知識。03 用戶用戶分為外部、內(nèi)部兩種，有各自的痛點：外部用戶。當(dāng)對一些