緩存大師大型網(wǎng)絡(luò)分布式解決方案201608

緩存大師大型網(wǎng)絡(luò)分布式解決方案廣州網(wǎng)縱信息技術(shù)有限公司2016年8月10日目錄1、概述 32、項(xiàng)目目標(biāo) 33、項(xiàng)目需求 44、設(shè)計(jì)原則 45、技術(shù)方案 56、硬件配置推薦 67、技術(shù)原理 78、產(chǎn)品功能說明 99、緩存大師功能列表 1410、產(chǎn)品特色 1711、建設(shè)成效 181、概述互聯(lián)網(wǎng)發(fā)展趨勢近年來隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)用戶數(shù)、互聯(lián)網(wǎng)應(yīng)用種類、網(wǎng)絡(luò)帶寬等都呈現(xiàn)出爆炸式的增長，對(duì)社會(huì)和人們的生活產(chǎn)生了巨大的影響。網(wǎng)絡(luò)的功能也日新月異，從最初的互連互通為主，到后來的以Email、WWW瀏覽、FTP下載等信息共享為主，到今天的P2P、在線視頻、IM、游戲、網(wǎng)絡(luò)媒體等豐富多彩的應(yīng)用為主。HTTP應(yīng)用下載、在線視頻等應(yīng)用越來越廣泛，其流量已經(jīng)占據(jù)了骨干網(wǎng)絡(luò)70％以上的流量，從第三方報(bào)告描述中可以看出，然而這個(gè)趨勢還在不停擴(kuò)大。未來5年互聯(lián)網(wǎng)流量增速將高達(dá)每年56%-80%，即相當(dāng)5年的帶寬需求將增加10－20倍，通過對(duì)流量增長的原因進(jìn)行深入分析，我們可以發(fā)現(xiàn)，P2P仍然是占主導(dǎo)地位的增長因素，同時(shí)，網(wǎng)絡(luò)視頻類業(yè)務(wù)也正在成為另一個(gè)非常重要的增長因素。運(yùn)營商的挑戰(zhàn)與對(duì)策寬帶運(yùn)營商致力于社區(qū)的寬帶運(yùn)營項(xiàng)目，為社區(qū)用戶提供寬帶接入。隨著高清視頻的普及，今年以來用戶頻繁抱怨網(wǎng)絡(luò)速度慢、不穩(wěn)定；運(yùn)營商也采取增加帶寬的方式來緩解，但效果不明顯，且?guī)捵鈶{費(fèi)用大幅度增加，給運(yùn)營成本帶來很大壓力。面臨的主要問題：用戶投訴增多，主要集中在網(wǎng)絡(luò)速度慢、不穩(wěn)定；出口帶寬一加再加，但網(wǎng)絡(luò)狀態(tài)沒有得到明顯改善；通過監(jiān)控網(wǎng)絡(luò)流量，清楚的發(fā)現(xiàn)在高峰期，有60%的帶寬被視頻流量占用；傳統(tǒng)的電影服務(wù)器管理過于復(fù)雜，且存在版本的問題；通過技術(shù)手段與調(diào)查發(fā)現(xiàn)，社區(qū)用戶看電影有一定的規(guī)律，主要是看最近新出的電影、電視劇等視頻，且看視頻的方式取決于觀看速度；相比于封堵限速、增加出口帶寬、引入內(nèi)容源帶來的有限改善，ISP運(yùn)營商選擇廣州網(wǎng)縱網(wǎng)絡(luò)流量緩存加速解決方案將是其實(shí)現(xiàn)運(yùn)營低成本、服務(wù)高品質(zhì)的最佳選擇。互聯(lián)網(wǎng)緩存解決方案采用疏堵結(jié)合的方式：緩存系統(tǒng)采用分析定向、自動(dòng)緩存、精確調(diào)度和速度搜索四大核心技術(shù)，將占用總出口帶寬60％～80％的在線視頻以及大文件下載流量本地化，在采用WEB緩存解決方案后真正達(dá)到節(jié)省出口帶寬、降低網(wǎng)間結(jié)算、提高網(wǎng)絡(luò)利用效率、降低網(wǎng)絡(luò)運(yùn)營成本、提升用戶體驗(yàn)的目的。2、項(xiàng)目目標(biāo)本項(xiàng)目將立足企業(yè)現(xiàn)狀，根據(jù)公司要求，對(duì)全網(wǎng)熱點(diǎn)資源（如：視頻、文件下載等相關(guān)應(yīng)用進(jìn)行緩存），最終實(shí)現(xiàn)對(duì)全網(wǎng)用戶的網(wǎng)絡(luò)質(zhì)量進(jìn)行優(yōu)化，同時(shí)提升用戶上網(wǎng)的體驗(yàn)，滿足企業(yè)的需求。3、項(xiàng)目需求本項(xiàng)目旨在解決節(jié)約出口帶寬，提高出口帶寬的使用率。服務(wù)內(nèi)容主要包括：1)、產(chǎn)品能夠針對(duì)在線視頻、HTTP下載數(shù)據(jù)進(jìn)行優(yōu)化。2)、能夠自動(dòng)發(fā)現(xiàn)并判斷本網(wǎng)絡(luò)中的熱點(diǎn)資源，實(shí)現(xiàn)熱點(diǎn)資源本地化緩存及讀取。3)、削減重復(fù)數(shù)據(jù)流，節(jié)省出口帶寬資源。4)、能夠?qū)σ丫彺娴臄?shù)據(jù)資源進(jìn)行分析、整理，以圖表的方案直觀呈現(xiàn)。4、設(shè)計(jì)原則在緩存大師系統(tǒng)設(shè)計(jì)的過程中，主要遵循以下原則：先進(jìn)性原則緩存設(shè)備必須采用專用的硬件平臺(tái)以保證整體方案的，符合業(yè)界技術(shù)的發(fā)展趨勢，既體現(xiàn)先進(jìn)性又比較成熟，并且是各個(gè)領(lǐng)域公認(rèn)的領(lǐng)先的解決方案。高可靠性原則由于緩存系統(tǒng)旁路部署在網(wǎng)絡(luò)并支撐著大量的緩存數(shù)據(jù)流，所以整個(gè)網(wǎng)絡(luò)設(shè)計(jì)必須考慮到高可靠性因素，防止單點(diǎn)故障。系統(tǒng)對(duì)工作環(huán)境要求較低，環(huán)境適應(yīng)能力要強(qiáng)。可擴(kuò)展性原則隨著網(wǎng)絡(luò)不斷的擴(kuò)充變化，要求緩存解決方案具有靈活的可擴(kuò)展性。易于跟隨用戶數(shù)量的增長對(duì)緩存系統(tǒng)進(jìn)行平滑、在線擴(kuò)容?？晒芾硇栽瓌t系統(tǒng)支持簡體中文，通俗易懂，操作方便、簡單；系統(tǒng)具有充分的權(quán)限管理.穩(wěn)定性原則緩存系統(tǒng)在設(shè)計(jì)之初就已經(jīng)將系統(tǒng)穩(wěn)定性考慮在內(nèi)，緩存系統(tǒng)與后臺(tái)支撐系統(tǒng)采用特定的接口進(jìn)行數(shù)據(jù)轉(zhuǎn)向，因此系統(tǒng)可在長期不重啟情況下長期穩(wěn)定運(yùn)行.安全性原則緩存系統(tǒng)采用專業(yè)的編譯工具進(jìn)行整體打包發(fā)開，在產(chǎn)品上市前做足了系統(tǒng)的安全檢查及滲透工作，以保障系統(tǒng)的安全性。5、技術(shù)方案5.1部署拓?fù)?.2部署說明采用旁路部署方案，獲取的鏡像流量由骨干核心交換機(jī)發(fā)送，緩存監(jiān)控服務(wù)器做奇藝、騰訊、樂視、搜狐、新浪、酷6、優(yōu)酷、土豆等視頻緩存，針對(duì)視頻優(yōu)化，提高緩存的性能和命中率；部署在核心網(wǎng)絡(luò)出口端，實(shí)現(xiàn)透明緩存，降低運(yùn)營商網(wǎng)間結(jié)算流量；部署在內(nèi)網(wǎng)，內(nèi)網(wǎng)用戶下載不被限速，提升寬帶用戶的上網(wǎng)體驗(yàn)；支持主流視頻網(wǎng)站，如優(yōu)酷、土豆、奇藝、騰訊、樂視、搜狐、新浪、酷6等，支持HTTP下載的緩存，支持MP3，支持360等測速軟件，支持各種移動(dòng)應(yīng)用加速，包括APP下載和部分移動(dòng)視頻；實(shí)現(xiàn)軟件系統(tǒng)自動(dòng)更新和緩存內(nèi)容自動(dòng)更新，免除管理員維護(hù)；動(dòng)態(tài)添加存儲(chǔ)服務(wù)器和磁盤，方便后期擴(kuò)容；緩存大師的核心是通過對(duì)網(wǎng)絡(luò)中的流量進(jìn)行實(shí)時(shí)的采集分析，提取其中的視頻流量進(jìn)行分析，然后下載相應(yīng)的資源保存在本地，再次發(fā)現(xiàn)有用戶觀看相同的視頻，將直接引導(dǎo)（引導(dǎo)過程對(duì)于用戶來說是透明的）用戶從本地看此視頻，不用二次占用寶貴的出口帶寬，且提高了用戶觀看視頻的體驗(yàn)。根據(jù)對(duì)流量的監(jiān)測、分析，結(jié)合用戶觀看視頻的習(xí)慣，在網(wǎng)絡(luò)中部署緩存大師視頻緩存系統(tǒng)。緩存大師視頻緩存系統(tǒng)以旁路模式部署于網(wǎng)絡(luò)中，將對(duì)網(wǎng)絡(luò)的影響降到最低，且不用安裝客戶端，整個(gè)部署與實(shí)現(xiàn)過程終端用戶無從感知。緩存大師視頻緩存系統(tǒng)使用兩個(gè)千兆接口連接在核心交換機(jī)；鏡像口用于獲取網(wǎng)絡(luò)中的流量；管理口用于本地用戶二次觀看視頻時(shí)的輸出，同時(shí)在網(wǎng)絡(luò)空閑時(shí)主動(dòng)下載網(wǎng)站上的熱門視頻緩存在本地。緩存大師視頻緩存系統(tǒng)擁有先進(jìn)的設(shè)計(jì)理念與完善的功能，在系統(tǒng)設(shè)計(jì)上以減少視頻流量占用帶寬與提高用戶觀看視頻的體驗(yàn)為目的。通過實(shí)時(shí)緩存、自動(dòng)下載、重定向三步曲實(shí)現(xiàn)網(wǎng)上視頻本地看的效果；通過對(duì)用戶流量實(shí)時(shí)獲取、分析、下載，將視頻文件緩存在本地，同時(shí)在網(wǎng)絡(luò)空閑期自動(dòng)下載視頻到本地；實(shí)時(shí)檢測用戶訪問視頻資源的請(qǐng)求，如果發(fā)現(xiàn)用戶訪問的視頻緩存在本地，直接向用戶發(fā)送重定向信息，在用戶沒有感知的情況下觀看本地視頻資源。6、硬件配置推薦6.1監(jiān)控服務(wù)器硬件名稱配置要求推薦型號(hào)監(jiān)控服務(wù)器CPUIntel8核或16核至強(qiáng)、I5、I7內(nèi)存16G以上16G以上硬盤系統(tǒng)盤40G以上希捷企業(yè)盤、西數(shù)黑盤、固態(tài)盤存儲(chǔ)盤16T以上希捷企業(yè)盤、西數(shù)黑盤網(wǎng)卡通訊口萬兆網(wǎng)卡Intel82599采集口萬兆網(wǎng)卡Intel82599說明：監(jiān)控服務(wù)器主要負(fù)責(zé)管理和調(diào)度，也可同時(shí)做為存儲(chǔ)服務(wù)器。鏡像口接收來自緩存大師的過濾流量，管理口接到交換機(jī)。管理口負(fù)責(zé)與存儲(chǔ)節(jié)點(diǎn)通訊，也需要與終端用戶通信，確保終端用戶可以訪問監(jiān)控服務(wù)器。6.2存儲(chǔ)服務(wù)器硬件名稱配置要求推薦型號(hào)存儲(chǔ)節(jié)點(diǎn)服務(wù)器CPUIntel4核或8核至強(qiáng)、I5、I7內(nèi)存16G以上16G以上硬盤系統(tǒng)盤40G以上希捷企業(yè)盤、西數(shù)黑盤、固態(tài)盤存儲(chǔ)盤16T以上希捷企業(yè)盤、西數(shù)黑盤網(wǎng)卡通訊口萬兆網(wǎng)卡Intel82599采集口不需要不需要說明：存儲(chǔ)節(jié)點(diǎn)服務(wù)器主要負(fù)責(zé)下載和輸出。注：相當(dāng)于或高于該配置的硬件設(shè)備均可安裝緩存大師存儲(chǔ)服務(wù)器，本次配置的每臺(tái)存儲(chǔ)服務(wù)器命中輸出達(dá)到1G或以上時(shí)（單臺(tái)雙千兆輸出最大1.5G，存儲(chǔ)服務(wù)器總輸出能力的70%），建議增加一臺(tái)存儲(chǔ)服務(wù)器節(jié)點(diǎn)。例如：輸出10G就部署10臺(tái)儲(chǔ)存節(jié)點(diǎn)服務(wù)器。添加硬盤作為數(shù)據(jù)盤，管理口接到交換機(jī)。管理口負(fù)責(zé)與監(jiān)控服務(wù)器通訊，也需要與內(nèi)網(wǎng)用戶通信，確保終端用戶可以訪問存儲(chǔ)服務(wù)器，同時(shí)必須要可以訪問外網(wǎng)以更新本地緩存資源。7、技術(shù)原理緩存大師以創(chuàng)新的視頻流量識(shí)別、過濾算法和熱點(diǎn)分析等核心技術(shù)，通過采用視頻定向表和視頻請(qǐng)求重定向等方法，對(duì)網(wǎng)絡(luò)視頻來源和熱度進(jìn)行深度分析，對(duì)特定的Web視頻從識(shí)別到命中，智能匯集高熱度視頻資源，減少看Web視頻對(duì)互聯(lián)網(wǎng)帶寬的嚴(yán)重依賴，解決長期困擾用戶的“看線上視頻多緩沖、不順暢”的問題，能讓用戶淋漓盡致的體驗(yàn)到在線流暢觀看視頻零緩沖的酣暢感覺和效果。當(dāng)終端用戶請(qǐng)求訪問視頻網(wǎng)站(例如：優(yōu)酷)的在線視頻時(shí)，緩存大師系統(tǒng)會(huì)立即啟動(dòng)核心引摯進(jìn)行分析判斷，若緩存大師服務(wù)器沒有該視頻文件時(shí)，就會(huì)對(duì)請(qǐng)求返回的視頻流量在鏡像口進(jìn)行采集，并經(jīng)過識(shí)別、過濾、下載，將視頻內(nèi)容存儲(chǔ)在服務(wù)器上。當(dāng)終端用戶請(qǐng)求的視頻內(nèi)容在緩存大師服務(wù)器已經(jīng)存在時(shí)，則會(huì)將終端用戶的訪問網(wǎng)站視頻的請(qǐng)求重定向到緩存大師服務(wù)器上，實(shí)現(xiàn)從本地緩存服務(wù)器上觀看視頻的效果。緩存大師具體工作流程如下：自動(dòng)緩存：緩存服務(wù)器分析鏡像口的流量，發(fā)現(xiàn)用戶請(qǐng)求的視頻文件在本地沒有存儲(chǔ)數(shù)據(jù)，將發(fā)起請(qǐng)求向外網(wǎng)下載該視頻文件存儲(chǔ)到本地。命中加速：緩存服務(wù)器分析鏡像口的流量，如果發(fā)現(xiàn)用戶請(qǐng)求的視頻文件已經(jīng)存儲(chǔ)在本地，將向請(qǐng)求用戶發(fā)送一個(gè)重定向回應(yīng)，誘導(dǎo)用戶向緩存服務(wù)器（管理口IP）發(fā)送觀看該視頻的請(qǐng)求，緩存服務(wù)器通過管理口把視頻輸出給請(qǐng)求用戶，最終實(shí)現(xiàn)命中加速的效果。8、產(chǎn)品功能說明（1）系統(tǒng)功能各功能說明1）運(yùn)行狀態(tài)通過WEB登錄后默認(rèn)顯示的即為“運(yùn)行狀態(tài)”頁面，此頁面顯示緩存大師主要的實(shí)時(shí)運(yùn)行信息，包括緩存與命中的文件數(shù)、實(shí)時(shí)鏡像信息與命中信息、采集口與管理口的流量情況及硬盤空間使用情況，從這些信息可以初步了解緩存大師系統(tǒng)工作情況。2）數(shù)據(jù)分析通過點(diǎn)擊功能選擇區(qū)的“數(shù)據(jù)分析”進(jìn)入數(shù)據(jù)分析頁面，此頁面主要針對(duì)流量進(jìn)行統(tǒng)計(jì)分析，有豐富的趨勢圖表進(jìn)行顯示，包括鏡像口流量監(jiān)視、管理口流量監(jiān)視、熱度分析、服務(wù)流量分析四個(gè)大項(xiàng)，便于用戶直觀了解緩存大師系統(tǒng)的運(yùn)行及效果。鏡像口流量監(jiān)視鏡像口流量監(jiān)視頁面用于顯示鏡像口的實(shí)時(shí)流量趨勢與時(shí)間區(qū)間內(nèi)的總流量。管理口流量監(jiān)視管理口流量監(jiān)視頁面用于顯示管理口實(shí)時(shí)流量趨勢與時(shí)間區(qū)間內(nèi)的總流量。熱度分析熱度分析頁面以圖形的方式顯示時(shí)間區(qū)間內(nèi)熱度分析的數(shù)據(jù)，包括網(wǎng)站熱度排行、文件命中次數(shù)統(tǒng)計(jì)、網(wǎng)站命中數(shù)統(tǒng)計(jì)、網(wǎng)站文件數(shù)統(tǒng)計(jì)、網(wǎng)站存儲(chǔ)容量?？梢酝ㄟ^在圖形上移動(dòng)光標(biāo)，查看詳細(xì)數(shù)值。服務(wù)流量分析服務(wù)流量分析頁面用于顯示服務(wù)流量（命中輸出的流量）與鏡像的視頻流量、總流量的對(duì)比數(shù)據(jù)，可以讓用戶清晰的看到緩存大師系統(tǒng)的效果。服務(wù)流量與鏡像視頻流量對(duì)比：緩存大師提供的視頻服務(wù)流量與鏡像過來的視頻流量的對(duì)比；服務(wù)流量與鏡像總流量對(duì)比：緩存大師提供的視頻服務(wù)流量與鏡像過來的總流量的對(duì)比；3）數(shù)據(jù)記錄通過點(diǎn)擊功能選擇區(qū)的“數(shù)據(jù)記錄”進(jìn)入數(shù)據(jù)記錄頁面，此頁面主要針對(duì)緩存、命中的信息進(jìn)行查詢、顯示，包括文件列表、命中日志、緩存日志、實(shí)時(shí)緩存列表四大項(xiàng)，便于用戶從微觀上了解緩存、命中的運(yùn)行。文件列表文件列表頁面用于顯示已緩存的資源文件記錄。命中日志命中日志頁面用于顯示已命中的資源文件記錄。緩存日志緩存日志頁面用于顯示已緩存的資源文件記錄實(shí)時(shí)緩存列表實(shí)時(shí)緩存列頁面用于顯示最新緩存的信息，包括正在緩存的文件列表與已經(jīng)緩存成功的文件列表。4）緩存清理通過點(diǎn)擊功能選擇區(qū)的“緩存清理”進(jìn)入緩存清理頁面，當(dāng)服務(wù)器運(yùn)行一段時(shí)間后，磁盤空間由于資源文件的不斷積累，會(huì)被占滿而無法保存新的資源，緩存清理的功能是以自動(dòng)或手動(dòng)的方式對(duì)進(jìn)行清理，根據(jù)資源的熱度釋放出一定的磁盤空間緩存新的資源?？梢酝ㄟ^設(shè)定條件來執(zhí)行清理動(dòng)作，一個(gè)資源文件必須全部條件才會(huì)被清理。緩存清理模式：分為手動(dòng)模式、自動(dòng)模式兩種；手動(dòng)模式即需要用戶進(jìn)行干預(yù)，不干預(yù)不執(zhí)行；自動(dòng)模式即用戶設(shè)置好清理?xiàng)l件，當(dāng)清理?xiàng)l件被觸發(fā)，系統(tǒng)會(huì)自動(dòng)執(zhí)行清理動(dòng)作。最小剩余空間：當(dāng)磁盤可用空間小于這個(gè)空間大小時(shí)，執(zhí)行清理動(dòng)作；最多刪除空間：緩存清理動(dòng)作觸發(fā)后每個(gè)磁盤最多清理的空間大小，在有效清理的條件下最大程度的保留緩存資源，避免一次清理太多文件。文件緩存時(shí)間：表示清理動(dòng)作只作用于這個(gè)時(shí)間段以前緩存的資源，避免最近緩存的資源因熱度不夠而被刪除；文件命中次數(shù)：當(dāng)資源的命中次數(shù)低于此值時(shí)才滿足清理?xiàng)l件，值越低清理的文件越多，選擇“不限”則所有文件都是被清理對(duì)象；文件命中時(shí)間：當(dāng)資源在此時(shí)間段內(nèi)沒有被命中過時(shí)才滿足清理?xiàng)l件，時(shí)間越短，清理的文件越多，時(shí)間越長，保留的文件越多；選擇清理磁盤：可以選擇清理指定的或所有磁盤的資源；選擇清理網(wǎng)站：可以選擇清理指定的或所有網(wǎng)站的資源；5）服務(wù)器配置通過點(diǎn)擊功能選擇區(qū)的“服務(wù)器配置”進(jìn)入服務(wù)器配置頁面，此頁面顯示緩存大師服務(wù)器的網(wǎng)絡(luò)與磁盤配置選項(xiàng)對(duì)服務(wù)器、磁盤、空閑磁盤進(jìn)行管理。服務(wù)器當(dāng)安裝完緩存大師產(chǎn)品后會(huì)自動(dòng)產(chǎn)生一條服務(wù)器配置記錄，配置中主要為管理口的網(wǎng)絡(luò)信息，如IP、子網(wǎng)掩碼、網(wǎng)關(guān)地址、DNS等，可以點(diǎn)擊“修改”按鈕，更改網(wǎng)絡(luò)配置，然后使用新的IP地址登陸。磁盤可對(duì)磁盤進(jìn)行有效管理.6）網(wǎng)站配置通過點(diǎn)擊功能選擇區(qū)的“網(wǎng)站配置”進(jìn)入網(wǎng)站配置頁面，此頁面顯示緩存大師系統(tǒng)目前開放支持的網(wǎng)站選項(xiàng)。開啟命中：當(dāng)用戶請(qǐng)求的資源已經(jīng)在緩存大師服務(wù)器中存儲(chǔ)時(shí)，開啟命中可以將用戶的請(qǐng)求引導(dǎo)到本地服務(wù)器上，關(guān)閉則不提供這樣的功能。開啟下載：當(dāng)用戶請(qǐng)求的資源不在緩存大師服務(wù)器中存儲(chǔ)時(shí)，緩存大師會(huì)把請(qǐng)求的視頻資源下載到本地存儲(chǔ)，以資源文件的形式存放在服務(wù)器上。這種方式的緩存實(shí)時(shí)快速，而且不占用用戶的任何帶寬資源，但受服務(wù)器性能與鏡像流量的限制，需根據(jù)實(shí)際情況確定是否開啟。最小文件大?。合薅?、下載緩存資源文件的大小，對(duì)小于設(shè)定值的文件不進(jìn)行命中、下載緩存操作，在大流量的網(wǎng)絡(luò)中可以節(jié)省服務(wù)器資源，提高效率。7）系統(tǒng)工具通過點(diǎn)擊功能選擇區(qū)的“系統(tǒng)工具”進(jìn)入系統(tǒng)工具頁面，此頁面顯示系統(tǒng)配置選項(xiàng)，包括下載限速、路由表設(shè)置、修改登陸密碼、關(guān)機(jī)/重啟、運(yùn)行日志、緩存體驗(yàn)區(qū)。（2）功能特點(diǎn)說明視頻自動(dòng)緩存當(dāng)用戶訪問視頻分享網(wǎng)站的視頻內(nèi)容時(shí)，緩存大師能夠自動(dòng)識(shí)別出請(qǐng)求與響應(yīng)的視頻流量，針對(duì)HTTP協(xié)議進(jìn)行流媒體傳輸?shù)脑诰€視頻緩存到本地服務(wù)器磁盤上。命中加速通過視頻定向表和劫持技術(shù)，將用戶的視頻請(qǐng)求轉(zhuǎn)換為訪問本地緩存服務(wù)器，不需要再訪問外網(wǎng)，解決線上視頻緩沖慢的問題，實(shí)現(xiàn)網(wǎng)上視頻本地觀看，無限加速的效果。帶寬節(jié)省與放大網(wǎng)頁視頻緩存加速器能夠?qū)崿F(xiàn)一次緩存多次觀看與線上視頻本地看的效果—在節(jié)省帶寬占用的同時(shí)使您的客戶體驗(yàn)到在線流暢觀看視頻、不需要等待、零緩沖的酣暢感覺和效果,從而達(dá)到帶寬節(jié)省與放大的雙重效果。熱門視頻自動(dòng)下載本地視頻資源的豐富程序直接關(guān)系到命中率的提高，在自動(dòng)緩存視頻的基礎(chǔ)上，系統(tǒng)會(huì)在網(wǎng)絡(luò)空閑期間，自動(dòng)下載到本地，這樣既可以充分利用網(wǎng)絡(luò)帶寬資源，又豐富了本地視頻資源?？梢暬治鎏峁┯胸S富的可視化圖表分析體系,可分類分時(shí)進(jìn)行詳細(xì)的業(yè)務(wù)分析,便于客戶進(jìn)行科學(xué)的經(jīng)營決策。（3）系統(tǒng)核心技術(shù)說明1）系統(tǒng)架構(gòu)模型及設(shè)計(jì)原理無緩存（左）和有緩存（右）網(wǎng)絡(luò)架構(gòu)模型：2）緩存大師視頻緩存系統(tǒng)產(chǎn)品基本原理圖部署圖：3）緩存大師系統(tǒng)工作流程主要分為四個(gè)步驟：終端用戶訪問在線視頻，請(qǐng)求流量被鏡像到緩存大師；緩存大師啟動(dòng)核心引摯進(jìn)行DPI特征分析；如果緩存大師服務(wù)器沒有該視頻內(nèi)容時(shí)，系統(tǒng)就會(huì)對(duì)請(qǐng)求返回的視頻流量在鏡像口進(jìn)行高速采集，并經(jīng)過識(shí)別、過濾或下載，然后將網(wǎng)頁視頻內(nèi)容緩存在緩存大師服務(wù)器上；當(dāng)終端用戶再次請(qǐng)求相同的視頻內(nèi)容時(shí)，緩存大師通過視頻路由表和劫持技術(shù)將終端用戶的視頻請(qǐng)求重定向到內(nèi)網(wǎng)的緩存大師服務(wù)器上，直接實(shí)現(xiàn)線上視頻本地看的效果。（4）系統(tǒng)傳輸規(guī)劃緩存大師每臺(tái)服務(wù)器至少有兩個(gè)（目前只有兩個(gè)）網(wǎng)口，一個(gè)為管理口，為管理員提供管理通道，同時(shí)也為用戶提供資源下載服務(wù)；另一個(gè)為鏡像口，接收交換機(jī)或其他鏡像設(shè)備轉(zhuǎn)發(fā)過來的數(shù)據(jù)包。采用分布式部署時(shí)，每臺(tái)緩存服務(wù)器的鏡像口都接收相同的鏡像流量，每臺(tái)緩存大師服務(wù)器對(duì)不同類型的資源提供服務(wù)，這樣，每臺(tái)緩存服務(wù)器單獨(dú)為用戶提供資源下載服務(wù)，而互不干擾。（5）網(wǎng)絡(luò)終端與第三方集成說明緩存大師不需要在網(wǎng)絡(luò)終端上安裝任何軟件，不需要第三方軟件協(xié)助緩存即可實(shí)現(xiàn)所有功能。但可以配合使用流控（如流控大師）等具有流量過濾的設(shè)備對(duì)流量進(jìn)行過濾后再轉(zhuǎn)發(fā)到緩存大師，這樣可以減小緩存服務(wù)器的壓力，也更充分挖掘緩存大師的服務(wù)能力。（6）系統(tǒng)升級(jí)與擴(kuò)展系統(tǒng)升級(jí)方式有兩種：手動(dòng)升級(jí)和自動(dòng)升級(jí)，同時(shí)這兩種方式可以互相切換。緩存大師開發(fā)團(tuán)隊(duì)會(huì)及時(shí)收集用戶反饋，對(duì)系統(tǒng)進(jìn)行升級(jí)，新系統(tǒng)發(fā)布3天內(nèi)可以通過在狀態(tài)欄點(diǎn)擊“檢查更新”來手動(dòng)升級(jí)，發(fā)布3天后，系統(tǒng)會(huì)自動(dòng)升級(jí)。管理員也可以在系統(tǒng)工具中關(guān)閉自動(dòng)升級(jí)。系統(tǒng)的擴(kuò)展有幾個(gè)方面。一、擴(kuò)展服務(wù)器和磁盤，管理員可根據(jù)需要在服務(wù)器上增加磁盤，也可以增加緩存服務(wù)器，把鏡像流量同樣鏡像到新服務(wù)器即可；二、擴(kuò)展緩存內(nèi)容，如視頻網(wǎng)站和新協(xié)議，緩存大師團(tuán)隊(duì)會(huì)不斷更新識(shí)別特征和緩存算法，在保證穩(wěn)定性的前提下不斷擴(kuò)展緩存范圍；三，系統(tǒng)部署優(yōu)化，目前緩存大師是采用分網(wǎng)站的獨(dú)特方式來實(shí)現(xiàn)分布式緩存，有其優(yōu)勢也有其劣勢，緩存大師團(tuán)隊(duì)正在研發(fā)新的分布式方案，如一臺(tái)管理機(jī)集中管理N臺(tái)緩存服務(wù)器的方案，測試穩(wěn)定后便會(huì)協(xié)助更新。9、緩存大師功能列表功能列表基本功能支持B/S架構(gòu)，界面友好、操作簡單、易于管理，具備豐富美觀專業(yè)的報(bào)表統(tǒng)計(jì)功能，適合通過大屏展示。為保護(hù)現(xiàn)有投資，方便今后的發(fā)展需要在服務(wù)器上靈活增加內(nèi)存、硬盤等資源。支持云模式部署，當(dāng)網(wǎng)絡(luò)規(guī)模增大，可靈活部署在分支機(jī)構(gòu)或網(wǎng)絡(luò)節(jié)點(diǎn)，僅需要簡單的增加部署終端加速服務(wù)器便可在線、平滑、快速的實(shí)現(xiàn)緩存加速系統(tǒng)整體性能的提升。要求緩存系統(tǒng)必須旁路在核心網(wǎng)絡(luò)，不改變用戶網(wǎng)絡(luò)結(jié)構(gòu)，且不能影響核心網(wǎng)絡(luò)正常應(yīng)用。支持多路鏡像端口數(shù)據(jù)接入。資源加速支持的視頻網(wǎng)站加速主要有：優(yōu)酷視頻、土豆視頻、奇藝視頻、騰訊視頻、樂視視頻、搜狐視頻、酷6視頻、芒果TV、鳳凰視頻、新浪視頻、CNTV、PPS、華數(shù)視頻、華酷吧、風(fēng)行網(wǎng)、爆米花、愛拍原創(chuàng)、第一視頻、激動(dòng)網(wǎng)、我樂網(wǎng)、1905電影網(wǎng)、其他視頻等。支持的移動(dòng)終端視頻APP加速主要有：優(yōu)酷視頻TV版、央視影音、騰訊視頻TV版、華數(shù)視頻TV版、搜狐視頻TV版、芒果視頻TV版、奇藝視頻TV版、美拍視頻APP、秒拍視頻APP、微拍視頻APP、多拍視頻APP、夜都市APP、其他視頻APP等。支持的移動(dòng)終端APP下載加速主要有：360手機(jī)助手、安卓市場、豌豆莢、百度手機(jī)助手、91助手、應(yīng)用寶、小米商店、安智市場、UC應(yīng)用商店、樂商店、華為應(yīng)用市場、三星應(yīng)用商店、應(yīng)用匯、同步推、PP助手、XY蘋果助手、愛思助手、已用蘋果助手、叉叉助手、i蘋果、OPPO應(yīng)用商店、vivo應(yīng)用商店、酷派應(yīng)用商店、樂視應(yīng)用商店、AppStore、金山手機(jī)助手、魅族應(yīng)用商店、其他應(yīng)用市場等。支持的文件下載加速主要有：Windows系統(tǒng)更新、百度軟件中心、360軟件管家、騰訊軟件管家、金山軟件管家、189測速、其他軟件下載等。支持的網(wǎng)絡(luò)音樂加速主要有：百度音樂、QQ音樂、酷狗音樂、網(wǎng)易云音樂、蝦米音樂、其他音樂等。功能支持按照資源類型啟用或禁用資源的緩存功能。支持代理緩存、強(qiáng)制緩存功能。支持按照資源類型獨(dú)立定義緩存規(guī)則（擴(kuò)展名、緩存資源最大值最小值）支持緩存下載觸發(fā)系數(shù)控制。支持緩存資源自定義策略控制。支持根據(jù)目的IP、域名、URL的黑名單策略，支持系統(tǒng)在互聯(lián)網(wǎng)下載時(shí)的帶寬分時(shí)限制。支持每周每天劃分24個(gè)時(shí)間段進(jìn)行互聯(lián)網(wǎng)資源下載，支持自定義內(nèi)網(wǎng)源IP地址段進(jìn)行緩存。支持系統(tǒng)管理權(quán)限和訪問權(quán)限配置，支持系統(tǒng)訪問日志（包括但不限于登錄的IP、登錄賬號(hào)、登錄時(shí)間）。支持磁盤智能回收技術(shù)，保證磁盤空間循環(huán)利用，支持下載隊(duì)列清理時(shí)間、間隔時(shí)間配置，硬盤空間清理閾值配置，未及時(shí)更新資源的清理時(shí)間配置。支持界面查看授權(quán)及升級(jí)授權(quán)，并可分別查看系統(tǒng)總的并發(fā)授權(quán)及單獨(dú)的HTTP、在線視頻、圖片、音頻、移動(dòng)終端、資源處理并發(fā)、資源下載并發(fā)的授權(quán)信息。報(bào)表統(tǒng)計(jì)支持60天任意時(shí)段管理口流量圖，支持60天任意時(shí)段鏡像口流量圖。支持效益分析統(tǒng)計(jì)，包括系統(tǒng)中的節(jié)省帶寬流量圖統(tǒng)計(jì)，支持HTTP、視頻、音頻、圖像、APP五類命中次數(shù)柱狀圖及趨勢圖統(tǒng)計(jì)。支持熱點(diǎn)網(wǎng)站統(tǒng)計(jì)，要求分類圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖像、APP等類熱點(diǎn)網(wǎng)站分別的TOP50網(wǎng)站排名統(tǒng)計(jì)和所有網(wǎng)站總體的TOP50網(wǎng)站統(tǒng)計(jì)報(bào)表，并且能根據(jù)時(shí)間（包括月、周、日、總計(jì)）和資源數(shù)、資源大小、點(diǎn)擊數(shù)、命中數(shù)、輸出大小、輸出數(shù)、命中大小作為關(guān)鍵字段進(jìn)行查詢統(tǒng)計(jì)。支持熱點(diǎn)資源統(tǒng)計(jì)，要求分類圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖像、APP五類熱點(diǎn)文件資源的TOP50熱點(diǎn)資源排名報(bào)表，并且能根據(jù)時(shí)間（包括月、周、日、總計(jì)）和點(diǎn)擊數(shù)、命中數(shù)、輸出數(shù)、命中大小、輸出大小作為關(guān)鍵字進(jìn)行查詢統(tǒng)計(jì)。支持圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖片、APP5類文件2小時(shí)、24小時(shí)、30天及所有日期用戶從緩存系統(tǒng)輸出的流量總大小，支持圖表統(tǒng)計(jì)出2小時(shí)、24小時(shí)、1周、30天時(shí)段內(nèi)HTTP、視頻、音頻、圖片、APP5類文件每5分鐘的輸出大小趨勢圖。支持圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖片、APP5類文件2小時(shí)、24小時(shí)、30天及所有日期的命中率，支持圖表統(tǒng)計(jì)出2小時(shí)、24小時(shí)、1周、30天時(shí)段內(nèi)HTTP、視頻、音頻、圖片、APP5類文件每5分鐘的命中率趨勢圖。支持圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖片、APP5類文件2小時(shí)、24小時(shí)、30天及所有日期的緩存文件數(shù)量，支持圖表統(tǒng)計(jì)出2小時(shí)、24小時(shí)、1周、30天時(shí)段內(nèi)HTTP、視頻、音頻、圖片、APP5類文件每5分鐘的緩存文件數(shù)量趨勢圖。支持圖表統(tǒng)計(jì)出HTTP、視頻、音頻、圖片、APP5類文件2小時(shí)、24小時(shí)、30天及所有日期的緩存文件大小，支持圖表統(tǒng)計(jì)出2小時(shí)、24小時(shí)、1周、30天時(shí)段內(nèi)HTTP、視頻、音頻、圖片、APP5類文件每5分鐘的緩存文件大小趨勢圖。支持圖表監(jiān)控到1小時(shí)、24小時(shí)、1周的CPU使用率、內(nèi)存使用率，支持查看所有硬盤的是使用狀態(tài)、已用空間、可用空間以及使用利用率百分比。支持圖表查詢24小時(shí)、1周、30天的下載端口和鏡像端口的速率圖表。支持分類圖表統(tǒng)計(jì)HTTP、APP、視頻、圖像、音頻資源的資源列表，包括文件名，點(diǎn)擊數(shù)、命中數(shù)、文件大小、輸出數(shù)、輸出流量、狀態(tài)時(shí)間、狀態(tài)、最近命中時(shí)間及URL來源站點(diǎn)，并支持按以上關(guān)鍵字排序查詢。支持分類圖表統(tǒng)計(jì)HTTP、APP、視頻、圖像、音頻資源下載隊(duì)列，包括文件名，文件大小、點(diǎn)擊數(shù)、下載進(jìn)度、狀態(tài)、URL來源站點(diǎn)及本地硬盤存儲(chǔ)目錄，并支持按以上關(guān)鍵字排序查詢。支持分類圖表統(tǒng)計(jì)HTTP、APP、視頻、圖像、音頻資源下載隊(duì)列狀態(tài)統(tǒng)計(jì)，包括準(zhǔn)備檢測、正在檢測、檢測完成、無需下載、檢測失敗、準(zhǔn)備下載、正在下載、下載完成、下載失敗、準(zhǔn)備轉(zhuǎn)移。支持圖表命中日志和輸出日志統(tǒng)計(jì)，包括HTTP資源