多源數據聚合系統(tǒng)及相關技術

1、多源數據聚合系統(tǒng)及相關技術 網絡技術的快速發(fā)展使得視頻分享技術也得到了進步，由此在 社會上岀現了一批視頻分享網站。成功的視頻網站往往需要具 備節(jié)目 內容豐富和節(jié)目播放流暢的特點。但是現階段一些視頻網站應用的都 是B/S結構，服務器自身承載能力和視頻播出流暢性是有限的。為 了提升視頻播放質量，在聚集互聯網各類視頻的基 礎上提出了一種新 型多源數據聚合系統(tǒng)。在這個系統(tǒng)上能夠讓用戶瀏覽更多網站的內 容，幫助用戶聚合資源，提升視頻播放流暢性。 1多源數據聚合系統(tǒng)概述 1.1概要設計多源數據聚合系統(tǒng)建設的目的是為用戶提供高質 量、能夠交互的的媒體播放服務，并在此基礎航完成定向廣告、性化 搜索。多源數據聚

2、合p2p流媒體點播系統(tǒng) CloudMedia,是一 個視頻分享網站系統(tǒng)，在視頻點播中添加了 p2p技術。CloudMedia 由爬蟲、視頻網站、客戶端、索引服務器、視頻網站等共同組成，以 網絡視頻的形式向用戶展現信息。其中，爬蟲服務器主要是針 對不 同網站采用不同的方式來播放視頻。索引服務器主要是用來 索引在線 peer ,實現對peer地點信息的有效管理。用戶(peer )主要負 責的是從其他節(jié)點和網站服務器中獲取媒體數據，完成任 務的調度操 作、拓撲的維護以及緩沖地帶的管理。 1.2工作流程 (1) 爬蟲在視頻網站上獲取加載頁面以及一些相關節(jié)目的信 息，具體包括縮略圖、評論、簡介等。 (2

3、) 將獲取的數據信息在CloudMedia網站上進行展現。 (3) 打開用戶客戶端口實現對網站的訪問。 (4) 用戶結合自己的需要來選擇播放視頻節(jié)目，FLASH播 放器 將視頻地址發(fā)送給客戶端。 (5) 在播放的時候，用戶點擊視頻節(jié)目，Flash播放器就 會自 動播放視頻。 (6) 客戶端向索引服務器匯報自己的信息。 (7) 索引服務器根據客戶端所在的位置來選擇信息，提升視頻 節(jié)目播放速度。 2多源數據聚合系統(tǒng)的詳細設計 2. 1系統(tǒng)模塊劃分 多源數據的聚合系統(tǒng)模塊劃分如圖1所示。根據圖發(fā)現，爬蟲 和網站模塊公共完成了聚合功能，客戶端和索引服務器完成相應的加 速功能。其中，爬蟲的工作流程是首先

4、輸入一些網頁地址作為起始 數據信息，對頁面中的內容進行分析，結合需要提取重要的網頁地 址，及時剔除掉和網頁分析算法不相關的鏈接，保留有意義的鏈 接。在爬蟲系統(tǒng)中，經過改進之后的系統(tǒng)針對不同的視頻網站設置 了不同過濾策略，最終獲取視頻播放網頁。門戶網站的工作主要是 將數據庫中的節(jié)目展現出來，并加以索引進行管 理和引導。 2. 2視頻網站爬蟲模塊 CloudMedia網站會通過爬蟲來獲取網絡視頻節(jié)目，并實現 對這 些節(jié)目的分類管理。爬蟲級別低的劃分有以下幾種： 2. 2. 1輕量級爬蟲Spider 輕量級爬蟲Spider將輸入的鏈接作為起點，并通過多線程分析 鏈接，最終將鏈接結果存入到數據庫中。S

5、pider是一種多線程的爬 蟲，每個線程操作都需要從等待的隊列中選擇一個分析隊列，在下 載文本信息鏈接之后從中獲取有價值的信息。這種爬蟲設計操作比較 簡單，分析線程數量無法自動調整。 2. 2. 2Heritage Heritage是一個開源的網絡爬蟲，具有很強的可拓展性，由此 在操作的過程中也顯示出其結構的復雜。Heritage主要包 括數據采 集器、資源抽取器、邊界控制器、處理器鏈。其中，數據采集器主要 是用來解釋網絡傳輸協議。資源抽取器則是對采集 器信息內容的一種 解析。 2. 3 Cloud Media 網站模塊 Cloud Media網站是一個動態(tài)化的網站，在應用過程中主要是將 數據

6、庫中的視頻展現給用戶，并同時具備視頻的分類、搜索、登 錄、評論等功能。 2. 3. ICloud Media 網站設計 網站的設計需要應用PHP吾言，對系統(tǒng)分類欄目、視頻播放、 用戶信息等都有著明確的顯示。 2.3.2數據庫的設計 Cloud Media網站模塊常見的數據表有Crawler和Video Info 表。前者主要是存放爬蟲獲得的鏈接，在表中有代表視頻序號、播放 頁面地址、圖片地址爬蟲下載的標識。后者則主要是存放播放頁面的 信息。 2. 4 Cloud Media的客戶端模塊 2.4. 1設計 Cloud Media客戶端模塊向HTTP服務器請求數據信息，服 務器 在收到之后會將某一

7、時間點上的數據全部發(fā)送過來，并借助P2P的形 式實現數據信息的傳輸。Cloud Media客戶端模塊包括網絡視頻地 址、網絡視頻數據下載、網絡視頻壓縮包等?？蛻舳嗽谙螺d視頻數據 之后，對數據視頻進行打包操作處理，在打包操作之后將信息發(fā)送 給各個播放器進行播放。經過HTTP下載的數 據信息，需要確定估算時間點，進而開展P2P數據調度。 2.4.2實現用戶啟動客戶端的時候會向系統(tǒng)索引服務器發(fā)出請 求，在連接上索引服務器之后，向上級匯報自己的節(jié)目信息。如果 客戶端有能夠p2p加速節(jié)點，則是可以向這個節(jié)點請求操作。在數據 下載的過程中需要檢查播放器操作，借助播放器來播放緩沖區(qū)數據 內容。 2.5索引服務器模塊 Cloud Media媒體播放系統(tǒng)需要設定一個專門的索引服務器，將 所有的節(jié)點接入到p2p網絡初始點上。在節(jié)點登錄的時候相索引服 務器匯報節(jié)點本地緩沖區(qū)的視頻文件信息。在節(jié)點加入頻道觀看節(jié)目 的時候，系統(tǒng)會將所要觀看的節(jié)目信息和具體播放位置發(fā)送到索引服 務器上，進而完成p2p的網絡過程。 3結束語 綜上所述，