某市云計算視頻云平臺技術(shù)解決方案

1、XX市云計算中心視頻云支撐平臺技術(shù)解決方案PAGE PAGE 19XX市云計算中心視頻云支撐平臺新媒體運營平臺技術(shù)解決方案 2013年11月目錄TOC o 1-3 h u HYPERLINK l _Toc372062446 一、項目概述 PAGEREF _Toc372062446 h 2 HYPERLINK l _Toc372062447 二、項目背景及分析 PAGEREF _Toc372062447 h 3 HYPERLINK l _Toc372062448 三、項目總體規(guī)劃設(shè)計 PAGEREF _Toc372062448 h 4 HYPERLINK l _Toc372062449 (一)技

2、術(shù)平臺方案 PAGEREF _Toc372062449 h 4 HYPERLINK l _Toc372062450 1功能概要 PAGEREF _Toc372062450 h 4 HYPERLINK l _Toc372062451 2總體拓?fù)?PAGEREF _Toc372062451 h 4 HYPERLINK l _Toc372062452 3功能設(shè)計 PAGEREF _Toc372062452 h 6 HYPERLINK l _Toc372062454 3.1.內(nèi)容采集及收錄系統(tǒng) PAGEREF _Toc372062454 h 6 HYPERLINK l _Toc372062455 3.

3、2.在線視音頻處理及管理系統(tǒng) PAGEREF _Toc372062455 h 7 HYPERLINK l _Toc372062456 3.3.內(nèi)容集成運營及管理系統(tǒng) PAGEREF _Toc372062456 h 10 HYPERLINK l _Toc372062457 3.4.搜索引擎系統(tǒng) PAGEREF _Toc372062457 h 13 HYPERLINK l _Toc372062458 3.5.用戶管理及統(tǒng)一認(rèn)證系統(tǒng) PAGEREF _Toc372062458 h 14 HYPERLINK l _Toc372062459 3.6.技術(shù)運行及監(jiān)控管理系統(tǒng) PAGEREF _Toc372

4、062459 h 15 HYPERLINK l _Toc372062460 3.7.基礎(chǔ)運行及接入訪問支撐系統(tǒng) PAGEREF _Toc372062460 h 15 HYPERLINK l _Toc372062461 3.8.第三方系統(tǒng)對接系統(tǒng) PAGEREF _Toc372062461 h 17 HYPERLINK l _Toc372062462 3.9.機(jī)柜及IDC相關(guān)資源 PAGEREF _Toc372062462 h 18 HYPERLINK l _Toc372062463 (二)技術(shù)運行服務(wù) PAGEREF _Toc372062463 h 19項目概述本項目旨在通過一整套完備的視頻云

5、業(yè)務(wù)支撐平臺的支撐，實現(xiàn)XX市云計算中心視頻云支撐平臺基于PC互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)業(yè)務(wù)產(chǎn)品的運行支撐，同時具備向更多終端和服務(wù)平臺擴(kuò)展的能力。傳統(tǒng)媒體內(nèi)容通過新媒體平臺進(jìn)行更加廣泛和有效的傳播，同時實現(xiàn)新媒體平臺對傳統(tǒng)媒體平臺在內(nèi)容、技術(shù)等全方面的反向輔助支撐，項目業(yè)務(wù)運行、運營具備通用的服務(wù)能力，具備面向基于視頻業(yè)務(wù)的跨行業(yè)支撐服務(wù)能力。XX市云計算中心視頻云支撐平臺新媒體業(yè)務(wù)方案項目主要包含了業(yè)務(wù)運營及技術(shù)支撐平臺兩大部分內(nèi)容，業(yè)務(wù)運營主要是指產(chǎn)品策劃設(shè)計、產(chǎn)品業(yè)務(wù)運行、技術(shù)運行支撐及業(yè)務(wù)運營等內(nèi)容，技術(shù)支撐平臺主要包括項目建設(shè)及日常運行所需的帶寬、服務(wù)器等技術(shù)資源以及全面的平臺系統(tǒng)，在完備

6、的技術(shù)平臺和技術(shù)資源的基礎(chǔ)上，通過系統(tǒng)化的人員及制度等運營能力建設(shè)配備，實現(xiàn)從內(nèi)容源采集、標(biāo)準(zhǔn)化處理、存儲、產(chǎn)品化運營、多渠道發(fā)布的內(nèi)容全流程運營，支撐起互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、智能電視、以及傳統(tǒng)媒體的全媒體形態(tài)覆蓋。項目建設(shè)分為技術(shù)系統(tǒng)建設(shè)和業(yè)務(wù)體系建設(shè)兩大部分，由于項目涉及的相關(guān)資源及規(guī)劃與業(yè)務(wù)的發(fā)展規(guī)模緊密相關(guān)，故項目在規(guī)劃設(shè)計時充分考慮彈性可擴(kuò)展，本次方案設(shè)計在支撐能力上的相關(guān)指標(biāo)包括：技術(shù)系統(tǒng)方面：具備最高10000人直播視頻并發(fā)支撐能力（需對接CDN）具備每天10萬視頻瀏覽量（VV）的業(yè)務(wù)支撐能力具備每天20萬頁面瀏覽量（PV）的業(yè)務(wù)支撐能力具備20TB在線視頻存儲發(fā)布能力具備同時20

7、路文件視頻并發(fā)轉(zhuǎn)碼能力；技術(shù)平臺實現(xiàn)對網(wǎng)站及移動APP的全面支撐項目背景及分析新媒體形態(tài)的快速發(fā)展2013年1月15日，中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布了第31次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告，報告顯示，截至2012年12月底，我國網(wǎng)民規(guī)模達(dá)到5.64億，互聯(lián)網(wǎng)普及率為42.1%；2012年我國手機(jī)網(wǎng)民數(shù)量為4.2億，年增長率達(dá)18.1%；網(wǎng)民中使用手機(jī)上網(wǎng)的比例也繼續(xù)提升，由69.3%上升至74.5%；家庭接入網(wǎng)絡(luò)比例超九成；截至2012年12月底，我國微博用戶規(guī)模為3.09億，較2011年底增長了5873萬，網(wǎng)民中的微博用戶比例達(dá)到54.7%。 手機(jī)微博用戶規(guī)模2.02億，占所有微

8、博用戶的65.6%；數(shù)據(jù)表明，手機(jī)、互聯(lián)網(wǎng)已覆蓋龐大的用戶人群，已經(jīng)成為廣大用戶獲取信息和生活娛樂的重要平臺，尤其在資訊等方面具備了比傳統(tǒng)媒體更快更便捷更靈活等特點，成為獲取資訊的主要途徑。傳統(tǒng)媒體面臨的挑戰(zhàn)隨著以互聯(lián)網(wǎng)為主要代表的新興媒體的不斷涌現(xiàn)和快速發(fā)展，內(nèi)容的來源、形式、生產(chǎn)及傳播也發(fā)生了翻天覆地的變化，用戶獲取內(nèi)容的要求也不斷提高，在廣度上用戶需要更加全面的內(nèi)容，在精度上用戶需要的是自己感興趣的內(nèi)容，在深度上用戶需要更加有價值的內(nèi)容，在速度上用戶需要最快最及時的內(nèi)容，在形式上內(nèi)容已不僅僅是單條的文字、圖文或者視頻的資訊，而是更廣泛意義上的內(nèi)容，內(nèi)容傳播的途徑、形態(tài)也成為內(nèi)容的組成部分

9、，用戶獲取內(nèi)容渠道也從原先的報紙、雜志、廣播、電視為主的傳統(tǒng)媒體擴(kuò)展到互聯(lián)網(wǎng)、智能電視、智能手機(jī)等形式的新媒體形態(tài)，傳統(tǒng)媒體與新媒體的并存融合形成了全媒體的全新格局。項目總體規(guī)劃設(shè)計技術(shù)平臺方案功能概要新媒體運營支撐平臺主要包括了以下內(nèi)容：在線視音頻處理及管理系統(tǒng)視音頻直播發(fā)布系統(tǒng)內(nèi)容集成運營及管理系統(tǒng)搜索引擎系統(tǒng)用戶管理及統(tǒng)一認(rèn)證系統(tǒng)技術(shù)運行及監(jiān)控管理系統(tǒng)第三方系統(tǒng)集成對接系統(tǒng)底層技術(shù)支撐平臺IDC機(jī)房資源通過以上技術(shù)及功能模塊的無縫整合，實現(xiàn)從內(nèi)容采集、標(biāo)準(zhǔn)化處理、存儲、產(chǎn)品化運營、多渠道發(fā)布的內(nèi)容全流程運營，平臺同時支撐網(wǎng)站及APP產(chǎn)品，平臺統(tǒng)一化。總體拓?fù)鋫渥ⅲ壕G色標(biāo)注部分為需求方系統(tǒng)

10、，非本項目內(nèi)容圖：系統(tǒng)模塊拓?fù)鋱D系統(tǒng)資源拓?fù)鋱D（部分模塊為選擇性模塊）系統(tǒng)總體架構(gòu)拓?fù)浞譃榫酆显?、存儲云、集成云和分發(fā)云四大云服務(wù)邏輯系統(tǒng)組合，聚合云主要負(fù)責(zé)實現(xiàn)內(nèi)容源的采集匯聚和標(biāo)準(zhǔn)化工作，存儲云主要負(fù)責(zé)經(jīng)過采集云標(biāo)準(zhǔn)化后的內(nèi)容的存儲及日常管理，集成云主要是用于對已位于存儲云中的內(nèi)容資源進(jìn)行編輯、編排、組合處理，形成內(nèi)容產(chǎn)品，內(nèi)容產(chǎn)品的生產(chǎn)過程需要使用集成云中的數(shù)據(jù)分析系統(tǒng)進(jìn)行決策，成品的內(nèi)容產(chǎn)品及內(nèi)容業(yè)務(wù)通過分發(fā)云到達(dá)涵蓋電視、電腦、移動終端在內(nèi)的全平臺全終端。功能設(shè)計3.1.內(nèi)容采集及收錄系統(tǒng)內(nèi)容采集系統(tǒng)：作為一個需要為用戶提供大量鮮活資訊信息的新媒體服務(wù)平臺，內(nèi)容來源不能完全依靠自身產(chǎn)

11、出，那么一個能快速準(zhǔn)確自動跟蹤、采集數(shù)千家網(wǎng)絡(luò)媒體信息，擴(kuò)大新聞線索的采集組件就成為整個平臺的不可或缺的組成部分。一個高效、穩(wěn)定的采集系統(tǒng)應(yīng)該具備如下功能：支持多種采集源頭支持常規(guī)首頁、欄目頁、內(nèi)容三頁模式網(wǎng)站作為采集源支持單頁模式的網(wǎng)站采集源頭支持RSS、XML等形式的采集源頭支持多級轉(zhuǎn)向，多次跳轉(zhuǎn)才能訪問內(nèi)容的網(wǎng)站作為采集源支持如新浪微博、騰訊微博等主流社區(qū)媒體的互動信息采集源支持需要代理穿越才能訪問的采集源支持采集內(nèi)容的過濾和替換支持常規(guī)的關(guān)鍵字過濾和替換支持中英文采集內(nèi)容自動翻譯支持采集圖片及音視頻屬性的資源支持具備圖片及音視頻屬性的地址識別及下載支持迅雷、快車、QQ旋風(fēng)等專用格式的多

12、媒體地址識別及下載支持面向接口的內(nèi)容發(fā)布方式支持面向主流內(nèi)容管理系統(tǒng)、論壇的內(nèi)容發(fā)布支持?jǐn)U展面向第三方自有系統(tǒng)的內(nèi)容發(fā)布支持多種類型的采集模式支持用戶手工控制的采集制式支持無人工干預(yù)的定時自動采集模式硬件清單：序號所屬系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1內(nèi)容采集及收錄系統(tǒng)服務(wù)器互聯(lián)網(wǎng)內(nèi)容采集服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺2服務(wù)器收錄管理服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,

13、1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3服務(wù)器視頻編碼服務(wù)器雙路8核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口4臺4服務(wù)器采集及收錄數(shù)據(jù)庫服務(wù)器雙路4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺5存儲收錄視頻存儲20TB可用容量，雙控制器雙活，雙電源，24槽位1臺6工作站程序開發(fā)工作站CPU: i7-4770 內(nèi)存: 16 GB 1600 MHz D

14、DR3 硬盤:128G SSD 3T SATA 顯示器:24寸 LED 16:10 顯卡:GTX680 2 GB GDDR5顯存2臺7工作站視頻編輯工作站CPU:E5-1620 內(nèi)存:16G 硬盤:128G SSD 2T SATA 顯示器:24寸 LED 16:10 顯卡:GTX760 2G顯存2臺3.2.在線視音頻處理及管理系統(tǒng)系統(tǒng)基于B/S架構(gòu)的交互式設(shè)計，支持分布式管理方案及服務(wù)器集群，通過視頻管理中心統(tǒng)一管理節(jié)目資源索引和用戶數(shù)據(jù)，實現(xiàn)節(jié)目資源各服務(wù)器的共享和用戶信息統(tǒng)一的管理。系統(tǒng)支持PC、手機(jī)、機(jī)頂盒等不同終端的發(fā)布，不同客戶界面，統(tǒng)一后臺管理。系統(tǒng)設(shè)計遵循以下特性進(jìn)行設(shè)計開發(fā)：開

15、放性：系統(tǒng)可通過橫向增加轉(zhuǎn)碼機(jī)器 ，部署完成轉(zhuǎn)碼服務(wù)器相關(guān)配置后。該轉(zhuǎn)碼服務(wù)器可直接融入之前轉(zhuǎn)碼服務(wù)器集群以并行方式執(zhí)行指令。擴(kuò)展性：系統(tǒng)轉(zhuǎn)碼集群部分服務(wù)器支持靈活增減，以滿足變化的業(yè)務(wù)需求；集群化：系統(tǒng)支持集群計算模式對于高密度的轉(zhuǎn)碼業(yè)務(wù)，用戶可建立轉(zhuǎn)碼服務(wù)器集群來實現(xiàn)轉(zhuǎn)碼，系統(tǒng)支持自動為用戶實現(xiàn)任務(wù)的調(diào)度和監(jiān)控。自動化：數(shù)字內(nèi)容轉(zhuǎn)碼實現(xiàn)自動化，設(shè)置多監(jiān)控文件夾進(jìn)行不間斷掃描，當(dāng)出現(xiàn)新文件時，系統(tǒng)可根據(jù)相應(yīng)設(shè)置的轉(zhuǎn)碼格式進(jìn)行自動轉(zhuǎn)碼。自動轉(zhuǎn)碼生成的文件可與中央存儲或FTP服務(wù)器對接實現(xiàn)自動提交。多種預(yù)設(shè)格式：系統(tǒng)具備常用的多種預(yù)先轉(zhuǎn)碼設(shè)置，可根據(jù)需求調(diào)用，可使非轉(zhuǎn)碼專業(yè)人員無需復(fù)雜的轉(zhuǎn)碼參數(shù)

16、設(shè)置即可使用。同時支持自定義設(shè)置，豐富的轉(zhuǎn)碼參數(shù)可調(diào)，以滿足特定需求。安全性：系統(tǒng)滿足7x24小時不間斷運行的能力，在主管理服務(wù)器或某節(jié)點故障時自動備援。轉(zhuǎn)碼信息生成詳細(xì)記錄，有跡可循。監(jiān)控和日志：可通過管理節(jié)點進(jìn)行狀態(tài)監(jiān)控，提供監(jiān)控日志以進(jìn)行任務(wù)統(tǒng)計分析。硬件方面 從配套硬件的選用到整個軟件平臺的搭建，流媒體系統(tǒng)均遵循保障安全性的設(shè)計原則。在硬件允許的情況下，支持關(guān)鍵機(jī)器、關(guān)鍵部件冗余，從故障板卡到備份板卡會自動切換；支持不同業(yè)務(wù)轉(zhuǎn)發(fā)板的端口備份；從主用電源到備用電源自動切換，不會引起業(yè)務(wù)的中斷；滿配的設(shè)備冷啟動后應(yīng)該在30分鐘內(nèi)完全正常運作；在有冗余配置的情況下，從機(jī)箱中抽走控制板卡時及重

17、新插入控制板卡時，設(shè)備能夠繼續(xù)轉(zhuǎn)發(fā)流量，核心設(shè)備主要包括：轉(zhuǎn)碼服務(wù)器用途：負(fù)責(zé)執(zhí)行轉(zhuǎn)碼任務(wù)，每臺轉(zhuǎn)碼服務(wù)器支持10路并發(fā)轉(zhuǎn)碼任務(wù)，負(fù)責(zé)按照轉(zhuǎn)碼配置將源視頻轉(zhuǎn)碼成不同碼流不同格式的視頻文件。數(shù)據(jù)庫服務(wù)器用途：視頻點播系統(tǒng)所有數(shù)據(jù)及用戶系統(tǒng)等最終存放的數(shù)據(jù)庫，包括用戶點播記錄、服務(wù)器監(jiān)控數(shù)據(jù)記錄等，支持讀寫分離，歸檔供數(shù)據(jù)分析用。文件上傳服務(wù)器用途：支持用戶端及其他頁面及應(yīng)用端視音頻上傳并進(jìn)入轉(zhuǎn)碼，支持1G以下視頻上傳，支持?jǐn)帱c續(xù)傳。流媒體點播及播放器管理服務(wù)器用途：配置流媒體點播管理系統(tǒng)相關(guān)功能及播放器統(tǒng)一管理功能,該服務(wù)器通過對Webservice的配置實現(xiàn)對點播視頻文件的發(fā)布支持，支持htt

18、p播放及視頻播放拖動功能。 CDN同步推送服務(wù)器用途：將轉(zhuǎn)碼完成的視頻文件推送至CDN廠商或指定的推送目的地軟件方面在線視頻處理及管理系統(tǒng)用于對內(nèi)容進(jìn)行數(shù)字化，并將數(shù)字化內(nèi)容通過轉(zhuǎn)碼，滿足新媒體應(yīng)用及數(shù)字媒資檔案備檔。平臺應(yīng)支持所有目前常用的國際標(biāo)準(zhǔn)格式，使媒體應(yīng)用不受限制。系統(tǒng)具有手動設(shè)置轉(zhuǎn)碼參數(shù)，管理轉(zhuǎn)碼服務(wù)器，查看轉(zhuǎn)碼任務(wù)，選取轉(zhuǎn)碼文件，支持并發(fā)轉(zhuǎn)碼等功能。功能要點描述：支持多種音視頻格式轉(zhuǎn)碼輸入視頻文件編碼（切片模式）：H.264-flv/H.264-mp4/mpg輸入視頻文件（不切片模式）：H.264-flv/H.264-mp4/f4v/mpg/rmvb/avi/mkv輸入音頻文件編

19、碼：mp3、AAC輸出文件：H.264-flv/ H.264-mp4/ H.264-ts/MP3等。只轉(zhuǎn)封裝：支持不轉(zhuǎn)碼直接轉(zhuǎn)封裝純視頻/音頻輸出：當(dāng)視頻碼率為0，只輸出音頻；當(dāng)音頻碼率為0，只輸出視頻設(shè)置轉(zhuǎn)碼參數(shù)用戶可以控制轉(zhuǎn)碼過程和目標(biāo)文件的各個參數(shù)，用戶可以自行添加視頻文件格式，可選擇或手動輸入目標(biāo)文件格式，視頻幀率，視頻分辨率，視頻編碼格式，視頻碼流，音頻編碼格式，音頻碼流，音頻聲道，視頻采樣頻率，音頻采樣精度以及截圖數(shù)量。用戶也可修改或刪除已添加成功的碼流參數(shù)。預(yù)設(shè)集：支持多種預(yù)設(shè)集。包括轉(zhuǎn)碼預(yù)設(shè)集，水印預(yù)設(shè)集和截圖預(yù)設(shè)集支持1-Pass 或2-Pass 轉(zhuǎn)碼FTP支持文件存儲方式：

20、輸入為FTP/HTTP，輸出為FTP。多FTP存儲：支持多FTP服務(wù)器輸入輸出，源在不同的FTP服務(wù)器，輸出到不同的FTP服務(wù)器。存儲管理：可管理FTP目錄，將文件上傳到FTP后，可批量提交任務(wù)。查看轉(zhuǎn)碼任務(wù)用戶可查看轉(zhuǎn)碼任務(wù)，轉(zhuǎn)碼任務(wù)包括待轉(zhuǎn)碼，正在轉(zhuǎn)碼，已轉(zhuǎn)碼，轉(zhuǎn)碼失敗的文件，用戶可查詢，搜索視頻的狀態(tài)，并可對視頻進(jìn)行刪除，重試等的操作?？梢栽诮缑嫔蠀R報每個切片的轉(zhuǎn)碼進(jìn)度。界面上直接預(yù)覽結(jié)果。管理轉(zhuǎn)碼服務(wù)器用戶可添加，修改，刪除有關(guān)轉(zhuǎn)碼服務(wù)器的信息。支持設(shè)置轉(zhuǎn)碼任務(wù)的優(yōu)先級：高，普通，低。水印支持水印，可設(shè)置水印的位置、對齊方式和尺寸。自動截圖支持在轉(zhuǎn)碼/轉(zhuǎn)封裝同時截圖。溢出檢測當(dāng)輸出視頻

21、的尺寸或碼率大于源視頻時，使用源視頻的尺寸和碼率。播放器管理：播放器支持各種常見功能，可通過后臺自定義管理，實現(xiàn)自定義臺標(biāo)、廣告代碼嵌入、滾動文字等信息的配置和管理。具備完善對外接口。技術(shù)標(biāo)準(zhǔn)：基于B/S結(jié)構(gòu)Mysql數(shù)據(jù)庫及PHP環(huán)境Unix內(nèi)核操作系統(tǒng)環(huán)境支持NoSQL數(shù)據(jù)庫設(shè)備清單：序號所屬系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1在線視音頻處理及管理系統(tǒng)服務(wù)器轉(zhuǎn)碼服務(wù)器雙路8核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口最高同時支持20路并發(fā)2臺2服務(wù)器流媒體點播發(fā)布服務(wù)器雙路4

22、核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺3服務(wù)器文件上傳服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口4服務(wù)器數(shù)據(jù)庫服務(wù)器雙路4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺5存儲在線視頻存儲15TB可用容量，雙控制器雙活，雙電源，24槽

23、位1臺3.3. 內(nèi)容集成運營及管理系統(tǒng)作為網(wǎng)站對外發(fā)布運營平臺，包含了前臺內(nèi)容發(fā)布和后臺管理，前臺內(nèi)容發(fā)布主要包括：圖文內(nèi)容、視頻內(nèi)容、專題頁面；后臺管理主要包括：內(nèi)容管理、媒資管理、頁面模版管理、用戶管理、專題管理、投票報名功能管理、互動評論留言管理、廣告管理等，系統(tǒng)設(shè)計遵循以下原則：安全性原則系統(tǒng)嚴(yán)格采用前后臺分離的方式，前臺頁面發(fā)布為外網(wǎng)可訪問，后臺管理系統(tǒng)僅內(nèi)網(wǎng)可訪問；前臺頁面具備防篡改功能，防止外網(wǎng)上發(fā)布的頁面被篡改；后臺管理系統(tǒng)具備登陸權(quán)限控制，防止后臺系統(tǒng)的非法登陸，保證除了后臺登陸頁面外，其他程序頁面、陌生人都無法直接訪問；數(shù)據(jù)庫安全，保證數(shù)據(jù)的安全及系統(tǒng)的安全；嚴(yán)格把控前臺頁

24、面上的腳本所帶來的注入攻擊的風(fēng)險，保證前臺腳本語言的安全；密碼安全，對所有的密碼需要實時嚴(yán)格的安全策略，防止密碼被泄露及暴力破解；具備完善的日志功能，包括系統(tǒng)的日志和用戶的操作日志，便于對系統(tǒng)及用戶行為的跟蹤和監(jiān)控，保證編輯內(nèi)容發(fā)布的安全；具備敏感詞過濾功能，通過系統(tǒng)層面對發(fā)布的內(nèi)容進(jìn)行過濾，保障內(nèi)容發(fā)布的安全；可自定義工作流程，通過設(shè)置審核環(huán)節(jié)，保障內(nèi)容發(fā)布的安全；大數(shù)據(jù)原則網(wǎng)站能承擔(dān)海量數(shù)據(jù)，至少是千萬級別的數(shù)據(jù)量，可上億，在大數(shù)據(jù)量的情況下能保證系統(tǒng)的使用效率，信息顯示、頁面生成不隨數(shù)據(jù)庫的增大而產(chǎn)生效率的下降；具備靈活的配置策略，頁面可以是靜態(tài)頁面，可以是偽靜態(tài)頁面，可以是動態(tài)頁面，并

25、可通過設(shè)置靜態(tài)頁面的數(shù)量、偽靜態(tài)頁面數(shù)量及動態(tài)頁面數(shù)量，保證大數(shù)據(jù)環(huán)境下頁面生成、訪問的效率；系統(tǒng)具備對數(shù)據(jù)庫的讀寫分離功能，保證后臺系統(tǒng)在大數(shù)據(jù)訪問下的效率及其系統(tǒng)的穩(wěn)定；數(shù)據(jù)表可分表，大數(shù)據(jù)量情況下需采用分表的設(shè)計才能保障其訪問的效率及數(shù)據(jù)量的無限級增長；在考慮了內(nèi)容的大數(shù)據(jù)情況下，支持考慮圖片的海量數(shù)據(jù)，圖片除了有原圖外還具備縮略圖，除了擁有靜態(tài)縮略功能外，還具備動態(tài)縮略功能。海量圖片為保證訪問效率需具備多域名發(fā)布功能。具備高效、靈活的全文檢索性能，保證編輯內(nèi)容運維的效率。高可擴(kuò)展性原則網(wǎng)站除了能提供基本的內(nèi)容管理等功能外，還具有高擴(kuò)展性，系統(tǒng)管理員可通過后臺建表、建字段、建模型、建模版

26、，實現(xiàn)各種適合后續(xù)擴(kuò)展的需求；后臺支持插件功能，方便后續(xù)新增功能的嵌入；具備開放式的接口，可實現(xiàn)同不同系統(tǒng)的對接，如采集系統(tǒng)、視頻管理系統(tǒng)等，能夠方便的接入各種系統(tǒng)中的數(shù)據(jù)高可維護(hù)性原則擁有可視化模版制作功能，通過后臺系統(tǒng)，系統(tǒng)維護(hù)及美編人員可以方便的制作和維護(hù)頁面模版，便于后期網(wǎng)站的升級的改版；信息可歸檔，對于較舊得信息，可以進(jìn)行數(shù)據(jù)歸檔，使系統(tǒng)的穩(wěn)定性和效率更高；后臺系統(tǒng)具備完善的配置功能，實現(xiàn)各種功能及應(yīng)用系統(tǒng)的高度可配置，方便后續(xù)的維護(hù)管理；可實現(xiàn)多級用戶權(quán)限與內(nèi)容管理的支持，不同的用戶權(quán)限可靈活配置管理及發(fā)布的權(quán)限，實現(xiàn)分層式管理。功能特點簡述：內(nèi)容管理具備較好所見即所得文本編輯器，

27、支持多媒體內(nèi)容的編輯，可實現(xiàn)從網(wǎng)上粘貼的圖片自動保存本地，并可以在圖片指定位置添加指定水印。具備多層級的欄目結(jié)構(gòu)管理，支持欄目頁存儲目錄和內(nèi)容頁存儲目錄的自定義。媒資管理可有效管理所有的視頻、圖文、音頻等所有的新媒體資源，具備分類檢索、高級檢索等高效檢索功能，方便、快捷的滿足編輯對所有資源的查找，并能實現(xiàn)同內(nèi)容管理功能的互通。頁面模版管理所有頁面以模版化的方式進(jìn)行維護(hù)和管理，編輯可通過此功能方便的進(jìn)行頁面樣式調(diào)整，該功能簡單直觀，即具有標(biāo)簽?zāi)Ｊ降暮唵文Ｊ剑志邆涓呒壍某绦蚨ㄖ颇Ｊ?。用戶管理可管理后臺編輯用戶及前臺會員，通過權(quán)限配置分配用戶后臺編輯及維護(hù)功能，可支持前臺會員的信息投稿及訪問權(quán)限。

28、設(shè)備清單：序號所屬系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1內(nèi)容集成運營及管理系統(tǒng)服務(wù)器數(shù)據(jù)庫服務(wù)器雙路4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3臺2服務(wù)器后臺管理服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺3服務(wù)器Web發(fā)布服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+

29、0,512Mcache/雙電源/雙千兆網(wǎng)口2臺4服務(wù)器圖片及接口服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口5服務(wù)器緩存服務(wù)器4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺6存儲Nas存儲復(fù)用視頻存儲0臺（資料轉(zhuǎn)自）3.4. 搜索引擎系統(tǒng)面向大量用戶及海量數(shù)據(jù)的新媒體服務(wù)平臺，用戶要在海量內(nèi)容中查找自己所需的新聞信息，就像大海撈針一樣困難，因而搜索引擎是

30、必不可少的支撐組件。搜索引擎通過匯聚各種內(nèi)容再經(jīng)過加工處理后建立信息數(shù)據(jù)庫和索引數(shù)據(jù)庫從而對用戶提出的各種檢索做出響應(yīng)，提供給用戶所需的內(nèi)容，本方案所涉所有引擎方案除能滿足需求書要求外，還具備以下特點：本系統(tǒng)是一個基于SQL的全文檢索引擎，可以結(jié)合MySQL,PostgreSQL做全文搜索，它可以提供比數(shù)據(jù)庫本身更專業(yè)的搜索功能，使得應(yīng)用程序更容易實現(xiàn)專業(yè)化的全文檢索。系統(tǒng)特別為一些腳本語言設(shè)計搜索API接口，如PHP,Python,Perl,Ruby等，同時為MySQL也設(shè)計了一個存儲引擎插件。單一索引最大可包含1億條記錄，在1千萬條記錄情況下的查詢速度為0.x秒（毫秒級）。Sphinx創(chuàng)建

31、索引的速度為：創(chuàng)建100萬條記錄的索引只需 34分鐘，創(chuàng)建1000萬條記錄的索引可以在50分鐘內(nèi)完成，而只包含最新10萬條記錄的增量索引，重建一次只需幾十秒。主要特性包括：高速索引 (在新款CPU上,近10 MB/秒);高速搜索 (2-4G的文本量中平均查詢速度不到0.1秒);高可用性 (單CPU上最大可支持100 GB的文本,100M文檔);提供良好的相關(guān)性排名支持分布式搜索;提供文檔摘要生成;提供從MySQL內(nèi)部的插件式存儲引擎上搜索支持布爾,短語, 和近義詞查詢;支持每個文檔多個全文檢索域(默認(rèn)最大32個);支持每個文檔多屬性;支持?jǐn)嘣~;支持單字節(jié)編碼與UTF-8編碼;設(shè)備清單：序號所屬

32、系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1搜索引擎系統(tǒng)服務(wù)器索引服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺2服務(wù)器檢索服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3服務(wù)器數(shù)據(jù)庫服務(wù)器雙路4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口

33、2臺3.5.用戶管理及統(tǒng)一認(rèn)證系統(tǒng)用戶管理系統(tǒng)軟件用來實現(xiàn)網(wǎng)站及多程序注冊用戶的管理功能。主要功能包括：用戶認(rèn)證及管理系統(tǒng)用戶管理系統(tǒng)至此后用戶的注冊，登陸，信息驗證等功能。后臺可以保存用戶的所有注冊信息，通過驗證后完成注冊；后臺可以對用戶的訪問權(quán)限進(jìn)行設(shè)置，可以禁止指定用戶對網(wǎng)站的訪問；用戶管理后臺有強(qiáng)大的用戶信息分組和查詢功能，支持按照用戶的信息給用戶分組，支持后臺多條件搜索功能。用戶數(shù)據(jù)統(tǒng)計及行為記錄用戶管理系統(tǒng)支持記錄用戶訪問網(wǎng)站或程序的各種行為數(shù)據(jù)。主要包括用戶對圖文和視頻的訪問記錄，評論、分享等行為的記錄等。多應(yīng)用用戶認(rèn)證系統(tǒng)用戶管理系統(tǒng)支持網(wǎng)站和多平臺app程序的統(tǒng)一用戶認(rèn)證。網(wǎng)

34、站和各平臺的多個app程序擁有同一個用戶管理后臺。用戶賬戶積分系統(tǒng)用戶管理軟件后臺擁有一套統(tǒng)一的用戶積分管理系統(tǒng)。針對用戶訪問網(wǎng)站和App程序的相應(yīng)行為會有一套積分制度，用戶管理軟件支持多平臺多應(yīng)用業(yè)務(wù)的統(tǒng)一積分管理系統(tǒng)。第三方認(rèn)證接入系統(tǒng)支持新浪微博，QQ等主流社交平臺的“一鍵登錄”功能。設(shè)備清單：序號所屬系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1用戶管理及統(tǒng)一認(rèn)證系統(tǒng)服務(wù)器用戶認(rèn)證服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口2臺2服務(wù)器用戶管理服務(wù)器雙路4核CPU/16

35、G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3服務(wù)器數(shù)據(jù)庫服務(wù)器雙路4核CPU/32G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3臺3.6.技術(shù)運行及監(jiān)控管理系統(tǒng)該系統(tǒng)通過數(shù)據(jù)采集模塊采集各設(shè)備運行信息，在數(shù)據(jù)采集上，支持SNMP、HTTP及定制化腳本等采集模式。通過人工配置報警閥值，當(dāng)運行信息觸到報警閥值時，即會通過觸發(fā)器，調(diào)用相關(guān)模塊發(fā)出報警信息，可支持EMAIL、聲音等報警方式。另外還支持圖

36、形展示和報表統(tǒng)計功能，可定期針對不同業(yè)務(wù)和不同服務(wù)制作相關(guān)統(tǒng)計分析報表。穩(wěn)定高質(zhì)量不間斷的優(yōu)質(zhì)服務(wù)是新媒體在線服務(wù)的基礎(chǔ)，而一個龐大的技術(shù)系統(tǒng)要能保證長期的穩(wěn)定運轉(zhuǎn)一方面需要有卓越的總體架構(gòu)，但再完善的系統(tǒng)都會有出問題的時候，所以運行管理及監(jiān)控是不可或缺的，而面對這樣龐大的技術(shù)系統(tǒng)純粹靠人工來進(jìn)行管理和監(jiān)控是無法做到的，這就需要一個強(qiáng)大完善的運行管理和監(jiān)控系統(tǒng)來支撐，該系統(tǒng)主要具備以下功能：日常技術(shù)系統(tǒng)及設(shè)備運行數(shù)據(jù)的實時采集統(tǒng)計 通過對技術(shù)系統(tǒng)及設(shè)備運行數(shù)據(jù)設(shè)定相應(yīng)閾值進(jìn)行預(yù)警和報警實現(xiàn)日常技術(shù)資源的使用狀況的統(tǒng)計并指導(dǎo)資源配置實現(xiàn)用戶側(cè)應(yīng)用服務(wù)狀態(tài)的監(jiān)測實現(xiàn)日常業(yè)務(wù)流程的管理管控基于WEB

37、界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能能監(jiān)視各種網(wǎng)絡(luò)參數(shù)，保證服務(wù)器系統(tǒng)的安全運營；并提供靈活的通知機(jī)制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。可以通過ping，端口監(jiān)視等方法提供對遠(yuǎn)程服務(wù)器/網(wǎng)絡(luò)狀態(tài)的監(jiān)視，數(shù)據(jù)收集等功能?？赏瓿蓪τ布畔⒒蚺c操作系統(tǒng)有關(guān)的內(nèi)存，CPU，硬盤等信息的收集?？啥ㄖ苹瘜崿F(xiàn)日常系統(tǒng)及應(yīng)用變更更新的管理及其它監(jiān)控項。設(shè)備清單：序號所屬系統(tǒng)設(shè)備分類設(shè)備名稱性能要求數(shù)量單位1技術(shù)運行監(jiān)控系統(tǒng)服務(wù)器監(jiān)控應(yīng)用服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙

38、千兆網(wǎng)口2臺2服務(wù)器數(shù)據(jù)庫服務(wù)器雙路4核CPU/16G ECC內(nèi)存/300G SAS*2/1TB SATA*2/ RAID卡支持/raid0,1,5,1+0,512Mcache/雙電源/雙千兆網(wǎng)口3.7.基礎(chǔ)運行及接入訪問支撐系統(tǒng)該系統(tǒng)主要屬于網(wǎng)絡(luò)中心機(jī)房建設(shè)范疇，不僅集建筑、電氣、安裝、網(wǎng)絡(luò)于一體，更需要豐富的工程實施和項目管理經(jīng)驗。基礎(chǔ)運行及接入訪問支撐系統(tǒng)要求能防靜電、UPS不間斷電源、良好的空調(diào)制冷系統(tǒng)、良好的空氣循環(huán)系統(tǒng)、防雷措施、監(jiān)控系統(tǒng)、消防系統(tǒng)及網(wǎng)絡(luò)安全措施等，此處僅涉及網(wǎng)絡(luò)安全系統(tǒng)層面要求。對IDC系統(tǒng)而言，高可用和安全永遠(yuǎn)是必不可少的重要需求。IDC系統(tǒng)的核心均是業(yè)務(wù)數(shù)據(jù)，

39、網(wǎng)絡(luò)作為承載層需要保證運行于其上的數(shù)據(jù)的安全性與可用性，尤其是在網(wǎng)絡(luò)節(jié)點鏈路發(fā)生故障情況下要確保業(yè)務(wù)可用與數(shù)據(jù)零丟失。為此要求整個系統(tǒng)能實現(xiàn)多機(jī)負(fù)載均衡、網(wǎng)絡(luò)安全防范能力及系統(tǒng)可擴(kuò)展性。要求該系統(tǒng)從ISP線路接入交換機(jī)后，外部用戶訪問通過防火墻安全訪問控制等安全策略，到達(dá)負(fù)載均衡實現(xiàn)公網(wǎng)地址NAT到達(dá)內(nèi)網(wǎng)交換機(jī)，并實現(xiàn)多機(jī)負(fù)載均衡和應(yīng)用狀態(tài)檢測。整個接入部分實現(xiàn)雙鏈路的網(wǎng)絡(luò)結(jié)構(gòu)，雙鏈路的各設(shè)備間均配置心跳線，當(dāng)某一鏈路出現(xiàn)故障無法連通時，即可實現(xiàn)自動檢測切換至備路提供服務(wù)的功能。負(fù)載均衡本方案負(fù)載均衡具備如下功能：鏈路健康檢查，通過開啟鏈路健康檢查功能，保障了鏈路的工作狀態(tài)。當(dāng)單條鏈路出現(xiàn)問題

40、時可以快速判斷并進(jìn)行自動切換。當(dāng)鏈路恢復(fù)時，并自動恢復(fù)鏈路。提供多臺服務(wù)器的負(fù)載均衡功能。通過智能識別檢查服務(wù)，使整體應(yīng)用持續(xù)穩(wěn)定運行，即便發(fā)生單點或多點故障仍然能夠保證正常提供服務(wù)。對外IP地址NAT功能，隱藏內(nèi)部IP，保障內(nèi)部網(wǎng)絡(luò)安全。網(wǎng)管遠(yuǎn)程設(shè)備維護(hù)，通過開啟遠(yuǎn)程網(wǎng)管功能，網(wǎng)管維護(hù)人員在外網(wǎng)也能夠?qū)υO(shè)備進(jìn)行遠(yuǎn)程安全維護(hù)操作，保障應(yīng)用系統(tǒng)的高可靠性。支持四層、七層負(fù)載均衡。每秒處理轉(zhuǎn)發(fā)量達(dá)到160kReqs/s支持HTTP壓縮，包過濾及鏈路負(fù)載均衡等。支持對接第三方監(jiān)控系統(tǒng)功能支持配置及應(yīng)用故障日志功能。雙電源功能。滿足通用電器設(shè)備標(biāo)準(zhǔn)。負(fù)載均衡策略上支持session保持功能。支持cac

41、he功能。支持針對HTTP Host的單獨策略防火墻方案部署成HA高可用模式，通過心跳檢測，發(fā)現(xiàn)網(wǎng)絡(luò)鏈路主路出現(xiàn)故障，可快速切換至備路接管網(wǎng)絡(luò)服務(wù)。同時可對內(nèi)部設(shè)備進(jìn)行訪問控制和相關(guān)DDOS檢測防護(hù)功能。詳細(xì)功能包括：支持透明、路由、混合三種工作模式，支持源路由、目的路由、源接口路由、ISP路由、策略路由，支持NAT、PAT，支持VLAN、Vswitch、Vrouter、Virtual-Wire，支持基于安全域、地址、用戶/用戶組、服務(wù)、應(yīng)用、時間的安全策略應(yīng)用特征庫可通過網(wǎng)絡(luò)實時更新 支持在線抓包工具和ping,traceroute等基礎(chǔ)網(wǎng)絡(luò)測試工具支持系統(tǒng)事件日志、告警日志、網(wǎng)絡(luò)日志、流量日志、配置日志的記錄及審計支持日志輸出/發(fā)送到console、日志服務(wù)器、Web郵件、文件和終端 最大帶寬限制和最小帶寬保證業(yè)務(wù)鏈路中網(wǎng)絡(luò)節(jié)點提供連通性和可用性的主動檢測對Web、Mail、FTP、LDAP、DNS等多種關(guān)鍵業(yè)務(wù)提供基于業(yè)務(wù)的可用性主動檢測通過全網(wǎng)健康評估體系，對主動檢測信息進(jìn)行數(shù)據(jù)挖掘和關(guān)聯(lián)分析，計算全網(wǎng)健康指數(shù)，生成檢測報告根據(jù)安全域、接口、地址、用戶/用戶組、服務(wù)/服務(wù)組、應(yīng)用/應(yīng)用組、TOS、Vlan等信息劃分管道交換機(jī)方案部署為HA模式，V