科技報告正文模板.doc

精品文檔目 錄一 引言部分：31.描述研究背景和意義32.前期研究基礎(chǔ)33課題申請單位及主要參與單位研究基礎(chǔ)54.研究范圍和目標6目標1：音視頻編碼技術(shù)與數(shù)據(jù)封裝技術(shù)的技術(shù)難點的突破6目標2：智能視頻內(nèi)容分析主要的技術(shù)難點的突破75.研究思路和總體方案7二 主體部分81課題研究內(nèi)容、技術(shù)路線和創(chuàng)新點91）研究內(nèi)容92）課題實施的基本原則92. 課題的技術(shù)路線10（1）TMEncoder高清視頻采集編碼器10（2）iGuide虛擬播出系統(tǒng)12（3）iVision多點控制展示系統(tǒng)14（4）iSearch視頻資訊搜索系統(tǒng)16（5）iSee視頻資訊展示系統(tǒng)17（6）iPai、iPlay、iStudio等其他產(chǎn)品223.電視數(shù)據(jù)智能采集處理及分析平臺22（一）生產(chǎn)平臺方案22（二）資源存儲管理和服務(wù)方案24三 結(jié)論部分30插 圖 清 單此處插入插圖清單附 表 清 單此處插入附表圖清單正 文一 引言部分：1.描述研究背景和意義1）多終端、跨平臺具有良好兼容性與可擴展性的音視頻編碼技術(shù)及數(shù)據(jù)封裝技術(shù)：多媒體終端種類越來越多，各終端采用的操作系統(tǒng)各不相同，各網(wǎng)絡(luò)電視運營商所采用的網(wǎng)絡(luò)電視播控模式、媒體數(shù)據(jù)傳輸方式也各有不同。這導(dǎo)致不同終端能正確接收和播放的音視頻數(shù)據(jù)格式以及傳輸協(xié)議也各有不同，這就需要電視制作時提供各種不同格式及不同封裝的視頻內(nèi)容以適配不同終端。另外，為了保證視頻節(jié)目內(nèi)容在未來的良好擴展性，確保在新終端和新系統(tǒng)亦能正確播放，需要在節(jié)目制作時考慮視頻格式和封裝的良好的平臺通用性。2）智能視頻內(nèi)容分析及理解：通過剖析當前視頻內(nèi)容分析中的人工編目和線性瀏覽及回溯方式已經(jīng)遠遠不能滿足海量增長電視節(jié)目的處理、現(xiàn)有的視頻內(nèi)容分析系統(tǒng)效率低、性能不高、魯棒性低等不足，在現(xiàn)有較好積累的基礎(chǔ)上，提出更高效的識別算法和檢索技術(shù)解決并完善現(xiàn)有平臺的處理和分析性能。2.前期研究基礎(chǔ)1國內(nèi)外現(xiàn)有技術(shù)、知識產(chǎn)權(quán)和技術(shù)標準現(xiàn)狀及預(yù)期分析在視頻轉(zhuǎn)碼方面，傳統(tǒng)的視頻轉(zhuǎn)碼技術(shù)根據(jù)需求可以分為四大類：比特率轉(zhuǎn)換、分辨率轉(zhuǎn)換、幀率轉(zhuǎn)換和格式轉(zhuǎn)換。為了適應(yīng)不同播控平臺、網(wǎng)絡(luò)帶寬和終端，在實際轉(zhuǎn)碼中往往需要綜合應(yīng)用多種視頻轉(zhuǎn)碼技術(shù)。而國內(nèi)外相關(guān)專家的研究工作，往往僅立足于某一種視頻轉(zhuǎn)碼技術(shù)，他們并沒有考慮到與其他技術(shù)的兼容性問題。因此在實際工程應(yīng)用中，主流的轉(zhuǎn)碼做法采用全解全編的方式，即對原音視頻數(shù)據(jù)完全解碼，重建原始音視頻數(shù)據(jù)，然后根據(jù)輸出碼流的參數(shù)對音視頻數(shù)據(jù)進行完全的編碼。這種方式可以適應(yīng)各種轉(zhuǎn)碼需求，但由于采用了完全編碼的方式，其中計算復(fù)雜度較高的模塊如運動估計、宏塊模式判決等將浪費大量的計算資源，造成轉(zhuǎn)碼速度不快。通常一個單核的CPU只能實時完成一路標清視頻的轉(zhuǎn)碼工作。另一方面，流媒體播控平臺在不同的操作系統(tǒng)中所支持的流格式并不完全相同，譬如：iOS系統(tǒng)不支持FLV格式的視頻，而FLV對H.264的支持也不好。為了保證流媒體播控平臺的良好兼容性，近年推出了基于HTML5的流媒體播控協(xié)議，它采用HTTP方式進行視頻數(shù)據(jù)傳輸，用戶在Web頁面中通過調(diào)用本地播放器對音視頻數(shù)據(jù)進行播放，它不再需要用戶安裝獨立的客戶端進行視頻瀏覽，降低了網(wǎng)絡(luò)電視運營商對平臺的維護難度，可以實現(xiàn)播控平臺的跨平臺業(yè)務(wù)。同時，MPEG組織與2011年發(fā)布了基于HTTP的自適應(yīng)流規(guī)范草案（Dynamic Adaptive Streaming of HTTP，DASH）。它將同一內(nèi)容的多中規(guī)格的音視頻數(shù)據(jù)流進行有效的復(fù)合封裝（如下圖所示），可以有效而靈活的在多種數(shù)據(jù)流間進行傳輸和控制，良好的解決了用戶在觀看音視頻節(jié)目時在屏間無縫切換的需求，可以較好的支持跨平臺、多終端適應(yīng)的網(wǎng)絡(luò)電視業(yè)務(wù)。DASH數(shù)據(jù)格式結(jié)構(gòu)圖在視頻內(nèi)容分析與理解方面，如何實現(xiàn)智能化的基于內(nèi)容的視頻分析一直是信息檢索領(lǐng)域中的研究熱點，其最終目標是實現(xiàn)基于語義的視頻檢索。經(jīng)過近二十年的努力，視頻檢索在感知特征的提取和表達、視頻結(jié)構(gòu)分析、視頻摘要、視頻索引建立等多個方面都取得了長足的進步，并出現(xiàn)了MediaMill、Informedia、Advent、QBIC等商用的圖像/視頻檢索系統(tǒng)，支持根據(jù)多種音視頻底層特征、草圖、示例圖片或視頻片段、以及關(guān)鍵詞來進行視頻查詢。值得指出的是，正是由于視頻檢索在信息檢索領(lǐng)域的重要性，從2003年開始，美國國家標準技術(shù)協(xié)會組織了專門針對視頻檢索的TRECVID國際權(quán)威測評。測評的任務(wù)包括鏡頭邊界檢測、攝像機運動檢測、語義視頻搜索、高層概念檢測、新聞視頻摘要、重復(fù)視頻檢測和監(jiān)控視頻的事件檢測等任務(wù)。目前參與TRECVID的大學(xué)和研究機構(gòu)已經(jīng)達到119家之多，分別來自北美、亞洲、歐洲、澳洲。北美的如IBM Watson研究中心、AT&T研究中心、卡耐基.梅隆大學(xué)、哥倫比亞大學(xué)的Advent小組、加州大學(xué)的Berkeley 、Santa Barbara、 San Diego分校等；歐洲的諸如荷蘭的MediaMill小組、英國Oxford大學(xué)、愛爾蘭都柏林大學(xué)，以及德國、法國等國的機構(gòu)。亞洲的日本、新加坡、印度等國、香港和臺灣地區(qū)。國內(nèi)如中科院、清華、北京郵電大學(xué)、華中科技大學(xué)、復(fù)旦、北京交通大學(xué)都是多次參與，并取得了很好的成績。2008年來北大、北航、上海交大、西安交大、浙大、天大、山大等也都陸續(xù)參加。另外，TRECVID還吸引了微軟亞洲研究院、東芝和Yahoo等著名的商業(yè)機構(gòu)，加快了視頻檢索技術(shù)向商業(yè)應(yīng)用的轉(zhuǎn)化。TRECVID 已成為國際視頻檢索領(lǐng)域的一個評價基準，基本反映了當今視頻檢索技術(shù)的最高水平，對推動視頻檢索的研究具有里程碑式的意義。目前，國內(nèi)外出現(xiàn)了一些視頻檢索相關(guān)的專利，但都不涉及本項目的海量電視節(jié)目的智能分析與處理，目前沒有國際和國內(nèi)相關(guān)標準。3課題申請單位及主要參與單位研究基礎(chǔ)本課題的負責單位天脈聚源（北京）傳媒科技有限公司自2008年以來一直致力于電視資訊云計算平臺的開發(fā)和相關(guān)核心技術(shù)的研究，在電視資訊采集、轉(zhuǎn)碼、視頻模式識別、語音識別和視頻內(nèi)容智能分析、云計算平臺建設(shè)方面形成豐富的技術(shù)經(jīng)驗積累。同時公司注重與高校、科研機構(gòu)的產(chǎn)學(xué)研結(jié)合，深度挖掘?qū)W術(shù)研究的價值，在語音識別、視頻模式識別研究方面形成一批具有重要應(yīng)用價值的科研成果。公司有專業(yè)研發(fā)工程師超過200人，投入到本項目團隊31人，其中博士2名，碩士3名，公司員工平均年齡28歲，擁有本項目各領(lǐng)域技術(shù)的高端人才。公司有超過2400平米的辦公室，在北京擁有嘉盛中心和雍和大廈兩處辦公場所，能夠為本項目項目組提供良好的開發(fā)環(huán)境。公司自創(chuàng)立以來已經(jīng)積累收錄了國內(nèi)外主要電視臺四年的數(shù)據(jù)，擁有超過600T的電視數(shù)據(jù)，目前每天能源源不斷地處理近200個頻道的電視數(shù)據(jù)，這些日益積累的數(shù)據(jù)在未來不具備再次獲取的可能，是天脈重要的資源積累，也是公司的核心資產(chǎn)，這一點很難超越。經(jīng)過長期的技術(shù)積累和對大量數(shù)據(jù)模式識別（語言、畫面）長期的訓(xùn)練，天脈當前的智能分析能力已經(jīng)達到一個較高水平，可以達到最高75%的識別準確率，而遍布全國的大規(guī)模分布式采集、處理與服務(wù)能力需要較長時間的技術(shù)磨合和積累，其余競爭對手短期內(nèi)難以達到。在市場方面天脈已經(jīng)占據(jù)了先機，當前已經(jīng)服務(wù)于網(wǎng)易、搜狐、騰訊、土豆網(wǎng)等幾乎所有的主要網(wǎng)絡(luò)門戶，在廣電方面中國教育電視臺、北京電視臺、上海文廣等主要機構(gòu)也均已采用了本項目的云計算服務(wù)。天脈為這些客戶提供了高性價比的、穩(wěn)定優(yōu)質(zhì)的服務(wù)，并進行了大量的系統(tǒng)對接工作，這一現(xiàn)狀將極大擠壓其余競爭對手的市場空間。在電視資訊智能挖掘分析和自動化處理方面，我們擁有了超過20項的專利和30多項著作權(quán)，并有多項專利正在提交中。課題參與單位北京郵電大學(xué)多媒體通信與模式識別實驗室在圖像識別、音視頻內(nèi)容分析及檢索，以及多媒體通信等方面，取得了一系列的研究成果。承擔了國家自然科學(xué)基金、國家重大計劃、863、國家計委、公安部和國防科工委等支持的重大科研項目，以及一系列與國內(nèi)、外企業(yè)合作的項目。在流媒體系統(tǒng)方面，實驗室先后完成IPTV播控系統(tǒng)、高效視頻轉(zhuǎn)碼、3D流媒體系統(tǒng)、通用監(jiān)控視頻接入和管理平臺以及視頻圖像質(zhì)量評測等課題。實驗室擁有完善通用視頻解碼庫，可實現(xiàn)現(xiàn)有各種標準音視頻壓縮流及主流數(shù)碼設(shè)備采集的音視頻數(shù)據(jù)流的正確解碼。實驗室具備完善的流媒體播控平臺，可支持多種流媒體播控和傳輸協(xié)議，并具有良好的QoS保障體系，實現(xiàn)音視頻的流暢播放。實驗室擁有高效實時的視頻轉(zhuǎn)碼器，可實現(xiàn)碼率轉(zhuǎn)換、分辨率轉(zhuǎn)換、幀率轉(zhuǎn)換和格式轉(zhuǎn)換等各種視頻轉(zhuǎn)碼需求，轉(zhuǎn)碼速度比全解全編框架提高近45%，可有效的生成適合不同終端設(shè)備的視頻數(shù)據(jù)流。在視音頻內(nèi)容分析與檢索方面，實驗室有著多年的研究積累,參加了國際權(quán)威TREC視頻檢索測評 （TRECVID)的鏡頭邊界檢測、同源視頻檢測和語義搜索等多項任務(wù)，獲得了優(yōu)異的成績，特別是在與本項目相關(guān)的語義視頻搜索任務(wù)中，2009年獲得第一，2010年獲得第二，2011年獲得第一,充分展現(xiàn)了上述成果在視頻檢索領(lǐng)域中的先進性。4.研究范圍和目標目標1：音視頻編碼技術(shù)與數(shù)據(jù)封裝技術(shù)的技術(shù)難點的突破為了制作適應(yīng)各種不同終端的音視頻數(shù)據(jù)，往往需要對同一內(nèi)容的音視頻節(jié)目進行多次壓縮編碼與數(shù)據(jù)封裝，以形成多種壓縮格式和封裝格式的音視頻數(shù)據(jù)流。由于音視頻數(shù)據(jù)量極其龐大，目前的編碼算法相對比較復(fù)雜，這將占用龐大的服務(wù)器資源。尤其是現(xiàn)在，隨著網(wǎng)絡(luò)帶寬的飛速發(fā)展，網(wǎng)絡(luò)電視中逐步開始提供更大分辨率的電視節(jié)目，如高清電視節(jié)目。目前實時編碼一路高清電視節(jié)目，需要將近2-3核的CPU同時工作。因此隨著終端設(shè)備和網(wǎng)絡(luò)帶寬的發(fā)展，節(jié)目錄制所需要的服務(wù)器資源將急速增加。降低音視頻節(jié)目錄制的計算復(fù)雜度，成為提高音視頻節(jié)目錄制效率的一個技術(shù)難點。按現(xiàn)行的節(jié)目錄制方式，音視頻節(jié)目在各地進行采集之后匯聚到云計算中心進行轉(zhuǎn)碼錄制。期間音視頻節(jié)目至少需要經(jīng)過2次以上的編碼過程，視頻質(zhì)量將由于二次編碼形成更大的質(zhì)量損失。因此，如何保持轉(zhuǎn)碼后的視頻圖像質(zhì)量，減少二次編碼產(chǎn)生的質(zhì)量下降也是音視頻轉(zhuǎn)碼中的一個核心技術(shù)。受操作系統(tǒng)的限制，不同終端可支持的流媒體播控平臺和文件格式各有不同，如果將同一內(nèi)容的不同規(guī)格的音視頻數(shù)據(jù)進行合理封裝，不同播控服務(wù)器均可以進行有效的調(diào)度和傳輸，可以減少編碼的工作量，并具備良好的擴展性。因此，音視頻數(shù)據(jù)的流化和封裝技術(shù)也成為流媒體系統(tǒng)的一項關(guān)鍵技術(shù)。本課題考慮到了現(xiàn)有系統(tǒng)的各方面需求，重點解決流媒體技術(shù)中視頻轉(zhuǎn)碼的計算復(fù)雜度高、二次編碼質(zhì)量損失大、跨平臺音視頻流封裝兼容性低的技術(shù)難題，提高海量音視頻節(jié)目制作的效率和質(zhì)量，提高音視頻節(jié)目流對各終端的適應(yīng)性。目標2：智能視頻內(nèi)容分析主要的技術(shù)難點的突破其主要難點在于有效視頻語義信息的提取和表達。具體來說，涉及到海量視頻的結(jié)構(gòu)化描述、視頻節(jié)目的自動編目、高層語義概念的檢測、還包括視頻廣告與節(jié)目的定位與拆條、在視頻索引建立的前提下的快速魯棒的視頻搜索等。5.研究思路和總體方案本課題將產(chǎn)生一批產(chǎn)品化程度高的專業(yè)產(chǎn)品和一個高性能、高效率的生產(chǎn)和運營平臺。本課題的主要技術(shù)難點也是我們的創(chuàng)新點是多種高端技術(shù)在視頻云計算平臺上的集成應(yīng)用。課題最終形成的產(chǎn)品成果包括：1. TMEncoder高清視頻采集編碼器2. iGuide虛擬播出系統(tǒng)3. iVision多點控制展示系統(tǒng)4. iSearch視頻資訊搜索系統(tǒng)5. iSee視頻資訊展示系統(tǒng)6. iPai、iPlay、iStudio等其他產(chǎn)品7. 課題形成的生產(chǎn)和服務(wù)平臺產(chǎn)品是：8. 電視數(shù)據(jù)智能采集處理及分析平臺2）課題實施的基本原則標準化遵循國際、國家以及行業(yè)標準，能夠與采用相同標準的相關(guān)系統(tǒng)平臺實現(xiàn)平滑對接。方案遵循的協(xié)議簇包括：DVB國際標準H.264/MPEG-4 AVC、AAC、MPEG2、MP3音視頻編碼標準TCP/IP協(xié)議HTTP協(xié)議RTMP協(xié)議SDI-SD/HD數(shù)據(jù)接口協(xié)議Restful Web Service規(guī)范完整性要求課題研究和開發(fā)內(nèi)容能夠完整解決整個項目所需的技術(shù)問題，保障項目正常實施，最終實現(xiàn)的成果能夠完整的實現(xiàn)預(yù)期目標。開放性遵循開放性設(shè)計原則，對內(nèi)部和外部系統(tǒng)提供規(guī)范、簡單的接口協(xié)議，能夠?qū)崿F(xiàn)系統(tǒng)間的高效連接。先進性語音識別、圖像識別、信息自動標引、文本自動分析、編碼、傳輸和播放實現(xiàn)過程中充分考慮技術(shù)的先進性和成熟性，能夠代表當前技術(shù)的主流和未來技術(shù)發(fā)展的方向。整個生產(chǎn)和運營平臺的架構(gòu)充分考慮當前主流的技術(shù)標準，能夠與第三方系統(tǒng)進行平滑對接。 經(jīng)濟性課題研究充分考慮運行成本，保障技術(shù)研究和項目實施具有較高的經(jīng)濟型。二 主體部分逐一論述各項研究內(nèi)容的研究方案、研究方法、研究過程、研究結(jié)果等信息，提供必要的圖、表、實驗及觀察數(shù)據(jù)等信息，并對使用到的關(guān)鍵裝置、儀表儀器、材料原料等進行描述和說明。1課題研究內(nèi)容、技術(shù)路線和創(chuàng)新點1）研究內(nèi)容本課題將產(chǎn)生一批產(chǎn)品化程度高的專業(yè)產(chǎn)品和一個高性能、高效率的生產(chǎn)和運營平臺。本課題的主要技術(shù)難點也是我們的創(chuàng)新點是多種高端技術(shù)在視頻云計算平臺上的集成應(yīng)用。課題最終形成的產(chǎn)品成果包括：l TMEncoder高清視頻采集編碼器l iGuide虛擬播出系統(tǒng)l iVision多點控制展示系統(tǒng)l iSearch視頻資訊搜索系統(tǒng)l iSee視頻資訊展示系統(tǒng)l iPai、iPlay、iStudio等其他產(chǎn)品l 課題形成的生產(chǎn)和服務(wù)平臺產(chǎn)品是：l 電視數(shù)據(jù)智能采集處理及分析平臺2）課題實施的基本原則標準化遵循國際、國家以及行業(yè)標準，能夠與采用相同標準的相關(guān)系統(tǒng)平臺實現(xiàn)平滑對接。方案遵循的協(xié)議簇包括：DVB國際標準H.264/MPEG-4 AVC、AAC、MPEG2、MP3音視頻編碼標準TCP/IP協(xié)議HTTP協(xié)議RTMP協(xié)議SDI-SD/HD數(shù)據(jù)接口協(xié)議Restful Web Service規(guī)范完整性要求課題研究和開發(fā)內(nèi)容能夠完整解決整個項目所需的技術(shù)問題，保障項目正常實施，最終實現(xiàn)的成果能夠完整的實現(xiàn)預(yù)期目標。開放性遵循開放性設(shè)計原則，對內(nèi)部和外部系統(tǒng)提供規(guī)范、簡單的接口協(xié)議，能夠?qū)崿F(xiàn)系統(tǒng)間的高效連接。先進性語音識別、圖像識別、信息自動標引、文本自動分析、編碼、傳輸和播放實現(xiàn)過程中充分考慮技術(shù)的先進性和成熟性，能夠代表當前技術(shù)的主流和未來技術(shù)發(fā)展的方向。整個生產(chǎn)和運營平臺的架構(gòu)充分考慮當前主流的技術(shù)標準，能夠與第三方系統(tǒng)進行平滑對接。 經(jīng)濟性課題研究充分考慮運行成本，保障技術(shù)研究和項目實施具有較高的經(jīng)濟型。2. 課題的技術(shù)路線本章節(jié)將詳細描述課題說涉及目標產(chǎn)品和平臺的技術(shù)方法。（1）TMEncoder高清視頻采集編碼器TMEncoder的設(shè)計目標是實現(xiàn)高清高性能的電視視頻的采集編碼。該設(shè)備是整個云計算平臺的信號輸入接口設(shè)備，要求在穩(wěn)定性、適配性和產(chǎn)品化程度上都能達到較高的水平。完成后的產(chǎn)品既可以作為整個系統(tǒng)的一個重要組成組件，也可以作為獨立的產(chǎn)品對外銷售，遵循國際國內(nèi)通用編碼器的輸入輸出規(guī)范。TMEncoder采用H.264編碼標準，使用國際領(lǐng)先的商用編碼器內(nèi)核。該編碼器在視頻編碼的質(zhì)量和效率上優(yōu)于眾多免費的開源編碼技術(shù)和價格昂貴的硬件編碼技術(shù)，能夠以512Kbps的碼率實現(xiàn)標清視頻編碼，在1Mbps1.5Mbps的帶寬范圍內(nèi)實現(xiàn)高清視頻編碼。編碼器提供超過100項的優(yōu)化編碼參數(shù)，Two-pass、雙向預(yù)測、動態(tài)GOP、幀變化智能檢測和最高High Profile/5.1 Level的H.264編碼能力，能夠保障向您的網(wǎng)絡(luò)中交付最佳質(zhì)量的視頻內(nèi)容。編碼器支持多種格式的視頻源，包括：1）衛(wèi)星和有線數(shù)字電視信號（DVB）；2）模擬電視信號；3）IP網(wǎng)絡(luò)信號；4）SDI/HDMI高清接口等。支持的輸入視頻格式包括：mpeg1/2/4、VC-1、H.264、RAW等，音頻格式包括mp2/3、AAC、AC-3等。支持高清編碼，畫面大小最高支持1080p，幀率25fps50fps。編碼器同時支持4路信號采集輸入，實時編碼。每路信號可同時輸出256Kbps、512Kbps、1Mbps三種碼流，碼流可采用Baseline，Main，High Profile規(guī)格編碼。音頻采用AAC-LC和AAC-Main方式編碼輸出48Kbps，采用Mpeg-TS復(fù)用后輸出。編碼輸出支持TS over HTTP (M3u8格式)、TS over UDP和RTMP over TCP多種方式。編碼器同時設(shè)置較大的存儲，內(nèi)置視頻播出服務(wù)，可以在采集編碼的同時提供直播和點播服務(wù)，支持7天內(nèi)時間段的視頻點播回看，支持10秒的視頻關(guān)鍵幀截圖。編碼器具有便捷簡單的WEB管理方式，能夠靈活配置各項編碼參數(shù)和發(fā)布參數(shù)，可以動態(tài)配置每個采集通道的業(yè)務(wù)項目。表 編碼器規(guī)格參數(shù)表輸入l 1路IP輸入，1000M網(wǎng)卡，接收DVB-C、DVB-S、MPEG over UDP信號輸入l 3路SDI-SD/HDl 可選HDMI、DVI、AV、S-Video、YUV、VGA編碼格式l 視頻: H.264，支持Baseline、Main、High Profile Level 5.1，支持高清、標清和超低碼率編碼l 音頻: MP3、MP2、AAC、AC3輸出l 9路TS over HTTPl 9路TS over UDPl 9路RTMP over TCPl TS File運行環(huán)境l 操作系統(tǒng)：64位 Linuxl 處理器：英特爾 至強 5600l 網(wǎng)絡(luò)：1GbE NC382i 多功能雙端口l 內(nèi)存：4GB PC3-10600R RDIMM DDR3l 外形：機架式2U系統(tǒng)結(jié)構(gòu)：圖 編碼器系統(tǒng)結(jié)構(gòu)圖功能特征： 頂級商用H.264和AAC編碼器，支持高清、標清、超低碼率編碼，支持H.264 Baseline/Main/High Profile 最高5.1 Level編碼配置。 攜帶支持SDI-HD/SD、HDMI、DVI多種輸入接口的高清數(shù)字采集卡。 內(nèi)置碎片化和流播出服務(wù)，對外提供RTMP、UDP、HTTP輸出接口。 同時3路信號輸入、3路高清實時編碼和9路直播流輸出。（2）iGuide虛擬播出系統(tǒng)虛擬播出技術(shù)為運營商在互聯(lián)網(wǎng)上構(gòu)造全新的播出頻道提供了最經(jīng)濟和最靈活的實現(xiàn)方案。該技術(shù)實現(xiàn)將視頻文件和直播流，編排成一路全新的頻道對外播出。運營商可以根據(jù)需要，將多個傳統(tǒng)電視頻道上的播出內(nèi)容和本地文件內(nèi)容按照新的EPG播出安排構(gòu)造網(wǎng)路電視頻道，通過這種應(yīng)用安排，運營商能夠突破傳統(tǒng)電視頻道播出內(nèi)容的限制，為終端用戶提供更豐富和更好體驗的播出內(nèi)容。按照用戶不同的需求，能夠在無人值守和人工干預(yù)兩種狀態(tài)下網(wǎng)絡(luò)頻道，能夠?qū)崿F(xiàn)基于電視信號源的實時采集直播、基于文件源的虛擬直播、文件源和直播信號源的混排直播、即時導(dǎo)播和插播、互動點播等在互聯(lián)網(wǎng)視頻播出的各種業(yè)務(wù)，并能夠跨平臺和支持各種瀏覽器和播放終端。圖 虛擬播控EPG編排界面圖 虛擬播控即時導(dǎo)播界面規(guī)格參數(shù):iCast規(guī)格參數(shù)表7天EPG編輯輸入輸出畫面實時監(jiān)控即時導(dǎo)播最多64路直播流輸入切換最多1024個文件輸入源切換文件源自動轉(zhuǎn)碼和切片精確到I幀的播出內(nèi)容切換播出內(nèi)容緩存和回看系統(tǒng)構(gòu)成:虛擬播控平臺主要由六個部分組成：播出素材庫管理： 對播出的素材（包括文件源和電視直播信號源）進行上傳、修改、刪除等操作。編轉(zhuǎn)碼中心：這部分主要將播出的素材（電視直播信號源和文件源）統(tǒng)一的進行轉(zhuǎn)碼，碎片化，以適應(yīng)統(tǒng)一播出格式的需要。iCast管理客戶端：主要利用播出素材庫中的內(nèi)容對每日直播的EPG進行編排，即時插播和導(dǎo)播等操作控制部分，控制后端播控服務(wù)進行工作。播控服務(wù)平臺：主要接收管理客戶端的指令，將用戶編排好的EPG對外播出。分發(fā)CDN平臺：主要將播出的直播流對全國各CDN站點進行分發(fā)，或與CDN分發(fā)服務(wù)商進行對接。功能特征使用文件源和直播源快速創(chuàng)建全新的播出頻道，文件、直播源自由混排播出。即時導(dǎo)播功能，可以將直播流中的內(nèi)容替換成其他感興趣的內(nèi)容，如廣告插播、廣告替換。功能強大的EPG編排功能，可方便的創(chuàng)建1到7天內(nèi)的EPG節(jié)目單。（3）iVision多點控制展示系統(tǒng)iVision 多點控制展示系統(tǒng)由前端控制(最多30臺,兼容丌同系統(tǒng)設(shè)備),中轉(zhuǎn)控制主機(一臺 Mac)和多臺展示設(shè)備組成 (Mac 或 PC 臺式機或大屏)。工作時，前端控制設(shè)備(iPad,iPhone,PC 或 Mac)向中轉(zhuǎn)控制主機發(fā)送展示數(shù)據(jù)命令,收到數(shù)據(jù)后中轉(zhuǎn)控制主機分析數(shù)據(jù)的來源并對照命令列表將數(shù)據(jù)轉(zhuǎn)發(fā)給指定的展示設(shè)備;展示設(shè)備收到數(shù)據(jù)后進行相應(yīng)的數(shù)據(jù)展示或讀取中轉(zhuǎn)控制主機的存儲內(nèi)容進行內(nèi)容展示。本系統(tǒng)的特點是：多點控制，多點展示 ，工作方式可列隊或并發(fā),自由隨意切換。核心的中轉(zhuǎn)控制主機采用 Mac OSX 的蘋果臺式機。其他終端設(shè)備以中轉(zhuǎn)控制主機為核心來進行終端的配置。所有設(shè)備以有線或無線形式通過無線路由器組成的局域網(wǎng)互聯(lián)。系統(tǒng)工作流程解析:1) 中轉(zhuǎn)控制主機建立公用網(wǎng)絡(luò)服務(wù)和網(wǎng)絡(luò)搜索服務(wù)。2) 啟勱搜索展示設(shè)備建立的網(wǎng)絡(luò)服務(wù)，并為搜索到的服務(wù)建立獨立的數(shù)據(jù)讀寫通道，用來向展示設(shè)備發(fā)送命令數(shù)據(jù)。3) 前端控制設(shè)備向中轉(zhuǎn)控制主機發(fā)送登陸請求 ,展示設(shè)備向中轉(zhuǎn)控制主機發(fā)送登陸請求。4) 中轉(zhuǎn)控制主機收到登陸請求后 ,查對配置清單確定用戶身份，并為其建立獨立數(shù)據(jù)讀寫通道。5) 前端控制設(shè)備和展示設(shè)備成功登陸之后，即可向中轉(zhuǎn)控制主機發(fā)送命令數(shù)據(jù)，進行展示操作。6) 中轉(zhuǎn)控制主機收到已登陸用戶的命令數(shù)據(jù)后，查對用戶的命令權(quán)限等配置文件后，并對比命令集文件后，將命令數(shù)據(jù)轉(zhuǎn)發(fā)給指定的展示設(shè)備。7) 展示設(shè)備收到命令數(shù)據(jù)后,根據(jù)數(shù)據(jù)要求訪問中轉(zhuǎn)控制主機的展示內(nèi)容存儲并直接將內(nèi)容顯示出來。系統(tǒng)優(yōu)勢：增加了中控系統(tǒng)后的 iVision 產(chǎn)品可以在現(xiàn)場部署多個展示終端，大屏、一體機、mac 電腦等。使得講解員或者現(xiàn)場主持人可以更加靈活的設(shè)計演示內(nèi)容。因為通過中控系統(tǒng)的樞紐聯(lián)系，所有終端之間做到了互聯(lián)互通，有劣于工作更加有效的進行。現(xiàn)場操作中屏幕切換、演示等效果更加酷炫、操控感比原來增強。支持有線及無線的方式可以在復(fù)雜的現(xiàn)場布置演示環(huán)境的時候更加容易，克服場地帶來的不便。多終端的配合使用可以部署立體感更強的現(xiàn)場演示環(huán)境。（4）iSearch視頻資訊搜索系統(tǒng)天脈iSearch能實現(xiàn)全球電視節(jié)目的精準索引，利用天脈云平臺24小時不間斷收錄全球的電視節(jié)目信息。它能夠?qū)崿F(xiàn)海量數(shù)據(jù)的全面、及時搜索，并可以滿足運營者對于視頻信息統(tǒng)計的專業(yè)需求。iSearch主要面對三大用戶群體，政府機構(gòu)、電視媒體和企業(yè)。政府機構(gòu)可以利用它來了解輿情資訊，了解民生；電視媒體用來制作電視節(jié)目，搜索各大媒體對于熱點問題的關(guān)注程度；企業(yè)用戶可以用來了解廣告市場資訊，洞察市場和政策方針等等。iSearch以媒體、企業(yè)、機關(guān)為主要服務(wù)客戶，天脈利用先進的視頻處理技術(shù)和互聯(lián)網(wǎng)技術(shù)，提供可定制的、實時的、高品質(zhì)的電視新聞采集與加工服務(wù)、電視新聞實時監(jiān)測服務(wù)、媒體版權(quán)交易服務(wù)。iSearch使電視資訊實現(xiàn)全國有效覆蓋和精準獲取，為政府機構(gòu)、企業(yè)和電視媒體掌握新聞資訊、了解大政方針、洞察市場商機、監(jiān)測輿情資訊提供最為有效的專業(yè)工具。天脈擁有云計算視頻加工中心為iSearch客戶端提供著強有力的支撐。在全國建設(shè)的多個數(shù)據(jù)接收網(wǎng)點，現(xiàn)已覆蓋了200個電視頻道、4000檔電視欄目、3年18大類（新聞、娛樂、體育、教育、生活、科技等）共計千萬條電視節(jié)目素材積累。不僅國內(nèi)的各衛(wèi)視頻道和市級電視頻道被納入其中，還有如NHK World、BBC World、CNN等境外知名電視頻道。這樣的視頻資源平臺，其覆蓋面之廣，資源之豐富，屬全國乃至世界之首。目前，沒有一家媒體可以提供諸如此類的電視節(jié)目搜索服務(wù)。iSearch更加令人驚艷的是其對信息的全面精準搜索。iSearch借助云平臺可以對電視資訊進行智能化、精細化處理，通過關(guān)鍵字搜索直接定位到具體的鏡頭和一句話中，是傳統(tǒng)媒資信息搜索密度的80倍。天脈的非結(jié)構(gòu)化信息標引技術(shù)，利用語音識別建立的文本信息作為索引依據(jù)，這種搜索模式會盡可能多的幫助用戶搜集包含關(guān)鍵詞的所有視頻。這樣的功能可以很好地體現(xiàn)搜索信息的準確性和完整性，可方便的構(gòu)造出搜索事件的立體信息維度，讓使用者在海量電視素材中迅速鎖定最有價值的素材信息。這樣如此精準的搜索卻并不繁冗復(fù)雜。iSearch采用類似于Google的通用搜索功能，部署方便、操作簡單，無需特殊培訓(xùn)（獨特的iPad版具有更完美的使用體驗）。圖 產(chǎn)品原型 頻道信息圖 產(chǎn)品原型 熱詞（5）iSee視頻資訊展示系統(tǒng)iSee倚靠天脈云計算視頻處理平臺，開發(fā)運行在iPad系統(tǒng)和Android系統(tǒng)中，用于在線觀看電視視頻的應(yīng)用軟件。iSee提供了多樣化的檢索和瀏覽方式，并幾乎囊括了全國所有電視臺播出的電視節(jié)目，同時它擁有功能強大的搜索引擎，用戶可以針對個人喜好收藏下載感興趣的視頻。天脈iSee能讓用戶在最便捷的條件下、最短的時間內(nèi)收看到最全面的電視節(jié)目。海量的資源覆蓋。天脈擁有云計算視頻加工中心為iSee客戶端提供著強有力的支撐。在全國建立的多個數(shù)據(jù)接收網(wǎng)點，現(xiàn)已覆蓋了上百個電視頻道、上千檔電視欄目。目前，沒有一家網(wǎng)絡(luò)視頻客戶端能夠提供如此豐富全面的電視視頻資源。數(shù)據(jù)整合，準確及時。天脈云計算視頻加工中心能夠?qū)﹄娨曎Y訊進行實時、高效的素材收錄整合。它可以確保在電視播出后，最快10分鐘的時間即可被瀏覽和搜索到。天脈云平臺改變了傳統(tǒng)的人工處理數(shù)據(jù)方式，利用智能語音識別、字幕識別，畫面特征識別等工具進行數(shù)據(jù)整合，結(jié)合人工校驗的方法確保信息輸送的準確高效。強大的檢索功能。iSee基于天脈智能化語音識別及圖像字幕識別技術(shù)，構(gòu)造出獨特的音視頻信息檢索引擎。用戶輸入任意關(guān)鍵字即可精準檢索到視頻節(jié)目內(nèi)容。畫面上的字幕，視頻的語音都可以成為檢索的對象。電視節(jié)目的智能化處理。云計算視頻加工中心將所有的電視節(jié)目進行智能化處理，在收看視頻內(nèi)容的同時，可以收看到該視頻相關(guān)的文字介紹，并能夠收藏該節(jié)目到收藏夾中以便查找。挖掘更為豐富的新聞內(nèi)涵。iSee其所附帶的關(guān)聯(lián)搜索功能，可以對搜索內(nèi)容進行深度關(guān)聯(lián)檢索，為使用者挖掘更多維度的信息，挖掘更為豐富的新聞內(nèi)涵，展現(xiàn)新聞全貌。簡潔明快的設(shè)計。iSee的設(shè)計風(fēng)格極具時代感，簡潔明快的同時又不失功能性的全面體現(xiàn)。一目了然的操作界面，多樣化的瀏覽檢索方式可供用戶使用，幫助用戶快速進行節(jié)目定位與收看。圖 視頻檢索與播放iSee提供多樣化的檢索和瀏覽方式。用戶可以按照頻道、欄目、欄目播出時間和主題的順序來查找電視節(jié)目；也可以通過節(jié)目內(nèi)容的八大分類（綜合新聞、地方新聞、新聞評論、財經(jīng)新聞、法制事件、體育頻道、精品訪談、軍事前沿）中尋找所需要的電視節(jié)目；能夠鍵入視頻關(guān)鍵詞，搜索與關(guān)鍵詞相關(guān)的視頻內(nèi)容。iSee在視頻播放的界面中，除了時長顯示、進度條、全屏播放等常規(guī)功能之外，用戶還可以看到播放視頻的摘要簡介。圖文的結(jié)合，最大程度的減少了視聽盲點。圖 視頻檢索與播放圖 視頻檢索與播放在iSee播放某一視頻的同時，用戶可以看到在播放窗口下方有關(guān)聯(lián)搜索這一功能選項。用戶可以根據(jù)該視頻的關(guān)鍵詞挖掘與之相關(guān)的新聞聯(lián)系，關(guān)聯(lián)成網(wǎng)狀，由使用者熟悉的一面發(fā)現(xiàn)鮮為人知的關(guān)聯(lián)面。大大提高了收看新聞的趣味性，也使用戶能夠從多角度查看新聞資訊，全面掌握新聞事件。圖 關(guān)聯(lián)搜索iSee產(chǎn)品支持視頻收藏和下載。用戶可以根據(jù)喜好，將喜歡的頻道或者欄目放到收藏夾中，以便查找和收看。用戶還能夠下載視頻到本地存儲，下載后的視頻支持圖文同播的功能。視頻播放的同時可以動態(tài)突出顯示文本內(nèi)容，大大方便了用戶快捷的獲取視頻信息，回避了環(huán)境干擾所造成的視聽盲點。圖 視頻下載與播放（6）iPai、iPlay、iStudio等其他產(chǎn)品除上述產(chǎn)品外，本課題還將對公司既有產(chǎn)品iPlay、iStudio、iPai等產(chǎn)品進行升級，適配新的技術(shù)和接口規(guī)范，并開發(fā)新產(chǎn)品iDiscovery、eMeeting等產(chǎn)品，保障解決方案和平臺功能的完整性。3.電視數(shù)據(jù)智能采集處理及分析平臺（一）生產(chǎn)平臺方案天脈聚源在中國無錫國家軟件園建成了“視頻中國”（無錫）視頻云計算產(chǎn)業(yè)基地，是擁有600臺服務(wù)器的全球最大海量電視內(nèi)容智能處理及信息服務(wù)平臺，具有處理國內(nèi)200套電視節(jié)目4000檔欄目，日均30000條電視內(nèi)容編目的能力，可面向1000家媒體機構(gòu)客戶提供365天724小時不間斷服務(wù)。服務(wù)內(nèi)容包括：節(jié)目碎片化編目、數(shù)據(jù)挖掘和整理、智能化模式識別和分析、高中低轉(zhuǎn)碼、遠程成品素材推送。這些服務(wù)均實現(xiàn)了對高、中、低多碼率的集中收錄和檢索，同時滿足專業(yè)級節(jié)目生產(chǎn)、新媒體資源調(diào)用、以及對外的媒資推廣的需要。通用云計算加工服務(wù)l 電視新聞（節(jié)目）快速數(shù)字化編目；l 電視新聞（節(jié)目）碎片化處理（拆條、去廣告）；l 電視新聞?wù)Z言識別及音畫同步索引建立；l 電視節(jié)目圖像OCR及音畫同步索引建立；l 面向多終端應(yīng)用的視頻轉(zhuǎn)碼服務(wù)；l 加工后成品素材包遠程分發(fā)推送。專用云計算技術(shù)服務(wù)l 本地私有云媒體平臺部署搭建；l 私有云媒資平臺與高碼收錄系統(tǒng)的整合匹配；l 本地私有云媒體平臺搜索統(tǒng)計引擎開發(fā)；l 本地私有云媒資源庫及分發(fā)系統(tǒng)建設(shè)。服務(wù)優(yōu)點l 更?。汗?jié)省原有大量編目人員的開支，降低了編目設(shè)備和場地的投入；l 更多：云計算平臺的強大處理能力，可為客戶處理海量實時信源；l 更快：云平臺處理效率是人工編目的20倍，最快電視播出后10分鐘后成品即刻上線；l 更細：云平臺可對素材的影像畫面、語言特征自動提取，而且標引后的信息密度是傳統(tǒng)人工編目媒資的15倍；l 更準：云平臺構(gòu)造的數(shù)據(jù)結(jié)構(gòu)更加精準的搜索到自己所需要的有用信息，可以自定義搜索到一段新聞、一句話、一條字、甚至是一個鏡頭；l 更全：云平臺的流程實現(xiàn)對高、中、低多碼率的集中收錄和檢索。同時滿足 專業(yè)級節(jié)目生產(chǎn)、新媒體資源調(diào)用、以及對外的媒資推廣；l 更靈：使用更加靈活，既可以滿足媒資的搜索、檢索服務(wù)。又可以方便的和臺內(nèi)其他家系統(tǒng)做靈活的接口，擴展服務(wù)。（二）資源存儲管理和服務(wù)方案資源平臺正式為了存儲管理這些資源而出現(xiàn)的，要將各種生產(chǎn)能力所產(chǎn)生的各類資源，進行存儲、索引和管理，構(gòu)建一個功能完善的底層支撐平臺，用于滿足上層各種應(yīng)用的調(diào)用需求。通過豐富的應(yīng)用接口，公司各類應(yīng)用基于資源平臺進行開發(fā)，來進行瀏覽和檢索，獲取所需要的各種數(shù)據(jù)。資源平臺要能夠?qū)崿F(xiàn)海量數(shù)據(jù)的承載、快速精準的檢索，還需要深入挖掘資源之間的關(guān)聯(lián)關(guān)系，建立平臺資源之間的內(nèi)部關(guān)聯(lián)關(guān)系。圍繞著資源本身、關(guān)鍵詞TAG、使用資源的人這三者，來進行數(shù)據(jù)索引，并通過對資源的分析、對人行為的記錄，來影響這三者之間的關(guān)聯(lián)關(guān)系，從而構(gòu)建可生長的、動態(tài)的、個性化的知識關(guān)系網(wǎng)絡(luò)，來幫助用戶最快速的找到自己所需要的資源，并在知識關(guān)系網(wǎng)絡(luò)的幫助之下，不斷發(fā)現(xiàn)與之相關(guān)的其它資源。資源平臺立足當下，著眼未來，為實現(xiàn)公司對資源平臺的遠景期望，平臺在設(shè)計時具備如下系統(tǒng)特點：l 能容納豐富的資源類型，包括視頻、網(wǎng)頁、文檔等l 能支持大規(guī)模數(shù)據(jù)的存儲、處理和請求l 滿足SAAS的軟件架構(gòu)，將平臺能力輸出l 能支持公有云私有云結(jié)合的分布式體系架構(gòu)l 能實現(xiàn)針對資源的權(quán)限限定，來做高效的收斂檢索l 能實現(xiàn)資源的TAG云關(guān)聯(lián)挖掘搜索l 平臺能提供開放的應(yīng)用接入，實現(xiàn)豐富的Restful接口資源平臺的核心點包括資源、TAG、人三個要素，資源平臺寄期望于打破舊有的條目搜索方式，能夠?qū)崿F(xiàn)智能化的TAG云搜索網(wǎng)絡(luò)，不斷完善TAG云關(guān)聯(lián)搜索，建立合理的反饋生長機制，實現(xiàn)高效而精準的檢索能力，是資源平臺將要長期努力不斷完善的方向。 開放架構(gòu)資源平臺并不是一個封閉的企業(yè)平臺，而會是一個大規(guī)模部署的互聯(lián)網(wǎng)平臺，為了將來平臺的推廣考慮，同時也考慮大規(guī)模部署的軟件成本，資源平臺基本采用開源架構(gòu)來進行設(shè)計開發(fā)。平臺開發(fā)語言采用了多種語言結(jié)合的方式，C、PHP、Python等在資源平臺均有涉足，完全基于Linux操作系統(tǒng)，并采用各種諸如Nigix、Varnish等各種開源軟件。并根據(jù)實際功能的需要來對進行開源軟件進行自行開發(fā)。平臺采用MongoDB和MySQL搭配來實現(xiàn)數(shù)據(jù)庫需求。MySQL是一款非常成熟的開源數(shù)據(jù)庫，當前眾多的互聯(lián)網(wǎng)巨頭都大量采用該數(shù)據(jù)庫。MongoDB是一款優(yōu)秀的文檔型數(shù)據(jù)庫，采用MongoDB 文檔型數(shù)據(jù)庫來作為數(shù)據(jù)存儲，主要考慮資源平臺數(shù)據(jù)結(jié)構(gòu)過于復(fù)雜，資源類型存在不確定性，未來數(shù)據(jù)讀寫壓力可能極大，數(shù)據(jù)被分組存儲在數(shù)據(jù)集中，被稱為一個集合（Collenction)。每個集合在數(shù)據(jù)庫中都有一個唯一的標識名，并且可以包含無限數(shù)目的文檔。MongoDB是一種模式自由（schema-free)的數(shù)據(jù)庫，這意味著對于存儲在mongodb數(shù)據(jù)庫中的文件，我們不需要知道它的任何結(jié)構(gòu)定義。如果需要的話，完全可以把不同結(jié)構(gòu)的文件存儲在同一個數(shù)據(jù)庫里。資源平臺的數(shù)據(jù)庫體系能夠支持未來不斷擴展新的資源類型，理論上簡單調(diào)整便可以完成擴展。資源平臺是一個完全的SAAS平臺架構(gòu)，實現(xiàn)了標準的SAAS模式三大特色：l 互聯(lián)網(wǎng)特性，并通過大量的WebService形式為用戶提供服務(wù)。l 多租戶（Multi-tenancy)特性：一套標準體系為不同天脈客戶提供資源平臺服務(wù)，構(gòu)架無錫統(tǒng)一的用戶云平臺。l 采用 Tid區(qū)分所有數(shù)據(jù)，包括用戶、角色、資源等各類信息，能夠?qū)崿F(xiàn)不同用戶的資源平臺數(shù)據(jù)托管。 服務(wù)特性：核心功能都服務(wù)化，未來可向不同客戶提供不同服務(wù)組件。為了便于未來平臺的推廣，使第三方用戶能夠進行應(yīng)用接入，來享受資源平臺的服務(wù)能力，平臺在采用了大量的標準架構(gòu)予以實施。采用流行的Restful風(fēng)格接口來實現(xiàn)WebService接口，以標準的HTTP狀態(tài)PUT、GET、POST、DELETE方法來進行資源的增刪改查。采用ATOM資源描述協(xié)議來描述資源，遵從或者參考了各類流行資源描述方法，例如Yahoo的Media描述方法、OpenSearch、Google API等均進行了詳盡的參考。采用OAuth2.0來完成平臺的用戶認證，這是當今最為流行的互聯(lián)網(wǎng)認證體系，包括人人網(wǎng)、新浪微博等大量開放平臺均遵從了這一標準。這些開源、開放、標準的架構(gòu)體系將使得平臺的發(fā)展和推廣更加順利，也將獲得更為低廉的維護成本和開發(fā)成本。平臺組成資源平臺是由一系列系統(tǒng)組成，來共同完成平臺的完整功能，按照功能的組成，我們在當前階段完成了一系列的軟件功能，為了便于維護和將來完善或重構(gòu)，我們將平臺分為多個系統(tǒng)，系統(tǒng)按照高內(nèi)聚、低耦合的方式來進行實現(xiàn)，并遵從如下準則：l 系統(tǒng)與系統(tǒng)（或叫服務(wù)與服務(wù)）之間基本屬于低耦合，便于維護。l 每個系統(tǒng)在總的原則之下，按照自己邏輯和技術(shù)來實現(xiàn)。l 各個系統(tǒng)按照Restful提供自己的對外接口，全面開放。l 理論上每個系統(tǒng)甚至可以部署在不同的機房，可分布式部署擴展。l 應(yīng)用可以根據(jù)自己的需求來選擇對平臺的接入。l 就目前階段而言，資源平臺一共具備如下的主要系統(tǒng)組成：核心數(shù)據(jù)服務(wù)核心數(shù)據(jù)服務(wù)存儲所有資源的數(shù)據(jù)信息，以MongoDB來構(gòu)建數(shù)據(jù)庫體系，并以資源主體、資源屬性、資源分類來完成對一個資源的描述。認證授權(quán)系統(tǒng)認證授權(quán)系統(tǒng)用于掌控整個平臺各個系統(tǒng)之間的接入權(quán)限，用于控制接入的應(yīng)用所具備的權(quán)限，其所對應(yīng)的用戶信息等，其分為三個方面的鑒權(quán)：系統(tǒng)級授權(quán)內(nèi)部使用，應(yīng)用在各個系統(tǒng)之間的正常通訊。往往不做限制。 應(yīng)用級授權(quán)針對平臺之外，接入的外部應(yīng)用產(chǎn)品進行授權(quán)，接入的應(yīng)用必須是合法的，通過唯一標識符client_id配對client_secret來認定是誰接入。應(yīng)用授權(quán)也會涉及到權(quán)限的設(shè)定，其將會是服務(wù)層面，例如限制使用的服務(wù)類型，限制同時請求的并發(fā)數(shù)量，是根據(jù)未來業(yè)務(wù)可拓展的。 用戶級授權(quán)通過用戶名和密碼來認定唯一的用戶身份，通過角色來指定特定的訪問權(quán)限，將一個用戶賦予一個或者多個角色來控制用戶的訪問范圍。而針對具體的授權(quán)流程，平臺設(shè)定了如下方式來進行控制在每一個認證環(huán)節(jié)中，涉及到三個主要組成：被請求的服務(wù)、發(fā)起請求的應(yīng)用、進行授權(quán)管理的認證體系。 搜索及數(shù)據(jù)挖掘搜索引擎是整個平臺的核心體系，其分為全文索引體系和Term索引體系，用于構(gòu)建Tag云的關(guān)聯(lián)搜索，由如下主要功能組成l 文檔服務(wù)器 (Doc Servers)l 數(shù)據(jù)索引l 全文搜索l 緩存體系l 對外服務(wù)接口其整體的搜索引擎架構(gòu)流程如下所示：搜索引擎系統(tǒng)可以建立針對海量數(shù)據(jù)的快速索引，能實現(xiàn)短時間內(nèi)的重建索引、增量合并和增量索引，并建立了全面的監(jiān)控機制用于掌控系統(tǒng)的運行健康狀態(tài)。搜索引擎的全文搜索體系能夠滿足如下功能：l 能夠?qū)ζ脚_內(nèi)所需的資源進行索引構(gòu)建，能夠針對不同類型的資源進行不同維度的字段索引；l 搜索引擎能夠?qū)崿F(xiàn)短時間內(nèi)的增量索引機制以及特定時間內(nèi)的重建索引機制，以確保平臺內(nèi)所有資源在索引平臺內(nèi)的及時性與完整性；l 能夠提供高效的和規(guī)?；乃阉髂芰?，在目前階段支持億級以上數(shù)據(jù)的索引能力，并能夠在這一規(guī)模內(nèi)提供秒級以內(nèi)的搜索響應(yīng)速度；l 支持索引的分片機制，能夠建立分布式的搜索能力，便于未來平臺擴展；l 能提供不同類型資源的關(guān)鍵詞查詢、與或非查詢、復(fù)雜式條件組合查詢，支持指定字段查詢、精確匹配、模糊匹配等多種模式查詢；l 內(nèi)置分詞引擎，來提供針對關(guān)鍵詞的分詞分析，提供一定長度范圍內(nèi)的語句輸入搜索分詞技術(shù)；l 提供數(shù)據(jù)索引推送接口，支持未來與平臺內(nèi)任何第三方系統(tǒng)對接，對其數(shù)據(jù)進行索引；l 提供數(shù)據(jù)檢索接口，支持按照OpenSearch以及Atom等資源描述協(xié)議輸出通用化搜索返回數(shù)據(jù)； l 要求對于海量的內(nèi)容資源做針對性的信息標識描述，并構(gòu)建對應(yīng)的資源TAG云架構(gòu)體系；l 用戶可以按照常規(guī)體系的方式對內(nèi)容進行搜索，也可以按照針對性的信息進行關(guān)聯(lián)搜索，能發(fā)掘平臺體系數(shù)據(jù)內(nèi)的關(guān)聯(lián)關(guān)系；l 能夠發(fā)掘TAG與TAG、TAG與用戶、用戶與用戶、資源與TAG等之間的復(fù)雜關(guān)聯(lián)關(guān)系，并提供可視化的展現(xiàn)手段和數(shù)據(jù)調(diào)取接口；l 能夠?qū)τ脩舻男袨檫M行分析反饋，挖掘用戶與內(nèi)容之間的關(guān)聯(lián)關(guān)系，來輔助平臺運營，提高內(nèi)容投入針對性；l 挖掘體系能夠支持對至少億級以上數(shù)據(jù)的挖掘能力，并具備隨規(guī)模擴展的平滑過渡擴展能力；隊列及計算單元為了實現(xiàn)系統(tǒng)之間的異步通信機制，來將一些不能實時完成，需要進行隊列調(diào)度和消息回饋的功能抽象出來，形成獨立的系統(tǒng)，我們建立了隊列及計算單元系統(tǒng)。l 隊列我們采用了成熟的Gearman來進行實現(xiàn)，在其流程中，分為作為一個任務(wù)分發(fā)架構(gòu)，它能夠輕松的將前端的任務(wù)通過Job Server分發(fā)給后端的Worker處理。Gearman請求的處理過程涉及三個角色：Client - Job Server - Worker。l Client：請求的發(fā)起者，可以是C，PHP，Perl，MySQL UDF等等。l Job Server：請求的調(diào)度者，用來負責協(xié)調(diào)把Client發(fā)出的請求轉(zhuǎn)發(fā)給合適的Worker。l Worker：請求的處理者，可以是C，PHP，Perl等等。這一分布式隊列機制是一個可以理論上無限擴展的體系，如下圖所示：就整個系統(tǒng)而言，其能夠?qū)崿F(xiàn)如下的功能特色：l 能夠?qū)尤氲劫Y源平臺的數(shù)據(jù)進行統(tǒng)一的處理，支持各種通用格式的資源，包括音視頻、圖片、文本等；l 提供隊列服務(wù)控制，來實時接收處理任務(wù)，并進行異步任務(wù)分發(fā)至具體執(zhí)行單元；l 能夠?qū)λ刑幚砣蝿?wù)進行狀態(tài)查看，管理并維護所擁有的處理單元，能夠控制處理任務(wù)優(yōu)先級分配等；l 能提供針對音視頻格式轉(zhuǎn)換、終端適配、圖片適配、文本關(guān)鍵詞提取、文件分發(fā)等具體處理單元；l 處理子系統(tǒng)可以通過擴展不斷掛載更多的處理單元，要提供標準化的處理模式例如可引入文檔轉(zhuǎn)換；l