媒資系統(tǒng)優(yōu)化配置的相關(guān)研究(2-20)

媒資系統(tǒng)優(yōu)化配置的相關(guān)研究唐明，任科蘇州市廣播電視總臺技術(shù)中心江蘇蘇州215006摘要：目前媒資資產(chǎn)管理系統(tǒng)在電視臺的節(jié)目生產(chǎn)流程中已經(jīng)占據(jù)了非常重要的地位的問題。為了能使得媒資系統(tǒng)更好得為節(jié)目生產(chǎn)服務(wù)，蘇州臺進行了一定的嘗試，通過對各問題節(jié)點的具體分析，進行配置優(yōu)化而非追加投資，保證了在投入有限的情況下，成功建設(shè)了一套高效率的媒資系統(tǒng)。實踐證明，這次改造取得了很好的效果。關(guān)鍵字：媒資，流程管理，存儲策略，互聯(lián)互通媒體資產(chǎn)管理MAM（MediaAssetsManagement）就是對各種類型的視頻資料、音頻資料、文字、圖表等媒體資料的數(shù)字化存儲、編目管理、檢索查詢、非編素材轉(zhuǎn)碼、信息發(fā)布，以及設(shè)備和固定資產(chǎn)等進行全面管理的系統(tǒng)。建立MAM的目的就是建立起一個完善的系統(tǒng)，保存和管理好這些寶貴的資料，并使之得到最大利用，創(chuàng)造良好的經(jīng)濟效益和社會效益。一個良好的媒資管理系統(tǒng)，可以為電視臺等媒體提供多方面幫助，帶來很大的經(jīng)濟效益。計算機多媒體技術(shù)、存儲技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使媒體內(nèi)容作為一種資產(chǎn)進行存儲管理、擴展和再利用成為可能。媒體資產(chǎn)管理系統(tǒng)融合了數(shù)字壓縮、網(wǎng)絡(luò)傳輸、資料檢索、存儲管理、多媒體、數(shù)據(jù)庫、WEB等技術(shù)，形成了一套集媒體資料創(chuàng)建、編目、存儲、管理、檢索和發(fā)布應(yīng)用為一體的管理系統(tǒng)。系統(tǒng)可為企業(yè)量身定做，將媒體資源真正形成一種資產(chǎn)，最終達到保值和增值的目的，實現(xiàn)媒體資產(chǎn)的真正價值。媒資系統(tǒng)伸縮性很強，可大可小，一個完整、齊備的媒資系統(tǒng)耗資巨大。而且搭建一整套媒資系統(tǒng)需要巨大的投入，不僅有硬件和軟件的成本，還有后期投入的大量人力。對媒資項目采取逐步投入的策略是比較明智的，既可以節(jié)省成本，也可以需要時進行擴容。蘇州臺的媒資系統(tǒng)建立于2004年，是國內(nèi)較早建立媒資系統(tǒng)并投入使用的電視臺，并在2008年對原有系統(tǒng)進行過一次升級。使用IPSAN架構(gòu)實現(xiàn)在線存儲，并使用4臺LTO3數(shù)據(jù)流磁帶機加LTO3數(shù)據(jù)流磁帶實現(xiàn)離線存儲。目前已經(jīng)完成了約三萬小時節(jié)目的采集，存儲于一千多盤數(shù)據(jù)流磁帶中。隨著我臺業(yè)務(wù)量的不斷增長，節(jié)目生產(chǎn)規(guī)模不斷增大，系統(tǒng)存儲管理的各種素材資料增長迅速，特別是我臺節(jié)目生產(chǎn)網(wǎng)絡(luò)化后，對媒資系統(tǒng)的使用效能有了更高要求?，F(xiàn)有系統(tǒng)，無論是從硬件性能或是從系統(tǒng)規(guī)模、應(yīng)用流程等等方面，均需進行全面的升級改造，以期建設(shè)一套面向全臺更多生產(chǎn)業(yè)務(wù)的，適應(yīng)我臺全新的業(yè)務(wù)流程和使用壓力的，經(jīng)濟實用的媒體資產(chǎn)管理系統(tǒng)。通過多年的使用我臺對現(xiàn)有的媒資架構(gòu)和流程逐漸有了自己的一些思考和想法。存在的問題主要有幾個：IP-SAN的網(wǎng)絡(luò)存儲穩(wěn)定性差，維護復(fù)雜；使用外置式磁帶機進行歸檔的工作量大；通過工作流進行互聯(lián)的流程也不可控；非編提交下載請求的響應(yīng)速度太慢；編目工作量大；素材搜集不完整。于是蘇州臺的這次升級，主要是著手于解決這次問題進行開展的。簡化存儲結(jié)構(gòu)，提高系統(tǒng)可用性。蘇州臺媒資系統(tǒng)原有的網(wǎng)絡(luò)存儲系統(tǒng)為IP-SAN。由于SAN的原理決定了網(wǎng)絡(luò)中必須要有卷管理軟件及服務(wù)器來對存儲的空間及讀寫進行統(tǒng)一的管理。由于成本的考慮，蘇州臺使用了IP-SAN而非FC-SAN，并使用免費的Sanergy做卷管理軟件，而非更為主流的Stornext。在多年的使用中，我們總結(jié)了IP-SAN的一些不足：維護復(fù)雜，服務(wù)器和工作站有嚴格的啟動順序；成本高，需要有單獨的MDC服務(wù)器，如果用Stornext更要付出高昂的軟件費用；免費的Sanergy穩(wěn)定性低，并且廠商已經(jīng)停止技術(shù)支持，安全沒有保障。在分析了需求之后，我臺通過前期的調(diào)研，選擇了NetAPP公司的NAS產(chǎn)品FAS3140作為網(wǎng)絡(luò)在線存儲。與原有的IP-SAN相比，NAS網(wǎng)絡(luò)結(jié)構(gòu)簡單，易維護，性能穩(wěn)定，擴展性好。FAS3140用兩臺控制器實現(xiàn)HA，在開啟Failover功能后，如一臺控制器宕機，另一臺會主動接管，提供的存儲服務(wù)不會受影響。且NetAPP提供RAID-DP技術(shù)實現(xiàn)RAID的雙校驗，最大程度上保證了所存儲數(shù)據(jù)的安全。在實際使用后，我臺發(fā)現(xiàn)FAS3140操作簡單，功能豐富，安全性好，管理便捷。這臺FAS3140配了3個磁盤柜，共72塊硬盤，提供45TB的可用空間，讀寫帶寬達到450MB/S，可以滿足實際使用的需要。新增小型磁帶庫，提高歸檔效率。蘇州臺原有的離線存儲介質(zhì)為LTO3數(shù)據(jù)流磁帶，由外置式數(shù)據(jù)流磁帶機進行讀寫，磁帶離線保存。每當(dāng)我們歸檔滿一盤磁帶后，會對該磁帶進行磁帶單設(shè)備復(fù)制，也就是將這盤磁帶上的所有數(shù)據(jù)取出寫入緩存，再插入一盤空白磁帶將緩存內(nèi)數(shù)據(jù)寫入，實現(xiàn)磁帶的復(fù)制備份。這樣的模式給我們的操作帶來了兩個問題：歸檔操作需要人工干預(yù)，無法實現(xiàn)自動進行；每條素材需要進行寫入-讀出-再寫入三次操作，增加了磁帶和磁帶機的讀寫負擔(dān)；并且磁帶在寫滿后才進行復(fù)制，再未寫滿前存在了單盤故障的風(fēng)險。而主流的數(shù)據(jù)流磁帶庫離線數(shù)據(jù)存儲方式可以提高數(shù)據(jù)的歸檔效率，但需要付出高昂的成本，并提高了維護的復(fù)雜度。我臺最后選用的是一個折衷的辦法：選用一臺小型的40槽位QuantumScalari40數(shù)據(jù)流磁帶庫，配備了兩臺SAS接口的LTO5數(shù)據(jù)流磁帶機。而且采用了新的歸檔方式：雙歸檔。這樣就實現(xiàn)了將磁帶庫中空白磁帶兩兩綁定，每條歸檔任務(wù)同時寫入兩盤磁帶。這樣既實現(xiàn)了歸檔任務(wù)可以無人值守，并且直接寫入兩盤，無需再次讀出，簡化了備份操作；同時保證了所有的完成歸檔的素材即時就有備份，沒有數(shù)據(jù)丟失的風(fēng)險。三、改變互聯(lián)方式，提高流程的可管理性。蘇州臺原有的互聯(lián)流程是通過工作流進行媒資和非編的互聯(lián)，以橋接的方式完成素材的交換。這種模式存在著幾個問題：對流程無法完整監(jiān)控，系統(tǒng)的穩(wěn)定性差，而且僅能交換媒體文件，不支持元數(shù)據(jù)的傳輸。為了解決這些矛盾，我臺這次選擇了ESB+EMB的方式實現(xiàn)網(wǎng)間互聯(lián)。從部署上看，ESB和EMB既可單獨使用，也可配合使用，業(yè)務(wù)系統(tǒng)通過ESB調(diào)用EMB提供的服務(wù)，對ESB而言，EMB也將暴露的服務(wù)注冊在其上，這樣可以有效利用ESB的流程定義、服務(wù)管理等各種功能，ESB和EMB協(xié)同工作，共同組成媒體服務(wù)總線。ESB和EMB是松耦合的關(guān)系，并沒有必然聯(lián)系，ESB可以獨立實現(xiàn)IT系統(tǒng)的整合，EMB也可獨立完成多個系統(tǒng)之間的媒體數(shù)據(jù)交換。通過改造，媒資網(wǎng)和制作網(wǎng)通過ESB/EMB方式進行了互聯(lián)，通過ESB控制臺就可以統(tǒng)觀整個流程的運行情況，一旦流程在某處出錯，可以直接找出原因，當(dāng)場定位，及時解決。而且ESB/EMB方式消息通過WEB服務(wù)傳遞，數(shù)據(jù)通過FTP傳遞，可以在非編網(wǎng)和制作網(wǎng)間部署防火墻或者使用三層交換機配置ACL，隔離不需要的數(shù)據(jù)訪問通道，阻止威脅的傳播，防止病毒的感染，實現(xiàn)安全性的最大化。四、增加在線緩存，提高素材調(diào)用的遷移速度。蘇州臺原來非編提交下載請求的響應(yīng)速度很慢。這套媒資系統(tǒng)使用了5年之后，累計的素材已有五萬小時，以數(shù)據(jù)流磁帶的形式離線儲存。當(dāng)有下載請求的時候，系統(tǒng)會提交一份從數(shù)據(jù)流磁帶遷移到在線存儲的請求。而數(shù)據(jù)流磁帶驅(qū)動器的倒帶時間相對較長，一盤磁帶插入后需要數(shù)分鐘時間把磁帶定位到相應(yīng)位置開始工作，遷移完成后還需要相同的時間將倒出來的磁帶再倒回去。當(dāng)同時并發(fā)的下載任務(wù)多時，必然會出現(xiàn)排隊的情況。而且我臺沒有部署數(shù)據(jù)流磁帶庫，所有的請求都由操作人員人工完成，這就又會有個響應(yīng)時間的問題。原先我們的媒資系統(tǒng)每天要處理50條下載任務(wù)，而隨著制作網(wǎng)的逐步擴容，節(jié)目量的增加，媒資下載的請求量也在迅速增長。目前已經(jīng)上升到近200條每天。如果不對流程進行優(yōu)化，必然會影響到用戶的使用，進而影響節(jié)目的制作播出。從使用的角度來說，如果能將所有的素材都在線保存，那么下載使用的時候響應(yīng)的時間肯定是最短的。但是全部在線保存不現(xiàn)實。目前我們已經(jīng)積累了五萬多小時的素材，約600TB的容量。而且還在以每天1TB的素材增加。如果全部在線存儲，成本將高不可攀。于是我臺就考慮折中的辦法，就是將部分常用素材在線保存，可以直接調(diào)用，只有那些非常用的素材，使用的時候才需要去磁帶上讀取?？墒菍⒛男┪募诰€保存呢？為了了解素材的使用情況，我們開始分析用戶的下載行為。我臺對2012年1月到4月所有的下載任務(wù)的分布進行了查詢。得出的結(jié)果如下：素材年份下載量新聞類新聞類的比重播出版播出版的比例2012140913302712011396235996272010126011897620097516151520084564191620073353108620061331186920051171034820047969512003705836200232161820013625222000231313199916711199812471997855199663419951161019949361993824199210341991612199031219891101988523198734319864401985811總計8773791190.17%141016.07%通過數(shù)據(jù)分析，可以得出一個結(jié)論：下載請求的素材和素材發(fā)生的時間相關(guān)，越是近期的素材被使用到的概率越大，而且所有的下載請求中，90%請求的是新聞類素材，播出版所占的比重很小，下載使用的絕大部分是預(yù)編版的素材。這就有了一個啟示：如果我們能把近三年的預(yù)編版素材全部在線保存，那么就可以使得超過七成的下載任務(wù)直接去調(diào)用在線存儲中的文件，而不用去啟動遷移的流程，大大加快響應(yīng)的時間。如果說將所有節(jié)目都在線保存不切實際的話，那么保存三年內(nèi)的預(yù)編版素材還是可行了。1小時的新聞節(jié)目中，預(yù)編版素材的綜合大概在半小時左右。按蘇州臺目前每天4小時的新聞節(jié)目來計算，每天所產(chǎn)出的預(yù)編版素材約2小時，3年的話就是2000小時。如果考慮在線存儲2000小時的素材，按25M的格式儲存，需要的空間為25T。這是可行的。故我臺設(shè)置了30TB的存儲空間作為高碼流文件存儲區(qū)，對于不同類型的文件執(zhí)行不同的存儲策略。對于非新聞類素材和播出版素材，在完成歸檔后高碼流文件立即刪除，而對于新聞類預(yù)編版素材，只有當(dāng)高碼流文件存儲區(qū)的使用空間到達了我們設(shè)置的水位線，才執(zhí)行刪除操作，保證高碼流文件存儲區(qū)中盡可能多存放有用的素材。通過實際使用，我臺統(tǒng)計出了在設(shè)置30TB的高碼流存儲區(qū)后，約有60%的下載任務(wù)可以直接進行遷移，而無需請求下載磁帶。大大提高了素材調(diào)用的效率。而60%的命中率并不是最終目標。我臺還在繼續(xù)分析用戶的下載行為，爭取找出更優(yōu)化的刪除策略，讓媒資系統(tǒng)更好得為節(jié)目部分服務(wù)。五、新增非編故事版自動入媒資流程，提高素材的入庫率。原先蘇州臺媒資入庫的新聞預(yù)編版素材都是由記者非編中主動提交入媒資保存的。這種模式最大的問題就是素材的入庫率很低。記者們出于種種考慮，許多素材不會提交媒資保存，特別是一些重要的、獨家的素材。而這些素材對媒資來說確實非常重要的。因為按我臺的規(guī)定，所有進新聞串聯(lián)的的成片都需要提交媒資進行保存。于是我臺就設(shè)計了一套非編故事板自動入媒資流程。在每天新聞直播完成后，新聞串聯(lián)單會被審定，于是此流程被觸發(fā)。首先掃描串聯(lián)單內(nèi)條目，將對應(yīng)故事板內(nèi)的字幕軌屏蔽，重新生成打包任務(wù)。在打包完成后在自動出發(fā)提媒資流程，按預(yù)先設(shè)定好的提交入口。通過增加次流程，我臺的預(yù)編版新聞入庫率由原來的30%提高到了接近100%。大大豐富了媒資庫的內(nèi)容，也避免了重要素材的流失。六、增加互聯(lián)參數(shù)，提高媒資編目效率。原先媒資的編目工作量大，素材搜集不完整。原有的流程是記者在非編軟件中將提交素材提交，在完成非編到媒資的流程后，系統(tǒng)啟動媒資內(nèi)部流程，由媒資的工作人員進行編目等工作。由于媒資編目人員有限，許多時間都浪費在了輸入文稿信息上。我臺修改了提交了流程，由原來的非編軟件中提交改為了在文稿軟件中提交，并且修改了互聯(lián)參數(shù)，將文稿信息以XML的形式通過ESB傳遞到了媒資中。這樣，媒資的工作人員不僅能知道串聯(lián)的內(nèi)的新聞提交媒資的情況，提交過了的節(jié)目還帶有了文稿信息，相當(dāng)于是完成了初始的編目，可以減少媒資工作人員的工作量，提高媒資的工作效率。七、總結(jié)：蘇州臺媒資系統(tǒng)經(jīng)過多年使用，總結(jié)出了一些問題和不足。通過對這些問題和不足的逐一分析，提出了有蘇州臺特色的媒資系統(tǒng)建設(shè)方案。系統(tǒng)建設(shè)以提升媒資系統(tǒng)自身功能和處理能力為前提，向節(jié)目生產(chǎn)制作板塊提供高效服務(wù)為目標，充分融合我臺原有軟硬件設(shè)備，實現(xiàn)媒體資產(chǎn)價值最大化。系統(tǒng)建設(shè)完成后，蘇州臺媒資系統(tǒng)每日自動提供素材下載服務(wù)達到近200次，為原來的4倍；下載任務(wù)平均速度提升