Alluxio 在媒體融合領(lǐng)域的應(yīng)用

Alluxio在媒體融合領(lǐng)域的應(yīng)用中國傳媒大學(xué)桂靜媒體融合介紹PART01 2013媒體融合上升為國家發(fā)展戰(zhàn)略2015“兩微一端”20152016融媒體中心&融媒體平臺2023融媒聯(lián)合體————————公有云平臺：匯聚采集、大數(shù)據(jù)挖掘分析、簡單編輯、新媒體生產(chǎn)分發(fā)等應(yīng)用；私有云平臺：視頻的復(fù)雜剪輯、調(diào)色、節(jié)目包裝、節(jié)目播出等應(yīng)用，因為傳統(tǒng)的電視、廣播節(jié)目制作，需要更高的資源性能，更快的服務(wù)響應(yīng)，更可靠的安全性。多語言新聞監(jiān)測分析平臺PART0211旨在實現(xiàn)網(wǎng)絡(luò)空間輿情實時展現(xiàn)，通過新聞主題分類、用戶評價等方法為網(wǎng)絡(luò)空間的輿情評價指標(biāo)體系的建構(gòu)及驗證提供有力持續(xù)的數(shù)據(jù)支撐。22多語種全球媒體報道數(shù)據(jù)庫，包括40多個國家，32個語種，400多家境外媒體，總監(jiān)測量達(dá)到300萬篇。AlluxioAlluxio掛載不同存儲系統(tǒng)，提供統(tǒng)一命名空間，也可以實現(xiàn)訪問控制；供了一定的數(shù)據(jù)本地性，在一定程度上實現(xiàn)了任務(wù)加速；2795.24322.34092.8?小文件對AlluxioI/O性能的影響，在Alluxio上進(jìn)行了讀寫不同大小文件的實驗。?每個文件大小依次為2K、16K、128K、1M、8M、64M、512M、4GB。?固定數(shù)據(jù)總量，進(jìn)行讀寫測試。?寫類型:MUST_CACHE?讀類型：NO_CACHE11主從結(jié)構(gòu)——元數(shù)據(jù)服務(wù)器內(nèi)存空間有限、性能瓶頸。22Archived+IndexBased——元數(shù)據(jù)查詢尋址低效。Facebook為了圖片應(yīng)用而優(yōu)化的對象存儲系統(tǒng)，減少每張圖片的元數(shù)據(jù)，以便在主內(nèi)存中對所有元數(shù)據(jù)進(jìn)行查找。TFS為淘寶提供海量小文件存儲，通常文件大小不超過1M，將文件名映射到文件的物理地址，簡化了文件的訪問流程，滿足了淘寶對小文件存儲的需求。HadoopArchive—將小文件打包為一個.har文件存儲到HDFS中。SequenceFile—將小文件封裝為key-value的形式，追加到SequenceFile中。MapFile—MapFile是一個排序的SequenceFile，其索引允許按key查找。MapFile中的對按key排序，MapFile在查找過程中使用二進(jìn)制搜索，以將復(fù)雜性降低到O(logn)。但MapFile一旦創(chuàng)建了歸檔，就不可能添加具有任意名稱的文件。CombineFileInputFormat—將文件打包到一個split中，每個Mapper可以處理多個split，降低了數(shù)據(jù)量與塊大小的耦合關(guān)系。但這種方案對小文件寫很不友好，只適用于文件已經(jīng)上傳到集群情況下進(jìn)行分布式計算?！禔CaseforPackingandIndexinginCloudFileSystems》PaperName/FeatureTypeNameNodeMemoryusageAppendextraSystemHDFSpre-uploadCreationOverheadReadingEfficiencyHARArchived&IndexBasedLowNoNoYesVeryHighLowMapFileArchived&IndexBasedVeryLowForspecialkeysNoNoModerateHigh(O(logn))SequenceFileArchiveBasedVeryLowYesNoNoLowLow(O(n))NHARArchive&IndexBasedLowYesNoYesHighHighOMSSMapFileBasedVeryLowForspecialkeysNoNoModerateHighTLB_MapFileMapFileBasedVeryLowForspecialkeysNoNoModerateHighSHDFSArchive&IndexBasedLowYesYesNoHighHighSFSArchive&lndexBasedLowYesYesNoHighHighLHFArchive&lndexBasedLowYesNoNoModerateHighDQSFArchive&lndexBasedLowYesNoNoHighHighHPFArchive&lndexBasedLowYesNoNoModerateVeryHigh(O(1)）識11進(jìn)行過濾，小文件進(jìn)行合并，超小文件直接與元數(shù)據(jù)一起合并AAuxioMasterArchivedGenerationModueutrasmafiestorageAsMetadatasmafieFiesizeFitersmaFieMergeArchivedMetadataArchivedGenerationModueutrasmafiestorageAsMetadatasmafieFiesizeFitersmaFieMergeArchivedMetadataManagementModueArchivedstorageModueArchivedstorageModuegRPCservice23AuxioworkerAuxioworkergRPCservice中AuxioCientNews_1News_3Alluxi