全媒體資源庫

圖1-41所示圖1-SEQ圖1-\*ARABIC41新聞收藏界面創(chuàng)意收藏收藏的創(chuàng)意圖片可以在這里展示。歷史資料管理為報(bào)社建立歷史資料庫，可存儲(chǔ)的大量不常用數(shù)據(jù)和各種資料數(shù)據(jù)，和其他資源。全文檢索對(duì)報(bào)社的數(shù)字資源（包括圖片資源）的全范圍搜索，除常規(guī)的按日期查看、按分類查看外，實(shí)現(xiàn)關(guān)鍵字全文檢索。提供全文檢索功能：要提供對(duì)XXX全媒體數(shù)字資源服務(wù)平臺(tái)的全文搜索。實(shí)現(xiàn)豐富智能的搜索手段，包括：任意短語和長句的檢索、支持多種檢索表達(dá)式、組合檢索、二次檢索等。實(shí)現(xiàn)檢索結(jié)果的多種排序方式，如按作者、時(shí)間、所屬分類等。數(shù)據(jù)存儲(chǔ)管理報(bào)社的信息數(shù)據(jù)量大、內(nèi)容數(shù)據(jù)類型復(fù)雜、數(shù)據(jù)安全性可靠性要求高，我們的系統(tǒng)能夠采用多數(shù)據(jù)庫的分布式管理模式，把歷史數(shù)據(jù)、工作數(shù)據(jù)、臨時(shí)數(shù)據(jù)、核心數(shù)據(jù)等能夠分開管理和處理。全媒體數(shù)字資源服務(wù)平臺(tái)可按照資源的分類、時(shí)間、對(duì)應(yīng)的不同處理部門對(duì)數(shù)據(jù)進(jìn)行區(qū)別管理，并通過定期的備份歸檔機(jī)制將不同年份的數(shù)據(jù)分區(qū)存儲(chǔ)。系統(tǒng)要集中管理所有的資源文件。資源數(shù)據(jù)按照統(tǒng)一制定的分類體系進(jìn)行標(biāo)注和存儲(chǔ)。這些數(shù)據(jù)分布存儲(chǔ)于不同的數(shù)據(jù)區(qū)域，相關(guān)內(nèi)容必須存儲(chǔ)于數(shù)據(jù)庫中。數(shù)據(jù)庫可建立用戶權(quán)限管理機(jī)制。對(duì)于圖片的縮略圖查看、原圖查看、原圖使用，對(duì)于文字的原文查看、原文使用，都有相應(yīng)的用戶權(quán)限設(shè)置。系統(tǒng)提供業(yè)務(wù)平臺(tái)對(duì)全媒體數(shù)字資源服務(wù)平臺(tái)的訪問接口，使業(yè)務(wù)平臺(tái)能夠調(diào)用加工整理后的內(nèi)容資料。在業(yè)務(wù)平臺(tái)中能夠輸入條件在內(nèi)容庫中進(jìn)行檢索，并能夠快捷的獲得結(jié)果，在業(yè)務(wù)系統(tǒng)中使用。我們系統(tǒng)的數(shù)據(jù)庫存儲(chǔ)方案遵循以下原則： 不同類型的業(yè)務(wù)數(shù)據(jù)分開存儲(chǔ)； 生產(chǎn)數(shù)據(jù)和資料數(shù)據(jù)分開存儲(chǔ)； 生產(chǎn)數(shù)據(jù)根據(jù)部門等處理用戶的不同分開存儲(chǔ)； 資料數(shù)據(jù)根據(jù)分類和時(shí)間的不同分開存儲(chǔ)； 不同年份的數(shù)據(jù)可以考慮采用分區(qū)存儲(chǔ)；便于存儲(chǔ)容量的擴(kuò)充保證數(shù)據(jù)訪問的效率；系統(tǒng)管理機(jī)構(gòu)、用戶和角色管理可以管理系統(tǒng)的用戶，用戶可以分成不同的角色，如管理員用戶主要進(jìn)行系統(tǒng)管理，系統(tǒng)維護(hù)人員主要負(fù)責(zé)數(shù)據(jù)的維護(hù)，普通用戶，主要是通過訪問系統(tǒng)，獲取所有的資料信息。應(yīng)用權(quán)限管理用戶的授權(quán)是可以在不同粗細(xì)粒度上進(jìn)行。權(quán)限設(shè)定可做到庫級(jí)、字段級(jí)和分類級(jí)的控制，對(duì)一個(gè)使用者而言，可做到只看到權(quán)限范圍內(nèi)的部分文章對(duì)象，這些對(duì)象的字段/內(nèi)容可設(shè)置成禁止閱讀、以及敏感文章可自動(dòng)隱藏等功能；對(duì)于圖片的縮略圖查看、原圖查看、原圖使用，對(duì)于文字的摘要查看、原文查看、原文使用，都有相應(yīng)的權(quán)限設(shè)置。這樣兩個(gè)權(quán)限不同的使用者，同樣的操作得到不同的頁面。權(quán)限控制可以提供基于用戶/角色、基于IP、基于操作等多種方式選擇。面對(duì)應(yīng)用系統(tǒng)的擴(kuò)展，其授權(quán)也可作相應(yīng)的擴(kuò)展。實(shí)現(xiàn)需要交換的共享的內(nèi)容的操作權(quán)限管理，實(shí)現(xiàn)哪些用戶可以進(jìn)行讀取、哪些用戶可以進(jìn)行修改、哪些可以進(jìn)行刪除、哪些可以完成添加等功能。稿件類型管理稿件類型管理主要稿件管理元數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)類型的擴(kuò)展。庫管理系統(tǒng)主要完成數(shù)據(jù)庫的創(chuàng)建和結(jié)構(gòu)的定義。數(shù)據(jù)庫的大小不受單個(gè)硬盤的限制。全媒體資源服務(wù)平臺(tái)系統(tǒng)采用多數(shù)據(jù)庫的分布式管理方式，把歷史數(shù)據(jù)、工作數(shù)據(jù)、臨時(shí)數(shù)據(jù)、核心數(shù)據(jù)等進(jìn)行分開管理和處理。通過庫管理實(shí)現(xiàn)：不同類型的業(yè)務(wù)數(shù)據(jù)分開存儲(chǔ)到不同的庫中；生產(chǎn)數(shù)據(jù)和資料數(shù)據(jù)分開存儲(chǔ)到不同的庫中；生產(chǎn)數(shù)據(jù)根據(jù)部門等處理用戶的不同分開存儲(chǔ)到不同的庫中；資料數(shù)據(jù)根據(jù)分類和時(shí)間的不同分開存儲(chǔ)到不同的庫中；系統(tǒng)通過定期的備份歸檔機(jī)制將不同年份的數(shù)據(jù)采用分區(qū)存儲(chǔ)；便于存儲(chǔ)容量的擴(kuò)充保證數(shù)據(jù)訪問的效率；跨地域的生產(chǎn)數(shù)據(jù)通過數(shù)據(jù)復(fù)制等技術(shù)實(shí)現(xiàn)分布式存儲(chǔ)管理；資料數(shù)據(jù)要根據(jù)訪問頻率進(jìn)行分級(jí)存儲(chǔ)，并通過緩存機(jī)制實(shí)現(xiàn)部分?jǐn)?shù)據(jù)快速訪問；業(yè)務(wù)流程管理對(duì)錄入編輯的工作流程進(jìn)行管理，方便支持流程的擴(kuò)展和修改。文件存儲(chǔ)管理支持文件數(shù)據(jù)的分布式海量存儲(chǔ)，通過文件存儲(chǔ)管理，還可以把文件存儲(chǔ)設(shè)備擴(kuò)展到新的服務(wù)器上，實(shí)現(xiàn)按照資源的處理階段劃分存儲(chǔ)區(qū)域，也支持針對(duì)不同的站點(diǎn)劃分不同的存儲(chǔ)區(qū)域，即實(shí)現(xiàn)不同級(jí)別的站點(diǎn)分開存儲(chǔ)。支持文件數(shù)據(jù)多種格式存儲(chǔ)。即將一個(gè)文檔存成另外一種格式，不同于它原來的格式或用法。系統(tǒng)實(shí)現(xiàn)關(guān)鍵應(yīng)用級(jí)文件數(shù)據(jù)備份功能，通過在應(yīng)用中記錄應(yīng)用系統(tǒng)使用者的操作，實(shí)時(shí)的把操作結(jié)果保存為兩份的功能。通過把備份時(shí)間設(shè)成報(bào)社非工作時(shí)間，保證備份操作的效率。分類管理支持多種分類類型，支持分類的擴(kuò)展，支持分類碼轉(zhuǎn)換，采用《GB/T20093-2006中文新聞信息分類與代碼》作為分類標(biāo)準(zhǔn)。數(shù)據(jù)源管理系統(tǒng)支持多個(gè)數(shù)據(jù)源，支持與多個(gè)關(guān)系數(shù)據(jù)庫做連接。日志管理系統(tǒng)提供全面詳盡的日志信息記錄功能，對(duì)系統(tǒng)中用戶的一些日常操作記錄，稿件加工的操作記錄，稿件下載都進(jìn)行統(tǒng)一管理。系統(tǒng)能夠記錄用戶的登錄時(shí)間、退出時(shí)間、進(jìn)入系統(tǒng)后對(duì)哪些內(nèi)容進(jìn)行了操作，操作時(shí)間、操作類型等，都進(jìn)行全面的記錄。對(duì)日志可以進(jìn)行瀏覽、查詢和歸檔。提供圖表方式的統(tǒng)計(jì)數(shù)據(jù)，可生成統(tǒng)計(jì)基本報(bào)表；系統(tǒng)能夠提供各項(xiàng)運(yùn)行指標(biāo)，包括各個(gè)庫表的空間大小、記錄數(shù)目、增長速度等等，方便系統(tǒng)管理員維護(hù)管理，對(duì)系統(tǒng)的日常工作情況進(jìn)行監(jiān)控管理。后臺(tái)服務(wù)任務(wù)管理根據(jù)應(yīng)用子系統(tǒng)的需要，配置一些后臺(tái)運(yùn)行的服務(wù)，支持添加，啟動(dòng)，關(guān)閉，刪除功能。系統(tǒng)錯(cuò)誤跟蹤管理可以跟蹤系統(tǒng)中發(fā)現(xiàn)的錯(cuò)誤，及時(shí)定位錯(cuò)誤位置，便于快速排出故障。與相關(guān)業(yè)務(wù)系統(tǒng)的銜接全媒體資源服務(wù)平臺(tái)庫系統(tǒng)支持與報(bào)社全媒體新聞生產(chǎn)系統(tǒng)無縫對(duì)接，采編系統(tǒng)里的業(yè)務(wù)數(shù)據(jù)設(shè)定期限后可自動(dòng)歸檔到全媒體資源服務(wù)平臺(tái)庫系統(tǒng)中進(jìn)行存儲(chǔ)。全媒體資源服務(wù)平臺(tái)庫系統(tǒng)內(nèi)的文字、圖片內(nèi)容可直接再簽回到報(bào)社采編系統(tǒng)中進(jìn)行后續(xù)的加工應(yīng)用。系統(tǒng)具有對(duì)外銷售增值的業(yè)務(wù)接口，方便報(bào)社后續(xù)的圖片資料、內(nèi)容資產(chǎn)的網(wǎng)絡(luò)銷售。

硬件系統(tǒng)方案服務(wù)器系統(tǒng)服務(wù)器系統(tǒng)是報(bào)社業(yè)務(wù)系統(tǒng)賴以運(yùn)行的支撐平臺(tái)，其安全性、穩(wěn)定性、高效性和可靠性是業(yè)務(wù)系統(tǒng)的基礎(chǔ)和保障。結(jié)合方正電子的集成經(jīng)驗(yàn)，本著從應(yīng)用出發(fā)，適用、實(shí)用的原則，總結(jié)了以下關(guān)鍵業(yè)務(wù)服務(wù)器的選型經(jīng)驗(yàn)和思路，以供最終選型時(shí)參考。服務(wù)器的可靠性和可用性是首要的需求，其次是數(shù)據(jù)處理能力和安全性，然后是可擴(kuò)展性和可管理性。服務(wù)器選型五個(gè)原則1)高性能原則保證所選型的服務(wù)器，不僅能夠滿足運(yùn)營系統(tǒng)的運(yùn)行和業(yè)務(wù)處理的需要，而且能夠滿足一定時(shí)期的業(yè)務(wù)量增長的需要。同時(shí)，選擇高性能價(jià)格比的服務(wù)器。2)可靠性原則可靠性原則是所有選擇設(shè)備和系統(tǒng)中首要考慮的，尤其是在大型的、有大量處理要求的、需要長期運(yùn)行的系統(tǒng)?？紤]服務(wù)器系統(tǒng)的可靠性，不僅要考慮服務(wù)器單個(gè)節(jié)點(diǎn)的可靠性或穩(wěn)定性，而且要考慮服務(wù)器與相關(guān)輔助系統(tǒng)之間連接的整體可靠性，在必要時(shí)，還應(yīng)考慮對(duì)關(guān)鍵服務(wù)器采用集群技術(shù)，如：雙機(jī)熱備份或集群并行訪問技術(shù)，甚至采用可能的完全容錯(cuò)機(jī)。比如，要保證系統(tǒng)(硬件和操作系統(tǒng))在99.98%的時(shí)間內(nèi)都能夠正常運(yùn)作(包括維修時(shí)間)，則故障停機(jī)時(shí)間六個(gè)月不得超過0.5個(gè)小時(shí)。服務(wù)器需7×24小時(shí)連續(xù)運(yùn)行，因而要求其具有很高的安全可靠性。服務(wù)器如出現(xiàn)CPU損壞或其它機(jī)械故障，都能在20分鐘內(nèi)由備用的CPU和機(jī)器自動(dòng)代替工作，無須人員操作，保證數(shù)據(jù)完整。3)可擴(kuò)展性原則保證所選型的服務(wù)器具有優(yōu)秀的可擴(kuò)展性原則。因?yàn)榉?wù)器是所有系統(tǒng)處理的核心，要求具有大數(shù)據(jù)吞吐速率，包括：I/O速率和網(wǎng)絡(luò)通訊速率，而且服務(wù)器需要能夠處理一定時(shí)期的業(yè)務(wù)發(fā)展所帶來的數(shù)據(jù)量，需要服務(wù)器能夠在相應(yīng)時(shí)間對(duì)其自身根據(jù)業(yè)務(wù)發(fā)展的需要進(jìn)行相應(yīng)的升級(jí)，如：CPU型號(hào)升級(jí)、內(nèi)存擴(kuò)大、硬盤擴(kuò)大、更換網(wǎng)卡、增加終端數(shù)目、掛接磁盤陣列或與其他服務(wù)器組成對(duì)集中數(shù)據(jù)的并發(fā)訪問的集群系統(tǒng)等。這都需要所選購的服務(wù)器在整體上具有一個(gè)良好的可擴(kuò)充余地。一般會(huì)采用集群方式來增加可靠性，其中掛接的磁盤存儲(chǔ)系統(tǒng)，根據(jù)數(shù)據(jù)量和投資考慮，可以采用DAS、NAS或SAN等實(shí)現(xiàn)技術(shù)。4)安全性原則服務(wù)器處理的大都是相關(guān)系統(tǒng)的核心數(shù)據(jù)，其上存放和運(yùn)行著關(guān)鍵的交易和重要的數(shù)據(jù)。這些交易和數(shù)據(jù)對(duì)于擁有者來說是一筆重要的資產(chǎn)，他們的安全性就非常敏感。服務(wù)器的安全性與系統(tǒng)的整體安全性密不可分，如：網(wǎng)絡(luò)系統(tǒng)的安全、數(shù)據(jù)加密、密碼體制等。服務(wù)器需要在其自身，包括軟硬件，都應(yīng)該從安全的角度上設(shè)計(jì)考慮，在借助于外界的安全設(shè)施保障下，更要保證本身的高安全性。5)可管理性原則服務(wù)器既是核心又是系統(tǒng)整體中的一個(gè)節(jié)點(diǎn)部分，就像網(wǎng)絡(luò)系統(tǒng)需要進(jìn)行管理維護(hù)一樣，也需要對(duì)服務(wù)器進(jìn)行有效的管理。這需要服務(wù)器的軟硬件對(duì)標(biāo)準(zhǔn)的管理系統(tǒng)支持，尤其是其上的操作系統(tǒng)，也包括一些重要的系統(tǒng)部件。為保證報(bào)社編采業(yè)務(wù)以及整個(gè)文字處理和出版流程的順利運(yùn)作，無論是全媒體新聞生產(chǎn)、全媒體資源庫、通訊員投稿、文件服務(wù)等等都離不開服務(wù)器系統(tǒng)。作為承擔(dān)系統(tǒng)數(shù)據(jù)存儲(chǔ)、加工、轉(zhuǎn)換及綜合處理的系統(tǒng)中心平臺(tái)--系統(tǒng)服務(wù)器，是否能很好的承擔(dān)此核心任務(wù)是系統(tǒng)成功的重要基礎(chǔ)。服務(wù)器是報(bào)業(yè)業(yè)務(wù)系統(tǒng)基礎(chǔ)建設(shè)的核心。因此，對(duì)于服務(wù)器的選型，首先需對(duì)其業(yè)務(wù)系統(tǒng)的業(yè)務(wù)類型、業(yè)務(wù)復(fù)雜度等方面做系統(tǒng)的需求分析，其后根據(jù)需求在數(shù)據(jù)容量、數(shù)據(jù)處理的強(qiáng)度等方面進(jìn)行估算，并兼顧服務(wù)器的可靠性、擴(kuò)展性、安全性、可管理性等方面綜合考慮，完成最終的產(chǎn)品選型。數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫服務(wù)器將承載關(guān)系型數(shù)據(jù)庫系統(tǒng)，用于管理和存儲(chǔ)采編、圖片生產(chǎn)系統(tǒng)核心管理數(shù)據(jù)、原數(shù)據(jù)等小對(duì)象（比如稿件、簡圖等）結(jié)構(gòu)化數(shù)據(jù)，相當(dāng)于應(yīng)用系統(tǒng)的管理中樞，同時(shí)也是業(yè)務(wù)系統(tǒng)賴以運(yùn)行的基礎(chǔ)。所有客戶端子系統(tǒng)都要與其建立直接的實(shí)時(shí)連接。因此，數(shù)據(jù)庫系統(tǒng)的穩(wěn)定性要求非常高。數(shù)據(jù)庫系統(tǒng)對(duì)服務(wù)器的處理器、內(nèi)存的要求較高，但對(duì)數(shù)據(jù)存儲(chǔ)及存儲(chǔ)容量的要求一般，屬于計(jì)算密集、敏感型應(yīng)用。機(jī)集群系統(tǒng)架構(gòu)為提高全媒體資源平臺(tái)及服務(wù)器操作系統(tǒng)安全、穩(wěn)定運(yùn)行。我們建議使用高可用模塊來做服務(wù)器的雙機(jī)熱備，保障整體系統(tǒng)7*24小時(shí)平穩(wěn)運(yùn)行。雙機(jī)高可用方案主要有兩種架構(gòu)方式：共享磁盤系統(tǒng)高可用各服務(wù)器之間共享磁盤陣列設(shè)備。當(dāng)活動(dòng)服務(wù)器發(fā)生故障時(shí)，待機(jī)服務(wù)器將使用共享磁盤上的數(shù)據(jù)來繼承業(yè)務(wù)。通過使用共享磁盤，覆蓋數(shù)據(jù)量可達(dá)到數(shù)TB級(jí)。鏡像磁盤系統(tǒng)通過私網(wǎng)對(duì)高可用服務(wù)器上的數(shù)據(jù)磁盤進(jìn)行鏡像化。當(dāng)活動(dòng)服務(wù)器發(fā)生故障時(shí)，待機(jī)服務(wù)器使用鏡像盤上的數(shù)據(jù)來繼承業(yè)務(wù)。由于數(shù)據(jù)的鏡像化是以I/O為單位進(jìn)行的，因此，從上層應(yīng)用程序來看，與共享磁盤效果是相同的。但是數(shù)據(jù)量上僅適合于數(shù)據(jù)容量為數(shù)十GB以內(nèi)的系統(tǒng)。根據(jù)全媒體資源平臺(tái)存儲(chǔ)數(shù)據(jù)量，我們建議采用共享磁盤系統(tǒng)的雙機(jī)高可用。當(dāng)某臺(tái)服務(wù)器發(fā)生故障時(shí)，通過高可用模塊的支持，另一臺(tái)服務(wù)器會(huì)檢測(cè)到故障，并自動(dòng)切換故障服務(wù)器承載的應(yīng)用，接管共享存儲(chǔ)中的數(shù)據(jù)，保障全媒體新聞生產(chǎn)系統(tǒng)流程不間斷。服務(wù)器推薦選型根據(jù)以上性能分析，本次方案我們推薦全媒體資源平臺(tái)各采用兩臺(tái)DELLR720服務(wù)器做雙機(jī)集群，每臺(tái)配置雙路六核處理器，32GB內(nèi)存，2塊300GB10krpmSFFSAS硬盤承載全媒體新聞生產(chǎn)系統(tǒng)。DELLPowerEdgeR720雙路2U機(jī)架式DellPowerEdgeR720服務(wù)器樹立了功能靈活性方面的新標(biāo)準(zhǔn)，配備高度可擴(kuò)展的內(nèi)存、I/O容量和靈活的網(wǎng)絡(luò)選項(xiàng)，可以輕松運(yùn)行復(fù)雜的工作負(fù)載。DellPowerEdgeR720機(jī)架式服務(wù)器是一款配有高度可擴(kuò)展的內(nèi)存（最多可擴(kuò)展到768GB）與超強(qiáng)I/O能力的通用平臺(tái)，能夠輕松運(yùn)行大中型企業(yè)的各種應(yīng)用程序以及虛擬化環(huán)境。借助英特爾至強(qiáng)E5處理器和對(duì)雙RAID控制器的支持，R720可以穩(wěn)健地處理要求極為苛刻的工作負(fù)載，如數(shù)據(jù)倉庫、電子商務(wù)、虛擬桌面基礎(chǔ)架構(gòu)(VDI)、數(shù)據(jù)庫和作為數(shù)據(jù)節(jié)點(diǎn)的高性能計(jì)算(HPC)。存儲(chǔ)系統(tǒng)存儲(chǔ)管理層目前包括三種存儲(chǔ)架構(gòu)，即DAS、NAS和SAN。其中，DAS即直接連接存儲(chǔ)，存儲(chǔ)設(shè)備直接與數(shù)據(jù)存儲(chǔ)需求者連接，系統(tǒng)對(duì)磁盤BLOCK請(qǐng)求直接發(fā)送到存儲(chǔ)設(shè)備。DAS存儲(chǔ)設(shè)備通常是具備雙RAID控制器的中低端磁盤陣列柜且無單故障點(diǎn)。DAS存儲(chǔ)方式的主要優(yōu)勢(shì)是高性價(jià)比，通常適用于數(shù)據(jù)存儲(chǔ)需要不大且無共享數(shù)據(jù)存儲(chǔ)需求的環(huán)境。NAS即網(wǎng)絡(luò)附屬存儲(chǔ)，是一種基于以太網(wǎng)的專用文件存儲(chǔ)和共享設(shè)備。NAS存儲(chǔ)設(shè)備通常由機(jī)頭（負(fù)責(zé)存儲(chǔ)設(shè)備和文件管理服務(wù)）和磁盤箱（存儲(chǔ)設(shè)備）兩部分組成。高端NAS系統(tǒng)機(jī)頭會(huì)采用冗余配置，以保證NAS核心系統(tǒng)無單故障點(diǎn)。NAS存儲(chǔ)方式的主要優(yōu)勢(shì)是文件共享、備份和容災(zāi)，通常適用于對(duì)文件、圖片等大對(duì)象數(shù)據(jù)有存儲(chǔ)需求的環(huán)境。另外，目前很多NAS廠商提供SAN、NAS混合型一體化產(chǎn)品。SAN即存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是一種通過專用交