【非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)】大型集團(tuán)企業(yè)非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)建設(shè)方案WORD

大型集團(tuán)企業(yè)非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)建設(shè)方案1. 非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)建設(shè)目標(biāo) 12. 非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì) 12.1. 內(nèi)容采集 22.2. 內(nèi)容管理 32.3. 知識(shí)管理 52.4. 內(nèi)容安全 73. 非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)方案設(shè)計(jì) 83.1. 建設(shè)方式分析及建議 83.2. 部署方案 113.3. 業(yè)務(wù)應(yīng)用及BPM調(diào)用方案 153.4. 內(nèi)容采集方案 173.5. 數(shù)據(jù)存儲(chǔ)方案 18非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)建設(shè)目標(biāo)統(tǒng)一存儲(chǔ)管理電子單據(jù)、財(cái)務(wù)憑證、原始憑證等非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理，提供集團(tuán)知識(shí)統(tǒng)一管理，支撐XX集團(tuán)財(cái)務(wù)集中管控平臺(tái)業(yè)務(wù)開展。非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)內(nèi)容管理是基于大容量存儲(chǔ)設(shè)備，支撐XX集團(tuán)非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲(chǔ)及管理，基于ECM建設(shè)實(shí)踐及XX集團(tuán)非結(jié)構(gòu)化數(shù)據(jù)管理需求。ECM管理范圍包括：文檔管理，支持各類電子文檔、電子憑證、電子報(bào)表和具有法律效應(yīng)的文件等的管理；多媒體管理，支持各類支持多媒體信息的管理，包括：聲音、視頻、流媒體等；影像管理，支持各類影像數(shù)據(jù)管理；ECM功能架構(gòu)如下圖。內(nèi)容采集通過建立統(tǒng)一的內(nèi)容接入標(biāo)準(zhǔn)和規(guī)范，為XX集團(tuán)的應(yīng)用系統(tǒng)提供統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)采集的快速訪問通道：支持的文檔內(nèi)容類型可以是掃描儀、傳真機(jī)、電子郵件附件、圖片、電子表單、PDF等；支持多語(yǔ)言自動(dòng)OCR字符識(shí)別，可以將圖片或者PDF文件中的字母、數(shù)字、符號(hào)等抽取作為屬性元數(shù)據(jù)，結(jié)合元數(shù)據(jù)定義同步至內(nèi)容服務(wù)器中，從而形成文件從紙張到電子化文檔管理的完全自動(dòng)化處理；支持大批量掃描及自動(dòng)識(shí)別功能；圖像增強(qiáng)、修改索引、工作流功能。內(nèi)容管理ECM提供對(duì)內(nèi)容統(tǒng)一管理，功能包括。文件存儲(chǔ)和元數(shù)據(jù)存儲(chǔ)內(nèi)容屬性（元數(shù)據(jù)）存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)以便快速查詢和檢索；內(nèi)容（影像）以文件形式存儲(chǔ)在文件存儲(chǔ)區(qū)；文件存儲(chǔ)區(qū)可以是文件系統(tǒng)，基于文件系統(tǒng)的存儲(chǔ)區(qū)可以托管在不同類型的存儲(chǔ)環(huán)境；內(nèi)容支持：一般文件、網(wǎng)站內(nèi)容、XML、多媒體、email等，且可擴(kuò)展文件類型與文件格式；內(nèi)容庫(kù)管理內(nèi)容簽入，簽出功能；內(nèi)容版本管理：支持授權(quán)用戶對(duì)指定文件進(jìn)行升版并填寫升版相關(guān)的元數(shù)據(jù)，新版本文件發(fā)布前，該文件的有效版本仍是升版前的版本。在對(duì)文件進(jìn)行升版后，系統(tǒng)自動(dòng)將當(dāng)前版本電子文件設(shè)置到新版本中。而各個(gè)版本信息的可追溯；支持自定義版次規(guī)則；防止跳版本和重復(fù)版本；同一文檔可以保留全部版本，也可以選擇僅保存每個(gè)文檔的最新版本；內(nèi)容檢索，支持與第三方檢索引擎結(jié)合，支持自動(dòng)索引更新服務(wù)，并且支持增量更新的方式進(jìn)行更新，確保索引的性能明顯優(yōu)于采用全量更新的方式；支持檢索類型：文檔、文本文件、XML組件、HTML；編碼管理：支持自定義文件編碼規(guī)則，申請(qǐng)編碼和自動(dòng)生成編碼，保證編碼的唯一性（消除重復(fù)，空號(hào)檢查）和連續(xù)性，也支持多套編碼方式同時(shí)存在；元數(shù)據(jù)管理：文檔系統(tǒng)能靈活地管理收錄進(jìn)入系統(tǒng)的文檔及檔案的屬性元數(shù)據(jù)，并作為分類、搜索的依據(jù)，例如：根據(jù)某特定元數(shù)據(jù)屬性自動(dòng)歸檔到特定分類；另外搜索過程也可通過透過元數(shù)據(jù)精確定位某類文檔；用戶可以實(shí)現(xiàn)的功能包括：創(chuàng)建、定義、刪除、修改、復(fù)制、繼承元數(shù)據(jù)，元數(shù)據(jù)屬性數(shù)量不限；文檔體系管理：支持自定義文件分類及其關(guān)聯(lián)屬性。并建立以用戶自定義層次結(jié)構(gòu)的文檔分類配置管理控制模板，具備讓組織內(nèi)的人員按授權(quán)進(jìn)行新文件生成或已有文件升版并錄入相關(guān)元數(shù)據(jù)的功能；文件批量導(dǎo)出功能：提供通用的文檔導(dǎo)入、導(dǎo)出工具。知識(shí)管理內(nèi)容管理是知識(shí)管理的基礎(chǔ)，需要配備相應(yīng)的知識(shí)組織及流程，對(duì)知識(shí)進(jìn)行系統(tǒng)化管理，知識(shí)管理功能包括：知識(shí)中心：知識(shí)中心是非結(jié)構(gòu)化信息的存儲(chǔ)管理中心。非結(jié)構(gòu)化信息包括各種格式的文檔、各種格式的媒體文件、各種特殊格式的文件、離散數(shù)據(jù)、一次性數(shù)據(jù)等。知識(shí)流程管理知識(shí)管理流程分為知識(shí)管理申請(qǐng)、評(píng)估流程、知識(shí)管理權(quán)限申請(qǐng)流程、知識(shí)管理考核流程和知識(shí)管理歸檔流程。知識(shí)目錄管理知識(shí)中心可被劃分為多個(gè)邏輯區(qū)域，如集團(tuán)知識(shí)中心、公司知識(shí)中心、各部門的知識(shí)中心和個(gè)人知識(shí)中心等。知識(shí)處理非結(jié)構(gòu)化信息需要通過一定的結(jié)構(gòu)化處理后才能進(jìn)行知識(shí)中心。非結(jié)構(gòu)化信息的結(jié)構(gòu)化處理包括：根據(jù)特定的格式定義非結(jié)構(gòu)化信息的摘要填寫特定的非結(jié)構(gòu)化信息的擴(kuò)展屬性根據(jù)特定的要求定義非結(jié)構(gòu)化信息的關(guān)鍵詞知識(shí)訪問與發(fā)布訪問安全控制多重發(fā)布渠道，支持企業(yè)郵件、應(yīng)用系統(tǒng)、手持設(shè)備等知識(shí)統(tǒng)計(jì)、分析和審計(jì)知識(shí)地圖知識(shí)的多維度導(dǎo)航知識(shí)地圖的一個(gè)重要特征是知識(shí)的多維度導(dǎo)航；知識(shí)管理支持從從不同的緯度索引導(dǎo)航到相應(yīng)的內(nèi)容，常見的非結(jié)構(gòu)化信息的緯度包括組織緯度、業(yè)務(wù)緯度和項(xiàng)目緯度。知識(shí)管理的統(tǒng)一搜索支持標(biāo)題、摘要、屬性信息和正文搜索，同時(shí)支持對(duì)于不同的用戶過濾搜索結(jié)果集，確保非結(jié)構(gòu)化信息的安全，如果某用戶無權(quán)訪問某非結(jié)構(gòu)化信息，此用戶通過知識(shí)管理及團(tuán)隊(duì)協(xié)作系統(tǒng)的搜索將無法搜索到該非結(jié)構(gòu)化信息任何信息。知識(shí)的熱點(diǎn)匯聚支持通過知識(shí)中心、知識(shí)地圖、專家地圖、知識(shí)社區(qū)和團(tuán)隊(duì)協(xié)作各種分類統(tǒng)計(jì)，根據(jù)一定的原則，選取目前訪問量最大的知識(shí)進(jìn)行集中展現(xiàn)。支持如下常用的知識(shí)熱點(diǎn)匯聚，如集中展現(xiàn)10個(gè)訪問量最高知識(shí)、集中展現(xiàn)同一搜索中最常出現(xiàn)的關(guān)鍵詞；知識(shí)社區(qū)支持知識(shí)協(xié)作空間、個(gè)人專區(qū)、知識(shí)專家內(nèi)容安全支持加密、訪問控制和訪問審計(jì)。平臺(tái)支持內(nèi)容存儲(chǔ)加密，有選擇性的針對(duì)某些分類的內(nèi)容存儲(chǔ)進(jìn)行加密和數(shù)字簽名保護(hù)，提高存儲(chǔ)數(shù)據(jù)的防偷聽和防篡改攻擊的能力。平臺(tái)支持內(nèi)容傳輸解密，實(shí)現(xiàn)端到端的數(shù)據(jù)加密傳輸，預(yù)防偷聽和中間人攻擊。提供基于訪問控制列表方式的訪問授權(quán)方式，系統(tǒng)管理員或內(nèi)容所有者可為內(nèi)容文件配置權(quán)限，預(yù)防未授權(quán)的訪問。系統(tǒng)對(duì)所有針對(duì)平臺(tái)和內(nèi)容的訪問都能提供審計(jì)日志，提高系統(tǒng)的安全性。系統(tǒng)對(duì)數(shù)據(jù)的版權(quán)保護(hù)可提供特殊的服務(wù)，例如圖片水印、音頻/視頻水印技術(shù)，實(shí)現(xiàn)對(duì)非授權(quán)訪問的鑒別能力。針對(duì)不同類型的內(nèi)容，可提供相應(yīng)的采集服務(wù)機(jī)制，例如影像的采集等。非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)方案設(shè)計(jì)建設(shè)方式分析及建議建議XX集團(tuán)采用平臺(tái)化ECM方式，構(gòu)建企業(yè)級(jí)統(tǒng)一非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)，在滿足財(cái)務(wù)集中管控平臺(tái)業(yè)務(wù)需求的同時(shí)，同時(shí)較好的支撐后續(xù)其它業(yè)務(wù)需求一體化ECM平臺(tái)化ECM專業(yè)影像采集ECM實(shí)現(xiàn)方式描述包含前端影像采集、后端企業(yè)級(jí)內(nèi)容管理及存儲(chǔ)一體化ECM功能只包括企業(yè)內(nèi)級(jí)內(nèi)容管理及存儲(chǔ)平臺(tái)，前端影像采集需另外配置在業(yè)務(wù)前端的影像采集系統(tǒng)，提供內(nèi)容管理、存儲(chǔ)功能特性分析構(gòu)建企業(yè)級(jí)統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)管理一體化支持內(nèi)容采集、存儲(chǔ)功能標(biāo)準(zhǔn)化程度高，集成工作量小擴(kuò)展性好，能哆支撐其它業(yè)務(wù)需求實(shí)現(xiàn)了企業(yè)級(jí)統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)管理能擴(kuò)展支撐其它業(yè)務(wù)應(yīng)用非結(jié)構(gòu)化數(shù)據(jù)管理需示XX影像采集功能可靈活配備，可較好滿足國(guó)內(nèi)不同格式文檔的掃描檢驗(yàn)要求，但集成工作量相對(duì)較大XX部門級(jí)應(yīng)用，適用于單據(jù)影像采集及內(nèi)容管理，支撐特定的業(yè)務(wù)，如銀行票據(jù)、財(cái)務(wù)票據(jù)影像處理功能重點(diǎn)關(guān)注影像采集，內(nèi)容管理功能較弱，擴(kuò)展能力有限，難于實(shí)現(xiàn)企業(yè)級(jí)非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一管理采用獨(dú)立的影像采集管理系統(tǒng)滿足財(cái)務(wù)集中管控平臺(tái)影像采集需求，影像內(nèi)容統(tǒng)一存儲(chǔ)于ECM平臺(tái)。基于XX集團(tuán)ECM建設(shè)方式，ECM平臺(tái)由數(shù)據(jù)管理及數(shù)據(jù)存儲(chǔ)組成。影像采集系統(tǒng)獨(dú)立于ECM，另行建設(shè)。數(shù)據(jù)管理提供對(duì)非結(jié)構(gòu)化數(shù)據(jù)全生命周期的采集、創(chuàng)建、變更、使用、歸檔、銷毀等全過程控制管理。內(nèi)容分類和元數(shù)據(jù)機(jī)制支持可自定義的內(nèi)容分類體系和對(duì)應(yīng)的元數(shù)據(jù)模型，作為內(nèi)容創(chuàng)建的前提。系統(tǒng)提供標(biāo)準(zhǔn)的元數(shù)據(jù)，例如擁有者、版本、創(chuàng)建日期等，系統(tǒng)支自定義的元數(shù)據(jù)擴(kuò)展。內(nèi)容的創(chuàng)建和變更支持簽入（Check-In）及簽出（Check-out）和版本管理功能，對(duì)非結(jié)構(gòu)化數(shù)據(jù)提供受控的訪問和更新，避免更新不一致。系統(tǒng)提供常見的內(nèi)容格式轉(zhuǎn)換服務(wù)，例如office文件和pdf文件的轉(zhuǎn)換。系統(tǒng)提供最終用戶和管理員的用戶界面支持上述過程，也提供應(yīng)用程序接口供第三方應(yīng)用使用。數(shù)據(jù)存儲(chǔ)組件支持豐富的后端存儲(chǔ)設(shè)施，例如文件系統(tǒng)、分布式文件系統(tǒng)、關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)、光盤庫(kù)、磁帶庫(kù)、多級(jí)緩存等。系統(tǒng)支持常見的非結(jié)構(gòu)化數(shù)據(jù)存取協(xié)議，例如WebDAV，F(xiàn)TP，CIFS、HDFS等。系統(tǒng)能提供對(duì)多頁(yè)影像文件的存取優(yōu)化機(jī)制，實(shí)現(xiàn)按頁(yè)存取。系統(tǒng)提供應(yīng)用訪問接口，支持B/S和C/S等應(yīng)用的非結(jié)構(gòu)化數(shù)據(jù)訪問需求。數(shù)據(jù)安全組件方面，支持用戶身份LDAP集成，支持訪問控制列表的授權(quán)，支持主流的文件存儲(chǔ)加密方法，如加密算法使用3DES-CBC，支持安全套接層（SSL）傳輸加密協(xié)議。部署方案建議XX集采用緩存方式，支撐內(nèi)容管理要求。集中方式緩存方式分布不復(fù)制分布復(fù)制簡(jiǎn)述集團(tuán)總部統(tǒng)一存儲(chǔ)集團(tuán)總部統(tǒng)一存儲(chǔ)，二級(jí)公司采用緩存機(jī)制集團(tuán)統(tǒng)一管理，內(nèi)容二級(jí)存儲(chǔ)，集團(tuán)與二級(jí)公司之間不復(fù)制集團(tuán)統(tǒng)一管理，內(nèi)容分布存儲(chǔ)，內(nèi)容相互復(fù)制優(yōu)點(diǎn)統(tǒng)一管理，內(nèi)容實(shí)時(shí)共享容易管理及維護(hù)，集中存儲(chǔ)備份管理內(nèi)容及時(shí)性、完整性強(qiáng)；統(tǒng)一集中管理，運(yùn)維效率高本地用戶可訪問緩存可按計(jì)劃同步內(nèi)容，減少?gòu)V域帶寬占用無DB、內(nèi)容服務(wù)器，無需在線IT人員維護(hù)本地用戶高效訪問本地內(nèi)容降低對(duì)廣域網(wǎng)帶寬占用本地用戶高效訪問本地內(nèi)容較好的災(zāi)備能力不足遠(yuǎn)程用戶訪問，占用廣域網(wǎng)帶寬，遠(yuǎn)端用戶可能存延時(shí)集團(tuán)用戶訪問遠(yuǎn)端內(nèi)容可能存在延遲需要額外許可需要額外的配置及運(yùn)維管理相互復(fù)制占用較大帶寬復(fù)制期間內(nèi)容可用存在延遲需要額外的配置及運(yùn)維管理適合場(chǎng)景廣域網(wǎng)帶寬較充足全局內(nèi)容搜索廣域網(wǎng)絡(luò)帶寬不足二級(jí)公司運(yùn)維能力較弱二級(jí)公司業(yè)務(wù)相對(duì)獨(dú)立，可實(shí)現(xiàn)差異化的全局內(nèi)容統(tǒng)一管理內(nèi)容訪問分布在二級(jí)公司實(shí)現(xiàn)內(nèi)容災(zāi)備ECM實(shí)現(xiàn)策略如下:XX集團(tuán)本部、XX物資集團(tuán)、XX龍?jiān)醇瘓F(tuán)等廣域網(wǎng)鏈路帶寬較高的公司，建議集中方式內(nèi)容管理:內(nèi)容集中存儲(chǔ)于集團(tuán)總部，包括元數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容管理/訪問，集團(tuán)用戶通過內(nèi)網(wǎng)，采用Web或客戶端訪問內(nèi)容服務(wù)；二級(jí)公司用戶通廣域網(wǎng)訪問內(nèi)容服務(wù)器廣域網(wǎng)鏈路帶寬較有限的二級(jí)公司，建議采用內(nèi)容緩沖模式內(nèi)容集中存儲(chǔ)于集團(tuán)總部，包括元數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)二級(jí)公司內(nèi)容可按需暫存于內(nèi)容緩存空間集團(tuán)用戶：通過內(nèi)網(wǎng)，采用Web或桌面端訪問內(nèi)容服務(wù)二級(jí)公司用戶：基于集團(tuán)內(nèi)容管理元數(shù)據(jù)，重定向至內(nèi)容緩存內(nèi)容同步策略需依據(jù)不同的業(yè)務(wù)特性，及業(yè)務(wù)需求，支持按計(jì)劃、按類型等方式的內(nèi)容同步。依據(jù)XX集團(tuán)廣域網(wǎng)絡(luò)及業(yè)務(wù)現(xiàn)狀，建議采用二級(jí)部署策略，靈活滿足業(yè)務(wù)需求。針對(duì)距離XX總部較近二級(jí)公司，廣域網(wǎng)絡(luò)鏈路帶寬較好，部署影像采集客戶端，如物資集團(tuán)共享中心、龍?jiān)醇瘓F(tuán)共享中心；針對(duì)廣域網(wǎng)絡(luò)鏈路帶寬有限，距離較遠(yuǎn)的二級(jí)公司，二級(jí)公司部署影像采集客戶端，同時(shí)部署企業(yè)內(nèi)容管理平臺(tái)緩存服務(wù)器，如XX東北公司共享中心。業(yè)務(wù)應(yīng)用及BPM調(diào)用方案內(nèi)容管理已形成統(tǒng)一的規(guī)范，建議ECM需要支持ODMA、WebDAV、JCR、CMIS接口協(xié)議，靈活滿足業(yè)務(wù)應(yīng)用及BPM調(diào)用需求。集成調(diào)用方式：與財(cái)務(wù)共享協(xié)同平臺(tái)集成：通過在財(cái)務(wù)共享協(xié)同平臺(tái)內(nèi)內(nèi)嵌ECM查詢、搜索頁(yè)面，實(shí)現(xiàn)在財(cái)務(wù)共享協(xié)同平臺(tái)內(nèi)提供統(tǒng)一的企業(yè)內(nèi)容查詢、搜索、展現(xiàn)；業(yè)務(wù)應(yīng)用系統(tǒng)內(nèi)容調(diào)用：如物資、燃料、財(cái)務(wù)等管控系統(tǒng)，當(dāng)存在需要訪問ECM平臺(tái)，查詢獲取取特定的影像等電子檔案時(shí)，ECM提供的統(tǒng)一服務(wù)接口，應(yīng)用系統(tǒng)通過ESB訪問ECM服務(wù)，獲取影像唯一的URI，調(diào)用影像內(nèi)容檔案管理系統(tǒng)、基于BPM平臺(tái)運(yùn)行的業(yè)務(wù)流程對(duì)ECM中內(nèi)容的管理操作：ECM需提供業(yè)界標(biāo)準(zhǔn)的接口規(guī)范,包括CCMIS、WebDAV、JCR、DMA/ODMA，供檔案管理系統(tǒng)、BPM調(diào)用及相互通信，如內(nèi)容狀態(tài)更新等信息同步。接口規(guī)范：CMIS是一個(gè)Web服務(wù)標(biāo)準(zhǔn)，它允許啟用內(nèi)容的應(yīng)用程序無縫地與任何已實(shí)現(xiàn)此標(biāo)準(zhǔn)的應(yīng)用程序交互。通過向CMIS生產(chǎn)者提供對(duì)多個(gè)存儲(chǔ)庫(kù)的訪問權(quán)限，以及通過CMIS使用者Web部件使用和呈現(xiàn)數(shù)據(jù)；CMIS界面可以分層放置在現(xiàn)有內(nèi)容管理系統(tǒng)(CMS)及其編程界面之上。它定義由CMS提供的一組通用功能和旨在使用這些功能的一組服務(wù)；JCR（JavaContentRepositoryAPI（JSR-170）），它提供了一套標(biāo)準(zhǔn)的API來訪問任何數(shù)據(jù)倉(cāng)庫(kù)。通過JSR-170，你開發(fā)代碼只需要引用javax.jcr.*這些類和接口。它適用于任何兼容JSR-170規(guī)范的內(nèi)容倉(cāng)庫(kù)；WebDAV（Web-basedDistributedAuthoringandVersioning）一種基于

HTTP

1.1協(xié)議的通信協(xié)議。它擴(kuò)展了HTTP1.1，在GET、POST、HEAD等幾個(gè)HTTP標(biāo)準(zhǔn)方法以外添加了一些新的方法，使應(yīng)用程序可直接對(duì)WebServer直接讀寫，并支持寫文件鎖定(Locking)及解鎖(Un