元數(shù)據(jù)管理解決方案-2018.3.27

元數(shù)據(jù)管理解決方案-2018.3.27元數(shù)據(jù)管理解決方案-2018.3.27元數(shù)據(jù)管理解決方案-2018.3.27資料僅供參考文件編號：2022年4月元數(shù)據(jù)管理解決方案-2018.3.27版本號：A修改號：1頁次：1.0審核：批準(zhǔn):發(fā)布日期：元數(shù)據(jù)解決方案隨著報價系統(tǒng)每年收集和使用的數(shù)據(jù)飛速增長，數(shù)據(jù)體量日趨增長，數(shù)據(jù)形態(tài)多樣化且不統(tǒng)一，多種數(shù)據(jù)源之間的采集、傳播和共享遇到困難。元數(shù)據(jù)管理作為大數(shù)據(jù)治理的核心，是有效管理這些數(shù)據(jù)的基礎(chǔ)和前提，在信息化建設(shè)中發(fā)揮著重要的作用。如何理解、管理并發(fā)揮出元數(shù)據(jù)的價值，成為迫切的任務(wù)。什么是元數(shù)據(jù)元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)?？蓪⑵浒从猛镜牟煌譃閮深悾杭夹g(shù)元數(shù)據(jù)（TechnicalMetadata）和業(yè)務(wù)元數(shù)據(jù)（BusinessMetadata）。技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容。業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式。匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢與報告。由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權(quán)和存取控制）。業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實際系統(tǒng)之間的語義層，使業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名。訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源。系統(tǒng)所提供的分析方法以及公式和報表的信息。企業(yè)概念模型、多維數(shù)據(jù)模型，業(yè)務(wù)概念模型與物理數(shù)據(jù)的依賴，元數(shù)據(jù)的作用元數(shù)據(jù)可以實現(xiàn)業(yè)務(wù)模型與數(shù)據(jù)模型的映射，幫助用戶理解數(shù)據(jù)倉庫中的數(shù)據(jù)；元數(shù)據(jù)清晰的描述了數(shù)據(jù)的來龍去脈，描述了數(shù)據(jù)抽取轉(zhuǎn)換規(guī)則，是保證數(shù)據(jù)質(zhì)量的關(guān)鍵；元數(shù)據(jù)管理系統(tǒng)可以把整個業(yè)務(wù)的工作流、數(shù)據(jù)流和信息流有效的管理，可以支持需求變化，從而提高系統(tǒng)的可擴(kuò)展性；打通數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)定義，形成企業(yè)級知識傳承平臺，元數(shù)據(jù)管理使得數(shù)據(jù)變的更有價值。元數(shù)據(jù)管理在大數(shù)據(jù)時代的背景下，數(shù)據(jù)即資產(chǎn)，元數(shù)據(jù)實現(xiàn)了信息的描述和分類的格式化，從而為機(jī)器處理創(chuàng)造了可能，它能幫助企業(yè)更好地對數(shù)據(jù)資產(chǎn)進(jìn)行管理，理清數(shù)據(jù)之間的關(guān)系。元數(shù)據(jù)管理是企業(yè)提升數(shù)據(jù)質(zhì)量的基礎(chǔ)，也是企業(yè)數(shù)據(jù)治理中的關(guān)鍵環(huán)節(jié)。元數(shù)據(jù)管理不當(dāng)，信息很容易被丟失，進(jìn)而不能對業(yè)務(wù)進(jìn)行有效支撐，企業(yè)內(nèi)部業(yè)務(wù)人員要識別相關(guān)信息就會變得十分困難，最終用戶也將失去對數(shù)據(jù)的信任。元數(shù)據(jù)采集技術(shù)元數(shù)據(jù)的采集，根據(jù)現(xiàn)有元數(shù)據(jù)設(shè)計出元模型，然后將數(shù)據(jù)倉庫系統(tǒng)之中的元數(shù)據(jù)按元模型集中匯總并關(guān)聯(lián)到一起，達(dá)到企業(yè)對數(shù)據(jù)統(tǒng)一管理與應(yīng)用的目的，ETL等產(chǎn)生的元數(shù)據(jù)，對于元數(shù)據(jù)管理工具支持的格式可直接進(jìn)行導(dǎo)入，對于一些自定義的規(guī)則，需要進(jìn)行格式轉(zhuǎn)換并導(dǎo)入。業(yè)務(wù)元數(shù)據(jù)相對復(fù)雜，來源較廣泛且不統(tǒng)一，需要對業(yè)務(wù)系統(tǒng)進(jìn)行深入理解，按業(yè)務(wù)主題進(jìn)行整理，梳理出業(yè)務(wù)范圍、業(yè)務(wù)名稱、業(yè)務(wù)定義、業(yè)務(wù)描述、業(yè)務(wù)關(guān)系等，并添加到元數(shù)據(jù)管理系統(tǒng)中。主要從以下幾方面來進(jìn)行梳理：業(yè)務(wù)平臺中的各業(yè)務(wù)流程。交易、結(jié)算系統(tǒng)，提取出各種財務(wù)公式、過程邏輯、業(yè)務(wù)規(guī)則等。報表系統(tǒng)，比如表頭，包含合計、平均數(shù)等聚合函數(shù)的列，一些計算公式等。表格，在Excel中進(jìn)行業(yè)務(wù)計算的公式，列的描述、代碼描述等。文件數(shù)據(jù)中的標(biāo)題、作者、時間、內(nèi)容主題等。存儲管理對元數(shù)據(jù)存儲需要使用專門的工具，擬定為（還需要做充分調(diào)研）PentahoMetadata進(jìn)行存儲管理。通過工具與數(shù)據(jù)庫系統(tǒng)的對接，將元數(shù)據(jù)導(dǎo)致進(jìn)去，對于不支持系統(tǒng)對接的元數(shù)據(jù)，可手動進(jìn)行添加。通過管理工具提供的輔助功能可對元數(shù)據(jù)進(jìn)行標(biāo)注、完善等。元數(shù)據(jù)應(yīng)用通過元數(shù)據(jù)管理工具將元數(shù)據(jù)服務(wù)提供給所有業(yè)務(wù)人員，使業(yè)務(wù)人員也能夠快速的從業(yè)務(wù)角度理解數(shù)據(jù)，從而幫助業(yè)務(wù)人員更好的利用數(shù)據(jù)。以下用三個方面來闡述元數(shù)據(jù)的實際應(yīng)用價值：元數(shù)據(jù)對比分析業(yè)務(wù)系統(tǒng)由開發(fā)環(huán)境到測試環(huán)境再到生產(chǎn)環(huán)境，在系統(tǒng)的設(shè)計、開發(fā)、測試、上線過程中，無論需求變更還是Bug都會導(dǎo)致元數(shù)據(jù)的改動。大到庫表結(jié)構(gòu)重新設(shè)計，小到字段類型的變更，都可能導(dǎo)致系統(tǒng)出現(xiàn)重大問題。為了避免這種問題的發(fā)生，我們可以使用元數(shù)據(jù)系統(tǒng)的對比分析功能，元數(shù)據(jù)系統(tǒng)可以自動采集三個環(huán)境的庫、表、字段、視圖、存儲過程等結(jié)構(gòu)，自動化采集保證了各自環(huán)境中都是最新的、最準(zhǔn)確的元數(shù)據(jù)結(jié)構(gòu)，我們對上線的數(shù)據(jù)環(huán)境與測試庫進(jìn)行對比，會輕松的發(fā)現(xiàn)問題所在，能大大降低這些問題發(fā)生的概率。數(shù)據(jù)流向分析數(shù)據(jù)平臺系統(tǒng)中，業(yè)務(wù)數(shù)據(jù)由操作型數(shù)據(jù)幾分析型數(shù)據(jù)轉(zhuǎn)換，通過大量的數(shù)據(jù)抽取、轉(zhuǎn)換、清洗等過程形成了分析統(tǒng)計數(shù)據(jù)。數(shù)據(jù)由業(yè)務(wù)系統(tǒng)->數(shù)據(jù)倉庫->數(shù)據(jù)集市->分析報表，數(shù)據(jù)加工鏈路比較長，期間處理方式多元化，很容易會出現(xiàn)數(shù)據(jù)項不符合業(yè)務(wù)邏輯的情況，出現(xiàn)問題也很難迅速解決。通過使用元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)流向分析，即影響分析（上游->下游）與血緣分析（下游->上游），提供了字段級的數(shù)據(jù)解析，上下游之間的數(shù)據(jù)加工鏈路可以通過圖形的方式快速定位，可以快速定位特定的表和某些字段，然后做詳細(xì)的邏輯分析，大大簡化了分析環(huán)節(jié)，提升了解決問題的效率。交易鏈路分析元數(shù)據(jù)可以輔助快速梳理系統(tǒng)服務(wù)之間的調(diào)用關(guān)系與服務(wù)間的接口。比如交易系統(tǒng)中入金、記賬、結(jié)算等業(yè)務(wù)，會經(jīng)過一系統(tǒng)復(fù)雜的系統(tǒng)接口服務(wù)調(diào)用，為了更為清晰、準(zhǔn)確的了解交易流程，需要對各個服務(wù)進(jìn)行梳理、整合，由于涉及不同的部門、系統(tǒng)，工作量和工作難度將相當(dāng)大。為了解決這個問題，元數(shù)據(jù)的鏈路分析能力可以自動化的完成梳理任務(wù)，元數(shù)據(jù)可以通過服務(wù)接口的采集，自動獲取