華為數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)治理實踐

導(dǎo)讀：2017年華為提出了企業(yè)的新愿景："把數(shù)字世界帶入每個人、每個家庭、每個組織，構(gòu)建萬物互聯(lián)的智能世界"。同時，華為公司董事、CIO陶景文提出了"實現(xiàn)全聯(lián)接的智能華為，成為行業(yè)標桿"的數(shù)字化轉(zhuǎn)型目標。圖1數(shù)字化轉(zhuǎn)型目標隨后，華為基于愿景確定了數(shù)字化轉(zhuǎn)型的藍圖和框架，統(tǒng)一規(guī)劃、分層次開展，最終實現(xiàn)客戶交互方式的轉(zhuǎn)變，實現(xiàn)內(nèi)部運營效率和效益的提升。華為數(shù)字化轉(zhuǎn)型藍圖包括5項舉措。圖2華為數(shù)字化轉(zhuǎn)型藍圖其中，舉措4涉及數(shù)據(jù)治理和數(shù)字化運營，是華為數(shù)字化轉(zhuǎn)型的關(guān)鍵，承接了打破數(shù)據(jù)孤島、確保源頭數(shù)據(jù)準確、促進數(shù)據(jù)共享、保障數(shù)據(jù)隱私與安全等目標。華為從2007年開始啟動數(shù)據(jù)治理，歷經(jīng)兩個階段的持續(xù)變革，系統(tǒng)地建立了華為數(shù)據(jù)管理體系。第一階段：2007～2016年在這一階段，華為設(shè)立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，任命數(shù)據(jù)Owner，通過統(tǒng)一信息架構(gòu)與標準、唯一可信的數(shù)據(jù)源、有效的數(shù)據(jù)質(zhì)量度量改進機制，實現(xiàn)了以下目標。持續(xù)提升數(shù)據(jù)質(zhì)量，減少糾錯成本：通過數(shù)據(jù)質(zhì)量度量與持續(xù)改進，確保數(shù)據(jù)真實反映業(yè)務(wù)，降低運營風險。數(shù)據(jù)全流程貫通，提升業(yè)務(wù)運作效率：通過業(yè)務(wù)數(shù)字化、標準化，借助IT技術(shù)，實現(xiàn)業(yè)務(wù)上下游信息快速傳遞、共享。第二階段：2017年至今在這一階段，華為建設(shè)數(shù)據(jù)底座，匯聚企業(yè)全域數(shù)據(jù)并對數(shù)據(jù)進行聯(lián)接，通過數(shù)據(jù)服務(wù)、數(shù)據(jù)地圖、數(shù)據(jù)安全防護與隱私保護，實現(xiàn)了數(shù)據(jù)隨需共享、敏捷自助、安全透明的目標，支撐著華為數(shù)字化轉(zhuǎn)型，實現(xiàn)了如下的數(shù)據(jù)價值。業(yè)務(wù)可視，能夠快速、準確決策：通過數(shù)據(jù)匯聚，實現(xiàn)業(yè)務(wù)狀態(tài)透明可視，提供基于“事實”的決策支持依據(jù)。人工智能，實現(xiàn)業(yè)務(wù)自動化：通過業(yè)務(wù)規(guī)則數(shù)字化、算法化，嵌入業(yè)務(wù)流，逐步替代人工判斷。數(shù)據(jù)創(chuàng)新，成為差異化競爭優(yōu)勢：基于數(shù)據(jù)的用戶洞察，發(fā)現(xiàn)新的市場機會點。圖3華為數(shù)據(jù)治理的發(fā)展歷程01華為數(shù)據(jù)分類管理框架——基于特征分類華為根據(jù)數(shù)據(jù)特性及治理方法的不同對數(shù)據(jù)進行了分類定義：內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)。其中，結(jié)構(gòu)化數(shù)據(jù)又進一步劃分為基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)和規(guī)則數(shù)據(jù)。華為數(shù)據(jù)分類管理框架如圖4所示。圖4華為數(shù)據(jù)分類管理框架不同分類的數(shù)據(jù)，其治理方法有所不同。如基礎(chǔ)數(shù)據(jù)內(nèi)容的變更通常會對現(xiàn)有流程、IT系統(tǒng)產(chǎn)生影響，因此基礎(chǔ)數(shù)據(jù)的管理重點在于變更管理和統(tǒng)一標準管控。主數(shù)據(jù)的錯誤可能會導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)的管理重點是確保同源多用、重點進行數(shù)據(jù)內(nèi)容的校驗等。02結(jié)構(gòu)化數(shù)據(jù)管理——以統(tǒng)一語言為核心結(jié)構(gòu)化數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)、規(guī)則數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)的共同特點是以信息架構(gòu)為基礎(chǔ)，建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標準與模型。下面將重點介紹六類結(jié)構(gòu)化數(shù)據(jù)的治理方法。1.基礎(chǔ)數(shù)據(jù)治理基礎(chǔ)數(shù)據(jù)用于對其他數(shù)據(jù)進行分類，在業(yè)界也稱作參考數(shù)據(jù)?；A(chǔ)數(shù)據(jù)通常是靜態(tài)的（如國家、幣種），一般在業(yè)務(wù)事件發(fā)生之前就已經(jīng)預(yù)先定義。它的可選值數(shù)量有限，可以用作業(yè)務(wù)或IT的開關(guān)和判斷條件。當基礎(chǔ)數(shù)據(jù)的取值發(fā)生變化的時候，通常需要對流程和IT系統(tǒng)進行分析和修改，以滿足業(yè)務(wù)需求。因此，基礎(chǔ)數(shù)據(jù)的管理重點在于變更管理和統(tǒng)一標準管控。基礎(chǔ)數(shù)據(jù)在支撐場景分流、流程自動化、提升分析質(zhì)量方面起著關(guān)鍵作用，治理基礎(chǔ)數(shù)據(jù)的價值如圖5所示。圖5基礎(chǔ)數(shù)據(jù)治理的價值因此，有效地管理基礎(chǔ)數(shù)據(jù)對企業(yè)來說可以產(chǎn)生巨大的收益。華為建立了一個完整的基礎(chǔ)數(shù)據(jù)管理框架（如圖6所示），通過明確各方的管理責任、發(fā)布相關(guān)的流程和規(guī)范以及建立基礎(chǔ)數(shù)據(jù)管理平臺等來確?；A(chǔ)數(shù)據(jù)的有效管理。圖6基礎(chǔ)數(shù)據(jù)治理框架2.主數(shù)據(jù)治理主數(shù)據(jù)是參與業(yè)務(wù)事件的主體或資源，是具有高業(yè)務(wù)價值的、跨流程和跨系統(tǒng)重復(fù)使用的數(shù)據(jù)。主數(shù)據(jù)與基礎(chǔ)數(shù)據(jù)有一定的相似性，都是在業(yè)務(wù)事件發(fā)生之前預(yù)先定義；但又與基礎(chǔ)數(shù)據(jù)不同，主數(shù)據(jù)的取值不受限于預(yù)先定義的數(shù)據(jù)范圍，而且主數(shù)據(jù)的記錄的增加和減少一般不會影響流程和IT系統(tǒng)的變化。但是，主數(shù)據(jù)的錯誤可能導(dǎo)致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)最重要的管理要求是確保同源多用和重點進行數(shù)據(jù)內(nèi)容的校驗。華為的主數(shù)據(jù)管理策略如圖7所示。圖7主數(shù)據(jù)治理策略華為的主數(shù)據(jù)范圍包括客戶、產(chǎn)品、供應(yīng)商、組織、人員主題，每個主數(shù)據(jù)都有相應(yīng)的架構(gòu)、流程及管控組織來負責管理。鑒于主數(shù)據(jù)管理的重要性，對于每個重要的主數(shù)據(jù)，都會發(fā)布相應(yīng)的管理規(guī)范，數(shù)據(jù)管家依據(jù)數(shù)據(jù)質(zhì)量標準定期進行數(shù)據(jù)質(zhì)量的度量與改進。同時，對于主數(shù)據(jù)的集成消費按照如下管理框架進行管理。數(shù)據(jù)消費層：數(shù)據(jù)消費層包括所有消費數(shù)據(jù)的IT產(chǎn)品團隊，負責提出數(shù)據(jù)集成需求和集成接口實施。圖8主數(shù)據(jù)治理框架主數(shù)據(jù)服務(wù)實施層：負責主數(shù)據(jù)集成解決方案的落地，包括數(shù)據(jù)服務(wù)的IT實施和數(shù)據(jù)服務(wù)的配置管理。主數(shù)據(jù)服務(wù)設(shè)計層：為需要集成主數(shù)據(jù)的IT產(chǎn)品團隊提供咨詢和方案服務(wù)，負責受理主數(shù)據(jù)集成需求，制定主數(shù)據(jù)集成解決方案，維護主數(shù)據(jù)的通用數(shù)據(jù)模型。管控層：管控層由信息架構(gòu)專家組擔任，負責主數(shù)據(jù)規(guī)則的制定與發(fā)布，以及主數(shù)據(jù)集成爭議或例外的決策。3.事務(wù)數(shù)據(jù)治理事務(wù)數(shù)據(jù)在業(yè)務(wù)和流程中產(chǎn)生，是業(yè)務(wù)事件的記錄，其本身就是業(yè)務(wù)運作的一部分。事務(wù)數(shù)據(jù)是具有較強時效性的一次性業(yè)務(wù)事件，通常在事件結(jié)束后不再更新。事務(wù)數(shù)據(jù)會調(diào)用主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)。以客戶框架合同為例，核心屬性有32個，其中調(diào)用基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)24個，占75%；客戶框架合同本身特有的屬性8個，占25%。同時，框架合同也引用了機會點的編碼和投標項目的編碼等事務(wù)數(shù)據(jù)的信息。因此，事務(wù)數(shù)據(jù)的治理重點就是管理好事務(wù)數(shù)據(jù)對主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)的調(diào)用，以及事務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，確保上下游信息傳遞順暢。在事務(wù)數(shù)據(jù)的信息架構(gòu)中需明確哪些屬性是引用其他業(yè)務(wù)對象的，哪些是其自身特有的。對于引用的基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)，要盡可能調(diào)用而不是重新創(chuàng)建。4.報告數(shù)據(jù)治理報告數(shù)據(jù)是指對數(shù)據(jù)進行處理加工后，用作業(yè)務(wù)決策依據(jù)的數(shù)據(jù)。它用于支持報告和報表的生成。用于報告和報表的數(shù)據(jù)可以分為如下幾種：用于報表項數(shù)據(jù)生成的事實表、指標數(shù)據(jù)、維度。用于報表項統(tǒng)計和計算的統(tǒng)計函數(shù)、趨勢函數(shù)及報告規(guī)則。用于報表和報告展示的序列關(guān)系數(shù)據(jù)。用于報表項描述的主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、事務(wù)數(shù)據(jù)、觀測數(shù)據(jù)。用于對報告進行補充說明的非結(jié)構(gòu)化數(shù)據(jù)。報告數(shù)據(jù)涵蓋的范圍較廣，如主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等，這些數(shù)據(jù)類別本身已經(jīng)有相應(yīng)的管理機制和規(guī)范，這里我們重點對部分新的細分數(shù)據(jù)類型進行說明。事實表：從業(yè)務(wù)活動或者事件中提煉出來的性能度量。其特點為：每個事實表由顆粒度屬性、維度屬性、事務(wù)描述屬性、度量屬性組成；事實表可以分為基于明細構(gòu)建的事實表和基于明細做過匯聚的事實表。維度：用于觀察和分析業(yè)務(wù)數(shù)據(jù)的視角，支持對數(shù)據(jù)進行匯聚、鉆取、切片分析。其特點為：維度的數(shù)據(jù)一般來源于基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)；維度的數(shù)據(jù)一般用于分析視角的分類；維度的數(shù)據(jù)一般有層級關(guān)系，可以向下鉆取和向上聚合形成新的維度。統(tǒng)計型函數(shù)：與指標高度相關(guān)，是對指標數(shù)量特征進一步的數(shù)學統(tǒng)計，例如均值、中位數(shù)、總和、方差等。其特點為：通常反映某一維度下指標的聚合情況、離散情況等特征；

其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的參考線。趨勢型函數(shù)：反映指標在時間維度上變化情況的統(tǒng)計方式，例如同比、環(huán)比、定基比等。其特點為：

通常將當期值與歷史某時點值進行比較；

調(diào)用時，需要收集指標的歷史表現(xiàn)數(shù)據(jù)；其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的趨勢線。報告規(guī)則數(shù)據(jù)：一種描述業(yè)務(wù)決策或過程的陳述，通常是基于某些約束下產(chǎn)生的結(jié)論或需要采取的某種措施。其特點為：將業(yè)務(wù)邏輯通過函數(shù)運算體現(xiàn)，通常一個規(guī)則包含多個運算和判斷條件；規(guī)則的計算結(jié)果一般不直接輸出，需要基于計算結(jié)果翻譯成業(yè)務(wù)語言后輸出；規(guī)則通常與參數(shù)表密切相關(guān)。序列關(guān)系數(shù)據(jù)：反映報告中指標及其他數(shù)據(jù)序列關(guān)系的數(shù)據(jù)。5.觀測數(shù)據(jù)治理觀測數(shù)據(jù)是通過觀測工具獲取的數(shù)據(jù)，觀測對象一般為人、事、物、環(huán)境。相比傳統(tǒng)數(shù)據(jù)，觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，由機器自動采集生成。不同感知方式獲取的觀測數(shù)據(jù)，其數(shù)據(jù)資產(chǎn)管理要素不同。觀測數(shù)據(jù)的感知方式可分為軟感知和硬感知。軟感知是使用軟件或者各種技術(shù)進行數(shù)據(jù)收集，收集的對象存在于數(shù)字世界，通常不依賴于物理設(shè)備，一般是自動運行的程序或腳本；硬感知是利用設(shè)備或裝置進行數(shù)據(jù)收集，收集的對象為物理世界中的物理實體，或者是以物理實體為載體的信息，其數(shù)據(jù)的感知過程是數(shù)據(jù)從物理世界向數(shù)字世界的轉(zhuǎn)化過程。觀測數(shù)據(jù)的特征有如下幾點：觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，主要用作監(jiān)控分析。例如，視頻監(jiān)控器產(chǎn)生的視頻數(shù)據(jù)、操作系統(tǒng)產(chǎn)生的日志記錄數(shù)據(jù)等。圖9

觀測數(shù)據(jù)管理模型觀測工具的元數(shù)據(jù)可以作為數(shù)據(jù)資產(chǎn)管理：軟感知（埋點、日志收集、爬蟲）觀測工具抽象成業(yè)務(wù)對象，由IT部門擔任數(shù)據(jù)Owner進行統(tǒng)一管理；硬感知觀測工具作為資源類數(shù)據(jù)，也建議作為業(yè)務(wù)對象由相應(yīng)的領(lǐng)域擔任數(shù)據(jù)Owner進行管理。原則上，觀測對象要定義成業(yè)務(wù)對象進行管理，這是觀測數(shù)據(jù)管理的前提條件。觀測數(shù)據(jù)需要記錄觀測工具、觀測對象。針對不同感知方式獲取的觀測數(shù)據(jù)，其資產(chǎn)管理方案也不盡相同。例如，以用戶界面瀏覽記錄為例，如果是對銷售機會點的查詢訪問觀測，應(yīng)當歸屬到相應(yīng)業(yè)務(wù)領(lǐng)域；如果是對頁面性能、頁面UV、PV的觀測，應(yīng)當歸屬到IT部門。6.規(guī)則數(shù)據(jù)治理在業(yè)務(wù)規(guī)則管理方面，華為經(jīng)常面對“各種業(yè)務(wù)場景業(yè)務(wù)規(guī)則不同，記不住，找不到”“大量規(guī)則在政策、流程等文件中承載，難以遵守”“各國規(guī)則均不同，IT能否一國一策、快速上線”等問題。規(guī)則數(shù)據(jù)是結(jié)構(gòu)化描述業(yè)務(wù)規(guī)則變量（一般為決策表、關(guān)聯(lián)關(guān)系表、評分卡等形式）的數(shù)據(jù)，是實現(xiàn)業(yè)務(wù)規(guī)則的核心數(shù)據(jù)，如業(yè)務(wù)中普遍存在的基線數(shù)據(jù)。規(guī)則數(shù)據(jù)主要有以下特征：規(guī)則數(shù)據(jù)不可實例化；規(guī)則數(shù)據(jù)包含判斷條件和決策結(jié)果兩部分信息，區(qū)別于描述事物分類信息的基礎(chǔ)數(shù)據(jù)；規(guī)則數(shù)據(jù)的結(jié)構(gòu)在縱向（列）、橫向（行）兩個維度上相對穩(wěn)定，變化形式多為內(nèi)容刷新；規(guī)則數(shù)據(jù)的變更對業(yè)務(wù)活動的影響是大范圍的。其基本原則為：規(guī)則數(shù)據(jù)的管理是為了支撐業(yè)務(wù)規(guī)則的結(jié)構(gòu)化、信息化、數(shù)字化，目標是實現(xiàn)規(guī)則的可配置、可視化、可追溯。不同于標準化的信息架構(gòu)管理，規(guī)則數(shù)據(jù)的管理具有輕量化、分級的特點。重要的、調(diào)用量大、變動頻繁的業(yè)務(wù)規(guī)則需要通過規(guī)則數(shù)據(jù)管理，使其從代碼中解耦，進行資產(chǎn)注冊；使用廣泛的、有分析需求的規(guī)則數(shù)據(jù)需要通過注冊入湖，實現(xiàn)共享和復(fù)用。業(yè)務(wù)規(guī)則在架構(gòu)層次上與流程中的業(yè)務(wù)活動相關(guān)聯(lián)，是業(yè)務(wù)活動的指導(dǎo)和依據(jù)，業(yè)務(wù)活動的結(jié)果通過該業(yè)務(wù)活動的相關(guān)業(yè)務(wù)對象的屬性來記錄。業(yè)務(wù)規(guī)則通過業(yè)務(wù)活動對業(yè)務(wù)事實、業(yè)務(wù)行為進行限制，業(yè)務(wù)人員可以根據(jù)業(yè)務(wù)規(guī)則判斷業(yè)務(wù)情況，采取具體行動。業(yè)務(wù)規(guī)則包含規(guī)則變量和變量之間的關(guān)系，規(guī)則數(shù)據(jù)主要描述規(guī)則的變量部分，是支撐業(yè)務(wù)規(guī)則的核心數(shù)據(jù)（如圖10所示）。圖10業(yè)務(wù)規(guī)則與規(guī)則數(shù)據(jù)之間的關(guān)系此外，運行規(guī)則所需要的輸入數(shù)據(jù)、輸出數(shù)據(jù)，包括動態(tài)數(shù)據(jù)庫訪問對象、內(nèi)存表緩存、Excel、XML處理類等，主要起支撐作用，不在規(guī)則數(shù)據(jù)的范疇。規(guī)則數(shù)據(jù)必須有唯一的數(shù)據(jù)Owner，其負責開展規(guī)則數(shù)據(jù)的信息架構(gòu)建設(shè)與維護、數(shù)據(jù)質(zhì)量的監(jiān)控與保障、數(shù)據(jù)服務(wù)建設(shè)、數(shù)據(jù)安全授權(quán)與定密等工作。相應(yīng)的數(shù)據(jù)管家支持數(shù)據(jù)Owner對所管轄的業(yè)務(wù)中的規(guī)則數(shù)據(jù)進行治理，包括建設(shè)和維護信息架構(gòu)、確保架構(gòu)落地遵從、例行監(jiān)控數(shù)據(jù)質(zhì)量等。規(guī)則數(shù)據(jù)的元數(shù)據(jù)要記錄與業(yè)務(wù)規(guī)則的關(guān)系（規(guī)則數(shù)據(jù)定義前應(yīng)先完成業(yè)務(wù)規(guī)則的識別和定義）。一個業(yè)務(wù)規(guī)則可以包含零個、一個或多個規(guī)則數(shù)據(jù)，一個規(guī)則數(shù)據(jù)在信息架構(gòu)上對應(yīng)一個邏輯數(shù)據(jù)實體，在物理實現(xiàn)上一般對應(yīng)一個物理表。規(guī)則數(shù)據(jù)要遵從信息架構(gòu)資產(chǎn)管理要求（包括明確規(guī)則數(shù)據(jù)的Owner、制定數(shù)據(jù)標準、明確數(shù)據(jù)源等），按照信息安全要求定密，以方便規(guī)則數(shù)據(jù)的管理、共享和分析。03非結(jié)構(gòu)化數(shù)據(jù)管理——以特征提取為核心隨著業(yè)務(wù)對大數(shù)據(jù)分析的需求日益增長，非結(jié)構(gòu)化數(shù)據(jù)的管理逐漸成為數(shù)據(jù)管理的重要組成部分。非結(jié)構(gòu)化數(shù)據(jù)包括無格式文本、各類格式文檔、圖像、音頻、視頻等多種異構(gòu)的格式文件，較之結(jié)構(gòu)化數(shù)據(jù)，其更難標準化和理解，因此在存儲、檢索以及消費使用時需要智能化的IT技術(shù)與之匹配。華為的非結(jié)構(gòu)化數(shù)據(jù)包括文檔（郵件、Excel、Word、PPT）、圖片、音頻、視頻等。相較于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化元數(shù)據(jù)管理除了需要管理文件對象的標題、格式、Owner等基本特征和定義外，還需對數(shù)據(jù)內(nèi)容的客觀理解進行管理，如標簽、相似性檢索、相似性連接等，以便于用戶搜索和消費使用。因此，非結(jié)構(gòu)化數(shù)據(jù)的治理核心是對其基本特征與內(nèi)容進行提取，并通過元數(shù)據(jù)落地來開展的。非結(jié)構(gòu)化數(shù)據(jù)的管理模型如圖11所示。圖11非結(jié)構(gòu)化數(shù)據(jù)管理模型非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)可以分為基本特征類（客觀）和內(nèi)容增強類（主觀）兩類?；咎卣黝悾簠⒖级及亓质鍌€核心元數(shù)據(jù)，實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)對象的規(guī)范化定義，如標題、格式、來源等。內(nèi)容增強類：基于非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的上下文語境，解析目標文件對象的數(shù)據(jù)內(nèi)容，加深對目標對象的客觀理解，如標簽、相似性檢索、相似性連接等。非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理采用統(tǒng)分統(tǒng)管的原則，即基本特征類屬性由公司進行統(tǒng)一管理，內(nèi)容增強類屬性由相關(guān)承擔數(shù)據(jù)分析工作的項目組自行設(shè)計，但其分析結(jié)果都應(yīng)由公司元數(shù)據(jù)管理平臺自動采集后進行統(tǒng)一存儲。元數(shù)據(jù)管理平臺通過“基本特征類元數(shù)據(jù)流”和“內(nèi)容增強類元數(shù)據(jù)流”兩條線來實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理和消費使用。1.基本特征類元數(shù)據(jù)流元數(shù)據(jù)管理平臺基于收集到的各類非結(jié)構(gòu)化數(shù)據(jù)源信息，自動完成基礎(chǔ)特征類元數(shù)據(jù)的采集工作，按照管理規(guī)范和要求通過標準化、整合后存儲在元數(shù)據(jù)管理平臺中，并在完成元數(shù)據(jù)過濾、排序后將結(jié)果在元數(shù)據(jù)報告中進行可視化展示，以供用戶消費使用。2.內(nèi)容增強類元數(shù)據(jù)流基于元數(shù)據(jù)管理平臺中基本特征類元數(shù)據(jù)的信息，各數(shù)據(jù)分析項目組解析目標非結(jié)構(gòu)化對象的數(shù)據(jù)內(nèi)容，并將分析結(jié)果通過元數(shù)據(jù)采集、元數(shù)據(jù)標準化&整合后統(tǒng)一存放在元數(shù)據(jù)管理平臺中，以供用戶一并消費使用，增強用戶體驗。

04外部數(shù)據(jù)管理——確保合規(guī)遵從為核心外部數(shù)據(jù)是指華為公司引入的外部組織或者個人擁有處置權(quán)利的數(shù)據(jù)，如供應(yīng)商資質(zhì)證明、消費者洞察報告等。外部數(shù)據(jù)治理的出發(fā)點是合規(guī)遵從優(yōu)先，與內(nèi)部數(shù)據(jù)治理的目的不同。外部數(shù)據(jù)的治理主要遵循以下原則。合規(guī)優(yōu)先原則：遵從法律法規(guī)、采購合同、客戶授權(quán)、公司信息安全與公司隱私保護政策等相關(guān)規(guī)定。責任明確原則：所有引入的外部數(shù)據(jù)都要有明確的管理責任主體，承擔數(shù)據(jù)引入方式、數(shù)據(jù)安全要求、數(shù)據(jù)隱私要求、數(shù)據(jù)共享范圍、數(shù)據(jù)使用授權(quán)、數(shù)據(jù)質(zhì)量監(jiān)管、數(shù)據(jù)退出銷毀等責任。有效流動原則：使用方優(yōu)先使用公司已有數(shù)據(jù)資產(chǎn)，避免重復(fù)采購、重復(fù)建設(shè)?？蓪徲嫛⒖勺匪菰瓌t：控制訪問權(quán)限，留存訪問日志，做到外部數(shù)據(jù)使用有記錄、可審計、可追溯。受控審批原則：在授權(quán)范圍內(nèi)，外部數(shù)據(jù)管理責任主體應(yīng)合理審批使用方的數(shù)據(jù)獲取要求。在以上原則指導(dǎo)下，我們要求所有采購的外部數(shù)據(jù)要注冊，在合規(guī)的前提下鼓勵數(shù)據(jù)共享，避免重復(fù)采購。其他方式引入的外部數(shù)據(jù)，由管理責任主體決定登記方式。根據(jù)法律條款和授權(quán)范圍，外部數(shù)據(jù)管理責任主體有權(quán)決定外部數(shù)據(jù)是否入數(shù)據(jù)湖，如果需要入數(shù)據(jù)湖，必須遵從數(shù)據(jù)湖建設(shè)相應(yīng)的流程和規(guī)范。同時，外部數(shù)據(jù)管理責任主體有義務(wù)告知使用方合規(guī)使用外部數(shù)據(jù)，對于不合規(guī)的使用場景，不予授權(quán)；數(shù)據(jù)使用方要遵從外部數(shù)據(jù)管理責任主體的要求，對不遵從要求所引起的后果承擔責任。05元數(shù)據(jù)管理——作用于數(shù)據(jù)價值流無論結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，或者外部數(shù)據(jù)，最終都會通過元數(shù)據(jù)治理落地。華為將元數(shù)據(jù)治理貫穿整個數(shù)據(jù)價值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費的全生命周期。1.元數(shù)據(jù)治理的痛點與挑戰(zhàn)華為在進行元數(shù)據(jù)治理以前，遇到的元數(shù)據(jù)問題主要表現(xiàn)為數(shù)據(jù)找不到、讀不懂、不可信，數(shù)據(jù)分析師們往往會陷入數(shù)據(jù)沼澤中。元數(shù)據(jù)管理的痛點如圖12所示。圖12元數(shù)據(jù)管理痛點為解決以上痛點，華為建立了公司級的元數(shù)據(jù)管理機制。制定了統(tǒng)一的元數(shù)據(jù)管理方法、機制和平臺，拉通業(yè)務(wù)語言和機器語言。確保數(shù)據(jù)“入湖有依據(jù)，出湖可檢索”成為華為元數(shù)據(jù)管理的使命與目標。基于高質(zhì)量的元數(shù)據(jù)，通過數(shù)據(jù)地圖就能在企業(yè)內(nèi)部實現(xiàn)方便的數(shù)據(jù)搜索。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用于打破業(yè)務(wù)和IT之間的語言障礙，幫助業(yè)務(wù)更好地理解數(shù)據(jù)。元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類。業(yè)務(wù)元數(shù)據(jù)：用戶訪問數(shù)據(jù)時了解業(yè)務(wù)含義的途徑，包括資產(chǎn)目