2023發(fā)電企業(yè)工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)入湖標準

工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)入湖標準發(fā)電企業(yè)工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)入湖標準目錄TOC\o"1-4"\h\u268261.概述 4292311.1.編寫目的 425911.2.適用范圍 4130301.3.數(shù)據(jù)湖定義 532.數(shù)據(jù)入湖標準 5140212.1.明確數(shù)據(jù)Owner 568842.2.發(fā)布數(shù)據(jù)標準 6279742.3.認證數(shù)據(jù)源 8291982.4.定義數(shù)據(jù)密級 9182672.5.數(shù)據(jù)質(zhì)量評估 10220762.6.元數(shù)據(jù)注冊 1141433.數(shù)據(jù)入湖方式 11概述根據(jù)XX發(fā)電公司企業(yè)信息化現(xiàn)狀和數(shù)字化前期建設要求，規(guī)劃建設XX發(fā)電工業(yè)互聯(lián)網(wǎng)平臺，增強業(yè)務協(xié)同和集中管控能力，實現(xiàn)XX發(fā)電各信息化系統(tǒng)數(shù)據(jù)的快速接入，構(gòu)建工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)湖。打破目前各業(yè)務系統(tǒng)之間的數(shù)據(jù)壁壘，實現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通，實現(xiàn)XX發(fā)電企業(yè)級數(shù)據(jù)共享，解決數(shù)據(jù)與業(yè)務緊密耦合、數(shù)據(jù)分析應用重復建設、需要出臺數(shù)據(jù)入湖的標準，指導企業(yè)的通過統(tǒng)一的標準開展業(yè)務系統(tǒng)數(shù)據(jù)入湖工作。編寫目的本文檔目的是對工業(yè)互聯(lián)網(wǎng)平臺項目建設過程中的數(shù)據(jù)入湖標準進行詳細的介紹，明確數(shù)據(jù)入湖標準整體思路和流程，對數(shù)據(jù)進行統(tǒng)一的管理及維護，編寫此文檔，指導讀者開展數(shù)據(jù)入湖工作。適用范圍適用于項目組成員、平臺設計、開發(fā)、維護技術(shù)人員及平臺管理員。數(shù)據(jù)湖定義數(shù)據(jù)湖是一個以原始格式(通常是對象塊或文件)存儲數(shù)據(jù)的系統(tǒng)或存儲庫。數(shù)據(jù)湖通常是所有企業(yè)數(shù)據(jù)的單一存儲，用于報告、可視化、高級分析和機器學習等任務。數(shù)據(jù)湖可以包括來自關(guān)系數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)(行和列)、半結(jié)構(gòu)化數(shù)據(jù)(CSV、日志、XML、JSON)、非結(jié)構(gòu)化數(shù)據(jù)（電子郵件、文檔、pdf）和二進制數(shù)據(jù)（圖像、音頻、視頻）。數(shù)據(jù)作為一項重要資產(chǎn)，已經(jīng)成為企業(yè)的共識，為了更好地存儲數(shù)據(jù)、挖掘數(shù)據(jù)，使用數(shù)據(jù)湖，企業(yè)在快速實現(xiàn)企業(yè)中各類的數(shù)據(jù)集成的同時，也能輕松獲取企業(yè)外部數(shù)據(jù)，打通產(chǎn)業(yè)鏈上下游數(shù)據(jù)，實現(xiàn)生態(tài)化數(shù)據(jù)整合，實現(xiàn)全貌數(shù)據(jù)分析。同時，數(shù)據(jù)存儲量大，支持批量歷史數(shù)據(jù)和實時流數(shù)據(jù)的處理，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速查詢和高級分析。數(shù)據(jù)入湖標準數(shù)據(jù)入湖要遵從6項入湖標準，基于6項標準保證入湖的質(zhì)量，同時面向不同的消費場景提供兩種入湖方式，滿足數(shù)據(jù)使用的要求。數(shù)據(jù)入湖是數(shù)據(jù)消費的基礎，需要嚴格滿足入湖的6項標準，包括明確數(shù)據(jù)Owner、發(fā)布數(shù)據(jù)標準、定義數(shù)據(jù)密級、明確數(shù)據(jù)源、數(shù)據(jù)質(zhì)量評估、元數(shù)據(jù)注冊。通過這6項標準保證入湖的數(shù)據(jù)都有明確的業(yè)務責任人，各項數(shù)據(jù)都可理解，同時都能在相應的信息安全保障下進行消費。明確數(shù)據(jù)Owner數(shù)據(jù)Owner由數(shù)據(jù)產(chǎn)生對應的流程Owner擔任，是所轄數(shù)據(jù)端到端管理的責任人，負責對入湖的數(shù)據(jù)定義數(shù)據(jù)標準和密級，承接數(shù)據(jù)消費中的數(shù)據(jù)質(zhì)量問題，并制定數(shù)據(jù)管理工作路標，持續(xù)提升數(shù)據(jù)質(zhì)量。如下表梳理：序號系統(tǒng)責任部門責任人1核心業(yè)務一體化系統(tǒng)-財務財務張三2全面預算系統(tǒng)財務李四3資金調(diào)度中心財務張三4普聯(lián)報表系統(tǒng)財務李四5財務共享中心財務李四發(fā)布數(shù)據(jù)標準入湖數(shù)據(jù)要有相應的業(yè)務數(shù)據(jù)標準。業(yè)務數(shù)據(jù)標準描述公司層面需共同遵守的“屬性層”數(shù)據(jù)的含義和業(yè)務規(guī)則，是對某個數(shù)據(jù)的共同理解。數(shù)據(jù)標準的信息如下表所示。根據(jù)上面要求梳理各個業(yè)務系統(tǒng)提供的數(shù)據(jù)較準要求的內(nèi)容，提供業(yè)務數(shù)據(jù)資產(chǎn)分類（即數(shù)據(jù)表屬于哪個主題域），數(shù)據(jù)表字段類型、字段中文名、表間關(guān)系。舉例如下，下面是財務域二級主題劃分，根據(jù)業(yè)務系統(tǒng)提供的數(shù)據(jù)信息來分類到具體主題域下，并開展與對應邏輯模型和物理模型的數(shù)據(jù)入湖對接工作。同時提供詳細的業(yè)務系統(tǒng)的表臺賬，如下表所示：認證數(shù)據(jù)源通過認證數(shù)據(jù)源，能夠確保數(shù)據(jù)從正確的數(shù)據(jù)源頭入湖。認證數(shù)據(jù)源應遵循公司數(shù)據(jù)源管理的要求。認證過的數(shù)據(jù)源作為唯一數(shù)據(jù)源頭被數(shù)據(jù)湖調(diào)用。在開始數(shù)據(jù)入湖時，確認如下幾個內(nèi)容數(shù)據(jù)源：記錄數(shù)據(jù)源的基本信息，例如：URL、用戶名、密碼等。確認數(shù)據(jù)結(jié)構(gòu)及其約束條件。確認數(shù)據(jù)源接口和數(shù)據(jù)交換協(xié)議。定義數(shù)據(jù)密級定義數(shù)據(jù)密級是數(shù)據(jù)入湖的必要條件，為了確保數(shù)據(jù)湖中的數(shù)據(jù)能充分地共享，同時又不發(fā)生信息安全問題，入湖的數(shù)據(jù)必須要定密。數(shù)據(jù)定密的責任主體是數(shù)據(jù)Owner，數(shù)據(jù)管家有責任審視入湖數(shù)據(jù)密級的完整性，并推動、協(xié)調(diào)數(shù)據(jù)定密工作。數(shù)據(jù)定級密度在屬性層級，根據(jù)資產(chǎn)的重要程度，定義不同等級，數(shù)據(jù)保密級別分為“公開”、“內(nèi)部”，秘密”和“機密”四個級別，管控級別依次上升。各級別定義如下：非授權(quán)的公開、泄露將直接對公司、客戶或者員工經(jīng)濟損失、嚴發(fā)生重大法的數(shù)據(jù)。一旦泄露、非法提供或濫用可能危害人身和財產(chǎn)安性待遇等公司重大戰(zhàn)略決策用戶身份證號銀行卡號公司核心算法代碼等非授權(quán)的公開、泄露將直接對公司、客戶或者員工失、破壞公司聲發(fā)生法律責任等)的數(shù)據(jù)。能夠單獨識別自然人身份或者反映特定自然人活人力資源數(shù)據(jù)財務數(shù)據(jù)商務合作合同信息產(chǎn)品策劃信息等可在公司內(nèi)部進行發(fā)放和傳播的信息，需要控制信非授權(quán)的公開、泄露將直接對公司、客戶或者員工造成較小不利影響的數(shù)據(jù)。單獨無法識別自然人身份或者反映特定自然人活別自然人身份或者與個人。產(chǎn)品運營指標內(nèi)部發(fā)布的制度、規(guī)范、通知等布而不會產(chǎn)生任何安全和法律問題。公司數(shù)據(jù)分類分級矩陣關(guān)系如下：公開秘密機密用戶數(shù)據(jù)用戶公開數(shù)據(jù)用戶內(nèi)部數(shù)據(jù)用戶秘密數(shù)據(jù)用戶機密數(shù)據(jù)業(yè)務數(shù)據(jù)業(yè)務公開數(shù)據(jù)業(yè)務內(nèi)部數(shù)據(jù)業(yè)務秘密數(shù)據(jù)業(yè)務機密數(shù)據(jù)公司數(shù)據(jù)公司公開數(shù)據(jù)公司內(nèi)部數(shù)據(jù)公司秘密數(shù)據(jù)公司機密數(shù)據(jù)其他數(shù)據(jù)其他公開數(shù)據(jù)其他內(nèi)部數(shù)據(jù)其他秘密數(shù)據(jù)其他機密數(shù)據(jù)數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量是數(shù)據(jù)消費結(jié)果的保證，數(shù)據(jù)入湖不需要對數(shù)據(jù)進行清洗，但需要對數(shù)據(jù)質(zhì)量進行評估，讓數(shù)據(jù)的消費人員了解數(shù)據(jù)的質(zhì)量情況，并了解消費該數(shù)據(jù)的質(zhì)量風險。同時數(shù)據(jù)Owner和數(shù)據(jù)管家可以根據(jù)數(shù)據(jù)質(zhì)量評估的情況，推動源頭數(shù)據(jù)質(zhì)量的提升，滿足數(shù)據(jù)質(zhì)量的消費要求?？梢蚤_展規(guī)則算法質(zhì)量校驗，對數(shù)據(jù)質(zhì)量進行評估，如下是一些常用的校驗規(guī)則。元數(shù)據(jù)注冊元數(shù)據(jù)注冊是指將入湖數(shù)據(jù)的業(yè)務元數(shù)據(jù)和技術(shù)元數(shù)據(jù)進行關(guān)聯(lián)，包括邏輯實體與物理表的對應關(guān)系，以及業(yè)務屬性和表字段的對應關(guān)系。通過聯(lián)接業(yè)務元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的關(guān)系，能夠支撐數(shù)據(jù)消費人員通過業(yè)務語義快速地搜索到數(shù)據(jù)湖中的數(shù)據(jù)，降低數(shù)據(jù)湖中數(shù)據(jù)消費的門檻，能讓更多的業(yè)務分析人員理解和消費數(shù)據(jù)。數(shù)據(jù)入湖方式數(shù)據(jù)入湖遵循信息架構(gòu)，以邏輯數(shù)據(jù)實體為粒度入湖，邏輯數(shù)據(jù)實體在首次入湖時應該考慮信息的完整性。原則上，一個邏輯數(shù)據(jù)實體的所有屬性應該一次性進湖，避免一個邏輯實體多次入湖，增加入湖工作量。一個邏輯實體可以有不同的入湖方式：批量集成(ETL)對于需要進行復雜數(shù)據(jù)清理和轉(zhuǎn)換且數(shù)據(jù)量較大的場景，采用全量的批量集成，主要有jdbc直連庫、文件數(shù)據(jù)集成等。調(diào)度作業(yè)每小時或每天執(zhí)行。批量集成不適合低數(shù)據(jù)延遲和高靈活性的場景。接口集成（API）通過AP提取數(shù)據(jù)，適用于處理不同數(shù)據(jù)結(jié)構(gòu)以及需要高可靠性和復雜轉(zhuǎn)換的場景。接口集成不適合處