2024電力企業(yè)數(shù)據(jù)中臺規(guī)劃方案

電力企業(yè)數(shù)據(jù)中臺規(guī)劃方案2024目錄TOC\o"1-2"\h\u6050電力企業(yè)數(shù)據(jù)中臺規(guī)劃方案 1228191.數(shù)據(jù)中臺總體規(guī)劃 3146252.數(shù)據(jù)接入建設(shè) 5325953.數(shù)據(jù)倉庫建設(shè) 6161691.制定ETL建設(shè)標(biāo)準(zhǔn)： 8147442.實(shí)施ETL開發(fā)及測試： 922813.ETL數(shù)據(jù)質(zhì)量檢查： 9229864.ETL性能優(yōu)化： 9313894.數(shù)據(jù)服務(wù)建設(shè) 10117605.數(shù)據(jù)應(yīng)用遷移和集成 1187055.1主數(shù)據(jù)集成 11280055.2門戶系統(tǒng)集成 12244225.3數(shù)據(jù)應(yīng)用遷移 121.數(shù)據(jù)中臺總體規(guī)劃項(xiàng)目組將采用業(yè)內(nèi)主流的數(shù)據(jù)中臺建設(shè)方法，按需實(shí)施建設(shè)數(shù)據(jù)中臺的各個組件。數(shù)據(jù)中臺不是簡單的一套軟件系統(tǒng)或者標(biāo)準(zhǔn)化產(chǎn)品，更多的是一種強(qiáng)調(diào)資源整合、集中配置、能力沉淀、分步執(zhí)行的運(yùn)作機(jī)制，是一系列數(shù)據(jù)組件或模塊的集合，為企業(yè)數(shù)據(jù)治理效率的提升、業(yè)務(wù)流程與組織架構(gòu)的升級、運(yùn)營與決策的精細(xì)化賦能。通過數(shù)據(jù)中臺建設(shè)，實(shí)現(xiàn)黃河公司的數(shù)據(jù)資產(chǎn)化、資產(chǎn)價值化的過程，數(shù)據(jù)中臺首先采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)，經(jīng)過數(shù)據(jù)計(jì)算與處理，通過數(shù)據(jù)指標(biāo)結(jié)構(gòu)化、規(guī)范化的方式實(shí)現(xiàn)指標(biāo)口徑的統(tǒng)一，存儲到各類數(shù)據(jù)庫、數(shù)據(jù)倉庫或數(shù)據(jù)湖中，以實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化管理。之后，基于數(shù)據(jù)倉庫或數(shù)據(jù)湖中的數(shù)據(jù)資產(chǎn)，向上提供各類數(shù)據(jù)服務(wù)，面向業(yè)務(wù)構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)接口與數(shù)據(jù)查詢邏輯，提供數(shù)據(jù)的分析與展示，形成以業(yè)務(wù)核心對象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價值，實(shí)現(xiàn)資產(chǎn)價值化，賦能公司數(shù)字化轉(zhuǎn)型工作如上圖所示，整個數(shù)據(jù)中臺建設(shè)分為以下幾大部分：1. 數(shù)據(jù)治理標(biāo)準(zhǔn)體系建設(shè)：建立整個數(shù)據(jù)中臺的數(shù)據(jù)建設(shè)、治理、服務(wù)的規(guī)范、流程和標(biāo)準(zhǔn)，保障數(shù)據(jù)中臺各個部分建設(shè)的規(guī)范性、質(zhì)量和效率。2. 數(shù)據(jù)采集接入建設(shè)：將風(fēng)光水火以及企業(yè)經(jīng)營管理方面的實(shí)時數(shù)據(jù)、離線數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一接入到數(shù)據(jù)中臺，存放在數(shù)據(jù)倉庫或數(shù)據(jù)湖的近源層中。3. 數(shù)據(jù)倉庫建設(shè)：按需對已接入到數(shù)據(jù)中臺的全業(yè)務(wù)數(shù)據(jù)，依據(jù)分層架構(gòu)進(jìn)行數(shù)據(jù)模型設(shè)計(jì)、開發(fā)、測試、部署和運(yùn)維，完成數(shù)據(jù)的標(biāo)準(zhǔn)化、清洗、整合和加工計(jì)算，形成高質(zhì)量、高一致性、高完整性、高價值的數(shù)據(jù)模型，并掛接到企業(yè)的數(shù)據(jù)資產(chǎn)目錄中，供數(shù)據(jù)需求側(cè)使用。4. 數(shù)據(jù)治理建設(shè)：依據(jù)《數(shù)據(jù)管理能力成熟度評估模型（GB/T36073-2018）》、DAMA數(shù)據(jù)管理知識體系（國際數(shù)據(jù)管理協(xié)會）為理論依據(jù)，結(jié)合對黃河公司數(shù)據(jù)管理現(xiàn)狀和需求，開展體系化的數(shù)據(jù)治理實(shí)施工作，包括但不限于元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)開發(fā)管理等。5. 數(shù)據(jù)服務(wù)建設(shè)：將數(shù)據(jù)封裝成簡單、易用的數(shù)據(jù)服務(wù)接口，提供給數(shù)據(jù)消費(fèi)側(cè)使用，大幅降低數(shù)據(jù)使用門檻，提升數(shù)據(jù)使用效率，加速數(shù)據(jù)應(yīng)用建設(shè)。數(shù)據(jù)服務(wù)的形式包括API服務(wù)接口、可視化報(bào)表、多維分析報(bào)表等形式。2.數(shù)據(jù)接入建設(shè)根據(jù)項(xiàng)目招標(biāo)文件要求，圍繞風(fēng)電數(shù)據(jù)、光電數(shù)據(jù)、水電數(shù)據(jù)、火電數(shù)據(jù)以及企業(yè)管理、生產(chǎn)經(jīng)營等各類業(yè)務(wù)系統(tǒng)，通過大數(shù)據(jù)平臺數(shù)據(jù)采集工具，實(shí)現(xiàn)各電力生產(chǎn)經(jīng)營業(yè)務(wù)系統(tǒng)數(shù)據(jù)的快速接入，以及定時/實(shí)時數(shù)據(jù)的采集處理，構(gòu)建“可配置、可控制、可監(jiān)視”的數(shù)據(jù)接入能力，滿足黃河公司大數(shù)據(jù)應(yīng)用建設(shè)對數(shù)據(jù)的需求，至少覆蓋以下數(shù)據(jù)內(nèi)容：依據(jù)既定的數(shù)據(jù)采集接入標(biāo)準(zhǔn)，開展規(guī)范化的數(shù)據(jù)采集工作，并明確每一項(xiàng)已接入數(shù)據(jù)的關(guān)鍵信息，包括數(shù)據(jù)所有者、完整元數(shù)據(jù)信息、關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)密級、權(quán)威數(shù)據(jù)源、關(guān)聯(lián)數(shù)據(jù)質(zhì)量規(guī)則等。通過關(guān)鍵信息的確認(rèn)，保證所有采集的數(shù)據(jù)都有明確的業(yè)務(wù)責(zé)任人，各項(xiàng)數(shù)據(jù)都可理解，同時都能在相應(yīng)的信息安全保障下進(jìn)行消費(fèi)。采集實(shí)施過程中針對不同的數(shù)據(jù)類型采用差異化的數(shù)據(jù)匯聚策略：1.時序數(shù)據(jù)和實(shí)時關(guān)系庫數(shù)據(jù)，主要采用流集成和數(shù)據(jù)復(fù)制同步技術(shù)，滿足數(shù)據(jù)實(shí)時集成需求，處理每秒數(shù)萬甚至數(shù)十萬個事件流；數(shù)據(jù)復(fù)制同步使用基于日志的CDC捕獲數(shù)據(jù)變更，實(shí)時獲取數(shù)據(jù)，生成實(shí)時數(shù)據(jù)流供實(shí)時計(jì)算引擎消費(fèi)使用。數(shù)據(jù)流集成不適合處理各種數(shù)據(jù)結(jié)構(gòu)以及需要清理和轉(zhuǎn)換復(fù)雜數(shù)據(jù)的場景。2.關(guān)系型結(jié)構(gòu)化數(shù)據(jù)，主要采用批量集成方式，進(jìn)行復(fù)雜數(shù)據(jù)清理和轉(zhuǎn)換且數(shù)據(jù)量較大的場景。通常，調(diào)度作業(yè)每小時或每天執(zhí)行，主要包含ETL、ELT和FTP等工具。批量集成不適合低數(shù)據(jù)延遲和高靈活性的場景。3.非結(jié)構(gòu)化數(shù)據(jù)，主要采用數(shù)據(jù)集成工具批量加載讀取，寫入到對象存儲中。對象存儲元數(shù)據(jù)與數(shù)倉保持一致，方便離線計(jì)算引擎加工處理。3.數(shù)據(jù)倉庫建設(shè)以黃河公司重點(diǎn)分析型應(yīng)用全面支撐和核心業(yè)務(wù)流程覆蓋為目標(biāo)，依據(jù)數(shù)據(jù)倉庫相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)，全面開展數(shù)據(jù)倉庫明細(xì)層、匯總層、集市層的數(shù)據(jù)模型建設(shè)。通過主數(shù)據(jù)標(biāo)準(zhǔn)化建立跨系統(tǒng)一致性的企業(yè)資源數(shù)據(jù)，通過全流程事實(shí)模型標(biāo)準(zhǔn)化打通跨業(yè)務(wù)數(shù)據(jù)鏈路，最終將公司業(yè)務(wù)價值鏈涉及的相關(guān)數(shù)據(jù)資源，全部整合到數(shù)據(jù)倉庫中，夯實(shí)企業(yè)中臺的數(shù)據(jù)基石。在公司核心業(yè)務(wù)流程覆蓋方面，根據(jù)黃河公司實(shí)際業(yè)務(wù)流程情況，確定數(shù)據(jù)倉庫維度建模的業(yè)務(wù)范圍，將分析型業(yè)務(wù)應(yīng)用中需要用到的業(yè)務(wù)活動，通過維度建模方法，全部抽象到數(shù)據(jù)倉庫中。具體工作方面，圍繞九大類業(yè)務(wù)主題域著手開展建模工作。完成九大業(yè)務(wù)域的數(shù)據(jù)模型設(shè)計(jì)后，再開展ETL數(shù)據(jù)開發(fā)工作，將數(shù)據(jù)模型落地到大數(shù)據(jù)平臺中,具體工作包括制定ETL建設(shè)標(biāo)準(zhǔn)，以此為基礎(chǔ)開展數(shù)據(jù)倉庫模型的ETL數(shù)據(jù)開發(fā)，保障ETL開發(fā)的規(guī)范性、質(zhì)量和效率，提高ETL代碼的可讀性，提高ETL工作的可維護(hù)性。基于以下原則開展ETL設(shè)計(jì)和開發(fā)建設(shè)工作：本項(xiàng)目數(shù)據(jù)倉庫ETL的總體策略是，以大數(shù)據(jù)平臺的貼源層數(shù)據(jù)為數(shù)據(jù)來源，將源端業(yè)務(wù)數(shù)據(jù)在臨時區(qū)進(jìn)行加工轉(zhuǎn)換，形成正式數(shù)據(jù)后再保存到數(shù)據(jù)倉庫中。具體工作包括以下幾個方面：同時設(shè)計(jì)ETL開發(fā)規(guī)范，制定ETL開發(fā)模板，以此提高ETL代碼的可讀性、可維護(hù)性和工作效率。開發(fā)規(guī)范包括腳本規(guī)范、SQL規(guī)范等，規(guī)范的內(nèi)容包括統(tǒng)一命名、編碼風(fēng)格、固定格式、約定描述等。根據(jù)已制定的ETL開發(fā)規(guī)范和模板，采用大數(shù)據(jù)平臺的ETL工具，在ETL測試庫進(jìn)行ETL開發(fā)實(shí)施。ETL加工時，其轉(zhuǎn)換邏輯嚴(yán)格參照模型設(shè)計(jì)階段輸出的映射關(guān)系文檔進(jìn)行。ETL開發(fā)完成后，在測試庫進(jìn)行ETL腳本測試，避免對正式庫作業(yè)產(chǎn)生影響。待ETL測試無誤后，再提交至ETL運(yùn)維進(jìn)行正式上線。制定ETL質(zhì)量檢查模板，針對每一個完成的ETL任務(wù)，進(jìn)行數(shù)據(jù)質(zhì)量檢查。數(shù)據(jù)質(zhì)量檢查項(xiàng)目包括但不限于：當(dāng)ETL性能不佳，執(zhí)行時間滿足不了應(yīng)用需求時，對ETL作業(yè)進(jìn)行性能優(yōu)化，可以從以下方面著手考慮：4.數(shù)據(jù)服務(wù)建設(shè)基于本項(xiàng)目大數(shù)據(jù)平臺中的數(shù)據(jù)資源，為企業(yè)管理、生產(chǎn)經(jīng)營、新能源管理等數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)支撐，數(shù)據(jù)服務(wù)形式可包括API服務(wù)、文件服務(wù)、數(shù)據(jù)導(dǎo)出、可視化數(shù)據(jù)產(chǎn)品等。具體如下：（1）API服務(wù)：用戶或系統(tǒng)通過API服務(wù)自主、快速的獲取其數(shù)據(jù)。（2）數(shù)據(jù)推送：將數(shù)據(jù)資源從數(shù)據(jù)湖推送到數(shù)據(jù)需求部門的本地存儲中。（3）數(shù)據(jù)導(dǎo)出：提供數(shù)據(jù)格式化導(dǎo)出，以滿足較小數(shù)據(jù)量的臨時性分析以及外部監(jiān)管要求所需的接口數(shù)據(jù)。（4）可視化報(bào)表：以可視化報(bào)表形式按照業(yè)務(wù)需要展示數(shù)據(jù)蘊(yùn)含的分析決策信息。（5）多維分析：可選多個組合維度和指標(biāo)間的關(guān)系，從而更靈活的對數(shù)據(jù)進(jìn)行分析。主要依據(jù)以下四類原則，開展數(shù)據(jù)服務(wù)建設(shè)：（1）一致性原則。確定每項(xiàng)數(shù)據(jù)的源頭，確保數(shù)據(jù)的準(zhǔn)確性、一致性。（2）黑盒原則。數(shù)據(jù)使用方無需關(guān)注技術(shù)細(xì)節(jié)。（3）敏捷響應(yīng)原則。通過訂閱模式快速獲取，無需重復(fù)構(gòu)建集成通道。（4）可溯源原則。數(shù)據(jù)服務(wù)全鏈路清晰、準(zhǔn)確、可溯源。以API類的數(shù)據(jù)服務(wù)建設(shè)為例，本期項(xiàng)目建設(shè)提供生產(chǎn)類、經(jīng)營管理類數(shù)據(jù)服務(wù)，主要服務(wù)對象為風(fēng)光水火等數(shù)據(jù)應(yīng)用平臺、企業(yè)經(jīng)營分析平臺、大數(shù)據(jù)分析人員及數(shù)據(jù)科學(xué)家，數(shù)據(jù)服務(wù)方式有API和數(shù)據(jù)推送等。具體內(nèi)容如下：（1）分析數(shù)據(jù)服務(wù)需求。通過數(shù)據(jù)需求調(diào)研與需求交接，判斷數(shù)據(jù)服務(wù)方式、數(shù)據(jù)內(nèi)容（指標(biāo)/維度/范圍/報(bào)表項(xiàng)）、數(shù)據(jù)源與時效性要求。（2）識別服務(wù)可重用性。結(jié)合數(shù)據(jù)需求分析，通過大數(shù)據(jù)平臺匹配已有的數(shù)據(jù)服務(wù)，判斷以哪種方式（新建服務(wù)、直接復(fù)用、服務(wù)變更）滿足業(yè)務(wù)需求。（3）封裝數(shù)據(jù)API。通過數(shù)據(jù)開發(fā)，支持明細(xì)層和集市層數(shù)據(jù)表的API封裝功能，支持字段級別的權(quán)限管控。自動生成帶默認(rèn)參數(shù)的API，也可接受外部輸入，暴露可供業(yè)務(wù)人員定制的API，或?qū)?shù)據(jù)主動推送給下游系統(tǒng)的中間件或數(shù)據(jù)庫。5.數(shù)據(jù)應(yīng)用遷移和集成 完成遷移的應(yīng)用主要包括：新能源集控?cái)?shù)據(jù)分析應(yīng)用、風(fēng)電場智能運(yùn)維診斷應(yīng)用、智能運(yùn)維生產(chǎn)管理系統(tǒng)及本部虛擬化平臺承載的部分應(yīng)用。完成身份認(rèn)證、門戶系統(tǒng)廠商完成接口集成工作，依托本期平臺數(shù)據(jù)管理能力改造已建的主數(shù)據(jù)系統(tǒng)，依此提供主數(shù)據(jù)服務(wù)，完成與各應(yīng)用系統(tǒng)的主數(shù)據(jù)接口集成工作，并運(yùn)用到本期智能運(yùn)維平臺中。在遷移過程中確保數(shù)據(jù)的完整性和準(zhǔn)確性。5.1主數(shù)據(jù)集成主數(shù)據(jù)集成體系設(shè)計(jì)，包括明確數(shù)據(jù)的流向，數(shù)據(jù)在系統(tǒng)間的依賴關(guān)系，形成整體數(shù)據(jù)流向規(guī)劃，符合系統(tǒng)間集成交互需求，也要符合業(yè)務(wù)和管理需求。制定集成標(biāo)準(zhǔn)：主數(shù)據(jù)集成服務(wù)標(biāo)準(zhǔn)為集成服務(wù)規(guī)范、數(shù)據(jù)壓縮方法、數(shù)據(jù)加密方法、集成日志應(yīng)用規(guī)范等內(nèi)容提供統(tǒng)一的標(biāo)準(zhǔn)，保證了系統(tǒng)接口集成的統(tǒng)一、規(guī)范，實(shí)現(xiàn)了主數(shù)據(jù)管理系統(tǒng)與業(yè)務(wù)系統(tǒng)之間的支持協(xié)作，保障了系統(tǒng)架構(gòu)的靈活性和可擴(kuò)展性。設(shè)計(jì)數(shù)據(jù)分發(fā)架構(gòu)：主數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)源，業(yè)務(wù)系統(tǒng)接收主數(shù)據(jù)管理系統(tǒng)發(fā)送的數(shù)據(jù)，此模式采用WebService方式，首先主數(shù)據(jù)管理系統(tǒng)將發(fā)送的數(shù)據(jù)通過WebService方式調(diào)用業(yè)務(wù)系統(tǒng)發(fā)布的數(shù)據(jù)集成接口同步至業(yè)務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)接收數(shù)據(jù)并將處理結(jié)果及時反饋主數(shù)據(jù)管理系統(tǒng)。設(shè)計(jì)數(shù)據(jù)接收架構(gòu)：當(dāng)其他業(yè)務(wù)系統(tǒng)作為數(shù)據(jù)源，主數(shù)據(jù)管理系統(tǒng)接收業(yè)務(wù)系統(tǒng)發(fā)送的數(shù)據(jù)，此模式采用WebService技術(shù)（SOAP/HTTP），數(shù)據(jù)接收端（主數(shù)據(jù)管理系統(tǒng)）作為服務(wù)端發(fā)布Web服務(wù)，數(shù)據(jù)發(fā)送端調(diào)用數(shù)據(jù)接收端發(fā)布的Web服務(wù)。集成工作實(shí)施內(nèi)容：明確主數(shù)據(jù)范圍,如：組織、機(jī)構(gòu)、角色、人員、崗位、字典等信息明確需要與主數(shù)據(jù)管理系統(tǒng)集成的業(yè)務(wù)系統(tǒng)；明確數(shù)據(jù)流向關(guān)系和所需主數(shù)據(jù)類型和內(nèi)容；確定集成方案，明確集成方式與集成時間；集成后的聯(lián)調(diào)測試，形成集成測試報(bào)告5.2門戶系統(tǒng)集成門戶以一站式形式訪問企業(yè)內(nèi)部各類應(yīng)用系統(tǒng)，作為一個集成式呈現(xiàn)窗口，為用戶提供更便捷的系統(tǒng)訪問形式，提高工作效率和客戶體驗(yàn)。集成的信息化系統(tǒng)主要分為兩類：同構(gòu)系統(tǒng)（與門戶相同使用先一公司Jreap平臺研發(fā)的）與異構(gòu)系統(tǒng)。門戶同時作為一個中樞認(rèn)證平臺，針對同構(gòu)系統(tǒng)，在第一次完成用戶信息綁定后，會將第三方系統(tǒng)用戶信息以加密形式存儲在門戶系統(tǒng)中。對于異構(gòu)系統(tǒng)，如果采用Oauth2.0協(xié)議，會將門戶賬號信息將綁定到第三方系統(tǒng)；如果采用表單待填模式，則由門戶系統(tǒng)保存第三方系統(tǒng)用戶信息。5.3數(shù)據(jù)應(yīng)用遷移首先準(zhǔn)備環(huán)境，在虛擬化環(huán)境（vmware,openstack,k8s）準(zhǔn)備階段，應(yīng)判斷現(xiàn)有的云平臺環(huán)境是否能容納被遷移的所有對象，以及具體應(yīng)檢查計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源以及數(shù)據(jù)庫資源等，建立遷移所需的環(huán)境準(zhǔn)備，如虛擬機(jī)、虛擬化網(wǎng)絡(luò)、K8S容器化環(huán)境等。之后開展資源需求分析，包括計(jì)算和存儲資源分析，確認(rèn)遷移模式，分析網(wǎng)絡(luò)資源、安全資源，評估數(shù)據(jù)備份需求，確定資源管理方式等。接著開展開展物理設(shè)備遷移，遷移步驟：（1）在物理設(shè)備關(guān)機(jī)前，通過光盤、移動硬盤等方式，對設(shè)備中的數(shù)據(jù)、配置進(jìn)行備份，以免出現(xiàn)硬盤損壞造成的數(shù)據(jù)丟失。（2）設(shè)備正式遷移下電前，再次對設(shè)備運(yùn)行狀況進(jìn)行檢測，記錄當(dāng)時設(shè)備的運(yùn)行狀態(tài)。設(shè)備運(yùn)行狀況檢測報(bào)告由客戶方簽字確認(rèn)，經(jīng)確認(rèn)后進(jìn)行停電。（3）對硬件按實(shí)施方案進(jìn)行拆卸，以便于包裝和運(yùn)輸。拆卸操作按照設(shè)備原廠商的操作規(guī)范、流程和步驟。包裝采用國家或?qū)I(yè)標(biāo)準(zhǔn)保護(hù)措施進(jìn)行包裝，使包裝適應(yīng)于本次遷移運(yùn)輸、防潮、防震、防銹和防粗暴裝卸。（4）遷移過程中對遷移設(shè)