數(shù)據(jù)治理工具項(xiàng)目投標(biāo)書技術(shù)部分-V1.6-【Data Catalog 精】

旗開得勝實(shí)用文檔PAGE1讀萬卷書行萬里路PAGE一、項(xiàng)目背景二、項(xiàng)目目標(biāo)提供一套后勤數(shù)據(jù)治理工具部署文件及配套文檔，主要技術(shù)指標(biāo)如下：（1）具備數(shù)據(jù)抽取轉(zhuǎn)換裝載、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)質(zhì)量管理四項(xiàng)功能。（2）采用B/S模式，瀏覽器端兼容Chrome、FireFox等主流瀏覽器，服務(wù)器端可運(yùn)行在Linux、Windows系統(tǒng)上，應(yīng)用服務(wù)器兼容Tomcat7.0以上，JDK版本為1.7以上，數(shù)據(jù)庫為Oracle或MySQL。（3）支持集群模式。保證7×24小時不間斷持續(xù)運(yùn)行，且計(jì)劃外宕機(jī)時間控制在全年的0.2%以內(nèi)、計(jì)劃外宕機(jī)次數(shù)控制在全年4次以內(nèi)，系統(tǒng)有效工作時間要求≥99.8%。（4）支持高并發(fā)。頁面查詢不高于2秒，復(fù)雜查詢不高于5秒，一般頁面數(shù)據(jù)更新處理時間不高于3秒，復(fù)雜數(shù)據(jù)更新不高于5秒。（5）數(shù)據(jù)抽取速率高。數(shù)據(jù)庫到數(shù)據(jù)庫不低于1000條/秒，文件到數(shù)據(jù)庫不低于1000條/秒。（6）根據(jù)以上性能指標(biāo)要求提出硬件及網(wǎng)絡(luò)的性能及規(guī)模配套的方案。三、技術(shù)服務(wù)要求3.1集成要求投標(biāo)產(chǎn)品需具有與國內(nèi)自主成熟的數(shù)據(jù)交換共享平臺和大數(shù)據(jù)基礎(chǔ)平臺軟件有良好的集成兼容性。3.2成熟度要求投標(biāo)產(chǎn)品或者模塊是國內(nèi)投產(chǎn)的成熟品牌，并且經(jīng)過多個版本迭代，提供至少兩個版本的產(chǎn)品著作權(quán)證書。近五年內(nèi)，在多個行業(yè)有成功應(yīng)用案例，且至少有一個為政府或軍隊(duì)?wèi)?yīng)用案例。3.3技術(shù)要求3.3.2元數(shù)據(jù)管理功能。元數(shù)據(jù)采集支持連接到源數(shù)據(jù)庫系統(tǒng)，把元數(shù)據(jù)抽取到統(tǒng)一的元數(shù)據(jù)庫；提供多種采集適配器，支持從主流關(guān)系型數(shù)據(jù)庫、Hadoop大數(shù)據(jù)平臺(hdfs、hive、hbase)、Excel模板等源頭采集；支持采集任務(wù)配置，可實(shí)現(xiàn)一次性和定時采集，支持采集任務(wù)的執(zhí)行、監(jiān)控和日志。元數(shù)據(jù)模型管理可通過界面進(jìn)行元數(shù)據(jù)的增、刪、改、查操作；可通過界面創(chuàng)建、維護(hù)元數(shù)據(jù)模型，支持業(yè)務(wù)模型和技術(shù)模型的定義；支持通過界面創(chuàng)建并維護(hù)元數(shù)據(jù)模型間關(guān)系，包括組合關(guān)系、依賴關(guān)系等；提供將常用建模工具（包括PowerDesigner等）設(shè)計(jì)的數(shù)據(jù)模型導(dǎo)入的功能元數(shù)據(jù)版本管理支持元數(shù)據(jù)版本管理，包括：版本號的設(shè)置，歷史版本的查詢與恢復(fù)，任意版本之間整體比對，批量版本發(fā)布等。數(shù)據(jù)關(guān)聯(lián)分析提供數(shù)據(jù)地圖功能，用于展示元數(shù)據(jù)間關(guān)系，支持系統(tǒng)、數(shù)據(jù)庫、表、字段等多層級關(guān)系，支持逐級向下鉆取；提供庫級、表級、列級血緣分析、作業(yè)級血緣分析功能，提供血緣影響分析結(jié)果展示。其他功能將元數(shù)據(jù)以系統(tǒng)為單位導(dǎo)出到Excel；提供多維度的元數(shù)據(jù)檢索查詢功能。3.3.3數(shù)據(jù)標(biāo)準(zhǔn)管理功能。數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)支持?jǐn)?shù)據(jù)元/信息項(xiàng)的模型定義與標(biāo)準(zhǔn)維護(hù)，包括業(yè)務(wù)屬性、技術(shù)屬性和管理屬性；支持通過Excel模板導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn)模型；支持代碼標(biāo)準(zhǔn)的元模型定義與標(biāo)準(zhǔn)維護(hù)，包括代碼和代碼項(xiàng)；支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)出。數(shù)據(jù)標(biāo)準(zhǔn)映射支持標(biāo)準(zhǔn)映射到具體元數(shù)據(jù)和質(zhì)量規(guī)則。3.3.4數(shù)據(jù)質(zhì)量管理功能。質(zhì)量規(guī)則管理提供頁面新增、通用規(guī)則模板、SQL腳本等規(guī)則定義方式；默認(rèn)提供預(yù)置空值、值域、規(guī)范、一致性、數(shù)據(jù)集比對、非空判斷、主鍵唯一性等規(guī)則校驗(yàn)。質(zhì)量規(guī)則檢核支持根據(jù)質(zhì)量規(guī)則生成質(zhì)量檢核計(jì)劃；支持質(zhì)量檢核任務(wù)的手動和定時自動執(zhí)行。質(zhì)量分析報告支持考核算法和策略配置，對質(zhì)量規(guī)則執(zhí)行結(jié)果進(jìn)行量化打分；支持質(zhì)量分析結(jié)果的查詢和可視化展現(xiàn)。數(shù)據(jù)治理方案4.1設(shè)計(jì)原則系統(tǒng)在設(shè)計(jì)過程中除考慮滿足當(dāng)前招標(biāo)書建設(shè)要求外，還應(yīng)當(dāng)滿足后續(xù)系統(tǒng)平滑擴(kuò)展升級要求，因此總方案設(shè)計(jì)遵循如下設(shè)計(jì)原則。1)開放性引入業(yè)界開放的、成熟的標(biāo)準(zhǔn)，從而保證系統(tǒng)成為符合標(biāo)準(zhǔn)又不失靈活性的開放平臺，為未來的系統(tǒng)的靈活開放奠定基礎(chǔ)。2)先進(jìn)性各工具基于統(tǒng)一的整體架構(gòu)，采用先進(jìn)的、成熟的、可靠的技術(shù)與軟硬件平臺，保證基礎(chǔ)數(shù)據(jù)平臺系統(tǒng)易擴(kuò)展、易升級、易操作、易維護(hù)等特性。3)可擴(kuò)展性隨著新的業(yè)務(wù)需求的不斷產(chǎn)生，支持基礎(chǔ)數(shù)據(jù)模型、應(yīng)用分析模型、前端應(yīng)用的擴(kuò)展性；支持在統(tǒng)一系統(tǒng)架構(gòu)中服務(wù)器、存儲、I/O設(shè)備等的可擴(kuò)展性。4)安全性按國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、安全規(guī)范等實(shí)現(xiàn)數(shù)據(jù)安全管理。5)可維護(hù)性建立統(tǒng)一化可視化的運(yùn)維體系，數(shù)據(jù)處理各個環(huán)節(jié)，能對系統(tǒng)進(jìn)行相應(yīng)的性能管理和日志監(jiān)控。4.2工具包組成星環(huán)科技提供數(shù)據(jù)處理工具包是一款基于大數(shù)據(jù)技術(shù)的專業(yè)數(shù)據(jù)治理工具，可以有效提高后勤數(shù)據(jù)分析能力、規(guī)范核心數(shù)據(jù)開發(fā)過程，提升后勤數(shù)據(jù)質(zhì)量管理水平。結(jié)合后勤業(yè)務(wù)需求，為后勤保障大數(shù)據(jù)平臺建設(shè)打下堅(jiān)實(shí)基礎(chǔ)。通過對客戶數(shù)據(jù)治理工具及服務(wù)需求的理解，建議客戶采用本公司數(shù)據(jù)治理工具包（工具包組成見下圖），來滿足客戶數(shù)據(jù)治理及服務(wù)建設(shè)的要求。名稱供應(yīng)商說明TranswarpDataCatalog星環(huán)科技元數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)目錄工具。Governor升級版（豐富元數(shù)據(jù)管理、增加數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理等功能）星環(huán)科技的數(shù)據(jù)治理工具（TranswarpDataCatalog）采用B/S架構(gòu)，具有友好的可視化界面瀏覽器端兼容Chrome（71及以上）、FireFox（64及以上）、Safari（11.1.2及以上或12.0.2及以上）等主流瀏覽器，服務(wù)器端可運(yùn)行在Linux、Windows系統(tǒng)上，應(yīng)用服務(wù)器兼容Tomcat8.5，JDK版本為1.8，數(shù)據(jù)庫推薦星環(huán)科技的大數(shù)據(jù)平臺TDH，同時對Oracle、MySQL等傳統(tǒng)主流數(shù)據(jù)庫有高度兼容性。數(shù)據(jù)治理工具包支持集群模式，可保證7×24小時不間斷持續(xù)運(yùn)行，且計(jì)劃外宕機(jī)時間控制在全年的0.2%以內(nèi)、計(jì)劃外宕機(jī)次數(shù)控制在全年4次以內(nèi)，系統(tǒng)有效工作時間要求≥99.8%。數(shù)據(jù)處理工具支持高并發(fā)。頁面查詢不高于2秒，復(fù)雜查詢不高于5秒，一般頁面數(shù)據(jù)更新處理時間不高于3秒，復(fù)雜數(shù)據(jù)更新不高于5秒。數(shù)據(jù)處理工具數(shù)據(jù)庫到數(shù)據(jù)庫不低于2000條/秒，文件到數(shù)據(jù)庫不低于3000條/秒。 4.5數(shù)據(jù)資產(chǎn)目錄工具TranswarpDataCatalogTranswarpDataCatalog（以下簡稱“DataCatalog”）通過接入各個數(shù)據(jù)源的元數(shù)據(jù)信息，進(jìn)行有效合理的元數(shù)據(jù)組織、分析與數(shù)據(jù)資產(chǎn)化等服務(wù)，在后勤大數(shù)據(jù)業(yè)務(wù)場景下，DataCatalog可以提供高效地元數(shù)據(jù)分析理解與管理功能，方便數(shù)據(jù)管理部門能夠深入挖掘數(shù)據(jù)資產(chǎn)價值，提供便捷的數(shù)據(jù)資產(chǎn)服務(wù)能力。DataCatalog是Governor的升級版，在繼承Governor元數(shù)據(jù)管理、數(shù)據(jù)分析等功能的基礎(chǔ)上，完善了元數(shù)據(jù)管理功能、增加了數(shù)據(jù)源管理、數(shù)據(jù)質(zhì)量管理、標(biāo)準(zhǔn)化管理、數(shù)據(jù)資產(chǎn)目錄、資產(chǎn)可視化等功能。4.5.1總體架構(gòu)DataCatalog總體架構(gòu)如下圖所示：MetadataSourcesAccess提供Inceptor、Hive、HDFS、Hbase以及傳統(tǒng)關(guān)系型數(shù)據(jù)庫等的元數(shù)據(jù)接入采集等功能。SpringFrameworkUI&RestfulAPI提供DataCatalog的UI界面以及相關(guān)Service的Restful形式的API接口，提供各類型的微服務(wù)對接方式DataCatalog的UI前臺頁面數(shù)據(jù)的數(shù)據(jù)存儲采用MySQL數(shù)據(jù)庫表，頁面數(shù)據(jù)通過前臺頁面操作錄入、實(shí)時或離線方式查詢后臺的平臺服務(wù)獲得.MetadataIntegration&NotificationAPI提供Messaging消息隊(duì)列（目前使用Kafka）以及API接口（或REST方式）的元數(shù)據(jù)操作接口與數(shù)據(jù)消息總線方式。CorePlatform提供元數(shù)據(jù)統(tǒng)一的TypeSystem類型系統(tǒng)、Graph圖計(jì)算存儲查詢引擎層、智能標(biāo)簽算法、知識圖譜模型等。GraphDatabase提供圖計(jì)算查詢引擎的公共存儲封裝層，支持JanusGraph開源圖計(jì)算存儲查詢引擎Metadata目前使用HBase存儲entity實(shí)體信息，索引Index信息存儲使用ElasticSearch。4.5.2元數(shù)據(jù)管理1）元數(shù)據(jù)采集 支持元數(shù)據(jù)人工采集和自動化采集，支持對多數(shù)據(jù)源的元數(shù)據(jù)采集與管理：Inceptor、HDFS、Hyperbase、Mysql、Oracle、DB2、Hive、TD、Hbase、Teradata、PilotEnterprise以及第三方報表工具。支持采集任務(wù)配置，采集數(shù)據(jù)源配置，支持自動適配不同的元數(shù)據(jù)來源，采用適配的采集方式獲取元數(shù)據(jù)，支持DB數(shù)據(jù)采集配置功能將DB記錄中記錄與元模型進(jìn)行映射。元數(shù)據(jù)管理頁面顯示已添加的數(shù)據(jù)源信息列表，包含連接狀態(tài)、連接類型、已接入數(shù)據(jù)量、連入時間等信息。同時，支持添加數(shù)據(jù)源、刪除數(shù)據(jù)源和修改數(shù)據(jù)源配置。2）元數(shù)據(jù)管理功能支持存儲過程和視圖的元數(shù)據(jù)管理功能，能夠提供存儲過程和視圖的創(chuàng)建SQL、使用記錄、修改記錄、概覽標(biāo)簽以及關(guān)聯(lián)資產(chǎn)的展示。具備SQL管理的功能，能夠自動采集數(shù)據(jù)平臺中執(zhí)行的SQL，并且按照SQL中的數(shù)據(jù)表分類，進(jìn)行歷史記錄和修改記錄管理，幫助審計(jì)歷史操作情況和了解數(shù)據(jù)表的使用情況。3）元數(shù)據(jù)維護(hù)提供元數(shù)據(jù)常規(guī)管理能力，包括元數(shù)據(jù)基本信息、關(guān)系、版本的管理維護(hù)，以及元數(shù)據(jù)檢核。支持自動生成、手工錄入兩種方式設(shè)置版本號、支持任意版本元數(shù)據(jù)之間整體比對。支持歷史版本查詢及恢復(fù)。4）元數(shù)據(jù)瀏覽添加對應(yīng)數(shù)據(jù)源后，DataCatalog會自動抓取該數(shù)據(jù)源下的數(shù)據(jù)表、視圖和存儲過程?？梢圆榭床⒐芾碓摂?shù)據(jù)源的元數(shù)據(jù)。支持多數(shù)據(jù)源的資產(chǎn)瀏覽：Inceptor、HDFS、Hyperbase、Mysql、Oracle、DB2、Hive、TeraData、Hbase、Teradata、PilotEnterprise以及第三方報表工具。支持查看數(shù)據(jù)庫的元數(shù)據(jù)描述信息、數(shù)據(jù)表、視圖、存儲過程、關(guān)聯(lián)資產(chǎn)等信息。概覽信息字段信息采樣數(shù)據(jù)血緣信息使用記錄同時支持提供查看元數(shù)據(jù)總覽、資產(chǎn)使用監(jiān)控、通知等重要信息。它將始終保持與數(shù)據(jù)服務(wù)平臺的實(shí)時更新，以保證提供最具有時間價值的統(tǒng)計(jì)信息。數(shù)據(jù)治理工具提供對SQL、存儲過程的使用記錄監(jiān)控，展示使用最頻繁、運(yùn)行失敗的表和存儲過程，同時給出這兩種數(shù)據(jù)資產(chǎn)的數(shù)量變化趨勢。5）系統(tǒng)管理為應(yīng)用提供可靠的基礎(chǔ)管理服務(wù)，保證上層應(yīng)用的正常運(yùn)行。包括系統(tǒng)基本配置管理、權(quán)限管理、角色管理等。為了保證數(shù)據(jù)的安全性，數(shù)據(jù)管理需具備數(shù)據(jù)權(quán)限管控功能，提供文件、庫、表、字段級的數(shù)據(jù)權(quán)限控制能力，權(quán)限控制能精確到行級，支持基于人員、部門、項(xiàng)目、角色維度的權(quán)限驗(yàn)證和授權(quán)，能夠進(jìn)行訪問審計(jì)及敏感訪問預(yù)警。6）元數(shù)據(jù)應(yīng)用提供多種元數(shù)據(jù)應(yīng)用方式，包括元數(shù)據(jù)檢索、查看、歷史、變更訂閱下載。元數(shù)據(jù)檢索：7）元數(shù)據(jù)導(dǎo)入導(dǎo)出支持元數(shù)據(jù)的導(dǎo)入導(dǎo)出（全量與指定元數(shù)據(jù)備份與恢復(fù)等）。8）元數(shù)據(jù)模型管理支持導(dǎo)入、添加、查詢、編輯、刪除業(yè)務(wù)元數(shù)據(jù)以及自定義業(yè)務(wù)元數(shù)據(jù)模型(業(yè)務(wù)術(shù)語、信息項(xiàng)、指標(biāo)、代碼等)的格式。支持對技術(shù)元數(shù)據(jù)模型(系統(tǒng)、庫、表、字段、ETL過程等)的導(dǎo)入、添加、查詢、編輯、刪除業(yè)務(wù)的功能。支持業(yè)務(wù)元數(shù)據(jù)的版本管理、與其他數(shù)據(jù)資產(chǎn)間關(guān)聯(lián)的關(guān)系定義和維護(hù)功能，并提供檢索功能。9）數(shù)據(jù)地圖基于血緣分析技術(shù)，通過圖形化方式從宏觀角度展示企業(yè)數(shù)據(jù)資產(chǎn)(系統(tǒng))的關(guān)系，有利于用戶更好理解系統(tǒng)之間關(guān)系。10）血緣分析支持視圖View的血緣影響分析（包括展示已delete刪除的表和視圖，支持指定深度展示）。支持?jǐn)?shù)據(jù)庫中表和字段的血緣分析和影響分析。支持對電子表格和儀表盤的血緣和影響分析。支持對ETL流程的血緣、影響分析。支持手動對血緣信息進(jìn)行增加，刪除，修改等操作。支持自動化實(shí)時同步更新血緣、影響數(shù)據(jù)。DataCatalog支持?jǐn)?shù)據(jù)表的血緣影響分析，通過整合分散在各個系統(tǒng)、應(yīng)用、數(shù)據(jù)庫等不同數(shù)據(jù)源中的元數(shù)據(jù)，將它們集中在一起，提供統(tǒng)一的元數(shù)據(jù)查詢管理接口。通過元數(shù)據(jù)追蹤，DataCatalog記錄了每一次元數(shù)據(jù)轉(zhuǎn)化的輸入與輸出，從表級和列級兩個粒度上，描述多表間的關(guān)系，為數(shù)據(jù)平臺中的元數(shù)據(jù)勾勒出一幅完整的數(shù)據(jù)流動變化關(guān)系圖譜，使用戶更全面的掌握數(shù)據(jù)，把握數(shù)據(jù)變化。DataCatalog使用血緣分析和影響分析來描繪元數(shù)據(jù)間的關(guān)聯(lián)圖譜，包括元數(shù)據(jù)來源于哪些表，又去往了哪些表。其中血緣分析關(guān)注當(dāng)前對象與其上游對象的關(guān)聯(lián)，影響分析關(guān)注當(dāng)前對象對下游對象的影響。以下舉個例子描述血緣分析功能以目標(biāo)對象的第一代祖先為起點(diǎn)，以目標(biāo)分析對象為終點(diǎn)，按照轉(zhuǎn)化關(guān)系逐層擴(kuò)展。血緣圖直觀的展示了目標(biāo)對象的產(chǎn)生過程，包括從哪些表轉(zhuǎn)換而來，經(jīng)歷了哪些轉(zhuǎn)換，從而幫助推測出它在此過程中被賦予的含義，以及會受到的潛在影響。影響圖的起點(diǎn)是當(dāng)前分析對象，終點(diǎn)是受其影響的最末端子代，按照影響關(guān)系逐層擴(kuò)展。影響分析圖反映了當(dāng)前對象在統(tǒng)一數(shù)據(jù)集成平臺中，參與了哪些元數(shù)據(jù)的形成。用戶可以借助影響分析圖觀察該對象的影響能力，即對于當(dāng)前元數(shù)據(jù)修改，會對哪些后代元數(shù)據(jù)造成影響。點(diǎn)擊圖中的某一張表，可以查看該表的具體信息。此外，血緣影響分析圖還支持列的血緣影響分析。點(diǎn)擊血緣圖中任意一張表的展開，查看該表的血緣影響字段。11）關(guān)聯(lián)分析分析當(dāng)前對象對下游對象的影響。關(guān)聯(lián)分析圖的起點(diǎn)是當(dāng)前分析對象，終點(diǎn)是受其影響的最末端子代，按照關(guān)聯(lián)關(guān)系逐層擴(kuò)展。影響分析圖反映了當(dāng)前對象在統(tǒng)一數(shù)據(jù)集成平臺中，參與了哪些元數(shù)據(jù)的形成。用戶可以借助影響分析圖觀察該對象的影響能力，即對于當(dāng)前元數(shù)據(jù)修改，會對哪些后代元數(shù)據(jù)造成影響。12）關(guān)系過濾該元數(shù)據(jù)管理工具支持基于Process對血緣圖以及影響分析圖進(jìn)行過濾，折疊與目標(biāo)Process無關(guān)的血緣和影響分支。血緣分析和影響分析關(guān)注的是分析對象的數(shù)據(jù)是如何從上游對象逐步轉(zhuǎn)換而來，或者如何影響下游的對象，例如當(dāng)我們關(guān)注血緣圖中某個Process:tb1→tb2時，關(guān)注的是數(shù)據(jù)是如何輸入到tb1，再從tb1輸出到tb2的這條血緣分支；而不關(guān)注tb2的其他輸入來源。另外需要注意，Process的輸出對象（即tb2）的后續(xù)血緣鏈不會受到影響，被過濾的范圍以tb2為終點(diǎn)。綜上，本平臺支持僅觀察Process的過濾血緣/影響圖中的特定部分，與當(dāng)前Process的輸入對象沒有血緣輸入/影響關(guān)系的表及以這些表的血緣鏈/影響兩都將被收起。過濾前：過濾后：12）數(shù)據(jù)治理可視化為降低業(yè)務(wù)人員的學(xué)習(xí)成本，數(shù)據(jù)管理平臺需要具備簡單、易用的特點(diǎn)。能夠便捷地利用可視化界面利用托拉拽的方式，對數(shù)據(jù)進(jìn)行清洗、入庫等操作。

4.5.3數(shù)據(jù)業(yè)務(wù)字典業(yè)務(wù)字典是一個管理業(yè)務(wù)術(shù)語和數(shù)據(jù)標(biāo)準(zhǔn)的模塊。支持自由創(chuàng)建業(yè)務(wù)元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)的存儲和展現(xiàn)形式，并配合機(jī)器學(xué)習(xí)技術(shù)關(guān)聯(lián)、組織相關(guān)數(shù)據(jù)資產(chǎn)。支持自定義業(yè)務(wù)目錄結(jié)構(gòu)以及內(nèi)容，并提供相應(yīng)的查詢，瀏覽和使用頁面。支持業(yè)務(wù)詞條的以EXCEL文件格式的導(dǎo)入導(dǎo)出功能。默認(rèn)內(nèi)置金融、政府等行業(yè)業(yè)務(wù)術(shù)語。支持根據(jù)業(yè)務(wù)需求，創(chuàng)建新的字典，使用方法與內(nèi)置默認(rèn)業(yè)務(wù)字典相同。支持自定義業(yè)務(wù)元數(shù)據(jù)的存儲、展示格式和類型。支持將業(yè)務(wù)元數(shù)據(jù)與任意資產(chǎn)進(jìn)行關(guān)聯(lián)。1）新建業(yè)務(wù)字典2）添加目錄及編輯屬性業(yè)務(wù)字典支持自定義目錄的結(jié)構(gòu)和屬性。屬性規(guī)定了該目錄以及它所有級別的子目錄下，所有詞條的存儲和展現(xiàn)的形式。3）詞條管理業(yè)務(wù)字典目錄的詳情頁展示了目錄的描述、包含的詞條和子目錄等信息。詞條的展示格式由用戶定義的目錄屬性決定。該頁面支持對詞條和目錄的添加、批量刪除、單個編輯等操作。4）導(dǎo)入導(dǎo)出對于存量詞條，支持以Excel模板的形式批量導(dǎo)入和導(dǎo)出。4.5.4數(shù)據(jù)標(biāo)準(zhǔn)管理支持多檢索條件模糊查詢，對數(shù)據(jù)標(biāo)準(zhǔn)體系內(nèi)容進(jìn)行多維度的查詢?yōu)g覽。提供按名稱、分類、層級等多種查詢條件的組合查詢功能，展現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)的各種要素，提供按多種查詢條件的組合查詢功能，展現(xiàn)標(biāo)準(zhǔn)代碼的各輸出要素。支持按多種查詢條件的組合查詢功能，展現(xiàn)各系統(tǒng)對數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)和相關(guān)標(biāo)準(zhǔn)代碼的引用關(guān)系，如表物理名稱、數(shù)據(jù)項(xiàng)名稱、數(shù)據(jù)項(xiàng)編碼值、標(biāo)準(zhǔn)信息項(xiàng)編號等。支持?jǐn)?shù)據(jù)庫系統(tǒng)到數(shù)據(jù)標(biāo)準(zhǔn)的映射關(guān)系，保證數(shù)據(jù)標(biāo)準(zhǔn)的落地與執(zhí)行。支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)體系、指標(biāo)體系、數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)、標(biāo)準(zhǔn)代碼、映射關(guān)系等標(biāo)準(zhǔn)的維護(hù)功能。支持導(dǎo)入、添加、編輯、刪除數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)內(nèi)容以及自定義數(shù)據(jù)標(biāo)準(zhǔn)格式。支持自定義數(shù)據(jù)標(biāo)準(zhǔn)目錄結(jié)構(gòu)以及內(nèi)容，并提供相應(yīng)的查詢，瀏覽和使用頁面。支持將數(shù)據(jù)標(biāo)準(zhǔn)與任意資產(chǎn)進(jìn)行關(guān)聯(lián)。支持自定義數(shù)據(jù)標(biāo)準(zhǔn)的存儲和展示格式、類型。支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的版本管理以及跟其他數(shù)據(jù)資產(chǎn)關(guān)聯(lián)和檢索的功能，輔助數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行。4.5.5數(shù)據(jù)質(zhì)量管理1）數(shù)據(jù)質(zhì)量思想數(shù)據(jù)質(zhì)量問題包括但不限于：數(shù)據(jù)的完整性：例如個人檔案的屬性中缺少性別，籍貫，年齡等關(guān)鍵信息；數(shù)據(jù)的唯一性：不同來源的數(shù)據(jù)在DW中出現(xiàn)重復(fù)的情況；數(shù)據(jù)的權(quán)威性：統(tǒng)一指標(biāo)出現(xiàn)多個來源的數(shù)據(jù)，且數(shù)值不同；數(shù)據(jù)的合法性：獲取的數(shù)據(jù)指標(biāo)與常識不相符合，如年齡>150歲數(shù)據(jù)的一致性：不同來源的不同指標(biāo)數(shù)據(jù)其內(nèi)涵是一樣的（數(shù)據(jù)發(fā)現(xiàn)）；或者同一指標(biāo)的數(shù)據(jù)內(nèi)涵不同。為了解決以上問題，可以采用不同的手段和方式如下：解決數(shù)據(jù)完整性問題解決思路：補(bǔ)上數(shù)據(jù)缺失的信息主要方法：

通過其他信息補(bǔ)全：例如，使用身份證號碼推算性別，籍貫，出生日期，年齡等；

通過缺失記錄的前后數(shù)據(jù)補(bǔ)全：例如，時間序列缺失，可使用前后記錄的均值補(bǔ)全，或根據(jù)缺失跨度平滑處理.解決數(shù)據(jù)唯一性問題解決思路：數(shù)據(jù)去重，只保留一條記錄主要方法：按主鍵去重，利用sql的groupby<col1>，<col2>，...，<coln>的特點(diǎn)去除重復(fù)記錄；按規(guī)則去重，編寫一系列的規(guī)則，對重復(fù)情況復(fù)雜的數(shù)據(jù)去重，例如不同來源的客戶數(shù)據(jù)，可通過相同的關(guān)鍵信息進(jìn)行匹配，合并去重。解決數(shù)據(jù)權(quán)威性問題解決思路：在不同數(shù)據(jù)來源之間使用最權(quán)威的那一個.主要方法：記錄DW的數(shù)據(jù)來源，并賦予權(quán)威權(quán)重，當(dāng)導(dǎo)入數(shù)據(jù)存在重復(fù)/沖突的情況下，使用權(quán)重較高來源的數(shù)據(jù)解決數(shù)據(jù)完整性問題解決思路：設(shè)置判定規(guī)則主要方法：

設(shè)置強(qiáng)制合法規(guī)則：對字段設(shè)置合法區(qū)間，越界數(shù)據(jù)采取措施，強(qiáng)制轉(zhuǎn)換為最大/最小值，或判定為無效（供人工檢查）。例如：格式規(guī)則(日期類)"yyyy-MM-dd"；內(nèi)容規(guī)則：性別in(男，女，未知)；出生日期<=today設(shè)置告警規(guī)則：對超越數(shù)值范圍的記錄做報警處理，導(dǎo)出錯誤記錄到臨時的數(shù)據(jù)庫.表中供人工檢查；對字段的內(nèi)容(數(shù)值類)做離群值檢查：使用分箱，聚類，回歸等數(shù)據(jù)挖掘算法發(fā)現(xiàn)離群值，并告警。解決數(shù)據(jù)一致性的問題：主要方法：通過數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)權(quán)威的制定解決。2）質(zhì)量管理規(guī)則及流程上圖展示了Datacatalog數(shù)據(jù)質(zhì)量控制采用的基本流程。通過界面進(jìn)行數(shù)據(jù)質(zhì)量檢核規(guī)則定義與維護(hù)，可定義規(guī)則包括空值、值域、規(guī)范、數(shù)據(jù)集比對、分組檢查、記錄一致性、邏輯、自定義等。通過創(chuàng)建三張相關(guān)的表，分別存儲不同信息：person_file：存儲質(zhì)量合格的記錄，person_file_err：存在非法數(shù)據(jù)的記錄，全部作為string類型保存，檢測到的8條違反規(guī)則數(shù)據(jù)將全部進(jìn)入該表。person_file_dq：本次導(dǎo)入的數(shù)據(jù)質(zhì)量統(tǒng)計(jì)表，記錄了導(dǎo)入時間，合法記錄數(shù)，非法記錄數(shù)，合法記錄比例。處理流程如下圖：基本的思想是通過Reader獲取原始數(shù)據(jù)，然后分為三條處理線。質(zhì)量統(tǒng)計(jì)表：用ColumnMap算子從總的原始數(shù)據(jù)中過濾出用于統(tǒng)計(jì)的有效字段，將其與用ColumnMap算子從有效數(shù)據(jù)中過濾出用于統(tǒng)計(jì)的有效字段進(jìn)行JOIN合并，匯入數(shù)據(jù)質(zhì)量統(tǒng)計(jì)表。合法數(shù)據(jù)表：通過Filter定義出符合要求的元數(shù)據(jù)標(biāo)準(zhǔn)，例如類型、有效值、精確度等，以此過濾出有效數(shù)據(jù)，匯入person_file_orc，同時將經(jīng)過合法處理后的非法數(shù)據(jù)匯入該表進(jìn)入最終的數(shù)據(jù)表person_file。非法數(shù)據(jù)表：通過Filter_Neg過濾所有非法數(shù)據(jù)，接入表person_file_err_orc，然后經(jīng)過合適的合法處理，導(dǎo)入最終的表內(nèi)。由此在Transporter中實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)路由、數(shù)據(jù)加工的數(shù)據(jù)質(zhì)量控制流程。3）數(shù)據(jù)稽查除了采用數(shù)據(jù)質(zhì)量控制工具，星環(huán)數(shù)據(jù)治理平臺的數(shù)據(jù)庫還提供數(shù)據(jù)稽查功能保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)稽核會根據(jù)規(guī)則將臟數(shù)據(jù)寫入指定的臟數(shù)據(jù)表（ErrorTable），并標(biāo)明每一條臟數(shù)據(jù)為何非法，在數(shù)據(jù)導(dǎo)入完成后，將返回總共記錄數(shù)、導(dǎo)入記錄數(shù)的接口、或者數(shù)據(jù)質(zhì)量報告，以方便監(jiān)控程序判斷以及處理。也可以僅打印出顯示報錯信息。實(shí)現(xiàn)上述特性都是為了使數(shù)據(jù)稽查能夠在臟數(shù)據(jù)存在的情況下盡可能的保護(hù)系統(tǒng)或保證業(yè)務(wù)的順暢執(zhí)行。進(jìn)行數(shù)據(jù)稽查時，系統(tǒng)將對如下問題數(shù)據(jù)報錯并記錄至ErrorTable：字段值中含有定界標(biāo)識符，導(dǎo)致讀取數(shù)據(jù)時一行數(shù)據(jù)被誤讀為兩行。因?yàn)殄e誤的切分方式會使讀入記錄的字段數(shù)與定義不符，系統(tǒng)將通過檢測列數(shù)總個數(shù)來識別這樣的臟數(shù)據(jù)。以目標(biāo)結(jié)果表的類型判斷為標(biāo)準(zhǔn)，進(jìn)行類型匹配與類型轉(zhuǎn)換，如果類型不匹配，則輸出臟數(shù)據(jù)。在通過UDF結(jié)合過濾條件，實(shí)現(xiàn)其他的數(shù)據(jù)轉(zhuǎn)換以及過濾時，對不匹配的數(shù)據(jù)記錄打印報錯或記錄于ErrorTable。對不符合NOTNULL限制的記錄報錯。完整的數(shù)據(jù)稽查功能是按照如下的處理流程實(shí)現(xiàn)的，建議用戶在使用數(shù)據(jù)稽查功能以及設(shè)置相關(guān)配置時，結(jié)合該流程決定配置參數(shù)：用戶可以在創(chuàng)建一個外表的同時指定LogErrorTable。當(dāng)從外表讀取數(shù)據(jù)的時候，每解析一行記錄，若訪問到上述四種無效數(shù)據(jù)，就將該數(shù)據(jù)寫入ErrorTable。允許指定REJECT策略，即當(dāng)錯誤率達(dá)到一定的行數(shù)或者比例時，就停止讀取。3）數(shù)據(jù)質(zhì)量管理功能支持內(nèi)置檢查規(guī)則以及自定義質(zhì)量規(guī)則（如空值、值域、規(guī)范、數(shù)據(jù)集比對、分組檢查、記錄一致性、邏輯、自定義等）對目標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查支持自動或人工執(zhí)行數(shù)據(jù)質(zhì)量檢核任務(wù)，支持定時調(diào)度時間粒度配置，包括時、天、月、季度等粒度。對質(zhì)量規(guī)則執(zhí)行結(jié)果進(jìn)行量化打分；檢查完成后自動生成質(zhì)量分析報告。具備根據(jù)質(zhì)量問題改善數(shù)據(jù)質(zhì)量的能力，能夠使用算子修改數(shù)據(jù)，改善數(shù)據(jù)質(zhì)量。支持在ETL流程中進(jìn)行數(shù)據(jù)質(zhì)量管控的功能，使得數(shù)據(jù)質(zhì)量在事前被發(fā)現(xiàn)并解決。4.5.6數(shù)據(jù)資產(chǎn)目錄1）數(shù)據(jù)資產(chǎn)門戶數(shù)據(jù)資產(chǎn)可視化支持以目錄的形式，逐層展示所有數(shù)據(jù)資產(chǎn)，并支持全局搜索和瀏覽。同時支持?jǐn)?shù)據(jù)資產(chǎn)概覽，包括系統(tǒng)量、數(shù)據(jù)庫、表、字段統(tǒng)計(jì)，提供數(shù)據(jù)標(biāo)準(zhǔn)概覽，包括數(shù)據(jù)標(biāo)準(zhǔn)、代碼值標(biāo)準(zhǔn)統(tǒng)計(jì)，數(shù)據(jù)質(zhì)量概念，包括質(zhì)量標(biāo)準(zhǔn)及數(shù)據(jù)質(zhì)量分布情況等。目錄形式展示數(shù)據(jù)資產(chǎn)資產(chǎn)概覽數(shù)據(jù)資產(chǎn)自動分類及檢索支持將海量元數(shù)據(jù)自動分類，支持對所有數(shù)據(jù)資產(chǎn)全文數(shù)據(jù)檢索，支持全局搜索、模糊搜索。支持?jǐn)?shù)據(jù)按數(shù)據(jù)類型分域展示，支持?jǐn)?shù)據(jù)按業(yè)務(wù)特征展示，提供按不同類型快速檢索功能。能夠以儀表盤的形式展現(xiàn)數(shù)目資產(chǎn)的基本情況。支持采集BI軟件的報表信息，并且支持詳情展示，搜索等應(yīng)用。具備支持?jǐn)?shù)據(jù)大屏的功能，以RestAPI的形式提供數(shù)據(jù)資產(chǎn)相關(guān)數(shù)據(jù)，同時可以搭配可視化工具自助搭建數(shù)據(jù)大屏。2）業(yè)務(wù)目錄編目具備自定義數(shù)據(jù)目錄編目的功能，能夠根據(jù)業(yè)務(wù)和技術(shù)部分的具體需求對目錄進(jìn)行編目，并將對應(yīng)的數(shù)據(jù)資產(chǎn)放入編目好的目錄中.3）標(biāo)簽管理支持標(biāo)簽管理頁面，可以對標(biāo)簽進(jìn)行創(chuàng)建，修改，刪除，修改關(guān)聯(lián)等操作，支持標(biāo)簽詳情信息查看，同時能夠查詢標(biāo)簽關(guān)聯(lián)的數(shù)據(jù)資產(chǎn)信息；支持全局搜索標(biāo)簽信息。Catalog支持對數(shù)據(jù)源和數(shù)據(jù)資產(chǎn)添加標(biāo)簽，并且能夠以標(biāo)簽為關(guān)鍵詞搜索關(guān)聯(lián)的數(shù)據(jù)資產(chǎn)。在數(shù)據(jù)資產(chǎn)的概覽頁面中，您可以查看該資產(chǎn)的標(biāo)簽信息。標(biāo)簽分為自動的智能標(biāo)簽和人工的普通標(biāo)簽兩類。其中，智能標(biāo)簽使用AI技術(shù)，運(yùn)用業(yè)務(wù)信息、技術(shù)元數(shù)據(jù)、資產(chǎn)描述信息以及用戶使用信息，自動標(biāo)記數(shù)據(jù)資產(chǎn)。智能標(biāo)簽的右側(cè)會出現(xiàn)推薦匹配度的百分比。當(dāng)鼠標(biāo)移入該標(biāo)簽時，您可以選擇確認(rèn)或刪除。確認(rèn)后，智能標(biāo)簽就變?yōu)槠胀?biāo)簽。智能推薦DataCatalog基于機(jī)器學(xué)習(xí)相關(guān)技術(shù)提供資產(chǎn)相似性分析和數(shù)據(jù)資產(chǎn)推薦功能，幫助您理解、洞察數(shù)據(jù)資產(chǎn)。在資產(chǎn)的概覽頁下方，您會看到推薦的相關(guān)數(shù)據(jù)資產(chǎn)名稱、描述、標(biāo)簽等信息，點(diǎn)擊即可直接跳轉(zhuǎn)至該資產(chǎn)的頁面瀏覽。關(guān)聯(lián)資產(chǎn)為了更好地描述資產(chǎn)之間的關(guān)系和資產(chǎn)的業(yè)務(wù)屬性，您可以為某一數(shù)據(jù)資產(chǎn)設(shè)置它的關(guān)聯(lián)資產(chǎn)。關(guān)聯(lián)關(guān)系可以存在于數(shù)據(jù)庫、文件、報表和業(yè)務(wù)字典之間。4）使用教程支持內(nèi)置產(chǎn)品功能使用教程；支持自定義創(chuàng)建、編輯、修改教程；4.5.7數(shù)據(jù)安全支持應(yīng)用權(quán)限管理，通過應(yīng)用權(quán)限控制用戶能夠訪問系統(tǒng)內(nèi)部的功能選項(xiàng)，包括菜單的訪問、可執(zhí)行的動作等。支持訪問軌跡追蹤，明確通過統(tǒng)一日志管理功能對系統(tǒng)應(yīng)用層和數(shù)據(jù)層的日志進(jìn)行記錄，配合系統(tǒng)的審計(jì)管理功能實(shí)現(xiàn)對訪問軌跡的追蹤管理。支持多種算法的數(shù)據(jù)脫敏。支持多租戶管理。支持庫表行列粒度的數(shù)據(jù)權(quán)限管理。支持用戶身份認(rèn)證、安全訪問和權(quán)限管理。支持多種數(shù)據(jù)加密算法。支持Kerberos、LDAP、CAS、AccessToken、RBAC等安全認(rèn)證方式。4.5.8數(shù)據(jù)共享能夠跨租戶流轉(zhuǎn)數(shù)據(jù)資產(chǎn)，并且支持審批工單的形式保障數(shù)據(jù)資產(chǎn)的信息安全。支持能夠跨數(shù)據(jù)數(shù)據(jù)共享，通過賦予權(quán)限的形式讓數(shù)據(jù)在不同租戶之間共享。支持完備的任務(wù)流功能管理數(shù)據(jù)流轉(zhuǎn)任務(wù)4.6數(shù)據(jù)治理工具硬件及網(wǎng)絡(luò)的性能及規(guī)模配套的方案星環(huán)科技數(shù)據(jù)治理工具包提供集群服務(wù)來保證服務(wù)的高可用性，為滿足招標(biāo)書的技術(shù)指標(biāo)，集群系統(tǒng)必須是4臺（含4臺）以上物理服務(wù)器組成，每臺服務(wù)器建議具備以下配置：2顆8核心或以上帶超線程x86指令集CPU的服務(wù)器(比如Intel?Xeon?E5-2650v2)128GB以上內(nèi)存2個300G以上的硬盤做RAID1，作為系統(tǒng)盤10個以上的2TB容量以上的硬盤作為數(shù)據(jù)存放硬盤2個千兆以上網(wǎng)卡網(wǎng)絡(luò)規(guī)模建議至少千兆以上。團(tuán)隊(duì)及培訓(xùn)5.1項(xiàng)目團(tuán)隊(duì)為保障數(shù)據(jù)治理工具按時交付、工具培訓(xùn)和用戶使用順暢，確保項(xiàng)目順利實(shí)施，擬組建本項(xiàng)目的服務(wù)團(tuán)隊(duì)（共計(jì)9人），如下圖所示：項(xiàng)目負(fù)責(zé)人（項(xiàng)目經(jīng)理1名）：受企業(yè)法人委托全權(quán)負(fù)責(zé)項(xiàng)目合同簽訂、財(cái)務(wù)審查、組織管理、質(zhì)量安全控制，并定期進(jìn)行考核、評價和獎懲等；保證項(xiàng)目實(shí)施所需資源（人力、物力、數(shù)據(jù)、時間等）；全力參與、支持項(xiàng)目實(shí)施所需的業(yè)務(wù)流程優(yōu)化和組織變革；嚴(yán)格執(zhí)行項(xiàng)目有關(guān)規(guī)定和決定。技術(shù)負(fù)責(zé)人（1名）：負(fù)責(zé)數(shù)據(jù)治理工具全過程的技術(shù)指導(dǎo)，具體包括軟硬件環(huán)境咨詢、工具培訓(xùn)、數(shù)據(jù)治理方案、工具售后技術(shù)支持等方面。實(shí)施組（2名）：基于我公司提供數(shù)據(jù)治理工具，指導(dǎo)用戶硬件配置搭建、現(xiàn)場安裝調(diào)試工作、保證數(shù)據(jù)治理工具在用戶現(xiàn)場正常準(zhǔn)確使用。培訓(xùn)組（2名）：針對招標(biāo)方不同業(yè)務(wù)人員，負(fù)責(zé)數(shù)據(jù)治理工具的不同層級的技術(shù)、管理和運(yùn)維培訓(xùn)。數(shù)據(jù)服務(wù)組（2名）：負(fù)責(zé)配合完成至少兩個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)治理示范項(xiàng)目。售后服務(wù)組（1名）：負(fù)責(zé)工具售后服務(wù)。5.2培訓(xùn)方案數(shù)據(jù)治理工具部署完成后正式投入使用之前，我方組織專業(yè)技術(shù)人員對招標(biāo)單位的各級人員進(jìn)行不同層次的培訓(xùn)，直到被培訓(xùn)人員能夠自如使用該工具。具體培訓(xùn)方案如下：5.2.1培訓(xùn)目標(biāo)項(xiàng)目培訓(xùn)作為工程實(shí)施的一個重要環(huán)節(jié)，對整個項(xiàng)目的實(shí)施至關(guān)重要，通過系統(tǒng)的培訓(xùn)，使得工作人員得到日常工作需要的專業(yè)技術(shù)知識和經(jīng)驗(yàn)，從而可保障整個系統(tǒng)的順利運(yùn)行。為此，我司從培訓(xùn)組織保障、培訓(xùn)師資保障、培訓(xùn)教材保障、以及現(xiàn)場實(shí)踐保障等多方面著手，組織開展面向用戶的培訓(xùn)工作，制定培訓(xùn)過程控制管理流程和機(jī)制，保證培訓(xùn)工作質(zhì)量，實(shí)現(xiàn)培訓(xùn)目標(biāo)。對數(shù)據(jù)治理工具最大的考驗(yàn)之一就是系統(tǒng)使用者對應(yīng)用軟件的理解程度和熟悉程度，因而技術(shù)培訓(xùn)是保障系統(tǒng)運(yùn)行非常關(guān)鍵的一項(xiàng)工作。按照培訓(xùn)需求負(fù)責(zé)對項(xiàng)目相關(guān)用戶進(jìn)行全面的技術(shù)和產(chǎn)品培訓(xùn)，使用戶達(dá)到能獨(dú)立進(jìn)行開發(fā)、使用、管理、維護(hù)和故障處理的目標(biāo)，以便用戶所使用的軟件產(chǎn)品能夠正常、安全地運(yùn)行。雙方共同負(fù)責(zé)制定培訓(xùn)計(jì)劃：星環(huán)科技負(fù)責(zé)提供培訓(xùn)教材，收集參加培訓(xùn)人員信息，必要時組織培訓(xùn)效果評價及考核；培訓(xùn)任務(wù)工作包含但不限于以下任務(wù)：1）工具原理及需求相關(guān)的培訓(xùn)（針對業(yè)務(wù)分析人員）2）工具原理及需求相關(guān)的培訓(xùn)（針對系統(tǒng)管理人員）；3）工具部署及技術(shù)維護(hù)的培訓(xùn)（針對運(yùn)維管理人員）；5.2.2培訓(xùn)團(tuán)隊(duì)星環(huán)培訓(xùn)方式包括現(xiàn)場培訓(xùn)和集中培訓(xùn)。培訓(xùn)講師是整個培訓(xùn)流程的源頭，講師水平的高低決定了培訓(xùn)質(zhì)量的好壞。為保證講師隊(duì)伍的高素質(zhì)，企業(yè)內(nèi)部應(yīng)制訂《講師資格認(rèn)證制度》，從專業(yè)知識、專業(yè)經(jīng)驗(yàn)、成就及表達(dá)能力四方面進(jìn)行認(rèn)證。對講師的工作績效每半年或一年考核一次，優(yōu)勝劣汰。同時為支持和鼓勵講師主動積極地開展培訓(xùn)工作幫助講師不斷提高業(yè)務(wù)水平，組織他們進(jìn)行專業(yè)培訓(xùn)和技能訓(xùn)練。根據(jù)項(xiàng)目需要成立項(xiàng)目培訓(xùn)小組，包括培訓(xùn)經(jīng)理、培訓(xùn)講師等人員，主要負(fù)責(zé)項(xiàng)目培訓(xùn)計(jì)劃的制定、培訓(xùn)教材編制、培訓(xùn)組織等工作，針對不同的培訓(xùn)對象設(shè)置不同的培訓(xùn)課程，配備不同的培訓(xùn)講師，確保項(xiàng)目相關(guān)人員能夠獨(dú)立掌握不同層面的系統(tǒng)知識，確保項(xiàng)目的順利實(shí)施。對于所有培訓(xùn)，我公司派出具有相應(yīng)專業(yè)的實(shí)際工作和教學(xué)經(jīng)驗(yàn)的教師和相應(yīng)的輔導(dǎo)人員進(jìn)行培訓(xùn)，主要培訓(xùn)講師至少具有三年相關(guān)領(lǐng)域項(xiàng)目經(jīng)驗(yàn)、兩年培訓(xùn)經(jīng)驗(yàn)。1、培訓(xùn)經(jīng)理：由專業(yè)的大數(shù)據(jù)平臺架構(gòu)師擔(dān)任培訓(xùn)人員主要負(fù)責(zé)整體培訓(xùn)計(jì)劃、內(nèi)容及培訓(xùn)管理，根據(jù)不同的培訓(xùn)需求選擇確定不同的培訓(xùn)方式達(dá)到培訓(xùn)效果，擁有豐富的行業(yè)經(jīng)驗(yàn)和大數(shù)據(jù)技術(shù)應(yīng)用經(jīng)驗(yàn)，主要承擔(dān)數(shù)據(jù)治理工具總體設(shè)計(jì)方案、總體架構(gòu)設(shè)計(jì)、業(yè)務(wù)規(guī)劃及應(yīng)用方面的培訓(xùn)。2、系統(tǒng)管理培訓(xùn)講師：由專業(yè)的高級項(xiàng)目管理人員擔(dān)任主要負(fù)責(zé)系統(tǒng)管理培訓(xùn)，擁有豐富的項(xiàng)目管理、系統(tǒng)管理培訓(xùn)經(jīng)驗(yàn)，具備全面的業(yè)務(wù)流程掌控，主要承擔(dān)系統(tǒng)管理培訓(xùn)。3、業(yè)務(wù)分析培訓(xùn)講師：由數(shù)據(jù)挖掘高級研發(fā)人員人員擔(dān)任主要負(fù)責(zé)業(yè)務(wù)分析及數(shù)據(jù)分析方面培訓(xùn)，具有豐富的分布式數(shù)據(jù)挖掘項(xiàng)目經(jīng)驗(yàn)，熟悉常用的機(jī)器學(xué)習(xí)算法，了解不同模型的特性，擁有海量數(shù)據(jù)挖掘、分布式計(jì)算或高性能并行計(jì)算應(yīng)用經(jīng)驗(yàn)，主要承擔(dān)算法原理、業(yè)務(wù)分析、業(yè)務(wù)建模等方面培訓(xùn)。4、業(yè)務(wù)開發(fā)培訓(xùn)講師：由專業(yè)的數(shù)據(jù)平臺開發(fā)人員擔(dān)任主要負(fù)責(zé)數(shù)據(jù)平臺應(yīng)用開發(fā)培訓(xùn)，擁有豐富的大數(shù)據(jù)清洗、校驗(yàn)、挖掘、分析等方面的經(jīng)驗(yàn)，主要承擔(dān)數(shù)據(jù)庫管理、數(shù)據(jù)遷移、數(shù)據(jù)治理等方面的培訓(xùn)。5、運(yùn)維管理培訓(xùn)講師：由專業(yè)的項(xiàng)目實(shí)施運(yùn)維經(jīng)理擔(dān)任。主要負(fù)責(zé)運(yùn)維管理方面培訓(xùn)，擁有豐富的IT系統(tǒng)運(yùn)營和日常維護(hù)經(jīng)驗(yàn)，主要承擔(dān)IT運(yùn)維原理、系統(tǒng)安裝部署、日常運(yùn)營維護(hù)、一般故障處理和問題解決的培訓(xùn)。星環(huán)科技提供對相關(guān)的技術(shù)人員、管理人員和所有系統(tǒng)使用人員的培訓(xùn)。培訓(xùn)內(nèi)容涉及星環(huán)數(shù)據(jù)治理工具原理和技術(shù)性能、操作維護(hù)方法、安裝調(diào)試、排除故障及軟件結(jié)構(gòu)、定制和升級等技術(shù)方面，以及星環(huán)大數(shù)據(jù)平臺操作使用各方面內(nèi)容，并提供全套培訓(xùn)教材（中文）和培訓(xùn)計(jì)劃表。5.2.3培訓(xùn)內(nèi)容培訓(xùn)對象主要包括負(fù)責(zé)本項(xiàng)目建設(shè)、運(yùn)行和維護(hù)的專業(yè)人員培訓(xùn)和各類工具使用人員及各級領(lǐng)導(dǎo)的培訓(xùn)。其中，使用人員培訓(xùn)包括：使用該系統(tǒng)的運(yùn)營人員、甲方人員等；IT專業(yè)人員培訓(xùn)需完成對信息中心相關(guān)技術(shù)人員在數(shù)據(jù)治理基礎(chǔ)理論知識、數(shù)據(jù)治理工具的操作和使用方法等方面進(jìn)行專門的培訓(xùn)。培訓(xùn)采用現(xiàn)場培訓(xùn)和集中培訓(xùn)方式進(jìn)行?，F(xiàn)場培訓(xùn)：培訓(xùn)講師采用理論與案例分析、結(jié)合實(shí)際工作進(jìn)行分析、模擬項(xiàng)目實(shí)踐的技能訓(xùn)練等多種方式進(jìn)行；集中培訓(xùn)：為鞏固和強(qiáng)化培訓(xùn)效果，培訓(xùn)講師在培訓(xùn)結(jié)束后，收集問題，通過郵件發(fā)給學(xué)員，并對學(xué)員的反饋結(jié)果進(jìn)行跟蹤5.2.4業(yè)務(wù)分析團(tuán)隊(duì)培訓(xùn)星環(huán)科技專門為業(yè)務(wù)分析團(tuán)隊(duì)提供如下培訓(xùn)；大數(shù)據(jù)技術(shù)與數(shù)據(jù)處理基礎(chǔ)知識數(shù)據(jù)治理與數(shù)據(jù)可視化基礎(chǔ)知識數(shù)據(jù)探索與數(shù)據(jù)建模實(shí)際應(yīng)用案例星環(huán)科技為了使用戶能夠熟練掌握和使用星環(huán)大數(shù)據(jù)平臺的開發(fā)、使用和維護(hù)，星環(huán)提供根據(jù)用戶需要編制的培訓(xùn)材料，并在用戶指定的時間和地點(diǎn)開展培訓(xùn)。星環(huán)科技針對TranswarpDataHub以及ApacheHadoop相關(guān)的技術(shù)進(jìn)行專業(yè)性較強(qiáng)的培訓(xùn)服務(wù)?，F(xiàn)有培訓(xùn)服務(wù)分為如下幾個部分，其他針對用戶特定需要進(jìn)行的培訓(xùn)可以商討后進(jìn)行：培訓(xùn)課程培訓(xùn)時間培訓(xùn)內(nèi)容簡介基礎(chǔ)培訓(xùn)大數(shù)據(jù)生態(tài)圈以及原理構(gòu)架課程2天包含下列內(nèi)容：ApacheHadoop的發(fā)展歷史ApacheHadoop生態(tài)系統(tǒng)HDFS技術(shù)原理、HDFS基本操作和編程Map/Reduce基礎(chǔ)集群架構(gòu)業(yè)務(wù)分析培訓(xùn)數(shù)據(jù)治理工具培訓(xùn)3天數(shù)據(jù)治理工具基礎(chǔ)原理，問題診斷，工具使用方法及工具時間數(shù)據(jù)探索與數(shù)據(jù)治理實(shí)際應(yīng)用案例3天數(shù)據(jù)治理案例培訓(xùn)5.2.5工具運(yùn)維管理團(tuán)隊(duì)培訓(xùn)星環(huán)科技專門為運(yùn)維管理團(tuán)隊(duì)提供如下培訓(xùn)；大數(shù)據(jù)技術(shù)與數(shù)據(jù)治理基礎(chǔ)知識產(chǎn)品架構(gòu)、軟件特性部署及運(yùn)維培訓(xùn)數(shù)據(jù)挖掘算法與數(shù)據(jù)可視化基礎(chǔ)知識星環(huán)培訓(xùn)課課程表如下：培訓(xùn)課程培訓(xùn)時間培訓(xùn)內(nèi)容簡介基礎(chǔ)培訓(xùn)大數(shù)據(jù)生態(tài)圈以及原理構(gòu)架課程1天包含下列內(nèi)容：ApacheHadoop的發(fā)展歷史ApacheHadoop生態(tài)系統(tǒng)HDFS技術(shù)原理、HDFS基本操作和編程Map/Reduce基礎(chǔ)集群架構(gòu)技術(shù)開發(fā)培訓(xùn)數(shù)據(jù)治理工具包安裝培訓(xùn)0.5天提供數(shù)據(jù)治理工具包的安裝、配置、部署、監(jiān)控、維護(hù)，以及高可用性配置的培訓(xùn)，工具包括包括Transportor、Governor、DataCatalog數(shù)據(jù)治理工具產(chǎn)品架構(gòu)、軟件特性培訓(xùn)0.5天提供數(shù)據(jù)治理工具整體產(chǎn)品架構(gòu)以及各工具包括Transportor、Governor、DataCatalog的功能特性介紹數(shù)據(jù)治理工具包運(yùn)維培訓(xùn)0.5天產(chǎn)品運(yùn)維培訓(xùn)，包括日常運(yùn)維管理指標(biāo)監(jiān)控以及故障診斷5.2.6數(shù)據(jù)開發(fā)團(tuán)隊(duì)培訓(xùn)星環(huán)科技專門為數(shù)據(jù)開發(fā)團(tuán)隊(duì)提供如下培訓(xùn)；大數(shù)據(jù)技術(shù)與數(shù)據(jù)治理基礎(chǔ)知識產(chǎn)品架構(gòu)、軟件特性部署及運(yùn)維培訓(xùn)數(shù)據(jù)挖掘算法與數(shù)據(jù)可視化基礎(chǔ)知識工具性能監(jiān)控與調(diào)優(yōu)星環(huán)培訓(xùn)課課程表如下：培訓(xùn)課程培訓(xùn)時間培訓(xùn)內(nèi)容簡介基礎(chǔ)培訓(xùn)大數(shù)據(jù)生態(tài)圈以及原理構(gòu)架課程1天包含下列內(nèi)容：ApacheHadoop的發(fā)展歷史ApacheHadoop生態(tài)系統(tǒng)HDFS技術(shù)原理、HDFS基本操作和編程Map/Reduce基礎(chǔ)集群架構(gòu)技術(shù)開發(fā)培訓(xùn)數(shù)據(jù)治理工具包安裝培訓(xùn)0.5天提供數(shù)據(jù)治理工具包的安裝、配置、部署、監(jiān)控、維護(hù)，以及高可用性配置的培訓(xùn)，工具包括包括Transportor、Governor、DataCatalog數(shù)據(jù)治理工具產(chǎn)品架構(gòu)、軟件特性培訓(xùn)0.5天提供數(shù)據(jù)治理工具整體產(chǎn)品架構(gòu)以及各工具包括Transportor、Governor、DataCatalog的功能特性介紹數(shù)據(jù)治理工具包運(yùn)維培訓(xùn)0.5天產(chǎn)品運(yùn)維培訓(xùn)，包括日常運(yùn)維管理指標(biāo)監(jiān)控以及故障診斷數(shù)據(jù)治理工具性能監(jiān)控與調(diào)優(yōu)1天性能監(jiān)控與調(diào)優(yōu)培訓(xùn)5.2.7培訓(xùn)計(jì)劃由于員工擔(dān)任的職位不同，因此培訓(xùn)方向具有多樣化的特征。一般來說，主要劃分為三大類：一是決策層人才，二是管理層人才，三是操作層人才。星環(huán)科技提供針對不同應(yīng)用場景，設(shè)計(jì)具有針對性的培訓(xùn)方案。在整體的培訓(xùn)工作中，計(jì)劃分為4個階段來分別進(jìn)行，其中包括：前期準(zhǔn)備階段、培訓(xùn)實(shí)施階段、培訓(xùn)考核評估和培訓(xùn)效果檢驗(yàn)驗(yàn)證。1）前期準(zhǔn)備階段 在前期準(zhǔn)備階段中，我公司需與用戶方建立良好的溝通機(jī)制，定期與用戶方相關(guān)領(lǐng)導(dǎo)溝通確定培訓(xùn)需求，并分析明確用戶具體的培訓(xùn)需求，建立培訓(xùn)標(biāo)準(zhǔn)，制定一份詳細(xì)的《培訓(xùn)計(jì)劃書》，根據(jù)此培訓(xùn)計(jì)劃書設(shè)計(jì)培訓(xùn)課程、選定培訓(xùn)方式、編制教材資料或課件、準(zhǔn)備培訓(xùn)環(huán)境、制定培訓(xùn)人員，并呈報用戶批準(zhǔn)。培訓(xùn)需求分析是指在規(guī)劃與設(shè)計(jì)每項(xiàng)培訓(xùn)活動之前，由培訓(xùn)部門采取各種辦法和技術(shù)，對組織及成員的目標(biāo)、知識、技能等方面進(jìn)行系統(tǒng)的鑒別與分析，從而確定培訓(xùn)必要性及培訓(xùn)內(nèi)容的過程。培訓(xùn)需求分析就是采用科學(xué)的方法弄清誰最需要培訓(xùn)、為什么要培訓(xùn)、培訓(xùn)什么等問題，并進(jìn)行深入探索研究的過程。它具有很強(qiáng)的指導(dǎo)性，是確定培訓(xùn)目標(biāo)、設(shè)計(jì)培訓(xùn)計(jì)劃、有效地實(shí)施培訓(xùn)的前提，是現(xiàn)代培訓(xùn)活動的首要環(huán)節(jié)，是進(jìn)行培訓(xùn)評估的基礎(chǔ)，對企業(yè)的培訓(xùn)工作至關(guān)重要，是使培訓(xùn)工作準(zhǔn)確、及時和有效的重要保證。進(jìn)行培訓(xùn)需求分析的目的是以滿足組織和組織成員的需要為出發(fā)點(diǎn)，從組織環(huán)境、個人和職務(wù)各個層面上進(jìn)行調(diào)也和分析，從而判斷組織和個人是否存在培訓(xùn)需求以及存在哪些培訓(xùn)需求。確定培訓(xùn)目標(biāo)?？梢愿鶕?jù)需求分析來建立培訓(xùn)目標(biāo)，目標(biāo)必須是可控的、可操作的。培訓(xùn)課程的目標(biāo)是說明員工培訓(xùn)應(yīng)達(dá)到的標(biāo)準(zhǔn)。它根據(jù)培訓(xùn)的目的，結(jié)合上述需求分析的情況，形成培訓(xùn)課程目標(biāo)。培訓(xùn)前準(zhǔn)備工作。培訓(xùn)準(zhǔn)備主要是培訓(xùn)專員負(fù)責(zé)，其他同事可協(xié)助，主要準(zhǔn)備工作有：培訓(xùn)通知、講師確認(rèn)、課件確認(rèn)、時間地點(diǎn)協(xié)調(diào)、設(shè)施設(shè)備檢查調(diào)試、所需表格及資料準(zhǔn)備、參訓(xùn)者了解、培訓(xùn)前后交通工具食宿確認(rèn)等，根據(jù)培訓(xùn)的需要，以上工作在準(zhǔn)備細(xì)節(jié)上會有所區(qū)別和側(cè)重，將在具體操作時闡述。各準(zhǔn)備工作具體做法及注意事項(xiàng)。按照培訓(xùn)工作準(zhǔn)備的先后順序如下：（1）時間地點(diǎn)協(xié)調(diào)：雖然在培訓(xùn)計(jì)劃中都有明確的時間和地點(diǎn)，但計(jì)劃不如變化快，正式培訓(xùn)前2-3天，需要與部門領(lǐng)導(dǎo)、講師確認(rèn)培訓(xùn)具體時間（日期、幾時等），由于大部門培訓(xùn)時間都可能安排在下班后晚上進(jìn)行，避免與公司生產(chǎn)、業(yè)務(wù)等部門因?yàn)楣ぷ骶o急而參加者寥寥無幾等尷尬情況出現(xiàn)；另外，培訓(xùn)地點(diǎn)也需落實(shí)，所用會議室、培訓(xùn)室屆時有沒有其他會議或培訓(xùn)相沖突，需與會議室、培訓(xùn)室管理者溝通好。（2）講師課件確認(rèn)：與講師確認(rèn)好培訓(xùn)時間、地點(diǎn)，并親自細(xì)看其課件大綱、PPT、重要舉例等內(nèi)容，并對其培訓(xùn)時長進(jìn)行了解，如發(fā)現(xiàn)其明顯不合理（如可能參訓(xùn)者聽不明白的內(nèi)容）建議進(jìn)行適當(dāng)調(diào)整，并提醒一定要使用普通話，如遇自己不能決定的事項(xiàng)，要第一時間匯報給部門領(lǐng)導(dǎo)進(jìn)行協(xié)調(diào)處理。（3）參訓(xùn)者情況了解：對于該培訓(xùn)內(nèi)容的參訓(xùn)員工，培訓(xùn)專員對幾位主要參訓(xùn)員工進(jìn)行事前了解，主要是對培訓(xùn)內(nèi)容、講授形式、參加積極性、希望了解哪些內(nèi)容等進(jìn)行了解，以便及時反饋給講師，同時也可了解屆時參加者人數(shù)大致情況，如果參加者可能會較少，就需要匯報給部門領(lǐng)導(dǎo)，是否可以調(diào)整培訓(xùn)時間。（4）培訓(xùn)通知：前面三種情況確定后，就需要出培訓(xùn)通知了，通過審核批準(zhǔn)后予以公告欄張貼，并通過公司OA系統(tǒng)進(jìn)行公告，通知主要說明：培訓(xùn)時間、地點(diǎn)、內(nèi)容、講師、培訓(xùn)紀(jì)律、所帶筆及筆記本、培訓(xùn)檢驗(yàn)考試等，通知提前1天公告即可。（5）設(shè)施設(shè)備檢查：培訓(xùn)所需投影儀、音響、話筒、耳麥、激光筆、白板、白板筆、桌椅、白板擦、電源、照明、空調(diào)、周邊安靜情況等進(jìn)行確認(rèn)和試用，對于無法正常使用的，要及時請維修人員進(jìn)行修理正?；蚪栌?，做到萬無一失。（6）所需表單及資料確認(rèn)：一般而言，培訓(xùn)簽到表、培訓(xùn)評價表、測試題、筆記本、筆等數(shù)量需要比參訓(xùn)人更多的準(zhǔn)備量。2）培訓(xùn)實(shí)施階段前期準(zhǔn)備工作完成后，進(jìn)入培訓(xùn)實(shí)施階段，向培訓(xùn)對象下發(fā)培訓(xùn)通知，我公司委派指定的培訓(xùn)講師依據(jù)選定的培訓(xùn)方式按時開展培訓(xùn)，對參加培訓(xùn)的人員進(jìn)行登記和發(fā)放培訓(xùn)資料，培訓(xùn)可采取課堂講解和操作訓(xùn)練相結(jié)合的方法，針對大規(guī)模的培訓(xùn)可選擇分批次進(jìn)行。培訓(xùn)課程整體設(shè)計(jì)是針對某一專題或某一類人的培訓(xùn)需求所開發(fā)的課程架構(gòu)。進(jìn)行課程整體設(shè)計(jì)的任務(wù)包括確定費(fèi)用、劃分課程單元、安排課程進(jìn)度以及選定培訓(xùn)場所等。培訓(xùn)課程單元設(shè)計(jì)是在進(jìn)行課程整體設(shè)計(jì)的基礎(chǔ)上，具體確定每一單元的授課內(nèi)容、授課方法和授課材料的過程。課程單元設(shè)計(jì)的優(yōu)劣直接影響培訓(xùn)效果的好壞和學(xué)員對課程的評估。在培訓(xùn)開展過程中，作為相對獨(dú)立的課程單元不應(yīng)在時間上被分割開。在完成培訓(xùn)課程的單元設(shè)計(jì)后，需要對需求分析、課程目標(biāo)、整體設(shè)計(jì)和單元設(shè)計(jì)進(jìn)行階段性評價和修訂，以便為課程培訓(xùn)的實(shí)施奠定基礎(chǔ)。在實(shí)施培訓(xùn)過程中，培訓(xùn)講師掌握必要的培訓(xùn)技巧，達(dá)到事半功倍的效果。3）培訓(xùn)考核評估培訓(xùn)現(xiàn)場向受訓(xùn)人員發(fā)放培訓(xùn)考核表，提供紙質(zhì)或電子版培訓(xùn)考核表以滿足不同培訓(xùn)形式的需要，對所有受訓(xùn)人員此