企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項目建設技術解決方案WORD ()

企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項目建設技術解決方案整理制作郎豐利1519 V 第19頁企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項目建設技術解決方案目錄 TOC\o"1-5"\h\z\u1 項目需求分析 71.1 項目建設目標 71.2 項目建設內容 71.2.1 數(shù)據(jù)管理 71.2.2 數(shù)據(jù)智能 171.3 平臺性能需求 201.4 驗收文檔要求 202 項目技術方案 222.1 項目建設方案 222.1.1 現(xiàn)狀問題分析 22 業(yè)務系統(tǒng)之間缺少統(tǒng)一標準 22 系統(tǒng)之間數(shù)據(jù)變更對應的影響分析困難 22 數(shù)據(jù)質量差，錯誤發(fā)現(xiàn)不及時 22 數(shù)據(jù)價值低 22 業(yè)務系統(tǒng)之間數(shù)據(jù)資產(chǎn)分散，共享性差 22 數(shù)據(jù)安全得不到保障 22 管理體系不完善，已有標準落實差 232.1.2 項目建設目標 232.1.3 平臺建設方案 23 平臺架構設計 23 數(shù)據(jù)管理建設 24.1 數(shù)據(jù)資產(chǎn)管理 24.2 數(shù)據(jù)異常管理 32.3 數(shù)據(jù)架構管理 33.4 數(shù)據(jù)開發(fā)管理 33.5 統(tǒng)一調度管理 35 數(shù)據(jù)智能建設 35.1 數(shù)據(jù)血緣分析 35.2 智能標簽管理 36.3 數(shù)據(jù)探索管理 37.4 業(yè)務畫像分析 372.1.4 方案核心價值 38 高效運營 38 解決數(shù)據(jù)質量問題 38 規(guī)范和共享 38 風險管理 38 數(shù)據(jù)流程管控 38 數(shù)據(jù)管理創(chuàng)新 382.2 服務場景設計 392.2.1 數(shù)據(jù)資產(chǎn)管理 39 服務場景方案 39 服務場景流程 39 場景應用展示 402.2.2 數(shù)據(jù)開發(fā)管理 41 服務場景方案 41 場景服務能力 41.1 特色的數(shù)倉應用組件 41.2 計算分區(qū) 42.3 數(shù)據(jù)脫敏 42 場景應用展示 432.2.3 數(shù)據(jù)全生命周期管理 44 服務場景方案 44 場景應用展示 442.2.4 數(shù)據(jù)管理大屏 452.3 信息安全保障 462.3.1 總體方案 462.3.2 系統(tǒng)安全 472.3.3 數(shù)據(jù)安全 472.3.4 應用安全 483 項目建設方案 503.1 項目實施方案 503.1.1 項目實施地點 503.1.2 項目實施工期 503.1.3 項目實施過程 50 需求分析 50 軟件開發(fā) 51 安裝調測 523.1.4 項目實施文檔 533.2 項目驗收方案 543.2.1 項目驗收標準 54 驗收性能標準 54 驗收文檔標準 543.2.2 項目驗收方法 55 驗收步驟 55 驗收程序 56 驗收申請 57 驗收依據(jù) 57 驗收內容 573.2.3 驗收簽收流程 583.3 項目管理方案 583.3.1 項目進度管理 583.3.2 項目質量管理 583.3.3 項目風險管理 593.3.4 項目溝通管理 604 項目服務方案 624.1 項目資源投入 624.1.1 項目人員管理 624.2 售后服務承諾 624.3 免費維保期限 634.4 售后服務方案 634.4.1 維保服務方案 63 服務內容 64 服務方式 64 問題優(yōu)先級 65 服務響應 66 服務組織機構 67 每月的總結 68 支持流程 684.4.2 培訓服務方案 68 培訓目的 68 培訓形式 69 培訓內容 69 培訓計劃 694.4.3 應急處理預案 70 服務概述 70 處理流程 70 應急措施 704.5 服務質量保障 724.5.1 質量管理方法 724.5.2 質量管控思路 734.5.3 質量管理計劃 744.5.4 質量保障措施 77 管理保障措施 77 技術保障措施 795 類似案例介紹 815.1 禪城區(qū)大數(shù)據(jù)統(tǒng)籌局數(shù)據(jù)管理項目 815.1.1 項目概述 815.1.2 項目方案 815.1.3 項目價值 815.2 某市智慧房管數(shù)據(jù)分析項目 835.2.1 業(yè)務需求 835.2.2 項目方案 835.2.3 項目特點 845.2.4 項目價值 845.3 信用信息匯集系統(tǒng) 855.3.1 項目概述 855.3.2 項目方案 855.3.3 項目價值 85

項目需求分析項目建設目標城市大數(shù)據(jù)及大數(shù)據(jù)中心的運營成果要讓決策者、行業(yè)用戶和社會公眾“看得見、看得清、看得懂”，因此需要實現(xiàn)大屏可視化，把區(qū)域內的靜態(tài)和動態(tài)數(shù)據(jù)能夠360度完美表現(xiàn)、采用易懂的表現(xiàn)形式和生動震撼的視覺傳達，讓人更容易記憶、理解和學習，從而實現(xiàn)企業(yè)大數(shù)據(jù)中心運行情況一套圖展示。項目建設內容數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理平臺主要負責對數(shù)據(jù)資產(chǎn)進行統(tǒng)一注冊和管理，實現(xiàn)數(shù)據(jù)資產(chǎn)體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運行審計管理、資產(chǎn)統(tǒng)計分析，接口管理、數(shù)據(jù)質量等功能。數(shù)據(jù)資產(chǎn)注冊管理平臺提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)注冊審核、生成數(shù)據(jù)庫管理等功能。提供采集器、在線維護、自動注冊接口等方式來注冊數(shù)據(jù)資產(chǎn)。數(shù)據(jù)源管理 平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、Hadoop庫的注冊管理。數(shù)據(jù)庫注冊管理，主要負責數(shù)據(jù)庫基本信息的注冊配置，包含但不限于以下內容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務IP數(shù)據(jù)庫服務端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間……Hadoop庫注冊管理，主要負責Hive庫基本信息、HDFS文件信息的注冊配置，包含但不限于以下內容：HIVE數(shù)據(jù)庫服務IPHIVE數(shù)據(jù)庫服務端口HDFS文件系統(tǒng)服務IPHDFS文件系統(tǒng)服務端口……數(shù)據(jù)資產(chǎn)注冊管理 平臺提供對數(shù)據(jù)資產(chǎn)注冊管理的功能，主要包括對表、視圖、序列、文件、ETL過程、Hadoop等進行注冊管理。1）業(yè)務系統(tǒng)信息收集與資產(chǎn)注冊，包含但不限于以下內容：業(yè)務系統(tǒng)名稱業(yè)務系統(tǒng)描述業(yè)務系統(tǒng)服務IP業(yè)務系統(tǒng)服務端口2）數(shù)據(jù)庫信息采集與資產(chǎn)注冊，包含但不限于以下內容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務IP數(shù)據(jù)庫服務端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間3）表結構信息采集與資產(chǎn)注冊，包含但不限于以下內容：表名稱表中文名稱業(yè)務信息描述表結構定義表數(shù)據(jù)處理邏輯4）視圖信息采集與資產(chǎn)注冊，包含但不限于以下內容：視圖名稱視圖中文名稱業(yè)務信息描述視圖結構定義5）字段信息采集與資產(chǎn)注冊，包含但不限于以下內容：字段名稱字段中文名稱字段詳細描述字段類型定義6）指標信息采集與資產(chǎn)注冊，包含但不限于以下內容：指標名稱指標中文名稱指標業(yè)務描述指標統(tǒng)計口徑指標統(tǒng)計周期7）報表信息采集與資產(chǎn)注冊，包含但不限于以下內容：報表名稱報表中文名稱報表業(yè)務描述報表格式報表統(tǒng)計周期8）hadoop平臺信息采集與資產(chǎn)注冊，包含但不限于以下內容：Hadoop集群名稱Hadoop集群描述Hadoop集群主節(jié)點IPHadoop集群從節(jié)點IP9）hadoophive庫表信息采集與資產(chǎn)注冊，包含但不限于以下內容：Hive數(shù)據(jù)庫服務IPHive數(shù)據(jù)庫服務端口Hive表名稱Hive表中文名稱Hive表業(yè)務描述信息Hive表結構定義10）ETL過程信息采集與資產(chǎn)注冊，包含但不限于以下內容：ETL作業(yè)名稱ETL作業(yè)業(yè)務描述信息ETL過程處理邏輯ETL作業(yè)運行周期ETL來源表名稱ETL來源文件路徑ETL目標表名稱ETL目標文件路徑11）文件接口信息采集與資產(chǎn)注冊，包含但不限于以下內容：接口文件名稱接口文件業(yè)務描述信息接口文件路徑接口文件大小接口內容與表字段映射關系12）OLAP信息采集與資產(chǎn)注冊；13）webservice接口信息采集與資產(chǎn)注冊，包含但不限于以下內容：webservice接口名稱webservice接口描述webservice接口負責人數(shù)據(jù)資產(chǎn)注冊審核 平臺提供對數(shù)據(jù)資產(chǎn)注冊的審核功能，通過在平臺中定義數(shù)據(jù)資產(chǎn)的相關命名規(guī)范，可實現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)進行審核分析。當數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時，平臺會提示錯誤信息，并阻止資產(chǎn)的注冊操作，當數(shù)據(jù)資產(chǎn)命名審核通過后，交由相應的審核人進行審核，保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。生成數(shù)據(jù)庫管理 平臺可基于數(shù)據(jù)資產(chǎn)（表），通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等信息后自動生成相應數(shù)據(jù)庫的建表腳本并在數(shù)據(jù)庫中生成數(shù)據(jù)表，如下圖所示：數(shù)據(jù)資產(chǎn)分類管理平臺提供對數(shù)據(jù)資產(chǎn)的分類管理功能，在數(shù)據(jù)資產(chǎn)注冊同時或注冊后，可在數(shù)據(jù)資產(chǎn)上標識不同的屬性標簽，通過屬性標簽完成對數(shù)據(jù)資產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計、資產(chǎn)盤點等功能提供支撐。常見的屬性標簽包括：資產(chǎn)類型：數(shù)據(jù)表、文件、接口、指標、報表等數(shù)據(jù)來源：B域、O域、M域等主題域：參與人、服務、資源、事件、市場營銷、企業(yè)管理、公共。所屬層級：接口層、輕度匯總層、中度匯總層、高度匯總層、應用層等存儲周期：按年、按季度、按月、按周、按日等數(shù)據(jù)資產(chǎn)分類體系在數(shù)據(jù)資產(chǎn)的分類管理中，平臺按照數(shù)據(jù)資產(chǎn)的生命周期對數(shù)據(jù)資產(chǎn)進行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內進行加工處理的過程。數(shù)據(jù)資產(chǎn)分類查詢平臺提供數(shù)據(jù)資產(chǎn)分類查詢功能，可通過選取分類標簽中具體的屬性標簽對數(shù)據(jù)資產(chǎn)進行篩查。1數(shù)據(jù)資產(chǎn)分類統(tǒng)計平臺提供數(shù)據(jù)資產(chǎn)分類統(tǒng)計功能，可對各種標簽屬性的數(shù)據(jù)資產(chǎn)進行分類統(tǒng)計，并形成統(tǒng)計報表，供使用人員查詢不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計情況。數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)資產(chǎn)目錄資產(chǎn)目錄是對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務、保障與支撐所組成的一個整體針對資產(chǎn)的合理組織，需要對資產(chǎn)進行對應分類，如部門類目、主題類目、行業(yè)類目等，可對該類目下資產(chǎn)數(shù)據(jù)進行搜索、展現(xiàn)以及權限申請。數(shù)據(jù)資產(chǎn)查詢平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢和高級查詢兩種方式。1.通用查詢：通過在通用查詢搜索框中輸入查詢關鍵字，可對數(shù)據(jù)資產(chǎn)進行模糊查詢。2.高級查詢：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對數(shù)據(jù)資產(chǎn)進行精確查詢，包括數(shù)據(jù)資產(chǎn)名稱、資產(chǎn)編碼、資產(chǎn)分類標簽等屬性。數(shù)據(jù)資產(chǎn)地圖管理平臺提供數(shù)據(jù)地圖功能，通過可視化的圖形界面，對大數(shù)據(jù)平臺各系統(tǒng)、各層次之間的脈絡關系進行全面、多層次的展示，并提供從系統(tǒng)、數(shù)據(jù)庫、表間以及字段級的關聯(lián)關系下鉆分析功能，幫助用戶從不同粒度了解數(shù)據(jù)資產(chǎn)之間的關聯(lián)情況，同時可動態(tài)了解數(shù)據(jù)資產(chǎn)的執(zhí)行情況。數(shù)據(jù)資產(chǎn)版本管理平臺提供數(shù)據(jù)資產(chǎn)版本管理功能，主要包括版本發(fā)布、版本查看、版本比對、版本恢復等功能。1.版本發(fā)布，通過版本發(fā)布功能提供對數(shù)據(jù)資產(chǎn)信息的版本更新和固化；2.版本查看，可查看數(shù)據(jù)資產(chǎn)的版本變更歷史；1版本比對，通過選擇歷史版本可與當前發(fā)布的數(shù)據(jù)資產(chǎn)版本進行差異比較；版本恢復功能，支持恢復到以前歷史版本的資產(chǎn)信息；數(shù)據(jù)資產(chǎn)變更管理平臺提供數(shù)據(jù)資產(chǎn)變更管理功能，可對數(shù)據(jù)資產(chǎn)信息中除定義名稱以外的其他信息進行變更，并提供在變更發(fā)布前的數(shù)據(jù)資產(chǎn)信息規(guī)范審核。數(shù)據(jù)資產(chǎn)審計管理平臺提供資產(chǎn)運行審計管理功能，主要包括數(shù)據(jù)資產(chǎn)模型審計、數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計等部分。1）數(shù)據(jù)資產(chǎn)模型審計：可對表、視圖、文件、Hadoop等靜態(tài)結構進行審計，根據(jù)元數(shù)據(jù)的配置，與數(shù)據(jù)庫內實際的表／視圖信息、實際生成的文件信息以及Hadoop中實際的結構信息進行比對，實現(xiàn)數(shù)據(jù)資產(chǎn)定義在整個應用中的一致性檢查。2）數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計：可對數(shù)據(jù)資產(chǎn)中的表數(shù)據(jù)進行審計，包括元數(shù)據(jù)表字段上的空值、字典值等。數(shù)據(jù)資產(chǎn)統(tǒng)計管理平臺提供數(shù)據(jù)資產(chǎn)統(tǒng)計分析功能，主要包括統(tǒng)計綜合查詢、數(shù)據(jù)資產(chǎn)一致性檢查、數(shù)據(jù)資產(chǎn)更變統(tǒng)計、數(shù)據(jù)資產(chǎn)屬性檢查、數(shù)據(jù)資產(chǎn)空值檢查、數(shù)據(jù)資產(chǎn)字典值檢查等功能。數(shù)據(jù)資產(chǎn)統(tǒng)計分析1、統(tǒng)計綜合查詢，可通過數(shù)據(jù)資產(chǎn)的各種屬性標簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應用等，對數(shù)據(jù)資產(chǎn)進行查詢。2、數(shù)據(jù)資產(chǎn)一致性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內實際的表／視圖信息、實際生成的文件信息、Hadoop中實際的結構信息等內容進行比對并輸出差異分析結果，在分析結果不一致的情況下給出提醒，并將分析結果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。3、數(shù)據(jù)資產(chǎn)變更統(tǒng)計，可通過數(shù)據(jù)資產(chǎn)的各種屬性標簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應用等，對數(shù)據(jù)資產(chǎn)變更歷史進行統(tǒng)計查詢。4、數(shù)據(jù)資產(chǎn)屬性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內實際的表／視圖的屬性信息、與實際生成的文件內的屬性信息、與Hadoop中實際的結構信息進行比對并輸出差異分析結果，在分析結果不一致的情況下給出提醒，并將分析結果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。5、數(shù)據(jù)資產(chǎn)空值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的空值配置進行檢查，在檢查結果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)空值檢查報告》。6、數(shù)據(jù)資產(chǎn)字典值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的字典值配置進行檢查，在檢查結果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)字典值檢查報告》。數(shù)據(jù)資產(chǎn)報告針對整體平臺上的對應數(shù)據(jù)，提供定周期了解其對應資產(chǎn)情況，對總體資產(chǎn)情況進行分析。數(shù)據(jù)資產(chǎn)盤點 平臺提供數(shù)據(jù)負資產(chǎn)盤點功能，通過分析系統(tǒng)中孤立未使用的庫表，即數(shù)據(jù)負資產(chǎn)，并以報表形式輸出分析結果，為用戶清除數(shù)據(jù)負資產(chǎn)或轉存提供幫助。數(shù)據(jù)異常管理異常對接管理開發(fā)可以對接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務總線系統(tǒng)中異常日志模塊的功能。異常問題列表開發(fā)展示異常問題信息，按等級進行分類或主動推送，同時對異常問題進行歸類整理，并定義規(guī)則進行選擇性忽略或提醒的功能。人工處理管理開發(fā)人工處理管理是記錄針對異常信息，人工處理所登記的臺賬信息，可按照異常分類進行分類授權，實現(xiàn)指定問題的指定人員處理的功能。系統(tǒng)處理管理開發(fā)統(tǒng)處理管理是針對異常信息集成的各子平臺系統(tǒng)處理結果的收集，該類信息往往不需要人工干預的功能。實時數(shù)據(jù)質量管理針對實時流數(shù)據(jù)需要提供數(shù)據(jù)質量管理功能，即提供對實時流的數(shù)據(jù)質量規(guī)則的設置、維護、調度、優(yōu)化等規(guī)則的管理功能，以及對實時流數(shù)據(jù)源接口關鍵數(shù)據(jù)、數(shù)據(jù)實體和處理過程的監(jiān)控告警，輔助數(shù)據(jù)質量管理人員快速定位問題的原因及處理方案，并定期生成針對實時流數(shù)據(jù)的數(shù)據(jù)質量評估報告的功能。數(shù)據(jù)質量定制化開發(fā)通過自定義擴展規(guī)則能力，靈活方便的自定義擴展能力，可以靈活定制質量監(jiān)控的規(guī)則、問題數(shù)據(jù)的檢測規(guī)則和問題數(shù)據(jù)的清洗回收的方式。異常數(shù)據(jù)分析基于集成方案，反饋統(tǒng)計分析集成過程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結果，同時支持多維度的問題分析以及排查。異常處理統(tǒng)計分析開發(fā)按照異常分類、處理情況、時間、等級等維度進行分類統(tǒng)計，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。數(shù)據(jù)架構管理平臺支持定義全企業(yè)的數(shù)據(jù)架構，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫類型。功能包括數(shù)據(jù)架構節(jié)點的增加，刪除。業(yè)務架構管理從數(shù)據(jù)架構中選擇適合團隊的數(shù)據(jù)架構，并綁定到團隊，以約束開發(fā)團隊在開發(fā)過程中選擇數(shù)據(jù)架構。存儲架構管理在異構數(shù)據(jù)庫的環(huán)境下，不同的數(shù)據(jù)庫有不同的參數(shù)設置，為減少開發(fā)人員在模型開發(fā)過程中的操作，同時也保障模型在落地到物理環(huán)境的正確性，通過在存儲架構中設置默認的參數(shù)配置來保障開發(fā)的準備性。數(shù)據(jù)開發(fā)管理流數(shù)據(jù)處理平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實時采集-->數(shù)據(jù)實時計算-->數(shù)據(jù)實時查詢服務。實時采集主要應對海量數(shù)據(jù)進行高性能的實時數(shù)據(jù)采集處理，以實時、高效、低延遲為核心驅動點，具備毫秒級數(shù)據(jù)觸發(fā)能力，實現(xiàn)秒級單位時間窗口的數(shù)據(jù)統(tǒng)計分析能力。需要支持的數(shù)據(jù)源類型可以分為以下四類：網(wǎng)絡協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見類型的網(wǎng)絡協(xié)議。本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。關系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。支持物聯(lián)網(wǎng)網(wǎng)關采集：將物聯(lián)網(wǎng)數(shù)據(jù)從物聯(lián)網(wǎng)網(wǎng)關接入，提供協(xié)議適配和標準化處理，以及滿足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。來自多種數(shù)據(jù)源的實時信息，因為其時效性高，數(shù)據(jù)的有效期短暫，需要實時提取和分析來自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應用中進行處理。同時，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對外開放能力。流數(shù)據(jù)引擎開發(fā)提供數(shù)據(jù)融合，統(tǒng)計，分析的高速處理能力，對于實時性要求較高的數(shù)據(jù)計算提供支撐的功能流數(shù)據(jù)計算模型管理開發(fā)提供對已設計完成的數(shù)據(jù)計算模型進行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流數(shù)據(jù)計算公共模型開發(fā)開發(fā)提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調用，可重復使用的功能流數(shù)據(jù)計算結果接口開發(fā)開發(fā)提供對流數(shù)據(jù)計算結果接口開發(fā)功能和計算結果數(shù)據(jù)可通過接口形式供可視化調用或其他應用的功能流數(shù)據(jù)計算模型查詢開發(fā)提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進行模型再利用，減少其他用戶開發(fā)工作量的功能。數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉換，提升開發(fā)效率。支持可視化開發(fā)開發(fā)空間基于脫敏數(shù)據(jù)開發(fā)和驗證，通過驗證后的工作流再發(fā)布到生產(chǎn)空間，生產(chǎn)空間基于實際的數(shù)據(jù)來調度工作流進行數(shù)據(jù)生產(chǎn)。支持原生態(tài)開發(fā)統(tǒng)一調度管理平臺支持對數(shù)據(jù)開發(fā)與管理任務的統(tǒng)一調度，包括流程設計與管理、調度策略管控、任務調度控制、標準化控件等功能模塊，通過作業(yè)/任務管理、作業(yè)/任務調度、作業(yè)/任務執(zhí)行實現(xiàn)對采集、轉換、加載、調度、監(jiān)控，從而形成統(tǒng)一的調度與管理。以一個業(yè)務量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進行協(xié)同生產(chǎn)。在統(tǒng)一調度平臺中以數(shù)據(jù)流作為驅動,通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到各個異構系統(tǒng)，多個子系統(tǒng)的協(xié)同調度。數(shù)據(jù)智能數(shù)據(jù)血緣平臺提供血緣分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有來源的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質量問題。元數(shù)據(jù)血緣分析元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關系和以父子依賴關系展示對象等有向血緣關系。影響性分析包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對象變更時的緣由和影響關系。血緣分析是元數(shù)據(jù)分析中重要的分析應用，以圖形方式清晰的展現(xiàn)出元數(shù)據(jù)（表、視圖、字段、指標）每一步數(shù)據(jù)的來源情況，數(shù)據(jù)的來源情況包括該元數(shù)據(jù)的直接或間接使用到的其他元數(shù)據(jù)和加工該元數(shù)據(jù)所使用的加工規(guī)則。元數(shù)據(jù)對象和對象之間以連線方式表現(xiàn)出血緣分析的結果。重要性分析分析各元數(shù)據(jù)對象之間的關聯(lián)密集度，分析數(shù)據(jù)資源平臺中各層次的包、表等對象的重要程度，指導數(shù)據(jù)資源平臺開發(fā)和維護團隊對重點元數(shù)據(jù)進行重點關注和質量監(jiān)控。無關性分析與重要性分析相反，隨著數(shù)據(jù)資源平臺系統(tǒng)的規(guī)模不斷擴大，業(yè)務需求的日益變化，會產(chǎn)生一定數(shù)量的無關數(shù)據(jù)、信息和報表，找出這些無關的內容，結合業(yè)務需求分析其產(chǎn)生的根源，從而為用戶簡化工作負載，降低項目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。智能標簽在數(shù)據(jù)資源的分類管理中，平臺按照數(shù)據(jù)資源的生命周期對數(shù)據(jù)資源進行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內進行加工處理的過程。數(shù)據(jù)標簽管理平臺提供數(shù)據(jù)標簽管理功能，可對已導入的數(shù)據(jù)資產(chǎn)標簽進行增加、修改、刪除以及分類標簽的導入導出功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務屬性隨業(yè)務發(fā)生變化時數(shù)據(jù)資產(chǎn)標簽能夠靈活變化。標簽模板管理平臺提供數(shù)據(jù)標簽模板管理功能，可通過下載功能將標簽模板導出為Excel文件格式，對數(shù)據(jù)標簽進行編輯整理后批量導入到平臺中，并提供對標簽模版的增加、修改、刪除等操作?；A標簽管理開發(fā)以列表形式和智能推薦形式將平臺中設置的基礎標簽進行呈現(xiàn)列表形式是將所有的基礎標簽一一列出，并可以按照熱度進行排序智能推薦形式是指根據(jù)最近時間段內的標簽的訪問頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標簽的功能。標簽關系展現(xiàn)開發(fā)通過標簽將相關聯(lián)的數(shù)據(jù)目錄關聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過一張圖就可以將某一條數(shù)據(jù)的關聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關系全部展示出來的功能。開發(fā)通過標簽訪問次數(shù)統(tǒng)計出熱門標簽，讓平臺運維人員了解哪些標簽是訪問頻率高的、是符合用戶訪問習慣的，并結合用戶的搜索記錄，優(yōu)化標簽設置，使之更通用和人性化的功能。數(shù)據(jù)探索平臺提供了數(shù)據(jù)探索工具，支持用戶通過數(shù)據(jù)探索工具對擁有權限的數(shù)據(jù)進行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。在平臺上用戶可以在此頁面通過各種過濾條件查詢出自己權限范圍內滿足條件的報表，并進行對應的設為首頁及關注操作。畫像分析畫像分析是面向業(yè)務的標簽和畫像管理中臺，整合了多類型存儲資源的數(shù)據(jù)，能夠幫助企業(yè)構建業(yè)務標簽體系。平臺中的畫像分析功能同時內置完善的標簽運營機制和靈活的圈群分析模版，適用于用戶行為、設備管理、企業(yè)檔案、地理分布等數(shù)據(jù)分析場景。影響分析平臺提供影響分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有后續(xù)影響的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)流向和定位數(shù)據(jù)出錯時影響的關聯(lián)數(shù)據(jù)資產(chǎn)。全鏈分析平臺提供全鏈分析功能，通過可視化的界面，對數(shù)據(jù)資產(chǎn)所有來源和后續(xù)影響的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質量問題及后續(xù)影響的數(shù)據(jù)資產(chǎn)。表關聯(lián)度分析平臺提供表關聯(lián)度分析功能，通過分析數(shù)據(jù)庫表數(shù)據(jù)資產(chǎn)與其他資產(chǎn)的的關系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指標等關系，并以報表形式輸出分析結果，幫助用戶分析數(shù)據(jù)資產(chǎn)之間的關聯(lián)程度。平臺性能需求數(shù)據(jù)融合計算（百萬級數(shù)據(jù)）執(zhí)行效率達到分鐘級別最大開發(fā)團隊管理數(shù)≤100個系統(tǒng)數(shù)據(jù)開發(fā)人員并發(fā)訪問≤200個服務響應時間≤3s調度執(zhí)行器在線數(shù)據(jù)任務的調度管理和執(zhí)行數(shù)量≤2000個驗收文檔要求概要設計書概要設計專家評審詳細設計說明書架構設計說明書數(shù)據(jù)設計說明書項目實施方案測試方案測試用例測試報告部署方案非功能性能指標源代碼系統(tǒng)使用說明(規(guī)范)、運維說明書系統(tǒng)培訓資料和培訓記錄項目總結報告

項目技術方案項目建設方案現(xiàn)狀問題分析業(yè)務系統(tǒng)之間缺少統(tǒng)一標準數(shù)據(jù)多樣化缺少數(shù)據(jù)標準，對表字段的命名隨意性強，定義混亂；同一英文字段名對應多個中文名，反之也存在著中文的一對多；同一業(yè)務元素對應多種數(shù)據(jù)類型和長度。系統(tǒng)之間數(shù)據(jù)變更對應的影響分析困難歷史數(shù)據(jù)龐大復雜，表關系不清晰；表結構變更、系統(tǒng)改造時，對應造成的影響難于甚至無法評估；已然形成大量數(shù)據(jù)，系統(tǒng)悠久，找不到接口人，針對其應用困難。數(shù)據(jù)質量差，錯誤發(fā)現(xiàn)不及時數(shù)據(jù)質量低下，統(tǒng)計不準確，許多預期需求無法實現(xiàn)、造成決策失誤；數(shù)據(jù)錯誤的發(fā)現(xiàn)不及時；數(shù)據(jù)處理過程中的問題未及時糾正，導致更多的后續(xù)錯誤。數(shù)據(jù)價值低數(shù)據(jù)表和模型繁多，價值未最大釋放。業(yè)務系統(tǒng)之間數(shù)據(jù)資產(chǎn)分散，共享性差DB、數(shù)據(jù)模型、應用程序、數(shù)據(jù)標準、數(shù)據(jù)質量等信息分散；政務數(shù)據(jù)資產(chǎn)無法集中管理和展現(xiàn)，共享性差。數(shù)據(jù)安全得不到保障數(shù)據(jù)權限劃分不清；敏感數(shù)據(jù)得不到監(jiān)控；賬號和權限無法追蹤-非正常的訪問行為無法捕捉。管理體系不完善，已有標準落實差標準管理體系不完善；管理角色分工不清晰；標準管理系統(tǒng)不完善，標準管理軟件易用性差，落實效果差；出了問題再補漏，數(shù)據(jù)管理部門和生產(chǎn)部門相互推脫責任。項目建設目標基于上述問題分析，因此本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目的建設的目標就是要讓城市大數(shù)據(jù)及大數(shù)據(jù)中心的運營成果要讓決策者、行業(yè)用戶和社會公眾“看得見、看得清、看得懂”，因此需要實現(xiàn)大屏可視化，把區(qū)域內的靜態(tài)和動態(tài)數(shù)據(jù)能夠360度完美表現(xiàn)、采用易懂的表現(xiàn)形式和生動震撼的視覺傳達，讓人更容易記憶、理解和學習，從而實現(xiàn)企業(yè)運行情況一套圖展示。平臺建設方案平臺架構設計我公司大數(shù)據(jù)管理平臺以元數(shù)據(jù)為基礎，所有模塊并不是串連，每個模塊都可以單獨或與其他模塊組合使用。本平臺建設方案可以為各類客戶提供全面的數(shù)據(jù)管理解決方案，同時平臺可在本地或云上使用。數(shù)據(jù)管理建設數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理平臺主要負責對數(shù)據(jù)資產(chǎn)進行統(tǒng)一注冊和管理，實現(xiàn)數(shù)據(jù)資產(chǎn)體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運行審計管理、資產(chǎn)統(tǒng)計分析，接口管理、數(shù)據(jù)質量等功能。數(shù)據(jù)資產(chǎn)注冊管理平臺提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)注冊審核、生成數(shù)據(jù)庫管理等功能。提供采集器、在線維護、自動注冊接口等方式來注冊數(shù)據(jù)資產(chǎn)。數(shù)據(jù)源管理 平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、Hadoop庫的注冊管理。數(shù)據(jù)庫注冊管理，主要負責數(shù)據(jù)庫基本信息的注冊配置，包含但不限于以下內容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務IP數(shù)據(jù)庫服務端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間……Hadoop庫注冊管理，主要負責Hive庫基本信息、HDFS文件信息的注冊配置，包含但不限于以下內容：HIVE數(shù)據(jù)庫服務IPHIVE數(shù)據(jù)庫服務端口HDFS文件系統(tǒng)服務IPHDFS文件系統(tǒng)服務端口……數(shù)據(jù)資產(chǎn)注冊 平臺提供對數(shù)據(jù)資產(chǎn)注冊管理的功能，主要包括對表、視圖、序列、文件、ETL過程、Hadoop等進行注冊管理。1）業(yè)務系統(tǒng)信息收集與資產(chǎn)注冊，包含但不限于以下內容：業(yè)務系統(tǒng)名稱業(yè)務系統(tǒng)描述業(yè)務系統(tǒng)服務IP業(yè)務系統(tǒng)服務端口2）數(shù)據(jù)庫信息采集與資產(chǎn)注冊，包含但不限于以下內容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務IP數(shù)據(jù)庫服務端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間3）表結構信息采集與資產(chǎn)注冊，包含但不限于以下內容：表名稱表中文名稱業(yè)務信息描述表結構定義表數(shù)據(jù)處理邏輯4）視圖信息采集與資產(chǎn)注冊，包含但不限于以下內容：視圖名稱視圖中文名稱業(yè)務信息描述視圖結構定義5）字段信息采集與資產(chǎn)注冊，包含但不限于以下內容：字段名稱字段中文名稱字段詳細描述字段類型定義6）指標信息采集與資產(chǎn)注冊，包含但不限于以下內容：指標名稱指標中文名稱指標業(yè)務描述指標統(tǒng)計口徑指標統(tǒng)計周期7）報表信息采集與資產(chǎn)注冊，包含但不限于以下內容：報表名稱報表中文名稱報表業(yè)務描述報表格式報表統(tǒng)計周期8）hadoop平臺信息采集與資產(chǎn)注冊，包含但不限于以下內容：Hadoop集群名稱Hadoop集群描述Hadoop集群主節(jié)點IPHadoop集群從節(jié)點IP9）hadoophive庫表信息采集與資產(chǎn)注冊，包含但不限于以下內容：Hive數(shù)據(jù)庫服務IPHive數(shù)據(jù)庫服務端口Hive表名稱Hive表中文名稱Hive表業(yè)務描述信息Hive表結構定義10）ETL過程信息采集與資產(chǎn)注冊，包含但不限于以下內容：ETL作業(yè)名稱ETL作業(yè)業(yè)務描述信息ETL過程處理邏輯ETL作業(yè)運行周期ETL來源表名稱ETL來源文件路徑ETL目標表名稱ETL目標文件路徑11）文件接口信息采集與資產(chǎn)注冊，包含但不限于以下內容：接口文件名稱接口文件業(yè)務描述信息接口文件路徑接口文件大小接口內容與表字段映射關系12）OLAP信息采集與資產(chǎn)注冊；13）webservice接口信息采集與資產(chǎn)注冊，包含但不限于以下內容：webservice接口名稱webservice接口描述webservice接口負責人資產(chǎn)注冊審核 平臺提供對數(shù)據(jù)資產(chǎn)注冊的審核功能，通過在平臺中定義數(shù)據(jù)資產(chǎn)的相關命名規(guī)范，可實現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)進行審核分析。當數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時，平臺會提示錯誤信息，并阻止資產(chǎn)的注冊操作，當數(shù)據(jù)資產(chǎn)命名審核通過后，交由相應的審核人進行審核，保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。生成數(shù)據(jù)庫管理 平臺可基于數(shù)據(jù)資產(chǎn)（表），通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等信息后自動生成相應數(shù)據(jù)庫的建表腳本并在數(shù)據(jù)庫中生成數(shù)據(jù)表。數(shù)據(jù)資產(chǎn)分類管理平臺提供了對數(shù)據(jù)資產(chǎn)的分類管理功能，在數(shù)據(jù)資產(chǎn)注冊同時或注冊后，可在數(shù)據(jù)資產(chǎn)上標識不同的屬性標簽，通過屬性標簽完成對數(shù)據(jù)資產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計、資產(chǎn)盤點等功能提供支撐。常見的屬性標簽包括：資產(chǎn)類型：數(shù)據(jù)表、文件、接口、指標、報表等數(shù)據(jù)來源：B域、O域、M域等主題域：參與人、服務、資源、事件、市場營銷、企業(yè)管理、公共。所屬層級：接口層、輕度匯總層、中度匯總層、高度匯總層、應用層等存儲周期：按年、按季度、按月、按周、按日等數(shù)據(jù)資產(chǎn)分類體系在數(shù)據(jù)資產(chǎn)的分類管理中，平臺可以按照數(shù)據(jù)資產(chǎn)的生命周期對數(shù)據(jù)資產(chǎn)進行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內進行加工處理的過程。數(shù)據(jù)資產(chǎn)分類查詢平臺提供數(shù)據(jù)資產(chǎn)分類查詢功能，可通過選取分類標簽中具體的屬性標簽對數(shù)據(jù)資產(chǎn)進行篩查。數(shù)據(jù)資產(chǎn)分類統(tǒng)計平臺提供了數(shù)據(jù)資產(chǎn)分類統(tǒng)計功能，可對各種標簽屬性的數(shù)據(jù)資產(chǎn)進行分類統(tǒng)計，并形成統(tǒng)計報表，供使用人員查詢不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計情況。數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)資產(chǎn)目錄資產(chǎn)目錄是對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務、保障與支撐所組成的一個整體針對資產(chǎn)的合理組織，需要對資產(chǎn)進行對應分類，如部門類目、主題類目、行業(yè)類目等，可對該類目下資產(chǎn)數(shù)據(jù)進行搜索、展現(xiàn)以及權限申請。數(shù)據(jù)資產(chǎn)查詢平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢和高級查詢兩種方式。通用查詢：通過在通用查詢搜索框中輸入查詢關鍵字，可對數(shù)據(jù)資產(chǎn)進行模糊查詢。高級查詢：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對數(shù)據(jù)資產(chǎn)進行精確查詢，包括數(shù)據(jù)資產(chǎn)名稱、資產(chǎn)編碼、資產(chǎn)分類標簽等屬性。數(shù)據(jù)資產(chǎn)地圖管理平臺提供了數(shù)據(jù)地圖功能，通過可視化的圖形界面，對大數(shù)據(jù)平臺各系統(tǒng)、各層次之間的脈絡關系進行全面、多層次的展示，并提供從系統(tǒng)、數(shù)據(jù)庫、表間以及字段級的關聯(lián)關系下鉆分析功能，幫助用戶從不同粒度了解數(shù)據(jù)資產(chǎn)之間的關聯(lián)情況，同時可動態(tài)了解數(shù)據(jù)資產(chǎn)的執(zhí)行情況。數(shù)據(jù)資產(chǎn)版本管理平臺提供數(shù)據(jù)資產(chǎn)版本管理功能，主要包括版本發(fā)布、版本查看、版本比對、版本恢復等功能。版本發(fā)布通過版本發(fā)布功能提供對數(shù)據(jù)資產(chǎn)信息的版本更新和固化。版本查看可查看數(shù)據(jù)資產(chǎn)的版本變更歷史。版本比對通過選擇歷史版本可與當前發(fā)布的數(shù)據(jù)資產(chǎn)版本進行差異比較。版本恢復功能支持恢復到以前歷史版本的資產(chǎn)信息。數(shù)據(jù)資產(chǎn)變更管理平臺提供了數(shù)據(jù)資產(chǎn)變更管理功能，可對數(shù)據(jù)資產(chǎn)信息中除定義名稱以外的其他信息進行變更，并提供在變更發(fā)布前的數(shù)據(jù)資產(chǎn)信息規(guī)范審核。數(shù)據(jù)資產(chǎn)審計管理平臺提供資產(chǎn)運行審計管理功能，主要包括數(shù)據(jù)資產(chǎn)模型審計、數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計等部分。數(shù)據(jù)資產(chǎn)模型審計可對表、視圖、文件、Hadoop等靜態(tài)結構進行審計，根據(jù)元數(shù)據(jù)的配置，與數(shù)據(jù)庫內實際的表／視圖信息、實際生成的文件信息以及Hadoop中實際的結構信息進行比對，實現(xiàn)數(shù)據(jù)資產(chǎn)定義在整個應用中的一致性檢查。數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計可對數(shù)據(jù)資產(chǎn)中的表數(shù)據(jù)進行審計，包括元數(shù)據(jù)表字段上的空值、字典值等。數(shù)據(jù)資產(chǎn)統(tǒng)計管理平臺提供了數(shù)據(jù)資產(chǎn)統(tǒng)計分析功能，主要包括統(tǒng)計綜合查詢、數(shù)據(jù)資產(chǎn)一致性檢查、數(shù)據(jù)資產(chǎn)更變統(tǒng)計、數(shù)據(jù)資產(chǎn)屬性檢查、數(shù)據(jù)資產(chǎn)空值檢查、數(shù)據(jù)資產(chǎn)字典值檢查等功能。數(shù)據(jù)資產(chǎn)統(tǒng)計分析平臺具備強大的數(shù)據(jù)資產(chǎn)統(tǒng)計功能，并提供了大量數(shù)據(jù)資產(chǎn)分析報表，具體如下：1、統(tǒng)計綜合查詢，可通過數(shù)據(jù)資產(chǎn)的各種屬性標簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應用等，對數(shù)據(jù)資產(chǎn)進行查詢。2、數(shù)據(jù)資產(chǎn)一致性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內實際的表／視圖信息、實際生成的文件信息、Hadoop中實際的結構信息等內容進行比對并輸出差異分析結果，在分析結果不一致的情況下給出提醒，并將分析結果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。3、數(shù)據(jù)資產(chǎn)變更統(tǒng)計，可通過數(shù)據(jù)資產(chǎn)的各種屬性標簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應用等，對數(shù)據(jù)資產(chǎn)變更歷史進行統(tǒng)計查詢。4、數(shù)據(jù)資產(chǎn)屬性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內實際的表／視圖的屬性信息、與實際生成的文件內的屬性信息、與Hadoop中實際的結構信息進行比對并輸出差異分析結果，在分析結果不一致的情況下給出提醒，并將分析結果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。5、數(shù)據(jù)資產(chǎn)空值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的空值配置進行檢查，在檢查結果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)空值檢查報告》。6、數(shù)據(jù)資產(chǎn)字典值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的字典值配置進行檢查，在檢查結果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)字典值檢查報告》。數(shù)據(jù)資產(chǎn)報告針對整體平臺上的對應數(shù)據(jù)，提供定周期了解其對應資產(chǎn)情況，對總體資產(chǎn)情況進行分析。數(shù)據(jù)資產(chǎn)盤點 平臺提供數(shù)據(jù)負資產(chǎn)盤點功能，通過分析系統(tǒng)中孤立未使用的庫表，即數(shù)據(jù)負資產(chǎn)，并以報表形式輸出分析結果，為用戶清除數(shù)據(jù)負資產(chǎn)或轉存提供幫助。數(shù)據(jù)異常管理異常對接管理平臺可以對接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務總線系統(tǒng)中異常日志模塊的功能。異常問題列表平臺可以展示異常問題信息，按等級進行分類或主動推送，同時對異常問題進行歸類整理，并定義規(guī)則進行選擇性忽略或提醒的功能。人工處理管理平臺支持人工處理管理是記錄針對異常信息，人工處理所登記的臺賬信息，可按照異常分類進行分類授權，實現(xiàn)指定問題的指定人員處理的功能。系統(tǒng)處理管理平臺支持統(tǒng)處理管理是針對異常信息集成的各子平臺系統(tǒng)處理結果的收集，該類信息往往不需要人工干預的功能。實時數(shù)據(jù)質量管理平臺支持針對實時流數(shù)據(jù)需要提供數(shù)據(jù)質量管理功能，即提供對實時流的數(shù)據(jù)質量規(guī)則的設置、維護、調度、優(yōu)化等規(guī)則的管理功能，以及對實時流數(shù)據(jù)源接口關鍵數(shù)據(jù)、數(shù)據(jù)實體和處理過程的監(jiān)控告警，輔助數(shù)據(jù)質量管理人員快速定位問題的原因及處理方案，并定期生成針對實時流數(shù)據(jù)的數(shù)據(jù)質量評估報告的功能。數(shù)據(jù)質量定制化開發(fā)平臺支持通過自定義擴展規(guī)則能力，靈活方便的自定義擴展能力，可以靈活定制質量監(jiān)控的規(guī)則、問題數(shù)據(jù)的檢測規(guī)則和問題數(shù)據(jù)的清洗回收的方式。異常數(shù)據(jù)分析平臺支持基于集成方案，反饋統(tǒng)計分析集成過程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結果，同時支持多維度的問題分析以及排查。異常處理統(tǒng)計分析平臺支持按照異常分類、處理情況、時間、等級等維度進行分類統(tǒng)計，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。數(shù)據(jù)架構管理平臺支持定義全企業(yè)的數(shù)據(jù)架構，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫類型。功能包括數(shù)據(jù)架構節(jié)點的增加，刪除。業(yè)務架構管理平臺支持從數(shù)據(jù)架構中選擇適合團隊的數(shù)據(jù)架構，并綁定到團隊，以約束開發(fā)團隊在開發(fā)過程中選擇數(shù)據(jù)架構。存儲架構管理在異構數(shù)據(jù)庫的環(huán)境下，不同的數(shù)據(jù)庫有不同的參數(shù)設置，為減少開發(fā)人員在模型開發(fā)過程中的操作，同時也保障模型在落地到物理環(huán)境的正確性，通過在存儲架構中設置默認的參數(shù)配置來保障開發(fā)的準備性。數(shù)據(jù)開發(fā)管理流數(shù)據(jù)處理平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實時采集-->數(shù)據(jù)實時計算-->數(shù)據(jù)實時查詢服務。實時采集主要應對海量數(shù)據(jù)進行高性能的實時數(shù)據(jù)采集處理，以實時、高效、低延遲為核心驅動點，具備毫秒級數(shù)據(jù)觸發(fā)能力，實現(xiàn)秒級單位時間窗口的數(shù)據(jù)統(tǒng)計分析能力。需要支持的數(shù)據(jù)源類型可以分為以下四類：網(wǎng)絡協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見類型的網(wǎng)絡協(xié)議。本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。關系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。支持物聯(lián)網(wǎng)網(wǎng)關采集：將物聯(lián)網(wǎng)數(shù)據(jù)從物聯(lián)網(wǎng)網(wǎng)關接入，提供協(xié)議適配和標準化處理，以及滿足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。來自多種數(shù)據(jù)源的實時信息，因為其時效性高，數(shù)據(jù)的有效期短暫，需要實時提取和分析來自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應用中進行處理。同時，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對外開放能力。流數(shù)據(jù)引擎開發(fā)提供數(shù)據(jù)融合，統(tǒng)計，分析的高速處理能力，對于實時性要求較高的數(shù)據(jù)計算提供支撐的功能流數(shù)據(jù)計算模型管理開發(fā)提供對已設計完成的數(shù)據(jù)計算模型進行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流數(shù)據(jù)計算公共模型開發(fā)開發(fā)提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調用，可重復使用的功能流數(shù)據(jù)計算結果接口開發(fā)開發(fā)提供對流數(shù)據(jù)計算結果接口開發(fā)功能和計算結果數(shù)據(jù)可通過接口形式供可視化調用或其他應用的功能流數(shù)據(jù)計算模型查詢開發(fā)提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進行模型再利用，減少其他用戶開發(fā)工作量的功能。數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉換，提升開發(fā)效率。平臺支持可視化開發(fā)與原生態(tài)開發(fā)，開發(fā)空間基于脫敏數(shù)據(jù)開發(fā)和驗證，通過驗證后的工作流再發(fā)布到生產(chǎn)空間，生產(chǎn)空間基于實際的數(shù)據(jù)來調度工作流進行數(shù)據(jù)生產(chǎn)。統(tǒng)一調度管理平臺支持對數(shù)據(jù)開發(fā)與管理任務的統(tǒng)一調度，包括流程設計與管理、調度策略管控、任務調度控制、標準化控件等功能模塊，通過作業(yè)/任務管理、作業(yè)/任務調度、作業(yè)/任務執(zhí)行實現(xiàn)對采集、轉換、加載、調度、監(jiān)控，從而形成統(tǒng)一的調度與管理。以一個業(yè)務量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進行協(xié)同生產(chǎn)。在統(tǒng)一調度平臺中以數(shù)據(jù)流作為驅動,通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到各個異構系統(tǒng)，多個子系統(tǒng)的協(xié)同調度。數(shù)據(jù)智能建設數(shù)據(jù)血緣分析平臺提供血緣分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有來源的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質量問題。元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關系和以父子依賴關系展示對象等有向血緣關系。影響性分析包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對象變更時的緣由和影響關系。血緣分析是元數(shù)據(jù)分析中重要的分析應用，以圖形方式清晰的展現(xiàn)出元數(shù)據(jù)（表、視圖、字段、指標）每一步數(shù)據(jù)的來源情況，數(shù)據(jù)的來源情況包括該元數(shù)據(jù)的直接或間接使用到的其他元數(shù)據(jù)和加工該元數(shù)據(jù)所使用的加工規(guī)則。元數(shù)據(jù)對象和對象之間以連線方式表現(xiàn)出血緣分析的結果。重要性分析分析各元數(shù)據(jù)對象之間的關聯(lián)密集度，分析數(shù)據(jù)資源平臺中各層次的包、表等對象的重要程度，指導數(shù)據(jù)資源平臺開發(fā)和維護團隊對重點元數(shù)據(jù)進行重點關注和質量監(jiān)控。無關性分析與重要性分析相反，隨著數(shù)據(jù)資源平臺系統(tǒng)的規(guī)模不斷擴大，業(yè)務需求的日益變化，會產(chǎn)生一定數(shù)量的無關數(shù)據(jù)、信息和報表，找出這些無關的內容，結合業(yè)務需求分析其產(chǎn)生的根源，從而為用戶簡化工作負載，降低項目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。智能標簽管理在數(shù)據(jù)資源的分類管理中，平臺按照數(shù)據(jù)資源的生命周期對數(shù)據(jù)資源進行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內進行加工處理的過程。數(shù)據(jù)標簽管理平臺提供數(shù)據(jù)標簽管理功能，可對已導入的數(shù)據(jù)資產(chǎn)標簽進行增加、修改、刪除以及分類標簽的導入導出功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務屬性隨業(yè)務發(fā)生變化時數(shù)據(jù)資產(chǎn)標簽能夠靈活變化。標簽模板管理平臺提供數(shù)據(jù)標簽模板管理功能，可通過下載功能將標簽模板導出為Excel文件格式，對數(shù)據(jù)標簽進行編輯整理后批量導入到平臺中，并提供對標簽模版的增加、修改、刪除等操作?；A標簽管理開發(fā)以列表形式和智能推薦形式將平臺中設置的基礎標簽進行呈現(xiàn)列表形式是將所有的基礎標簽一一列出，并可以按照熱度進行排序智能推薦形式是指根據(jù)最近時間段內的標簽的訪問頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標簽的功能。標簽關系展現(xiàn)開發(fā)通過標簽將相關聯(lián)的數(shù)據(jù)目錄關聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過一張圖就可以將某一條數(shù)據(jù)的關聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關系全部展示出來的功能。開發(fā)通過標簽訪問次數(shù)統(tǒng)計出熱門標簽，讓平臺運維人員了解哪些標簽是訪問頻率高的、是符合用戶訪問習慣的，并結合用戶的搜索記錄，優(yōu)化標簽設置，使之更通用和人性化的功能。數(shù)據(jù)探索管理平臺提供了數(shù)據(jù)探索工具，支持用戶通過數(shù)據(jù)探索工具對擁有權限的數(shù)據(jù)進行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。在平臺上用戶可以在此頁面通過各種過濾條件查詢出自己權限范圍內滿足條件的報表，并進行對應的設為首頁及關注操作。業(yè)務畫像分析畫像分析是面向業(yè)務的標簽和畫像管理中臺，整合了多類型存儲資源的數(shù)據(jù)，能夠幫助企業(yè)構建業(yè)務標簽體系。本次項目中，我司所建設平臺中的畫像分析功能同時內置完善的標簽運營機制和靈活的圈群分析模版，適用于用戶行為、設備管理、企業(yè)檔案、地理分布等數(shù)據(jù)分析場景。影響分析平臺提供影響分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有后續(xù)影響的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)流向和定位數(shù)據(jù)出錯時影響的關聯(lián)數(shù)據(jù)資產(chǎn)。全鏈分析平臺提供全鏈分析功能，通過可視化的界面，對數(shù)據(jù)資產(chǎn)所有來源和后續(xù)影響的關聯(lián)數(shù)據(jù)資產(chǎn)進行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質量問題及后續(xù)影響的數(shù)據(jù)資產(chǎn)。表關聯(lián)度分析平臺提供表關聯(lián)度分析功能，通過分析數(shù)據(jù)庫表數(shù)據(jù)資產(chǎn)與其他資產(chǎn)的的關系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指標等關系，并以報表形式輸出分析結果，幫助用戶分析數(shù)據(jù)資產(chǎn)之間的關聯(lián)程度。方案核心價值高效運營高質量的數(shù)據(jù)有助于減低IT建設及運維成本，對各委辦相關業(yè)務系統(tǒng)安全穩(wěn)定運行及其重要。解決數(shù)據(jù)質量問題通過數(shù)據(jù)管理，及時發(fā)現(xiàn)、解決及監(jiān)控數(shù)據(jù)問題，從根本上改善和解決系統(tǒng)的數(shù)據(jù)問題，保證數(shù)據(jù)的可用性、數(shù)據(jù)質量等。規(guī)范和共享數(shù)據(jù)管理能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應用標準，實現(xiàn)數(shù)據(jù)廣泛共享，并能夠將數(shù)據(jù)作為組織的寶貴資產(chǎn)應用于業(yè)務、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價值。風險管理嚴密的數(shù)據(jù)安全制機，可以降低政務數(shù)據(jù)風險。數(shù)據(jù)流程管控通過數(shù)據(jù)管理可以將數(shù)據(jù)管理各環(huán)節(jié)打通，實現(xiàn)完整的數(shù)據(jù)管控流程。數(shù)據(jù)管理創(chuàng)新業(yè)務流程和資源配置的優(yōu)化，可以提高業(yè)務管理能力。

服務場景設計數(shù)據(jù)資產(chǎn)管理服務場景方案通過構建多種編目視圖、一體化資源交換、可視化質量監(jiān)控，輔助實施工程師、業(yè)務人員進行數(shù)據(jù)資產(chǎn)盤點，提升數(shù)據(jù)價值。面向對象：服務場景流程場景應用展示數(shù)據(jù)開發(fā)管理服務場景方案通過數(shù)據(jù)集成管理為企業(yè)構建一個強大、高效、安全的數(shù)據(jù)處理工廠，支撐各類數(shù)據(jù)應用需求。通過構建面向數(shù)倉、組件豐富、混合處理、易上手的數(shù)據(jù)開發(fā)平臺，為BI工程師、數(shù)據(jù)治理人員賦能，讓人人都是數(shù)倉工程師。場景服務能力特色的數(shù)倉應用組件在數(shù)據(jù)處理組件的基礎上，封裝了部分數(shù)倉特色組件。計算分區(qū)設計區(qū)與運行區(qū)隔離，保障運行環(huán)境穩(wěn)定同時，兼顧開發(fā)。發(fā)布機制，維持程序版本狀態(tài)。數(shù)據(jù)脫敏平臺支持常用脫敏算法：固定值替換，數(shù)據(jù)模糊化，數(shù)據(jù)裁切、分段替換、MD5處理、哈希處理、隨機填充、偏移值加密等。場景應用展示數(shù)據(jù)全生命周期管理服務場景方案通過構建靈活設計數(shù)據(jù)歸檔、銷毀策略等能力，不僅保證系統(tǒng)數(shù)據(jù)存儲效率好可以實現(xiàn)對數(shù)據(jù)的全生命周期管理，讓實施工程師、業(yè)務人員可以方便的管理數(shù)據(jù)生老病死。場景應用展示數(shù)據(jù)管理大屏信息安全保障總體方案項目的安全建設，在“以需求為導向，以應用為發(fā)展，統(tǒng)一規(guī)劃，共同建設，加強協(xié)調，講究實效，資源共享，安全保密”的指導思想下，遵循以下原則：符合標準的原則安全方案設計將嚴格遵循物聯(lián)網(wǎng)行業(yè)領域的相關國家標準，以使系統(tǒng)建設符合國家相關法規(guī)的要求，同時保證系統(tǒng)的開放性。策略性、綜合性和整體性原則建立特殊行業(yè)專網(wǎng)安全與其它行業(yè)應用支撐平臺，需要先制定完整的、一致性的信息安全策略體系，并且將安全策略體系和其他相關策略相協(xié)調，建立完整的業(yè)務網(wǎng)安全防范體系。系統(tǒng)先進性和實用性原則在保證滿足應用系統(tǒng)業(yè)務需求的同時，體現(xiàn)出整體系統(tǒng)的先進性。將先進的技術與現(xiàn)有的成熟技術和標準結合起來，充分考慮到平臺業(yè)務應用的現(xiàn)狀和未來發(fā)展趨勢。系統(tǒng)可靠性和穩(wěn)定性原則整體設計中將選用成熟、高可靠性安全產(chǎn)品，合理設計系統(tǒng)架構，同時制定可靠的備份和容災策略。系統(tǒng)可擴展性和可伸縮性原則采用模塊化、標準化設計，可以根據(jù)未來業(yè)務性能及安全需求的變化而變化，實現(xiàn)平滑的擴容和升級。系統(tǒng)安全性和可管理性原則綜合采用各種先進的安全技術和產(chǎn)品，加上制度和管理的保證，保證平臺的安全穩(wěn)定運行。對于大規(guī)模部署的系統(tǒng)，采用集中管理平臺，對系統(tǒng)中的網(wǎng)絡設備、安全產(chǎn)品、應用軟件等進行集中的管理和部署。合理整合的原則對原有的業(yè)務系統(tǒng)、網(wǎng)絡及安全等設施進行合理整合。盡量減少對原有網(wǎng)絡、系統(tǒng)性能的影響。并在安全與性能間作出權衡。需求、風險、成本折衷原則在設計信息系統(tǒng)安全時，要在安全需求、安全風險和安全成本之間進行平衡和折衷。此外要確保系統(tǒng)的安全，需要保證會議的保密性、真實性、合法性、不可否認性。系統(tǒng)主要從系統(tǒng)安全，數(shù)據(jù)安全，應用安全三個方面采取了相應安全措施。系統(tǒng)安全1)系統(tǒng)服務器設備采用專業(yè)的服務器配置，進行安全最大化配置，關閉所有不必要的服務和端口。系統(tǒng)通訊所使用的少量端口都是采用的在1024以上的不常用的高端端口，管理員很容易監(jiān)測。提高了系統(tǒng)安全性。2)核心設備支持NAT、代理服務器以及各種防火墻的自適應，不但可以實現(xiàn)基于內外網(wǎng)絡的正常通信，還可以利用現(xiàn)有的網(wǎng)絡安全系統(tǒng)保證整個系統(tǒng)的通信安全。3)系統(tǒng)管理安全：整體系統(tǒng)均有嚴格的日志記錄，從系統(tǒng)日志上可分析判斷安全隱患。數(shù)據(jù)安全1)數(shù)據(jù)加密：用戶身份驗證的目的是防止賬號被非法使用。為保證系統(tǒng)的使用安全，對連接平臺的任何一項服務都設置了身份驗證保障，所有這些驗證過程都采用MD5、DES對口令進行雙層加密傳輸，以確保安全；系統(tǒng)還通過先進的四次握手驗證機制來嚴格確保用戶的合法性；除此之外，系統(tǒng)密碼的存儲還采用了不可逆加密算法MD5，也有效保證了密碼的安全。2)傳輸安全：系統(tǒng)平臺中的所有數(shù)據(jù)，都采用了符合最新國際標準的256位AES高強度動態(tài)數(shù)據(jù)加密技術進行加密和解密。AES加密現(xiàn)在廣泛應用于分布式開放網(wǎng)絡中，它的高強度加密、高運行效率使得它在政府、軍隊、金融、運營商等領域都發(fā)揮了極大的作用；AES加密算法的使用為系統(tǒng)的用戶數(shù)據(jù)提供了一個重要的保護層，能完全杜絕信息在傳輸、存儲過程中被非法獲取；同時，系統(tǒng)隨機密鑰也經(jīng)過動態(tài)加密后再在網(wǎng)絡上傳輸，徹底保證數(shù)據(jù)的安全，使得系統(tǒng)更加安全可靠。3)防火墻和NAT：穿透防火墻和NAT是軟件重要技術指標之一。網(wǎng)絡防火墻的部署和網(wǎng)絡安全策略的規(guī)劃如今已經(jīng)成為企業(yè)、政府在布網(wǎng)時關注的重點，這一變化要求軟件不僅要在各種不同類型的防火墻和NAT下穩(wěn)定運行，還要保證網(wǎng)絡原有的安全機制不被破壞。采用先進的跨網(wǎng)關通訊體系，解決防火墻和NAT穿越問題，使軟件可運行在各種復雜的網(wǎng)絡環(huán)境中，實現(xiàn)跨網(wǎng)關通訊。對于通過傳輸層網(wǎng)關過濾（根據(jù)TCP和UDP端口信息對數(shù)據(jù)進行有選擇的過濾）的防火墻，用戶只需要在軟件設置中開發(fā)UDP通信端口即可；NAT方式的防火墻，是指即多個虛假IP共享一個真實的IP地址，這種防火墻是最常見也是用得最普遍的防火墻，是大多數(shù)公司內部局域網(wǎng)通過路由器上網(wǎng)普遍采用的機制，針對這種防火墻系統(tǒng)作了專門的設計，使得所有的數(shù)據(jù)包能自動穿過該類防火墻而無需用戶做任何的特殊配置。應用安全1)賬號策略強制賬號的按角色分權設置，實現(xiàn)賬號分級管理，每人每賬號授權，消除共享賬號，清理系統(tǒng)多余的賬號與賬號組，賬號變更管理審計。針對不能實現(xiàn)每人每賬號的管理員賬號，系統(tǒng)根據(jù)角色定義賬號，將賬號集中掌控在有限的1-2人中，在管理制度和流程控制上對此類賬號的擁有者加以強化，各級別賬號均能按照個人設置用戶賬號，每個賬號應至少包括以下屬性：賬號有效期、權限類型（如以角色代碼表示）、口令復雜度和賬號描述。系統(tǒng)管理員能新增、刪除或編輯賬號，可對賬號具體屬性進行設置。其中新增賬號默認權限由該賬號所屬角色設定。多用戶多角色，允許多個用戶以不同的方式登錄，分別完成自己的操作，每個賬戶可以被賦予下面任意一個或多個角色，以行使不同的功能。2)會議過程控制會議室加鎖功能：系統(tǒng)采用獨創(chuàng)的會議鎖定及請出會場功能，在會議進行時可以將會議鎖定，會議被鎖定后，其他人將不能登陸進會議，排除了會議過程中其他的惡意干擾；對擾亂會議秩序的與會者可以通過“請出會場”功能將之請出會議，使會議能正常有序進行。

項目建設方案項目實施方案項目實施地點對于本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目，我司將在采購人所指定的地點進行實施交付。項目實施工期本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目的實施工期為9個月(自合同簽定起)，我司將在9個月內完成本項目要求的所有系統(tǒng)需求開發(fā)、測試具備整體功能上線條件。項目實施過程需求分析按采購人的要求，我公司負責開展詳細全面的需求調研工作，進行需求分析并形成需求說明書由采購人確認。對于業(yè)務部門提出的應用軟件升級需求，由現(xiàn)場工程師與業(yè)務部門進行溝通，了解業(yè)務部門對應用軟件的升級需求，形成需求文檔，經(jīng)相關部門確認后，按雙方商定的開發(fā)進度進行開發(fā)和實施。首先需要經(jīng)雙方協(xié)調，制定《需求調研計劃》及《需求調研大綱》，確定準備工作、需求調研的內容、方法方式以及人員和日程安排等內容，用戶也須做好準備工作，經(jīng)雙方同意后按此計劃開始調研。調研正式開始前，項目開發(fā)組應檢查所有必要的準備工作已經(jīng)圓滿完成。按調研計劃的進度進行現(xiàn)場調研，主要任務是用業(yè)務語言描述客戶需求。盡可能及早落實主要算法，確定關鍵參數(shù)，掌握客戶政策文件，收集需要打印的報表等。每天應將當天調研的內容整理成文檔，并及時與用戶確認，提高工作效率。及時將訪談記錄、用戶政策材料整理成規(guī)范格式的需求分析報告，向客戶項目組長匯報調研結果，共同對需求分析報告內容進行確認。同時明確今后需求變更控制的規(guī)程需求變更控制流程。對于調研期間未落實的問題，以待明確問題的形式體現(xiàn)在需求報告中，并確定落實期限。項目開發(fā)組根據(jù)調研編寫《系統(tǒng)需求分析報告》，并由項目組評審，不合格的部分進一步完善調研；評審通過后由雙方共同簽署評審意見，并正式生效。對于軟件生產(chǎn)過程而言，需求階段是整個過程中最重要的階段，需求分析成果的好壞將直接導致項目的成功與否。評審通過后的需求報告將成為系統(tǒng)的設計、開發(fā)、測試、實施、試運行和項目驗收的基本依據(jù)之一，因此原則上用戶需求將不再因為其它因素的改變而變更，如需進行此種變更，需經(jīng)雙方項目負責人協(xié)商確定。開發(fā)組與客戶一起制定總體項目計劃，共同確定本項目的各項工作進度安排，明確每一階段的工作內容，以及需要用戶配合完成的具體工作。軟件開發(fā)項目經(jīng)理召集項目組全體成員一起討論和明確系統(tǒng)設計、數(shù)據(jù)結構、每個人的工作內容、各部分之間的接口關聯(lián)等。做到每個項目組成員對項目的總體情況、整體工作目標和個人工作目標、工作時間、與其他人的關系、工作的方式方法等都有個清晰的概念，為項目的順利開展及項目組成員間的良好溝通做好鋪墊。全面考慮調研時用戶提出的每個功能模塊，開發(fā)出的程序應貼近用戶需求，開發(fā)人員應從用戶的角度來考慮問題。做到定期檢查和總結，來保證整體程序的完整性、一致性和協(xié)調性，保證項目按計劃進行。如果發(fā)現(xiàn)有重大問題可能影響項目進展，向PM和部門負責人員提出。在開發(fā)過程中有不明確的需求，應該盡量以書面的形式與用戶交流。項目開發(fā)組通過對系統(tǒng)的功能、運行和性能要求加以分析，產(chǎn)生一個高層次的系統(tǒng)結構、軟件結構、接口和數(shù)據(jù)格式的設計，形成《系統(tǒng)設計報告》（其中包括數(shù)據(jù)庫設計），提交項目組評審。對其中評審不合格的部分進一步完善和重新策劃，評審通過后，作為后續(xù)軟件開發(fā)和測試的基礎。安裝調測測試是檢驗軟件開發(fā)結果質量的重要手段之一，根據(jù)階段不同，可將測試劃分為三個階段：單元測試、集成測試和系統(tǒng)測試。首先是單元測試，側重于核實軟件的最小可測試元素。單元可以是一個窗口（窗體），也可以是一個函數(shù)、菜單、報表或一個存儲過程。單元測試應對單元內所有重要的控制路徑設計測試用例，以便發(fā)現(xiàn)單元內部的錯誤，保證模塊自身的準確性和流暢性。集成測試是把通過單元測試的各個模塊組裝在一起之后，按設計要求進行的測試，以便發(fā)現(xiàn)與接口有關的各種錯誤，保證系統(tǒng)的初步正確和穩(wěn)定。系統(tǒng)測試在單元測試和集成測試后，基于系統(tǒng)的整體需求說明書而對系統(tǒng)進行的準確性和完整性的測。根據(jù)測試的內容和側重點不同又可將測試分為：功能測試、性能測試和安全性測試。功能測試是對軟件系統(tǒng)的功能需求進行的測試。主要暴露由于系統(tǒng)說明寫的不明確或開發(fā)人員對系統(tǒng)說明的誤解或理解不足造成的功能錯誤。性能測試是為描述測試對象與性能相關的特征并對其進行評價，而實施和執(zhí)行的一類測試，如描述和評價計時配置文件、執(zhí)行流、響應時間以及操作的可靠性和限制等特征。包括負載測試、強度測試、并發(fā)測試、恢復測試等內容：負載測試：核實在保持配置不變的情況下，測試對象在不同操作條件（如不同用戶數(shù)、事務數(shù)等）下性能行為的可接受性；壓力測試：核實測試對象性能行為在異?；驑O端條件（如資源減少或用戶數(shù)過多）之下的可接受性；并發(fā)操作測試：核實測試對象在處理多個并發(fā)請求時的可接受性；恢復測試：恢復測試可確保測試對象能成功完成故障轉移，并能從導致意外數(shù)據(jù)損失或數(shù)據(jù)完整性破壞的各種硬件、軟件或網(wǎng)絡故障中恢復。通過加強性能測試提高軟件可靠性，使系統(tǒng)每年中斷工作次數(shù)不超過3次，累計時間不超過1小時。安全性測試是測試系統(tǒng)在防止非授權的內部或外部用戶的訪問或故意破壞等情況時的表現(xiàn)。測試人員在軟件開發(fā)過程中開始編寫測試用例和測試大綱，根據(jù)制定的《測試計劃》，在軟件功能模塊完成后，根據(jù)需求和設計結果的要求對軟件進行測試，填寫《測試問題卡》，并進行測試總結編制《測試總結報告》，對測試所發(fā)現(xiàn)的問題進行追蹤修改和確認測試，直到徹底修改完成并對其它模塊沒有任何影響。測試過程盡量能夠模擬用戶環(huán)境測試幾個周期。測試組測試時，開發(fā)人員應密切配合，及時改正測試出的問題，對問題應做備忘錄，以便將來查詢。測試資料作為項目驗收的重要內容之一。為加快項目進度，建議用戶方測試組及早介入測試，最晚也應在我公司的系統(tǒng)測試完成之前介入，并按事先雙方約定的規(guī)范方式進行測試。項目實施文檔在本次項目中，我公司將為采購人提供全面的實施交付物，具體包括如下文檔與內容：概要設計書概要設計專家評審詳細設計說明書架構設計說明書數(shù)據(jù)設計說明書項目實施方案測試方案測試用例測試報告部署方案非功能性能指標源代碼系統(tǒng)使用說明(規(guī)范)、運維說明書系統(tǒng)培訓資料和培訓記錄項目總結報告項目驗收方案項目驗收標準驗收性能標準在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目中，對平臺性能的驗收標準如下：數(shù)據(jù)融合計算（百萬級數(shù)據(jù)）執(zhí)行效率達到分鐘級別；最大開發(fā)團隊管理數(shù)≤100個；系統(tǒng)數(shù)據(jù)開發(fā)人員并發(fā)訪問≤200個；服務響應時間≤3s；調度執(zhí)行器在線數(shù)據(jù)任務的調度管理和執(zhí)行數(shù)量≤2000個。驗收文檔標準在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目中，我司必須要提供如下文檔才能滿足項目驗收的標準，具體文檔包括：概要設計書概要設計專家評審詳細設計說明書架構設計說明書數(shù)據(jù)設計說明書項目實施方案測試方案測試用例測試報告部署方案非功能性能指標源代碼系統(tǒng)使用說明(規(guī)范)、運維說明書系統(tǒng)培訓資料和培訓記錄項目總結報告項目驗收方法整個驗收工作包括集成測試、用戶接收測試、初驗、試運行、終驗，驗收的方法與步驟按現(xiàn)有標準的項目管理辦法執(zhí)行。驗收分兩個階段：安裝運行前的用戶測試；系統(tǒng)正式運行后的實際業(yè)務操作的檢驗。系統(tǒng)運行滿足約定時間后，進行軟件的驗收工作。驗收前和用戶溝通好驗收的時間和方式，制定驗收計劃，列出模塊清單，并且安排好每個模塊驗收的時間段，按照這個時間列表與用戶逐個模塊驗收。雙方事先商定驗收過程要求及參加人員，必要時邀請行業(yè)專家和相關領導參與。軟件驗收以符合需求分析、業(yè)務要求作為驗收標準。驗收結果說明軟件滿足下列要求：符合通過審核的需求和設計文檔中表述的功能要求，以及符合性能和安全性等非功能要求。問題處理：將驗收過程中發(fā)現(xiàn)的所有錯誤都必須記錄下來；對錯誤進行分類和確定級別；報告的錯誤得到修改/處理，或修改錯誤的計劃得到同意。驗收工作建議由用戶相關部門組織的專家組對軟件系統(tǒng)進行全面的驗收和鑒定，并出具項目驗收小組領導簽字的項目驗收報告，并簽署驗收意見，本公司在此過程中將全程參與，在現(xiàn)場進行驗收前的維護工作。驗收步驟1）編寫驗收方案。項目實施單位在對項目進行深入的需求分析的基礎上編寫驗收方案（計劃書），提交用戶單位審定。2）成立項目驗收小組。實施測試驗收工作時，應當成立項目驗收小組，具體負責驗收事宜。3）項目驗收的實施。嚴格按照用戶審定的驗收方案對項目應用軟件、網(wǎng)絡集成效果、系統(tǒng)文檔資料等進行全面的測試和驗收。4）提交驗收報告。項目驗收完畢，對項目系統(tǒng)設計、建設質量、設備質量、軟件運行情況等做出全面的評價，得出結論性意見，對不合格的項目提出整改意見，對遺留問題提出具體的解決意見。5）召開項目驗收評審會。召開由驗收委員會全體成員參加的項目驗收評審會，全面細致地審核項目驗收小組所提交的驗收報告，給出最終的驗收意見，形成驗收評審報告。驗收程序驗收申請申請：項目竣工后經(jīng)測試和試運行合格，實施單位根據(jù)合同、招標書、計劃任務書，檢查、總結項目完成情況后向用戶提出初驗申請。方式：項目用戶和實施單位進行初驗。實施單位提供材料：初驗申請書、完工報告、項目總結，以及要求的驗收評審資料。驗收依據(jù)作為項目驗收的依據(jù)，一般選用項目合同書、國標、行業(yè)標準和相關政策法規(guī)、國際慣例等。1）項目合同書。簽定的項目有關合同；2）其它。具體驗收標準和依據(jù)由監(jiān)理單位根據(jù)具體項目情況提出，項目業(yè)主審定。驗收內容項目驗收標準是判斷項目成果是否達到要求的依據(jù)，因而應具有科學性和權威性，只有制定科學的標準，才能有效地驗收項目結果。驗收內容一般包括測試（復核）、資料評審、質量鑒定三部分。驗收的內容包括以下幾個部分：1）驗收內容一般包括軟件驗收（按功能要求的可執(zhí)行軟件、開發(fā)計劃文檔、詳細設計文檔、質量保證計劃、確認測試計劃、源代碼、使用說明書等產(chǎn)品、單元測試等）和硬件驗收（設備的型號、設備外觀、設備相應附件、設備運行、網(wǎng)絡運行等）2）驗收評測工作主要包括：文檔分析、方案制定、現(xiàn)場測試、問題單提交、測試報告；3）驗收測試內容主要包括：功能度、安全可靠性、易用性、可擴充性、兼容性、效率、資源占用率、用戶文檔。4）文檔驗收標準一般包括：文檔完備性、內容針對性、內容充分性、內容一致性、文字明確性、圖表詳實性、易讀性、文檔價值等5）軟件、硬件驗收標準要符合國家和相關標準。驗收簽收流程在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目中，對于項目的驗收工作，合同驗收要由我方提供，并需要得到甲方授權的項目驗收負責人簽字認可為準。項目管理方案項目進度管理項目進度管理控制是對項目在施工階段的作業(yè)程序和作業(yè)時間進行規(guī)劃、實施、檢查、調查等一系列活動的總稱，即在施工項目實施過程中，按照已經(jīng)核準的工程進度計劃，采用科學的方法定期追蹤和檢驗項目的實際進度情況，并參照項目先期進度計劃，找出兩者之間的偏差，并對產(chǎn)生偏差的各種因素及影響工期的程度進行分析與評估；而后組織、指導、協(xié)調相關單位，幫助其及時采取有效措施調整項目進度，使工期在計劃執(zhí)行中不斷循環(huán)往復，直至該項目按合同約定的工期如期完工，或在保證工程質量和不增加原先預算的工程造價的條件下，使該項目提前完工并交付使用。施工工程項目進度控制是影響工程項目管理中成本、進度、質量三大控制因素中的主要控制因素，貫穿于整個施工工程項目的投標、設計、施工、投產(chǎn)等所有階段，尤其是在項目施工階段，相關部門對該項目進度的把控管理力度居于首位，不容忽視。施工工程項目的進度控制管理，是工程建設過程中一項兼具實施復雜性的復合任務，是工程建設的三大目標的重要部分。對工程項目進度進行合理有效的控制管理，有利于盡快發(fā)揮投資者投入產(chǎn)出比，有利于經(jīng)濟秩序的良好維持，同時有利于提高企業(yè)效益。項目質量管理在項目開發(fā)過程中，策劃可行的質量管理活動，然后正確地執(zhí)行和控制這些活動以保證絕大多數(shù)的缺陷可以在開發(fā)過程中被發(fā)現(xiàn)。在項目里，評審和測試活動是預先策劃好的，在執(zhí)行過程中，根據(jù)已定義好的過程來執(zhí)行這些活動。通過執(zhí)行這些活動來識別缺陷，然后消除這些缺陷。本項目質量保證貫穿于整個項目的始終，開展有計劃、有組織的活動，不斷地改進質量。保證指通過實施計劃中的系統(tǒng)質量活動，確保項目實施滿足要求所需的所用過程。項目團隊的管理人員采取有效措施，監(jiān)督項目的具體實施結果，判斷它們是否符合項目有關的質量標準，并確定消除產(chǎn)生不良結果原因的途徑，通過質量控制確保項目質量目標得以完滿實現(xiàn)。通過配置管理控制項目的進化過程，如持續(xù)的、變化的變更，為軟件系統(tǒng)提供了穩(wěn)定性，從而保證項目有質量的按規(guī)定工期交付。項目風險管理項目從策劃、實施到投入使用,需要一個較長的過程,在這個過程中存在著很大的不確定性,可能會給項目帶來各種各樣的風險。如果不能很好地管理項目的風險,就會給項目造成各種各樣的損失,因此,必須加強對工程項目風險的監(jiān)控,以確保高效地實現(xiàn)工程項目的目標(1)建立項目風險監(jiān)控體制。主要包括:項目風險責任制、項目風險信息報告制、項目風險監(jiān)控決策制、項目風險監(jiān)控溝通程序等。(2)確定要監(jiān)控的項目風險事件。(3)確定項目風險監(jiān)控責任。所有需要監(jiān)控的項目風險都必須落實到人,同時明確崗位職責,對于項目風險控制應實行專人負責。(4)確定項目風險監(jiān)控的行動時間。指對項目風險的監(jiān)控要制訂相應的時間計劃和安排,計劃和規(guī)定出解決項目風險問題的時間表與時間限制。(5)制訂具體項目風險監(jiān)控方案。根據(jù)項目風險的特性和時間計劃制訂出各具體項目風險控制方案,找出能夠控制項目風險的各種備選方案,然后要對方案作必要可行性分析,以驗證各項目風險控制備選方案的效果,最終選定要采用的風險控制方案或備用方案。(6)實施具體項目風險監(jiān)控方案。按照選定的具體項目風險控制方案開展項目風險控制的活動。(7)跟蹤具體項目風險的控制結果。就是要收集風險事件控制工作的信息并給出反饋,即利用跟蹤去確認所采取的項目風險控制活動是否有效,項目風險的發(fā)展是否有新的變化等,以便不斷提供反饋信息,從而指導項目風險控制方案的具體實施。(8)判斷項目風險是否已經(jīng)消除。若認定某個項目風險已經(jīng)解除,到該項目風險的控制作業(yè)就已完成,若判斷該項目風險仍未解除,就要重新進行項目風險識別,重新開展下一步的項目風險監(jiān)控作業(yè)。項目溝通管理為加強項目的順利實施，了解工程進度、施工質量的現(xiàn)狀，分析解決實際問題，確保過程順利完工，特制定本制度；一、會議時間、地點、參會人員會議時間：每周一上午九點整會議地點：待定參會人員：項目班子成員，項目經(jīng)理、客戶負責人二、 會議流程a) 會議簽到；參加會議人員于開會前5分鐘提前到會議室，在簽到表上簽名；b) 項目經(jīng)理梳理上周的工作（進度、質量、安全）；c)項目經(jīng)理報告公司在上次例會提出（要求、建議、措施）的落實情況；d)項目經(jīng)理提出本周存在的問題、缺陷，解決辦法； e) 項目經(jīng)理匯報項目下周的工作安排、節(jié)點和目標；f) 項目經(jīng)理提出需要公司出面協(xié)調解決的事情（如果有）；g) 公司領導針對項目的實際情況提出下月的（要求、建議、措施）；三、 會議紀律a) 參會人員如有特殊情況不能參加，需事先向項目組請假，并且提前寫好個人的工作匯報委托專人代為匯報，如無故缺席視同曠工，按公司相關管理制度處理；b) 每次開會前，參會人員應積極準備當次會議議題的相關內容，不能敷衍了事；c) 參會人員應尊重發(fā)言人的工作成果，禁止隨意中斷發(fā)言人的講話，搶奪話語權，惡意中傷他人，謾罵嬉戲；d) 匯報工作情況時，應言簡意賅，能真實反映項情況；e) 參會人員會議期間不得隨意離席，手機調成振動或靜音狀態(tài)以免擾亂會議秩序，如有重要電話要示意會議主持人，到會議室外接聽；f) 參會人員應自帶筆紙，及時做好的記錄，以便做好各自范圍內的交付任務g) 會議記錄由會議組織者指定人員記錄，第二天形成文件，下發(fā)參會人員，同時存放檔案室一份備查。

項目服務方案項目資源投入項目人員管理在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項目中，我方將嚴格按照甲方項目的需求挑選合適的項目服務人員，并在整個項目實施過程中對我方項目人員進行嚴格、規(guī)范的管理。具體，我方