企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項(xiàng)目建設(shè)技術(shù)解決方案WORD ()

企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項(xiàng)目建設(shè)技術(shù)解決方案整理制作郎豐利1519 V 第19頁企業(yè)大數(shù)據(jù)資產(chǎn)智能管理與治理平臺項(xiàng)目建設(shè)技術(shù)解決方案目錄 TOC\o"1-5"\h\z\u1 項(xiàng)目需求分析 71.1 項(xiàng)目建設(shè)目標(biāo) 71.2 項(xiàng)目建設(shè)內(nèi)容 71.2.1 數(shù)據(jù)管理 71.2.2 數(shù)據(jù)智能 171.3 平臺性能需求 201.4 驗(yàn)收文檔要求 202 項(xiàng)目技術(shù)方案 222.1 項(xiàng)目建設(shè)方案 222.1.1 現(xiàn)狀問題分析 22 業(yè)務(wù)系統(tǒng)之間缺少統(tǒng)一標(biāo)準(zhǔn) 22 系統(tǒng)之間數(shù)據(jù)變更對應(yīng)的影響分析困難 22 數(shù)據(jù)質(zhì)量差，錯誤發(fā)現(xiàn)不及時 22 數(shù)據(jù)價值低 22 業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)資產(chǎn)分散，共享性差 22 數(shù)據(jù)安全得不到保障 22 管理體系不完善，已有標(biāo)準(zhǔn)落實(shí)差 232.1.2 項(xiàng)目建設(shè)目標(biāo) 232.1.3 平臺建設(shè)方案 23 平臺架構(gòu)設(shè)計 23 數(shù)據(jù)管理建設(shè) 24.1 數(shù)據(jù)資產(chǎn)管理 24.2 數(shù)據(jù)異常管理 32.3 數(shù)據(jù)架構(gòu)管理 33.4 數(shù)據(jù)開發(fā)管理 33.5 統(tǒng)一調(diào)度管理 35 數(shù)據(jù)智能建設(shè) 35.1 數(shù)據(jù)血緣分析 35.2 智能標(biāo)簽管理 36.3 數(shù)據(jù)探索管理 37.4 業(yè)務(wù)畫像分析 372.1.4 方案核心價值 38 高效運(yùn)營 38 解決數(shù)據(jù)質(zhì)量問題 38 規(guī)范和共享 38 風(fēng)險管理 38 數(shù)據(jù)流程管控 38 數(shù)據(jù)管理創(chuàng)新 382.2 服務(wù)場景設(shè)計 392.2.1 數(shù)據(jù)資產(chǎn)管理 39 服務(wù)場景方案 39 服務(wù)場景流程 39 場景應(yīng)用展示 402.2.2 數(shù)據(jù)開發(fā)管理 41 服務(wù)場景方案 41 場景服務(wù)能力 41.1 特色的數(shù)倉應(yīng)用組件 41.2 計算分區(qū) 42.3 數(shù)據(jù)脫敏 42 場景應(yīng)用展示 432.2.3 數(shù)據(jù)全生命周期管理 44 服務(wù)場景方案 44 場景應(yīng)用展示 442.2.4 數(shù)據(jù)管理大屏 452.3 信息安全保障 462.3.1 總體方案 462.3.2 系統(tǒng)安全 472.3.3 數(shù)據(jù)安全 472.3.4 應(yīng)用安全 483 項(xiàng)目建設(shè)方案 503.1 項(xiàng)目實(shí)施方案 503.1.1 項(xiàng)目實(shí)施地點(diǎn) 503.1.2 項(xiàng)目實(shí)施工期 503.1.3 項(xiàng)目實(shí)施過程 50 需求分析 50 軟件開發(fā) 51 安裝調(diào)測 523.1.4 項(xiàng)目實(shí)施文檔 533.2 項(xiàng)目驗(yàn)收方案 543.2.1 項(xiàng)目驗(yàn)收標(biāo)準(zhǔn) 54 驗(yàn)收性能標(biāo)準(zhǔn) 54 驗(yàn)收文檔標(biāo)準(zhǔn) 543.2.2 項(xiàng)目驗(yàn)收方法 55 驗(yàn)收步驟 55 驗(yàn)收程序 56 驗(yàn)收申請 57 驗(yàn)收依據(jù) 57 驗(yàn)收內(nèi)容 573.2.3 驗(yàn)收簽收流程 583.3 項(xiàng)目管理方案 583.3.1 項(xiàng)目進(jìn)度管理 583.3.2 項(xiàng)目質(zhì)量管理 583.3.3 項(xiàng)目風(fēng)險管理 593.3.4 項(xiàng)目溝通管理 604 項(xiàng)目服務(wù)方案 624.1 項(xiàng)目資源投入 624.1.1 項(xiàng)目人員管理 624.2 售后服務(wù)承諾 624.3 免費(fèi)維保期限 634.4 售后服務(wù)方案 634.4.1 維保服務(wù)方案 63 服務(wù)內(nèi)容 64 服務(wù)方式 64 問題優(yōu)先級 65 服務(wù)響應(yīng) 66 服務(wù)組織機(jī)構(gòu) 67 每月的總結(jié) 68 支持流程 684.4.2 培訓(xùn)服務(wù)方案 68 培訓(xùn)目的 68 培訓(xùn)形式 69 培訓(xùn)內(nèi)容 69 培訓(xùn)計劃 694.4.3 應(yīng)急處理預(yù)案 70 服務(wù)概述 70 處理流程 70 應(yīng)急措施 704.5 服務(wù)質(zhì)量保障 724.5.1 質(zhì)量管理方法 724.5.2 質(zhì)量管控思路 734.5.3 質(zhì)量管理計劃 744.5.4 質(zhì)量保障措施 77 管理保障措施 77 技術(shù)保障措施 795 類似案例介紹 815.1 禪城區(qū)大數(shù)據(jù)統(tǒng)籌局?jǐn)?shù)據(jù)管理項(xiàng)目 815.1.1 項(xiàng)目概述 815.1.2 項(xiàng)目方案 815.1.3 項(xiàng)目價值 815.2 某市智慧房管數(shù)據(jù)分析項(xiàng)目 835.2.1 業(yè)務(wù)需求 835.2.2 項(xiàng)目方案 835.2.3 項(xiàng)目特點(diǎn) 845.2.4 項(xiàng)目價值 845.3 信用信息匯集系統(tǒng) 855.3.1 項(xiàng)目概述 855.3.2 項(xiàng)目方案 855.3.3 項(xiàng)目價值 85

項(xiàng)目需求分析項(xiàng)目建設(shè)目標(biāo)城市大數(shù)據(jù)及大數(shù)據(jù)中心的運(yùn)營成果要讓決策者、行業(yè)用戶和社會公眾“看得見、看得清、看得懂”，因此需要實(shí)現(xiàn)大屏可視化，把區(qū)域內(nèi)的靜態(tài)和動態(tài)數(shù)據(jù)能夠360度完美表現(xiàn)、采用易懂的表現(xiàn)形式和生動震撼的視覺傳達(dá)，讓人更容易記憶、理解和學(xué)習(xí)，從而實(shí)現(xiàn)企業(yè)大數(shù)據(jù)中心運(yùn)行情況一套圖展示。項(xiàng)目建設(shè)內(nèi)容數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理平臺主要負(fù)責(zé)對數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一注冊和管理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運(yùn)行審計管理、資產(chǎn)統(tǒng)計分析，接口管理、數(shù)據(jù)質(zhì)量等功能。數(shù)據(jù)資產(chǎn)注冊管理平臺提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)注冊審核、生成數(shù)據(jù)庫管理等功能。提供采集器、在線維護(hù)、自動注冊接口等方式來注冊數(shù)據(jù)資產(chǎn)。數(shù)據(jù)源管理 平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、Hadoop庫的注冊管理。數(shù)據(jù)庫注冊管理，主要負(fù)責(zé)數(shù)據(jù)庫基本信息的注冊配置，包含但不限于以下內(nèi)容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務(wù)IP數(shù)據(jù)庫服務(wù)端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間……Hadoop庫注冊管理，主要負(fù)責(zé)Hive庫基本信息、HDFS文件信息的注冊配置，包含但不限于以下內(nèi)容：HIVE數(shù)據(jù)庫服務(wù)IPHIVE數(shù)據(jù)庫服務(wù)端口HDFS文件系統(tǒng)服務(wù)IPHDFS文件系統(tǒng)服務(wù)端口……數(shù)據(jù)資產(chǎn)注冊管理 平臺提供對數(shù)據(jù)資產(chǎn)注冊管理的功能，主要包括對表、視圖、序列、文件、ETL過程、Hadoop等進(jìn)行注冊管理。1）業(yè)務(wù)系統(tǒng)信息收集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：業(yè)務(wù)系統(tǒng)名稱業(yè)務(wù)系統(tǒng)描述業(yè)務(wù)系統(tǒng)服務(wù)IP業(yè)務(wù)系統(tǒng)服務(wù)端口2）數(shù)據(jù)庫信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務(wù)IP數(shù)據(jù)庫服務(wù)端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間3）表結(jié)構(gòu)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：表名稱表中文名稱業(yè)務(wù)信息描述表結(jié)構(gòu)定義表數(shù)據(jù)處理邏輯4）視圖信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：視圖名稱視圖中文名稱業(yè)務(wù)信息描述視圖結(jié)構(gòu)定義5）字段信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：字段名稱字段中文名稱字段詳細(xì)描述字段類型定義6）指標(biāo)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：指標(biāo)名稱指標(biāo)中文名稱指標(biāo)業(yè)務(wù)描述指標(biāo)統(tǒng)計口徑指標(biāo)統(tǒng)計周期7）報表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：報表名稱報表中文名稱報表業(yè)務(wù)描述報表格式報表統(tǒng)計周期8）hadoop平臺信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hadoop集群名稱Hadoop集群描述Hadoop集群主節(jié)點(diǎn)IPHadoop集群從節(jié)點(diǎn)IP9）hadoophive庫表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hive數(shù)據(jù)庫服務(wù)IPHive數(shù)據(jù)庫服務(wù)端口Hive表名稱Hive表中文名稱Hive表業(yè)務(wù)描述信息Hive表結(jié)構(gòu)定義10）ETL過程信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：ETL作業(yè)名稱ETL作業(yè)業(yè)務(wù)描述信息ETL過程處理邏輯ETL作業(yè)運(yùn)行周期ETL來源表名稱ETL來源文件路徑ETL目標(biāo)表名稱ETL目標(biāo)文件路徑11）文件接口信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：接口文件名稱接口文件業(yè)務(wù)描述信息接口文件路徑接口文件大小接口內(nèi)容與表字段映射關(guān)系12）OLAP信息采集與資產(chǎn)注冊；13）webservice接口信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：webservice接口名稱webservice接口描述webservice接口負(fù)責(zé)人數(shù)據(jù)資產(chǎn)注冊審核 平臺提供對數(shù)據(jù)資產(chǎn)注冊的審核功能，通過在平臺中定義數(shù)據(jù)資產(chǎn)的相關(guān)命名規(guī)范，可實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)進(jìn)行審核分析。當(dāng)數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時，平臺會提示錯誤信息，并阻止資產(chǎn)的注冊操作，當(dāng)數(shù)據(jù)資產(chǎn)命名審核通過后，交由相應(yīng)的審核人進(jìn)行審核，保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。生成數(shù)據(jù)庫管理 平臺可基于數(shù)據(jù)資產(chǎn)（表），通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等信息后自動生成相應(yīng)數(shù)據(jù)庫的建表腳本并在數(shù)據(jù)庫中生成數(shù)據(jù)表，如下圖所示：數(shù)據(jù)資產(chǎn)分類管理平臺提供對數(shù)據(jù)資產(chǎn)的分類管理功能，在數(shù)據(jù)資產(chǎn)注冊同時或注冊后，可在數(shù)據(jù)資產(chǎn)上標(biāo)識不同的屬性標(biāo)簽，通過屬性標(biāo)簽完成對數(shù)據(jù)資產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計、資產(chǎn)盤點(diǎn)等功能提供支撐。常見的屬性標(biāo)簽包括：資產(chǎn)類型：數(shù)據(jù)表、文件、接口、指標(biāo)、報表等數(shù)據(jù)來源：B域、O域、M域等主題域：參與人、服務(wù)、資源、事件、市場營銷、企業(yè)管理、公共。所屬層級：接口層、輕度匯總層、中度匯總層、高度匯總層、應(yīng)用層等存儲周期：按年、按季度、按月、按周、按日等數(shù)據(jù)資產(chǎn)分類體系在數(shù)據(jù)資產(chǎn)的分類管理中，平臺按照數(shù)據(jù)資產(chǎn)的生命周期對數(shù)據(jù)資產(chǎn)進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內(nèi)部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內(nèi)進(jìn)行加工處理的過程。數(shù)據(jù)資產(chǎn)分類查詢平臺提供數(shù)據(jù)資產(chǎn)分類查詢功能，可通過選取分類標(biāo)簽中具體的屬性標(biāo)簽對數(shù)據(jù)資產(chǎn)進(jìn)行篩查。1數(shù)據(jù)資產(chǎn)分類統(tǒng)計平臺提供數(shù)據(jù)資產(chǎn)分類統(tǒng)計功能，可對各種標(biāo)簽屬性的數(shù)據(jù)資產(chǎn)進(jìn)行分類統(tǒng)計，并形成統(tǒng)計報表，供使用人員查詢不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計情況。數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)資產(chǎn)目錄資產(chǎn)目錄是對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務(wù)、保障與支撐所組成的一個整體針對資產(chǎn)的合理組織，需要對資產(chǎn)進(jìn)行對應(yīng)分類，如部門類目、主題類目、行業(yè)類目等，可對該類目下資產(chǎn)數(shù)據(jù)進(jìn)行搜索、展現(xiàn)以及權(quán)限申請。數(shù)據(jù)資產(chǎn)查詢平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢和高級查詢兩種方式。1.通用查詢：通過在通用查詢搜索框中輸入查詢關(guān)鍵字，可對數(shù)據(jù)資產(chǎn)進(jìn)行模糊查詢。2.高級查詢：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對數(shù)據(jù)資產(chǎn)進(jìn)行精確查詢，包括數(shù)據(jù)資產(chǎn)名稱、資產(chǎn)編碼、資產(chǎn)分類標(biāo)簽等屬性。數(shù)據(jù)資產(chǎn)地圖管理平臺提供數(shù)據(jù)地圖功能，通過可視化的圖形界面，對大數(shù)據(jù)平臺各系統(tǒng)、各層次之間的脈絡(luò)關(guān)系進(jìn)行全面、多層次的展示，并提供從系統(tǒng)、數(shù)據(jù)庫、表間以及字段級的關(guān)聯(lián)關(guān)系下鉆分析功能，幫助用戶從不同粒度了解數(shù)據(jù)資產(chǎn)之間的關(guān)聯(lián)情況，同時可動態(tài)了解數(shù)據(jù)資產(chǎn)的執(zhí)行情況。數(shù)據(jù)資產(chǎn)版本管理平臺提供數(shù)據(jù)資產(chǎn)版本管理功能，主要包括版本發(fā)布、版本查看、版本比對、版本恢復(fù)等功能。1.版本發(fā)布，通過版本發(fā)布功能提供對數(shù)據(jù)資產(chǎn)信息的版本更新和固化；2.版本查看，可查看數(shù)據(jù)資產(chǎn)的版本變更歷史；1版本比對，通過選擇歷史版本可與當(dāng)前發(fā)布的數(shù)據(jù)資產(chǎn)版本進(jìn)行差異比較；版本恢復(fù)功能，支持恢復(fù)到以前歷史版本的資產(chǎn)信息；數(shù)據(jù)資產(chǎn)變更管理平臺提供數(shù)據(jù)資產(chǎn)變更管理功能，可對數(shù)據(jù)資產(chǎn)信息中除定義名稱以外的其他信息進(jìn)行變更，并提供在變更發(fā)布前的數(shù)據(jù)資產(chǎn)信息規(guī)范審核。數(shù)據(jù)資產(chǎn)審計管理平臺提供資產(chǎn)運(yùn)行審計管理功能，主要包括數(shù)據(jù)資產(chǎn)模型審計、數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計等部分。1）數(shù)據(jù)資產(chǎn)模型審計：可對表、視圖、文件、Hadoop等靜態(tài)結(jié)構(gòu)進(jìn)行審計，根據(jù)元數(shù)據(jù)的配置，與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息以及Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)定義在整個應(yīng)用中的一致性檢查。2）數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計：可對數(shù)據(jù)資產(chǎn)中的表數(shù)據(jù)進(jìn)行審計，包括元數(shù)據(jù)表字段上的空值、字典值等。數(shù)據(jù)資產(chǎn)統(tǒng)計管理平臺提供數(shù)據(jù)資產(chǎn)統(tǒng)計分析功能，主要包括統(tǒng)計綜合查詢、數(shù)據(jù)資產(chǎn)一致性檢查、數(shù)據(jù)資產(chǎn)更變統(tǒng)計、數(shù)據(jù)資產(chǎn)屬性檢查、數(shù)據(jù)資產(chǎn)空值檢查、數(shù)據(jù)資產(chǎn)字典值檢查等功能。數(shù)據(jù)資產(chǎn)統(tǒng)計分析1、統(tǒng)計綜合查詢，可通過數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應(yīng)用等，對數(shù)據(jù)資產(chǎn)進(jìn)行查詢。2、數(shù)據(jù)資產(chǎn)一致性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息、Hadoop中實(shí)際的結(jié)構(gòu)信息等內(nèi)容進(jìn)行比對并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。3、數(shù)據(jù)資產(chǎn)變更統(tǒng)計，可通過數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應(yīng)用等，對數(shù)據(jù)資產(chǎn)變更歷史進(jìn)行統(tǒng)計查詢。4、數(shù)據(jù)資產(chǎn)屬性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖的屬性信息、與實(shí)際生成的文件內(nèi)的屬性信息、與Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。5、數(shù)據(jù)資產(chǎn)空值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的空值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)空值檢查報告》。6、數(shù)據(jù)資產(chǎn)字典值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的字典值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)字典值檢查報告》。數(shù)據(jù)資產(chǎn)報告針對整體平臺上的對應(yīng)數(shù)據(jù)，提供定周期了解其對應(yīng)資產(chǎn)情況，對總體資產(chǎn)情況進(jìn)行分析。數(shù)據(jù)資產(chǎn)盤點(diǎn) 平臺提供數(shù)據(jù)負(fù)資產(chǎn)盤點(diǎn)功能，通過分析系統(tǒng)中孤立未使用的庫表，即數(shù)據(jù)負(fù)資產(chǎn)，并以報表形式輸出分析結(jié)果，為用戶清除數(shù)據(jù)負(fù)資產(chǎn)或轉(zhuǎn)存提供幫助。數(shù)據(jù)異常管理異常對接管理開發(fā)可以對接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務(wù)總線系統(tǒng)中異常日志模塊的功能。異常問題列表開發(fā)展示異常問題信息，按等級進(jìn)行分類或主動推送，同時對異常問題進(jìn)行歸類整理，并定義規(guī)則進(jìn)行選擇性忽略或提醒的功能。人工處理管理開發(fā)人工處理管理是記錄針對異常信息，人工處理所登記的臺賬信息，可按照異常分類進(jìn)行分類授權(quán)，實(shí)現(xiàn)指定問題的指定人員處理的功能。系統(tǒng)處理管理開發(fā)統(tǒng)處理管理是針對異常信息集成的各子平臺系統(tǒng)處理結(jié)果的收集，該類信息往往不需要人工干預(yù)的功能。實(shí)時數(shù)據(jù)質(zhì)量管理針對實(shí)時流數(shù)據(jù)需要提供數(shù)據(jù)質(zhì)量管理功能，即提供對實(shí)時流的數(shù)據(jù)質(zhì)量規(guī)則的設(shè)置、維護(hù)、調(diào)度、優(yōu)化等規(guī)則的管理功能，以及對實(shí)時流數(shù)據(jù)源接口關(guān)鍵數(shù)據(jù)、數(shù)據(jù)實(shí)體和處理過程的監(jiān)控告警，輔助數(shù)據(jù)質(zhì)量管理人員快速定位問題的原因及處理方案，并定期生成針對實(shí)時流數(shù)據(jù)的數(shù)據(jù)質(zhì)量評估報告的功能。數(shù)據(jù)質(zhì)量定制化開發(fā)通過自定義擴(kuò)展規(guī)則能力，靈活方便的自定義擴(kuò)展能力，可以靈活定制質(zhì)量監(jiān)控的規(guī)則、問題數(shù)據(jù)的檢測規(guī)則和問題數(shù)據(jù)的清洗回收的方式。異常數(shù)據(jù)分析基于集成方案，反饋統(tǒng)計分析集成過程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結(jié)果，同時支持多維度的問題分析以及排查。異常處理統(tǒng)計分析開發(fā)按照異常分類、處理情況、時間、等級等維度進(jìn)行分類統(tǒng)計，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。數(shù)據(jù)架構(gòu)管理平臺支持定義全企業(yè)的數(shù)據(jù)架構(gòu)，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫類型。功能包括數(shù)據(jù)架構(gòu)節(jié)點(diǎn)的增加，刪除。業(yè)務(wù)架構(gòu)管理從數(shù)據(jù)架構(gòu)中選擇適合團(tuán)隊的數(shù)據(jù)架構(gòu)，并綁定到團(tuán)隊，以約束開發(fā)團(tuán)隊在開發(fā)過程中選擇數(shù)據(jù)架構(gòu)。存儲架構(gòu)管理在異構(gòu)數(shù)據(jù)庫的環(huán)境下，不同的數(shù)據(jù)庫有不同的參數(shù)設(shè)置，為減少開發(fā)人員在模型開發(fā)過程中的操作，同時也保障模型在落地到物理環(huán)境的正確性，通過在存儲架構(gòu)中設(shè)置默認(rèn)的參數(shù)配置來保障開發(fā)的準(zhǔn)備性。數(shù)據(jù)開發(fā)管理流數(shù)據(jù)處理平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實(shí)時采集-->數(shù)據(jù)實(shí)時計算-->數(shù)據(jù)實(shí)時查詢服務(wù)。實(shí)時采集主要應(yīng)對海量數(shù)據(jù)進(jìn)行高性能的實(shí)時數(shù)據(jù)采集處理，以實(shí)時、高效、低延遲為核心驅(qū)動點(diǎn)，具備毫秒級數(shù)據(jù)觸發(fā)能力，實(shí)現(xiàn)秒級單位時間窗口的數(shù)據(jù)統(tǒng)計分析能力。需要支持的數(shù)據(jù)源類型可以分為以下四類：網(wǎng)絡(luò)協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見類型的網(wǎng)絡(luò)協(xié)議。本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。支持物聯(lián)網(wǎng)網(wǎng)關(guān)采集：將物聯(lián)網(wǎng)數(shù)據(jù)從物聯(lián)網(wǎng)網(wǎng)關(guān)接入，提供協(xié)議適配和標(biāo)準(zhǔn)化處理，以及滿足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。來自多種數(shù)據(jù)源的實(shí)時信息，因?yàn)槠鋾r效性高，數(shù)據(jù)的有效期短暫，需要實(shí)時提取和分析來自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應(yīng)用中進(jìn)行處理。同時，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對外開放能力。流數(shù)據(jù)引擎開發(fā)提供數(shù)據(jù)融合，統(tǒng)計，分析的高速處理能力，對于實(shí)時性要求較高的數(shù)據(jù)計算提供支撐的功能流數(shù)據(jù)計算模型管理開發(fā)提供對已設(shè)計完成的數(shù)據(jù)計算模型進(jìn)行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流數(shù)據(jù)計算公共模型開發(fā)開發(fā)提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調(diào)用，可重復(fù)使用的功能流數(shù)據(jù)計算結(jié)果接口開發(fā)開發(fā)提供對流數(shù)據(jù)計算結(jié)果接口開發(fā)功能和計算結(jié)果數(shù)據(jù)可通過接口形式供可視化調(diào)用或其他應(yīng)用的功能流數(shù)據(jù)計算模型查詢開發(fā)提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進(jìn)行模型再利用，減少其他用戶開發(fā)工作量的功能。數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實(shí)現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉(zhuǎn)換，提升開發(fā)效率。支持可視化開發(fā)開發(fā)空間基于脫敏數(shù)據(jù)開發(fā)和驗(yàn)證，通過驗(yàn)證后的工作流再發(fā)布到生產(chǎn)空間，生產(chǎn)空間基于實(shí)際的數(shù)據(jù)來調(diào)度工作流進(jìn)行數(shù)據(jù)生產(chǎn)。支持原生態(tài)開發(fā)統(tǒng)一調(diào)度管理平臺支持對數(shù)據(jù)開發(fā)與管理任務(wù)的統(tǒng)一調(diào)度，包括流程設(shè)計與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實(shí)現(xiàn)對采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一的調(diào)度與管理。以一個業(yè)務(wù)量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺中以數(shù)據(jù)流作為驅(qū)動,通過控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到各個異構(gòu)系統(tǒng)，多個子系統(tǒng)的協(xié)同調(diào)度。數(shù)據(jù)智能數(shù)據(jù)血緣平臺提供血緣分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有來源的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質(zhì)量問題。元數(shù)據(jù)血緣分析元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關(guān)系和以父子依賴關(guān)系展示對象等有向血緣關(guān)系。影響性分析包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對象變更時的緣由和影響關(guān)系。血緣分析是元數(shù)據(jù)分析中重要的分析應(yīng)用，以圖形方式清晰的展現(xiàn)出元數(shù)據(jù)（表、視圖、字段、指標(biāo)）每一步數(shù)據(jù)的來源情況，數(shù)據(jù)的來源情況包括該元數(shù)據(jù)的直接或間接使用到的其他元數(shù)據(jù)和加工該元數(shù)據(jù)所使用的加工規(guī)則。元數(shù)據(jù)對象和對象之間以連線方式表現(xiàn)出血緣分析的結(jié)果。重要性分析分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)資源平臺中各層次的包、表等對象的重要程度，指導(dǎo)數(shù)據(jù)資源平臺開發(fā)和維護(hù)團(tuán)隊對重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控。無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)資源平臺系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報表，找出這些無關(guān)的內(nèi)容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡化工作負(fù)載，降低項(xiàng)目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。智能標(biāo)簽在數(shù)據(jù)資源的分類管理中，平臺按照數(shù)據(jù)資源的生命周期對數(shù)據(jù)資源進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內(nèi)部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內(nèi)進(jìn)行加工處理的過程。數(shù)據(jù)標(biāo)簽管理平臺提供數(shù)據(jù)標(biāo)簽管理功能，可對已導(dǎo)入的數(shù)據(jù)資產(chǎn)標(biāo)簽進(jìn)行增加、修改、刪除以及分類標(biāo)簽的導(dǎo)入導(dǎo)出功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性隨業(yè)務(wù)發(fā)生變化時數(shù)據(jù)資產(chǎn)標(biāo)簽?zāi)軌蜢`活變化。標(biāo)簽?zāi)０骞芾砥脚_提供數(shù)據(jù)標(biāo)簽?zāi)０骞芾砉δ?，可通過下載功能將標(biāo)簽?zāi)０鍖?dǎo)出為Excel文件格式，對數(shù)據(jù)標(biāo)簽進(jìn)行編輯整理后批量導(dǎo)入到平臺中，并提供對標(biāo)簽?zāi)０娴脑黾印⑿薷?、刪除等操作?；A(chǔ)標(biāo)簽管理開發(fā)以列表形式和智能推薦形式將平臺中設(shè)置的基礎(chǔ)標(biāo)簽進(jìn)行呈現(xiàn)列表形式是將所有的基礎(chǔ)標(biāo)簽一一列出，并可以按照熱度進(jìn)行排序智能推薦形式是指根據(jù)最近時間段內(nèi)的標(biāo)簽的訪問頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標(biāo)簽的功能。標(biāo)簽關(guān)系展現(xiàn)開發(fā)通過標(biāo)簽將相關(guān)聯(lián)的數(shù)據(jù)目錄關(guān)聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過一張圖就可以將某一條數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關(guān)系全部展示出來的功能。開發(fā)通過標(biāo)簽訪問次數(shù)統(tǒng)計出熱門標(biāo)簽，讓平臺運(yùn)維人員了解哪些標(biāo)簽是訪問頻率高的、是符合用戶訪問習(xí)慣的，并結(jié)合用戶的搜索記錄，優(yōu)化標(biāo)簽設(shè)置，使之更通用和人性化的功能。數(shù)據(jù)探索平臺提供了數(shù)據(jù)探索工具，支持用戶通過數(shù)據(jù)探索工具對擁有權(quán)限的數(shù)據(jù)進(jìn)行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。在平臺上用戶可以在此頁面通過各種過濾條件查詢出自己權(quán)限范圍內(nèi)滿足條件的報表，并進(jìn)行對應(yīng)的設(shè)為首頁及關(guān)注操作。畫像分析畫像分析是面向業(yè)務(wù)的標(biāo)簽和畫像管理中臺，整合了多類型存儲資源的數(shù)據(jù)，能夠幫助企業(yè)構(gòu)建業(yè)務(wù)標(biāo)簽體系。平臺中的畫像分析功能同時內(nèi)置完善的標(biāo)簽運(yùn)營機(jī)制和靈活的圈群分析模版，適用于用戶行為、設(shè)備管理、企業(yè)檔案、地理分布等數(shù)據(jù)分析場景。影響分析平臺提供影響分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有后續(xù)影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)流向和定位數(shù)據(jù)出錯時影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)。全鏈分析平臺提供全鏈分析功能，通過可視化的界面，對數(shù)據(jù)資產(chǎn)所有來源和后續(xù)影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質(zhì)量問題及后續(xù)影響的數(shù)據(jù)資產(chǎn)。表關(guān)聯(lián)度分析平臺提供表關(guān)聯(lián)度分析功能，通過分析數(shù)據(jù)庫表數(shù)據(jù)資產(chǎn)與其他資產(chǎn)的的關(guān)系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指標(biāo)等關(guān)系，并以報表形式輸出分析結(jié)果，幫助用戶分析數(shù)據(jù)資產(chǎn)之間的關(guān)聯(lián)程度。平臺性能需求數(shù)據(jù)融合計算（百萬級數(shù)據(jù)）執(zhí)行效率達(dá)到分鐘級別最大開發(fā)團(tuán)隊管理數(shù)≤100個系統(tǒng)數(shù)據(jù)開發(fā)人員并發(fā)訪問≤200個服務(wù)響應(yīng)時間≤3s調(diào)度執(zhí)行器在線數(shù)據(jù)任務(wù)的調(diào)度管理和執(zhí)行數(shù)量≤2000個驗(yàn)收文檔要求概要設(shè)計書概要設(shè)計專家評審詳細(xì)設(shè)計說明書架構(gòu)設(shè)計說明書數(shù)據(jù)設(shè)計說明書項(xiàng)目實(shí)施方案測試方案測試用例測試報告部署方案非功能性能指標(biāo)源代碼系統(tǒng)使用說明(規(guī)范)、運(yùn)維說明書系統(tǒng)培訓(xùn)資料和培訓(xùn)記錄項(xiàng)目總結(jié)報告

項(xiàng)目技術(shù)方案項(xiàng)目建設(shè)方案現(xiàn)狀問題分析業(yè)務(wù)系統(tǒng)之間缺少統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)多樣化缺少數(shù)據(jù)標(biāo)準(zhǔn)，對表字段的命名隨意性強(qiáng)，定義混亂；同一英文字段名對應(yīng)多個中文名，反之也存在著中文的一對多；同一業(yè)務(wù)元素對應(yīng)多種數(shù)據(jù)類型和長度。系統(tǒng)之間數(shù)據(jù)變更對應(yīng)的影響分析困難歷史數(shù)據(jù)龐大復(fù)雜，表關(guān)系不清晰；表結(jié)構(gòu)變更、系統(tǒng)改造時，對應(yīng)造成的影響難于甚至無法評估；已然形成大量數(shù)據(jù)，系統(tǒng)悠久，找不到接口人，針對其應(yīng)用困難。數(shù)據(jù)質(zhì)量差，錯誤發(fā)現(xiàn)不及時數(shù)據(jù)質(zhì)量低下，統(tǒng)計不準(zhǔn)確，許多預(yù)期需求無法實(shí)現(xiàn)、造成決策失誤；數(shù)據(jù)錯誤的發(fā)現(xiàn)不及時；數(shù)據(jù)處理過程中的問題未及時糾正，導(dǎo)致更多的后續(xù)錯誤。數(shù)據(jù)價值低數(shù)據(jù)表和模型繁多，價值未最大釋放。業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)資產(chǎn)分散，共享性差DB、數(shù)據(jù)模型、應(yīng)用程序、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量等信息分散；政務(wù)數(shù)據(jù)資產(chǎn)無法集中管理和展現(xiàn)，共享性差。數(shù)據(jù)安全得不到保障數(shù)據(jù)權(quán)限劃分不清；敏感數(shù)據(jù)得不到監(jiān)控；賬號和權(quán)限無法追蹤-非正常的訪問行為無法捕捉。管理體系不完善，已有標(biāo)準(zhǔn)落實(shí)差標(biāo)準(zhǔn)管理體系不完善；管理角色分工不清晰；標(biāo)準(zhǔn)管理系統(tǒng)不完善，標(biāo)準(zhǔn)管理軟件易用性差，落實(shí)效果差；出了問題再補(bǔ)漏，數(shù)據(jù)管理部門和生產(chǎn)部門相互推脫責(zé)任。項(xiàng)目建設(shè)目標(biāo)基于上述問題分析，因此本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目的建設(shè)的目標(biāo)就是要讓城市大數(shù)據(jù)及大數(shù)據(jù)中心的運(yùn)營成果要讓決策者、行業(yè)用戶和社會公眾“看得見、看得清、看得懂”，因此需要實(shí)現(xiàn)大屏可視化，把區(qū)域內(nèi)的靜態(tài)和動態(tài)數(shù)據(jù)能夠360度完美表現(xiàn)、采用易懂的表現(xiàn)形式和生動震撼的視覺傳達(dá)，讓人更容易記憶、理解和學(xué)習(xí)，從而實(shí)現(xiàn)企業(yè)運(yùn)行情況一套圖展示。平臺建設(shè)方案平臺架構(gòu)設(shè)計我公司大數(shù)據(jù)管理平臺以元數(shù)據(jù)為基礎(chǔ)，所有模塊并不是串連，每個模塊都可以單獨(dú)或與其他模塊組合使用。本平臺建設(shè)方案可以為各類客戶提供全面的數(shù)據(jù)管理解決方案，同時平臺可在本地或云上使用。數(shù)據(jù)管理建設(shè)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理平臺主要負(fù)責(zé)對數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一注冊和管理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)體系化管控。主要包括數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運(yùn)行審計管理、資產(chǎn)統(tǒng)計分析，接口管理、數(shù)據(jù)質(zhì)量等功能。數(shù)據(jù)資產(chǎn)注冊管理平臺提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)注冊審核、生成數(shù)據(jù)庫管理等功能。提供采集器、在線維護(hù)、自動注冊接口等方式來注冊數(shù)據(jù)資產(chǎn)。數(shù)據(jù)源管理 平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、Hadoop庫的注冊管理。數(shù)據(jù)庫注冊管理，主要負(fù)責(zé)數(shù)據(jù)庫基本信息的注冊配置，包含但不限于以下內(nèi)容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務(wù)IP數(shù)據(jù)庫服務(wù)端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間……Hadoop庫注冊管理，主要負(fù)責(zé)Hive庫基本信息、HDFS文件信息的注冊配置，包含但不限于以下內(nèi)容：HIVE數(shù)據(jù)庫服務(wù)IPHIVE數(shù)據(jù)庫服務(wù)端口HDFS文件系統(tǒng)服務(wù)IPHDFS文件系統(tǒng)服務(wù)端口……數(shù)據(jù)資產(chǎn)注冊 平臺提供對數(shù)據(jù)資產(chǎn)注冊管理的功能，主要包括對表、視圖、序列、文件、ETL過程、Hadoop等進(jìn)行注冊管理。1）業(yè)務(wù)系統(tǒng)信息收集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：業(yè)務(wù)系統(tǒng)名稱業(yè)務(wù)系統(tǒng)描述業(yè)務(wù)系統(tǒng)服務(wù)IP業(yè)務(wù)系統(tǒng)服務(wù)端口2）數(shù)據(jù)庫信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務(wù)IP數(shù)據(jù)庫服務(wù)端口數(shù)據(jù)庫SID數(shù)據(jù)庫表空間3）表結(jié)構(gòu)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：表名稱表中文名稱業(yè)務(wù)信息描述表結(jié)構(gòu)定義表數(shù)據(jù)處理邏輯4）視圖信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：視圖名稱視圖中文名稱業(yè)務(wù)信息描述視圖結(jié)構(gòu)定義5）字段信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：字段名稱字段中文名稱字段詳細(xì)描述字段類型定義6）指標(biāo)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：指標(biāo)名稱指標(biāo)中文名稱指標(biāo)業(yè)務(wù)描述指標(biāo)統(tǒng)計口徑指標(biāo)統(tǒng)計周期7）報表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：報表名稱報表中文名稱報表業(yè)務(wù)描述報表格式報表統(tǒng)計周期8）hadoop平臺信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hadoop集群名稱Hadoop集群描述Hadoop集群主節(jié)點(diǎn)IPHadoop集群從節(jié)點(diǎn)IP9）hadoophive庫表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hive數(shù)據(jù)庫服務(wù)IPHive數(shù)據(jù)庫服務(wù)端口Hive表名稱Hive表中文名稱Hive表業(yè)務(wù)描述信息Hive表結(jié)構(gòu)定義10）ETL過程信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：ETL作業(yè)名稱ETL作業(yè)業(yè)務(wù)描述信息ETL過程處理邏輯ETL作業(yè)運(yùn)行周期ETL來源表名稱ETL來源文件路徑ETL目標(biāo)表名稱ETL目標(biāo)文件路徑11）文件接口信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：接口文件名稱接口文件業(yè)務(wù)描述信息接口文件路徑接口文件大小接口內(nèi)容與表字段映射關(guān)系12）OLAP信息采集與資產(chǎn)注冊；13）webservice接口信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：webservice接口名稱webservice接口描述webservice接口負(fù)責(zé)人資產(chǎn)注冊審核 平臺提供對數(shù)據(jù)資產(chǎn)注冊的審核功能，通過在平臺中定義數(shù)據(jù)資產(chǎn)的相關(guān)命名規(guī)范，可實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)進(jìn)行審核分析。當(dāng)數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時，平臺會提示錯誤信息，并阻止資產(chǎn)的注冊操作，當(dāng)數(shù)據(jù)資產(chǎn)命名審核通過后，交由相應(yīng)的審核人進(jìn)行審核，保障數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。生成數(shù)據(jù)庫管理 平臺可基于數(shù)據(jù)資產(chǎn)（表），通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等信息后自動生成相應(yīng)數(shù)據(jù)庫的建表腳本并在數(shù)據(jù)庫中生成數(shù)據(jù)表。數(shù)據(jù)資產(chǎn)分類管理平臺提供了對數(shù)據(jù)資產(chǎn)的分類管理功能，在數(shù)據(jù)資產(chǎn)注冊同時或注冊后，可在數(shù)據(jù)資產(chǎn)上標(biāo)識不同的屬性標(biāo)簽，通過屬性標(biāo)簽完成對數(shù)據(jù)資產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計、資產(chǎn)盤點(diǎn)等功能提供支撐。常見的屬性標(biāo)簽包括：資產(chǎn)類型：數(shù)據(jù)表、文件、接口、指標(biāo)、報表等數(shù)據(jù)來源：B域、O域、M域等主題域：參與人、服務(wù)、資源、事件、市場營銷、企業(yè)管理、公共。所屬層級：接口層、輕度匯總層、中度匯總層、高度匯總層、應(yīng)用層等存儲周期：按年、按季度、按月、按周、按日等數(shù)據(jù)資產(chǎn)分類體系在數(shù)據(jù)資產(chǎn)的分類管理中，平臺可以按照數(shù)據(jù)資產(chǎn)的生命周期對數(shù)據(jù)資產(chǎn)進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內(nèi)部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內(nèi)進(jìn)行加工處理的過程。數(shù)據(jù)資產(chǎn)分類查詢平臺提供數(shù)據(jù)資產(chǎn)分類查詢功能，可通過選取分類標(biāo)簽中具體的屬性標(biāo)簽對數(shù)據(jù)資產(chǎn)進(jìn)行篩查。數(shù)據(jù)資產(chǎn)分類統(tǒng)計平臺提供了數(shù)據(jù)資產(chǎn)分類統(tǒng)計功能，可對各種標(biāo)簽屬性的數(shù)據(jù)資產(chǎn)進(jìn)行分類統(tǒng)計，并形成統(tǒng)計報表，供使用人員查詢不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計情況。數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)資產(chǎn)目錄資產(chǎn)目錄是對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務(wù)、保障與支撐所組成的一個整體針對資產(chǎn)的合理組織，需要對資產(chǎn)進(jìn)行對應(yīng)分類，如部門類目、主題類目、行業(yè)類目等，可對該類目下資產(chǎn)數(shù)據(jù)進(jìn)行搜索、展現(xiàn)以及權(quán)限申請。數(shù)據(jù)資產(chǎn)查詢平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢和高級查詢兩種方式。通用查詢：通過在通用查詢搜索框中輸入查詢關(guān)鍵字，可對數(shù)據(jù)資產(chǎn)進(jìn)行模糊查詢。高級查詢：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對數(shù)據(jù)資產(chǎn)進(jìn)行精確查詢，包括數(shù)據(jù)資產(chǎn)名稱、資產(chǎn)編碼、資產(chǎn)分類標(biāo)簽等屬性。數(shù)據(jù)資產(chǎn)地圖管理平臺提供了數(shù)據(jù)地圖功能，通過可視化的圖形界面，對大數(shù)據(jù)平臺各系統(tǒng)、各層次之間的脈絡(luò)關(guān)系進(jìn)行全面、多層次的展示，并提供從系統(tǒng)、數(shù)據(jù)庫、表間以及字段級的關(guān)聯(lián)關(guān)系下鉆分析功能，幫助用戶從不同粒度了解數(shù)據(jù)資產(chǎn)之間的關(guān)聯(lián)情況，同時可動態(tài)了解數(shù)據(jù)資產(chǎn)的執(zhí)行情況。數(shù)據(jù)資產(chǎn)版本管理平臺提供數(shù)據(jù)資產(chǎn)版本管理功能，主要包括版本發(fā)布、版本查看、版本比對、版本恢復(fù)等功能。版本發(fā)布通過版本發(fā)布功能提供對數(shù)據(jù)資產(chǎn)信息的版本更新和固化。版本查看可查看數(shù)據(jù)資產(chǎn)的版本變更歷史。版本比對通過選擇歷史版本可與當(dāng)前發(fā)布的數(shù)據(jù)資產(chǎn)版本進(jìn)行差異比較。版本恢復(fù)功能支持恢復(fù)到以前歷史版本的資產(chǎn)信息。數(shù)據(jù)資產(chǎn)變更管理平臺提供了數(shù)據(jù)資產(chǎn)變更管理功能，可對數(shù)據(jù)資產(chǎn)信息中除定義名稱以外的其他信息進(jìn)行變更，并提供在變更發(fā)布前的數(shù)據(jù)資產(chǎn)信息規(guī)范審核。數(shù)據(jù)資產(chǎn)審計管理平臺提供資產(chǎn)運(yùn)行審計管理功能，主要包括數(shù)據(jù)資產(chǎn)模型審計、數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計等部分。數(shù)據(jù)資產(chǎn)模型審計可對表、視圖、文件、Hadoop等靜態(tài)結(jié)構(gòu)進(jìn)行審計，根據(jù)元數(shù)據(jù)的配置，與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息以及Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)定義在整個應(yīng)用中的一致性檢查。數(shù)據(jù)資產(chǎn)表數(shù)據(jù)審計可對數(shù)據(jù)資產(chǎn)中的表數(shù)據(jù)進(jìn)行審計，包括元數(shù)據(jù)表字段上的空值、字典值等。數(shù)據(jù)資產(chǎn)統(tǒng)計管理平臺提供了數(shù)據(jù)資產(chǎn)統(tǒng)計分析功能，主要包括統(tǒng)計綜合查詢、數(shù)據(jù)資產(chǎn)一致性檢查、數(shù)據(jù)資產(chǎn)更變統(tǒng)計、數(shù)據(jù)資產(chǎn)屬性檢查、數(shù)據(jù)資產(chǎn)空值檢查、數(shù)據(jù)資產(chǎn)字典值檢查等功能。數(shù)據(jù)資產(chǎn)統(tǒng)計分析平臺具備強(qiáng)大的數(shù)據(jù)資產(chǎn)統(tǒng)計功能，并提供了大量數(shù)據(jù)資產(chǎn)分析報表，具體如下：1、統(tǒng)計綜合查詢，可通過數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應(yīng)用等，對數(shù)據(jù)資產(chǎn)進(jìn)行查詢。2、數(shù)據(jù)資產(chǎn)一致性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖信息、實(shí)際生成的文件信息、Hadoop中實(shí)際的結(jié)構(gòu)信息等內(nèi)容進(jìn)行比對并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。3、數(shù)據(jù)資產(chǎn)變更統(tǒng)計，可通過數(shù)據(jù)資產(chǎn)的各種屬性標(biāo)簽，如資產(chǎn)類型、數(shù)據(jù)源、主題域、所屬層次等，以及數(shù)據(jù)資產(chǎn)的其他資產(chǎn)信息如數(shù)據(jù)庫類型、應(yīng)用等，對數(shù)據(jù)資產(chǎn)變更歷史進(jìn)行統(tǒng)計查詢。4、數(shù)據(jù)資產(chǎn)屬性檢查，平臺提供以報表的形式，將元數(shù)據(jù)的配置與數(shù)據(jù)庫內(nèi)實(shí)際的表／視圖的屬性信息、與實(shí)際生成的文件內(nèi)的屬性信息、與Hadoop中實(shí)際的結(jié)構(gòu)信息進(jìn)行比對并輸出差異分析結(jié)果，在分析結(jié)果不一致的情況下給出提醒，并將分析結(jié)果作為《數(shù)據(jù)資產(chǎn)規(guī)范性檢查報告》的組成部分。5、數(shù)據(jù)資產(chǎn)空值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的空值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)空值檢查報告》。6、數(shù)據(jù)資產(chǎn)字典值檢查，平臺提供以報表的形式，對元數(shù)據(jù)表字段上的字典值配置進(jìn)行檢查，在檢查結(jié)果不一致的情況下給出提醒，并輸出《數(shù)據(jù)資產(chǎn)字典值檢查報告》。數(shù)據(jù)資產(chǎn)報告針對整體平臺上的對應(yīng)數(shù)據(jù)，提供定周期了解其對應(yīng)資產(chǎn)情況，對總體資產(chǎn)情況進(jìn)行分析。數(shù)據(jù)資產(chǎn)盤點(diǎn) 平臺提供數(shù)據(jù)負(fù)資產(chǎn)盤點(diǎn)功能，通過分析系統(tǒng)中孤立未使用的庫表，即數(shù)據(jù)負(fù)資產(chǎn)，并以報表形式輸出分析結(jié)果，為用戶清除數(shù)據(jù)負(fù)資產(chǎn)或轉(zhuǎn)存提供幫助。數(shù)據(jù)異常管理異常對接管理平臺可以對接數(shù)據(jù)交換總線、數(shù)據(jù)集成總線、數(shù)據(jù)服務(wù)總線系統(tǒng)中異常日志模塊的功能。異常問題列表平臺可以展示異常問題信息，按等級進(jìn)行分類或主動推送，同時對異常問題進(jìn)行歸類整理，并定義規(guī)則進(jìn)行選擇性忽略或提醒的功能。人工處理管理平臺支持人工處理管理是記錄針對異常信息，人工處理所登記的臺賬信息，可按照異常分類進(jìn)行分類授權(quán)，實(shí)現(xiàn)指定問題的指定人員處理的功能。系統(tǒng)處理管理平臺支持統(tǒng)處理管理是針對異常信息集成的各子平臺系統(tǒng)處理結(jié)果的收集，該類信息往往不需要人工干預(yù)的功能。實(shí)時數(shù)據(jù)質(zhì)量管理平臺支持針對實(shí)時流數(shù)據(jù)需要提供數(shù)據(jù)質(zhì)量管理功能，即提供對實(shí)時流的數(shù)據(jù)質(zhì)量規(guī)則的設(shè)置、維護(hù)、調(diào)度、優(yōu)化等規(guī)則的管理功能，以及對實(shí)時流數(shù)據(jù)源接口關(guān)鍵數(shù)據(jù)、數(shù)據(jù)實(shí)體和處理過程的監(jiān)控告警，輔助數(shù)據(jù)質(zhì)量管理人員快速定位問題的原因及處理方案，并定期生成針對實(shí)時流數(shù)據(jù)的數(shù)據(jù)質(zhì)量評估報告的功能。數(shù)據(jù)質(zhì)量定制化開發(fā)平臺支持通過自定義擴(kuò)展規(guī)則能力，靈活方便的自定義擴(kuò)展能力，可以靈活定制質(zhì)量監(jiān)控的規(guī)則、問題數(shù)據(jù)的檢測規(guī)則和問題數(shù)據(jù)的清洗回收的方式。異常數(shù)據(jù)分析平臺支持基于集成方案，反饋統(tǒng)計分析集成過程中不符合方案中各字段清洗規(guī)則的異常數(shù)據(jù)結(jié)果，同時支持多維度的問題分析以及排查。異常處理統(tǒng)計分析平臺支持按照異常分類、處理情況、時間、等級等維度進(jìn)行分類統(tǒng)計，以圖表的形式展現(xiàn)便于管理人員匯總分析的功能。數(shù)據(jù)架構(gòu)管理平臺支持定義全企業(yè)的數(shù)據(jù)架構(gòu)，包括數(shù)據(jù)的主題、層次，所涉及的部門、所用到的數(shù)據(jù)庫類型。功能包括數(shù)據(jù)架構(gòu)節(jié)點(diǎn)的增加，刪除。業(yè)務(wù)架構(gòu)管理平臺支持從數(shù)據(jù)架構(gòu)中選擇適合團(tuán)隊的數(shù)據(jù)架構(gòu)，并綁定到團(tuán)隊，以約束開發(fā)團(tuán)隊在開發(fā)過程中選擇數(shù)據(jù)架構(gòu)。存儲架構(gòu)管理在異構(gòu)數(shù)據(jù)庫的環(huán)境下，不同的數(shù)據(jù)庫有不同的參數(shù)設(shè)置，為減少開發(fā)人員在模型開發(fā)過程中的操作，同時也保障模型在落地到物理環(huán)境的正確性，通過在存儲架構(gòu)中設(shè)置默認(rèn)的參數(shù)配置來保障開發(fā)的準(zhǔn)備性。數(shù)據(jù)開發(fā)管理流數(shù)據(jù)處理平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實(shí)時采集-->數(shù)據(jù)實(shí)時計算-->數(shù)據(jù)實(shí)時查詢服務(wù)。實(shí)時采集主要應(yīng)對海量數(shù)據(jù)進(jìn)行高性能的實(shí)時數(shù)據(jù)采集處理，以實(shí)時、高效、低延遲為核心驅(qū)動點(diǎn)，具備毫秒級數(shù)據(jù)觸發(fā)能力，實(shí)現(xiàn)秒級單位時間窗口的數(shù)據(jù)統(tǒng)計分析能力。需要支持的數(shù)據(jù)源類型可以分為以下四類：網(wǎng)絡(luò)協(xié)議數(shù)據(jù)源，包括Socket、JMS、HTTP、HTTPS等常見類型的網(wǎng)絡(luò)協(xié)議。本/異地文件數(shù)據(jù)源，包括目錄掃描、文本文件，F(xiàn)TP，SDTP等數(shù)據(jù)。分布式文件系統(tǒng)數(shù)據(jù)源，包括HDFS，HBase，Hive等數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2，Teradata，vertica等數(shù)據(jù)。支持物聯(lián)網(wǎng)網(wǎng)關(guān)采集：將物聯(lián)網(wǎng)數(shù)據(jù)從物聯(lián)網(wǎng)網(wǎng)關(guān)接入，提供協(xié)議適配和標(biāo)準(zhǔn)化處理，以及滿足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。來自多種數(shù)據(jù)源的實(shí)時信息，因?yàn)槠鋾r效性高，數(shù)據(jù)的有效期短暫，需要實(shí)時提取和分析來自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應(yīng)用中進(jìn)行處理。同時，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對外開放能力。流數(shù)據(jù)引擎開發(fā)提供數(shù)據(jù)融合，統(tǒng)計，分析的高速處理能力，對于實(shí)時性要求較高的數(shù)據(jù)計算提供支撐的功能流數(shù)據(jù)計算模型管理開發(fā)提供對已設(shè)計完成的數(shù)據(jù)計算模型進(jìn)行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流數(shù)據(jù)計算公共模型開發(fā)開發(fā)提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調(diào)用，可重復(fù)使用的功能流數(shù)據(jù)計算結(jié)果接口開發(fā)開發(fā)提供對流數(shù)據(jù)計算結(jié)果接口開發(fā)功能和計算結(jié)果數(shù)據(jù)可通過接口形式供可視化調(diào)用或其他應(yīng)用的功能流數(shù)據(jù)計算模型查詢開發(fā)提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進(jìn)行模型再利用，減少其他用戶開發(fā)工作量的功能。數(shù)據(jù)開發(fā)平臺數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實(shí)現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉(zhuǎn)換，提升開發(fā)效率。平臺支持可視化開發(fā)與原生態(tài)開發(fā)，開發(fā)空間基于脫敏數(shù)據(jù)開發(fā)和驗(yàn)證，通過驗(yàn)證后的工作流再發(fā)布到生產(chǎn)空間，生產(chǎn)空間基于實(shí)際的數(shù)據(jù)來調(diào)度工作流進(jìn)行數(shù)據(jù)生產(chǎn)。統(tǒng)一調(diào)度管理平臺支持對數(shù)據(jù)開發(fā)與管理任務(wù)的統(tǒng)一調(diào)度，包括流程設(shè)計與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實(shí)現(xiàn)對采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一的調(diào)度與管理。以一個業(yè)務(wù)量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺中以數(shù)據(jù)流作為驅(qū)動,通過控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到各個異構(gòu)系統(tǒng)，多個子系統(tǒng)的協(xié)同調(diào)度。數(shù)據(jù)智能建設(shè)數(shù)據(jù)血緣分析平臺提供血緣分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有來源的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質(zhì)量問題。元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關(guān)系和以父子依賴關(guān)系展示對象等有向血緣關(guān)系。影響性分析包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對象變更時的緣由和影響關(guān)系。血緣分析是元數(shù)據(jù)分析中重要的分析應(yīng)用，以圖形方式清晰的展現(xiàn)出元數(shù)據(jù)（表、視圖、字段、指標(biāo)）每一步數(shù)據(jù)的來源情況，數(shù)據(jù)的來源情況包括該元數(shù)據(jù)的直接或間接使用到的其他元數(shù)據(jù)和加工該元數(shù)據(jù)所使用的加工規(guī)則。元數(shù)據(jù)對象和對象之間以連線方式表現(xiàn)出血緣分析的結(jié)果。重要性分析分析各元數(shù)據(jù)對象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)資源平臺中各層次的包、表等對象的重要程度，指導(dǎo)數(shù)據(jù)資源平臺開發(fā)和維護(hù)團(tuán)隊對重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控。無關(guān)性分析與重要性分析相反，隨著數(shù)據(jù)資源平臺系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報表，找出這些無關(guān)的內(nèi)容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡化工作負(fù)載，降低項(xiàng)目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。智能標(biāo)簽管理在數(shù)據(jù)資源的分類管理中，平臺按照數(shù)據(jù)資源的生命周期對數(shù)據(jù)資源進(jìn)行分層，即輸入層、加工層和輸出層。輸入層是指數(shù)據(jù)從各個數(shù)據(jù)源抽取到大數(shù)據(jù)平臺，輸出層是指大數(shù)據(jù)平臺數(shù)據(jù)輸出到外部渠道或內(nèi)部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內(nèi)進(jìn)行加工處理的過程。數(shù)據(jù)標(biāo)簽管理平臺提供數(shù)據(jù)標(biāo)簽管理功能，可對已導(dǎo)入的數(shù)據(jù)資產(chǎn)標(biāo)簽進(jìn)行增加、修改、刪除以及分類標(biāo)簽的導(dǎo)入導(dǎo)出功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性隨業(yè)務(wù)發(fā)生變化時數(shù)據(jù)資產(chǎn)標(biāo)簽?zāi)軌蜢`活變化。標(biāo)簽?zāi)０骞芾砥脚_提供數(shù)據(jù)標(biāo)簽?zāi)０骞芾砉δ?，可通過下載功能將標(biāo)簽?zāi)０鍖?dǎo)出為Excel文件格式，對數(shù)據(jù)標(biāo)簽進(jìn)行編輯整理后批量導(dǎo)入到平臺中，并提供對標(biāo)簽?zāi)０娴脑黾?、修改、刪除等操作?；A(chǔ)標(biāo)簽管理開發(fā)以列表形式和智能推薦形式將平臺中設(shè)置的基礎(chǔ)標(biāo)簽進(jìn)行呈現(xiàn)列表形式是將所有的基礎(chǔ)標(biāo)簽一一列出，并可以按照熱度進(jìn)行排序智能推薦形式是指根據(jù)最近時間段內(nèi)的標(biāo)簽的訪問頻率、搜索頻率等，以輪播的形式循環(huán)展現(xiàn)熱門標(biāo)簽的功能。標(biāo)簽關(guān)系展現(xiàn)開發(fā)通過標(biāo)簽將相關(guān)聯(lián)的數(shù)據(jù)目錄關(guān)聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)據(jù)盛筵的展示效果，做到通過一張圖就可以將某一條數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)、以及數(shù)據(jù)之間的關(guān)系全部展示出來的功能。開發(fā)通過標(biāo)簽訪問次數(shù)統(tǒng)計出熱門標(biāo)簽，讓平臺運(yùn)維人員了解哪些標(biāo)簽是訪問頻率高的、是符合用戶訪問習(xí)慣的，并結(jié)合用戶的搜索記錄，優(yōu)化標(biāo)簽設(shè)置，使之更通用和人性化的功能。數(shù)據(jù)探索管理平臺提供了數(shù)據(jù)探索工具，支持用戶通過數(shù)據(jù)探索工具對擁有權(quán)限的數(shù)據(jù)進(jìn)行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。在平臺上用戶可以在此頁面通過各種過濾條件查詢出自己權(quán)限范圍內(nèi)滿足條件的報表，并進(jìn)行對應(yīng)的設(shè)為首頁及關(guān)注操作。業(yè)務(wù)畫像分析畫像分析是面向業(yè)務(wù)的標(biāo)簽和畫像管理中臺，整合了多類型存儲資源的數(shù)據(jù)，能夠幫助企業(yè)構(gòu)建業(yè)務(wù)標(biāo)簽體系。本次項(xiàng)目中，我司所建設(shè)平臺中的畫像分析功能同時內(nèi)置完善的標(biāo)簽運(yùn)營機(jī)制和靈活的圈群分析模版，適用于用戶行為、設(shè)備管理、企業(yè)檔案、地理分布等數(shù)據(jù)分析場景。影響分析平臺提供影響分析功能，通過可視化的圖形界面，對數(shù)據(jù)資產(chǎn)及所有后續(xù)影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)流向和定位數(shù)據(jù)出錯時影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)。全鏈分析平臺提供全鏈分析功能，通過可視化的界面，對數(shù)據(jù)資產(chǎn)所有來源和后續(xù)影響的關(guān)聯(lián)數(shù)據(jù)資產(chǎn)進(jìn)行展示，可幫助用戶分析數(shù)據(jù)來源和定位數(shù)據(jù)質(zhì)量問題及后續(xù)影響的數(shù)據(jù)資產(chǎn)。表關(guān)聯(lián)度分析平臺提供表關(guān)聯(lián)度分析功能，通過分析數(shù)據(jù)庫表數(shù)據(jù)資產(chǎn)與其他資產(chǎn)的的關(guān)系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指標(biāo)等關(guān)系，并以報表形式輸出分析結(jié)果，幫助用戶分析數(shù)據(jù)資產(chǎn)之間的關(guān)聯(lián)程度。方案核心價值高效運(yùn)營高質(zhì)量的數(shù)據(jù)有助于減低IT建設(shè)及運(yùn)維成本，對各委辦相關(guān)業(yè)務(wù)系統(tǒng)安全穩(wěn)定運(yùn)行及其重要。解決數(shù)據(jù)質(zhì)量問題通過數(shù)據(jù)管理，及時發(fā)現(xiàn)、解決及監(jiān)控數(shù)據(jù)問題，從根本上改善和解決系統(tǒng)的數(shù)據(jù)問題，保證數(shù)據(jù)的可用性、數(shù)據(jù)質(zhì)量等。規(guī)范和共享數(shù)據(jù)管理能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，實(shí)現(xiàn)數(shù)據(jù)廣泛共享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價值。風(fēng)險管理嚴(yán)密的數(shù)據(jù)安全制機(jī)，可以降低政務(wù)數(shù)據(jù)風(fēng)險。數(shù)據(jù)流程管控通過數(shù)據(jù)管理可以將數(shù)據(jù)管理各環(huán)節(jié)打通，實(shí)現(xiàn)完整的數(shù)據(jù)管控流程。數(shù)據(jù)管理創(chuàng)新業(yè)務(wù)流程和資源配置的優(yōu)化，可以提高業(yè)務(wù)管理能力。

服務(wù)場景設(shè)計數(shù)據(jù)資產(chǎn)管理服務(wù)場景方案通過構(gòu)建多種編目視圖、一體化資源交換、可視化質(zhì)量監(jiān)控，輔助實(shí)施工程師、業(yè)務(wù)人員進(jìn)行數(shù)據(jù)資產(chǎn)盤點(diǎn)，提升數(shù)據(jù)價值。面向?qū)ο螅悍?wù)場景流程場景應(yīng)用展示數(shù)據(jù)開發(fā)管理服務(wù)場景方案通過數(shù)據(jù)集成管理為企業(yè)構(gòu)建一個強(qiáng)大、高效、安全的數(shù)據(jù)處理工廠，支撐各類數(shù)據(jù)應(yīng)用需求。通過構(gòu)建面向數(shù)倉、組件豐富、混合處理、易上手的數(shù)據(jù)開發(fā)平臺，為BI工程師、數(shù)據(jù)治理人員賦能，讓人人都是數(shù)倉工程師。場景服務(wù)能力特色的數(shù)倉應(yīng)用組件在數(shù)據(jù)處理組件的基礎(chǔ)上，封裝了部分?jǐn)?shù)倉特色組件。計算分區(qū)設(shè)計區(qū)與運(yùn)行區(qū)隔離，保障運(yùn)行環(huán)境穩(wěn)定同時，兼顧開發(fā)。發(fā)布機(jī)制，維持程序版本狀態(tài)。數(shù)據(jù)脫敏平臺支持常用脫敏算法：固定值替換，數(shù)據(jù)模糊化，數(shù)據(jù)裁切、分段替換、MD5處理、哈希處理、隨機(jī)填充、偏移值加密等。場景應(yīng)用展示數(shù)據(jù)全生命周期管理服務(wù)場景方案通過構(gòu)建靈活設(shè)計數(shù)據(jù)歸檔、銷毀策略等能力，不僅保證系統(tǒng)數(shù)據(jù)存儲效率好可以實(shí)現(xiàn)對數(shù)據(jù)的全生命周期管理，讓實(shí)施工程師、業(yè)務(wù)人員可以方便的管理數(shù)據(jù)生老病死。場景應(yīng)用展示數(shù)據(jù)管理大屏信息安全保障總體方案項(xiàng)目的安全建設(shè)，在“以需求為導(dǎo)向，以應(yīng)用為發(fā)展，統(tǒng)一規(guī)劃，共同建設(shè)，加強(qiáng)協(xié)調(diào)，講究實(shí)效，資源共享，安全保密”的指導(dǎo)思想下，遵循以下原則：符合標(biāo)準(zhǔn)的原則安全方案設(shè)計將嚴(yán)格遵循物聯(lián)網(wǎng)行業(yè)領(lǐng)域的相關(guān)國家標(biāo)準(zhǔn)，以使系統(tǒng)建設(shè)符合國家相關(guān)法規(guī)的要求，同時保證系統(tǒng)的開放性。策略性、綜合性和整體性原則建立特殊行業(yè)專網(wǎng)安全與其它行業(yè)應(yīng)用支撐平臺，需要先制定完整的、一致性的信息安全策略體系，并且將安全策略體系和其他相關(guān)策略相協(xié)調(diào)，建立完整的業(yè)務(wù)網(wǎng)安全防范體系。系統(tǒng)先進(jìn)性和實(shí)用性原則在保證滿足應(yīng)用系統(tǒng)業(yè)務(wù)需求的同時，體現(xiàn)出整體系統(tǒng)的先進(jìn)性。將先進(jìn)的技術(shù)與現(xiàn)有的成熟技術(shù)和標(biāo)準(zhǔn)結(jié)合起來，充分考慮到平臺業(yè)務(wù)應(yīng)用的現(xiàn)狀和未來發(fā)展趨勢。系統(tǒng)可靠性和穩(wěn)定性原則整體設(shè)計中將選用成熟、高可靠性安全產(chǎn)品，合理設(shè)計系統(tǒng)架構(gòu)，同時制定可靠的備份和容災(zāi)策略。系統(tǒng)可擴(kuò)展性和可伸縮性原則采用模塊化、標(biāo)準(zhǔn)化設(shè)計，可以根據(jù)未來業(yè)務(wù)性能及安全需求的變化而變化，實(shí)現(xiàn)平滑的擴(kuò)容和升級。系統(tǒng)安全性和可管理性原則綜合采用各種先進(jìn)的安全技術(shù)和產(chǎn)品，加上制度和管理的保證，保證平臺的安全穩(wěn)定運(yùn)行。對于大規(guī)模部署的系統(tǒng)，采用集中管理平臺，對系統(tǒng)中的網(wǎng)絡(luò)設(shè)備、安全產(chǎn)品、應(yīng)用軟件等進(jìn)行集中的管理和部署。合理整合的原則對原有的業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)及安全等設(shè)施進(jìn)行合理整合。盡量減少對原有網(wǎng)絡(luò)、系統(tǒng)性能的影響。并在安全與性能間作出權(quán)衡。需求、風(fēng)險、成本折衷原則在設(shè)計信息系統(tǒng)安全時，要在安全需求、安全風(fēng)險和安全成本之間進(jìn)行平衡和折衷。此外要確保系統(tǒng)的安全，需要保證會議的保密性、真實(shí)性、合法性、不可否認(rèn)性。系統(tǒng)主要從系統(tǒng)安全，數(shù)據(jù)安全，應(yīng)用安全三個方面采取了相應(yīng)安全措施。系統(tǒng)安全1)系統(tǒng)服務(wù)器設(shè)備采用專業(yè)的服務(wù)器配置，進(jìn)行安全最大化配置，關(guān)閉所有不必要的服務(wù)和端口。系統(tǒng)通訊所使用的少量端口都是采用的在1024以上的不常用的高端端口，管理員很容易監(jiān)測。提高了系統(tǒng)安全性。2)核心設(shè)備支持NAT、代理服務(wù)器以及各種防火墻的自適應(yīng)，不但可以實(shí)現(xiàn)基于內(nèi)外網(wǎng)絡(luò)的正常通信，還可以利用現(xiàn)有的網(wǎng)絡(luò)安全系統(tǒng)保證整個系統(tǒng)的通信安全。3)系統(tǒng)管理安全：整體系統(tǒng)均有嚴(yán)格的日志記錄，從系統(tǒng)日志上可分析判斷安全隱患。數(shù)據(jù)安全1)數(shù)據(jù)加密：用戶身份驗(yàn)證的目的是防止賬號被非法使用。為保證系統(tǒng)的使用安全，對連接平臺的任何一項(xiàng)服務(wù)都設(shè)置了身份驗(yàn)證保障，所有這些驗(yàn)證過程都采用MD5、DES對口令進(jìn)行雙層加密傳輸，以確保安全；系統(tǒng)還通過先進(jìn)的四次握手驗(yàn)證機(jī)制來嚴(yán)格確保用戶的合法性；除此之外，系統(tǒng)密碼的存儲還采用了不可逆加密算法MD5，也有效保證了密碼的安全。2)傳輸安全：系統(tǒng)平臺中的所有數(shù)據(jù)，都采用了符合最新國際標(biāo)準(zhǔn)的256位AES高強(qiáng)度動態(tài)數(shù)據(jù)加密技術(shù)進(jìn)行加密和解密。AES加密現(xiàn)在廣泛應(yīng)用于分布式開放網(wǎng)絡(luò)中，它的高強(qiáng)度加密、高運(yùn)行效率使得它在政府、軍隊、金融、運(yùn)營商等領(lǐng)域都發(fā)揮了極大的作用；AES加密算法的使用為系統(tǒng)的用戶數(shù)據(jù)提供了一個重要的保護(hù)層，能完全杜絕信息在傳輸、存儲過程中被非法獲??；同時，系統(tǒng)隨機(jī)密鑰也經(jīng)過動態(tài)加密后再在網(wǎng)絡(luò)上傳輸，徹底保證數(shù)據(jù)的安全，使得系統(tǒng)更加安全可靠。3)防火墻和NAT：穿透防火墻和NAT是軟件重要技術(shù)指標(biāo)之一。網(wǎng)絡(luò)防火墻的部署和網(wǎng)絡(luò)安全策略的規(guī)劃如今已經(jīng)成為企業(yè)、政府在布網(wǎng)時關(guān)注的重點(diǎn)，這一變化要求軟件不僅要在各種不同類型的防火墻和NAT下穩(wěn)定運(yùn)行，還要保證網(wǎng)絡(luò)原有的安全機(jī)制不被破壞。采用先進(jìn)的跨網(wǎng)關(guān)通訊體系，解決防火墻和NAT穿越問題，使軟件可運(yùn)行在各種復(fù)雜的網(wǎng)絡(luò)環(huán)境中，實(shí)現(xiàn)跨網(wǎng)關(guān)通訊。對于通過傳輸層網(wǎng)關(guān)過濾（根據(jù)TCP和UDP端口信息對數(shù)據(jù)進(jìn)行有選擇的過濾）的防火墻，用戶只需要在軟件設(shè)置中開發(fā)UDP通信端口即可；NAT方式的防火墻，是指即多個虛假IP共享一個真實(shí)的IP地址，這種防火墻是最常見也是用得最普遍的防火墻，是大多數(shù)公司內(nèi)部局域網(wǎng)通過路由器上網(wǎng)普遍采用的機(jī)制，針對這種防火墻系統(tǒng)作了專門的設(shè)計，使得所有的數(shù)據(jù)包能自動穿過該類防火墻而無需用戶做任何的特殊配置。應(yīng)用安全1)賬號策略強(qiáng)制賬號的按角色分權(quán)設(shè)置，實(shí)現(xiàn)賬號分級管理，每人每賬號授權(quán)，消除共享賬號，清理系統(tǒng)多余的賬號與賬號組，賬號變更管理審計。針對不能實(shí)現(xiàn)每人每賬號的管理員賬號，系統(tǒng)根據(jù)角色定義賬號，將賬號集中掌控在有限的1-2人中，在管理制度和流程控制上對此類賬號的擁有者加以強(qiáng)化，各級別賬號均能按照個人設(shè)置用戶賬號，每個賬號應(yīng)至少包括以下屬性：賬號有效期、權(quán)限類型（如以角色代碼表示）、口令復(fù)雜度和賬號描述。系統(tǒng)管理員能新增、刪除或編輯賬號，可對賬號具體屬性進(jìn)行設(shè)置。其中新增賬號默認(rèn)權(quán)限由該賬號所屬角色設(shè)定。多用戶多角色，允許多個用戶以不同的方式登錄，分別完成自己的操作，每個賬戶可以被賦予下面任意一個或多個角色，以行使不同的功能。2)會議過程控制會議室加鎖功能：系統(tǒng)采用獨(dú)創(chuàng)的會議鎖定及請出會場功能，在會議進(jìn)行時可以將會議鎖定，會議被鎖定后，其他人將不能登陸進(jìn)會議，排除了會議過程中其他的惡意干擾；對擾亂會議秩序的與會者可以通過“請出會場”功能將之請出會議，使會議能正常有序進(jìn)行。

項(xiàng)目建設(shè)方案項(xiàng)目實(shí)施方案項(xiàng)目實(shí)施地點(diǎn)對于本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目，我司將在采購人所指定的地點(diǎn)進(jìn)行實(shí)施交付。項(xiàng)目實(shí)施工期本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目的實(shí)施工期為9個月(自合同簽定起)，我司將在9個月內(nèi)完成本項(xiàng)目要求的所有系統(tǒng)需求開發(fā)、測試具備整體功能上線條件。項(xiàng)目實(shí)施過程需求分析按采購人的要求，我公司負(fù)責(zé)開展詳細(xì)全面的需求調(diào)研工作，進(jìn)行需求分析并形成需求說明書由采購人確認(rèn)。對于業(yè)務(wù)部門提出的應(yīng)用軟件升級需求，由現(xiàn)場工程師與業(yè)務(wù)部門進(jìn)行溝通，了解業(yè)務(wù)部門對應(yīng)用軟件的升級需求，形成需求文檔，經(jīng)相關(guān)部門確認(rèn)后，按雙方商定的開發(fā)進(jìn)度進(jìn)行開發(fā)和實(shí)施。首先需要經(jīng)雙方協(xié)調(diào)，制定《需求調(diào)研計劃》及《需求調(diào)研大綱》，確定準(zhǔn)備工作、需求調(diào)研的內(nèi)容、方法方式以及人員和日程安排等內(nèi)容，用戶也須做好準(zhǔn)備工作，經(jīng)雙方同意后按此計劃開始調(diào)研。調(diào)研正式開始前，項(xiàng)目開發(fā)組應(yīng)檢查所有必要的準(zhǔn)備工作已經(jīng)圓滿完成。按調(diào)研計劃的進(jìn)度進(jìn)行現(xiàn)場調(diào)研，主要任務(wù)是用業(yè)務(wù)語言描述客戶需求。盡可能及早落實(shí)主要算法，確定關(guān)鍵參數(shù)，掌握客戶政策文件，收集需要打印的報表等。每天應(yīng)將當(dāng)天調(diào)研的內(nèi)容整理成文檔，并及時與用戶確認(rèn)，提高工作效率。及時將訪談記錄、用戶政策材料整理成規(guī)范格式的需求分析報告，向客戶項(xiàng)目組長匯報調(diào)研結(jié)果，共同對需求分析報告內(nèi)容進(jìn)行確認(rèn)。同時明確今后需求變更控制的規(guī)程需求變更控制流程。對于調(diào)研期間未落實(shí)的問題，以待明確問題的形式體現(xiàn)在需求報告中，并確定落實(shí)期限。項(xiàng)目開發(fā)組根據(jù)調(diào)研編寫《系統(tǒng)需求分析報告》，并由項(xiàng)目組評審，不合格的部分進(jìn)一步完善調(diào)研；評審?fù)ㄟ^后由雙方共同簽署評審意見，并正式生效。對于軟件生產(chǎn)過程而言，需求階段是整個過程中最重要的階段，需求分析成果的好壞將直接導(dǎo)致項(xiàng)目的成功與否。評審?fù)ㄟ^后的需求報告將成為系統(tǒng)的設(shè)計、開發(fā)、測試、實(shí)施、試運(yùn)行和項(xiàng)目驗(yàn)收的基本依據(jù)之一，因此原則上用戶需求將不再因?yàn)槠渌蛩氐母淖兌兏缧柽M(jìn)行此種變更，需經(jīng)雙方項(xiàng)目負(fù)責(zé)人協(xié)商確定。開發(fā)組與客戶一起制定總體項(xiàng)目計劃，共同確定本項(xiàng)目的各項(xiàng)工作進(jìn)度安排，明確每一階段的工作內(nèi)容，以及需要用戶配合完成的具體工作。軟件開發(fā)項(xiàng)目經(jīng)理召集項(xiàng)目組全體成員一起討論和明確系統(tǒng)設(shè)計、數(shù)據(jù)結(jié)構(gòu)、每個人的工作內(nèi)容、各部分之間的接口關(guān)聯(lián)等。做到每個項(xiàng)目組成員對項(xiàng)目的總體情況、整體工作目標(biāo)和個人工作目標(biāo)、工作時間、與其他人的關(guān)系、工作的方式方法等都有個清晰的概念，為項(xiàng)目的順利開展及項(xiàng)目組成員間的良好溝通做好鋪墊。全面考慮調(diào)研時用戶提出的每個功能模塊，開發(fā)出的程序應(yīng)貼近用戶需求，開發(fā)人員應(yīng)從用戶的角度來考慮問題。做到定期檢查和總結(jié)，來保證整體程序的完整性、一致性和協(xié)調(diào)性，保證項(xiàng)目按計劃進(jìn)行。如果發(fā)現(xiàn)有重大問題可能影響項(xiàng)目進(jìn)展，向PM和部門負(fù)責(zé)人員提出。在開發(fā)過程中有不明確的需求，應(yīng)該盡量以書面的形式與用戶交流。項(xiàng)目開發(fā)組通過對系統(tǒng)的功能、運(yùn)行和性能要求加以分析，產(chǎn)生一個高層次的系統(tǒng)結(jié)構(gòu)、軟件結(jié)構(gòu)、接口和數(shù)據(jù)格式的設(shè)計，形成《系統(tǒng)設(shè)計報告》（其中包括數(shù)據(jù)庫設(shè)計），提交項(xiàng)目組評審。對其中評審不合格的部分進(jìn)一步完善和重新策劃，評審?fù)ㄟ^后，作為后續(xù)軟件開發(fā)和測試的基礎(chǔ)。安裝調(diào)測測試是檢驗(yàn)軟件開發(fā)結(jié)果質(zhì)量的重要手段之一，根據(jù)階段不同，可將測試劃分為三個階段：單元測試、集成測試和系統(tǒng)測試。首先是單元測試，側(cè)重于核實(shí)軟件的最小可測試元素。單元可以是一個窗口（窗體），也可以是一個函數(shù)、菜單、報表或一個存儲過程。單元測試應(yīng)對單元內(nèi)所有重要的控制路徑設(shè)計測試用例，以便發(fā)現(xiàn)單元內(nèi)部的錯誤，保證模塊自身的準(zhǔn)確性和流暢性。集成測試是把通過單元測試的各個模塊組裝在一起之后，按設(shè)計要求進(jìn)行的測試，以便發(fā)現(xiàn)與接口有關(guān)的各種錯誤，保證系統(tǒng)的初步正確和穩(wěn)定。系統(tǒng)測試在單元測試和集成測試后，基于系統(tǒng)的整體需求說明書而對系統(tǒng)進(jìn)行的準(zhǔn)確性和完整性的測。根據(jù)測試的內(nèi)容和側(cè)重點(diǎn)不同又可將測試分為：功能測試、性能測試和安全性測試。功能測試是對軟件系統(tǒng)的功能需求進(jìn)行的測試。主要暴露由于系統(tǒng)說明寫的不明確或開發(fā)人員對系統(tǒng)說明的誤解或理解不足造成的功能錯誤。性能測試是為描述測試對象與性能相關(guān)的特征并對其進(jìn)行評價，而實(shí)施和執(zhí)行的一類測試，如描述和評價計時配置文件、執(zhí)行流、響應(yīng)時間以及操作的可靠性和限制等特征。包括負(fù)載測試、強(qiáng)度測試、并發(fā)測試、恢復(fù)測試等內(nèi)容：負(fù)載測試：核實(shí)在保持配置不變的情況下，測試對象在不同操作條件（如不同用戶數(shù)、事務(wù)數(shù)等）下性能行為的可接受性；壓力測試：核實(shí)測試對象性能行為在異常或極端條件（如資源減少或用戶數(shù)過多）之下的可接受性；并發(fā)操作測試：核實(shí)測試對象在處理多個并發(fā)請求時的可接受性；恢復(fù)測試：恢復(fù)測試可確保測試對象能成功完成故障轉(zhuǎn)移，并能從導(dǎo)致意外數(shù)據(jù)損失或數(shù)據(jù)完整性破壞的各種硬件、軟件或網(wǎng)絡(luò)故障中恢復(fù)。通過加強(qiáng)性能測試提高軟件可靠性，使系統(tǒng)每年中斷工作次數(shù)不超過3次，累計時間不超過1小時。安全性測試是測試系統(tǒng)在防止非授權(quán)的內(nèi)部或外部用戶的訪問或故意破壞等情況時的表現(xiàn)。測試人員在軟件開發(fā)過程中開始編寫測試用例和測試大綱，根據(jù)制定的《測試計劃》，在軟件功能模塊完成后，根據(jù)需求和設(shè)計結(jié)果的要求對軟件進(jìn)行測試，填寫《測試問題卡》，并進(jìn)行測試總結(jié)編制《測試總結(jié)報告》，對測試所發(fā)現(xiàn)的問題進(jìn)行追蹤修改和確認(rèn)測試，直到徹底修改完成并對其它模塊沒有任何影響。測試過程盡量能夠模擬用戶環(huán)境測試幾個周期。測試組測試時，開發(fā)人員應(yīng)密切配合，及時改正測試出的問題，對問題應(yīng)做備忘錄，以便將來查詢。測試資料作為項(xiàng)目驗(yàn)收的重要內(nèi)容之一。為加快項(xiàng)目進(jìn)度，建議用戶方測試組及早介入測試，最晚也應(yīng)在我公司的系統(tǒng)測試完成之前介入，并按事先雙方約定的規(guī)范方式進(jìn)行測試。項(xiàng)目實(shí)施文檔在本次項(xiàng)目中，我公司將為采購人提供全面的實(shí)施交付物，具體包括如下文檔與內(nèi)容：概要設(shè)計書概要設(shè)計專家評審詳細(xì)設(shè)計說明書架構(gòu)設(shè)計說明書數(shù)據(jù)設(shè)計說明書項(xiàng)目實(shí)施方案測試方案測試用例測試報告部署方案非功能性能指標(biāo)源代碼系統(tǒng)使用說明(規(guī)范)、運(yùn)維說明書系統(tǒng)培訓(xùn)資料和培訓(xùn)記錄項(xiàng)目總結(jié)報告項(xiàng)目驗(yàn)收方案項(xiàng)目驗(yàn)收標(biāo)準(zhǔn)驗(yàn)收性能標(biāo)準(zhǔn)在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目中，對平臺性能的驗(yàn)收標(biāo)準(zhǔn)如下：數(shù)據(jù)融合計算（百萬級數(shù)據(jù)）執(zhí)行效率達(dá)到分鐘級別；最大開發(fā)團(tuán)隊管理數(shù)≤100個；系統(tǒng)數(shù)據(jù)開發(fā)人員并發(fā)訪問≤200個；服務(wù)響應(yīng)時間≤3s；調(diào)度執(zhí)行器在線數(shù)據(jù)任務(wù)的調(diào)度管理和執(zhí)行數(shù)量≤2000個。驗(yàn)收文檔標(biāo)準(zhǔn)在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目中，我司必須要提供如下文檔才能滿足項(xiàng)目驗(yàn)收的標(biāo)準(zhǔn)，具體文檔包括：概要設(shè)計書概要設(shè)計專家評審詳細(xì)設(shè)計說明書架構(gòu)設(shè)計說明書數(shù)據(jù)設(shè)計說明書項(xiàng)目實(shí)施方案測試方案測試用例測試報告部署方案非功能性能指標(biāo)源代碼系統(tǒng)使用說明(規(guī)范)、運(yùn)維說明書系統(tǒng)培訓(xùn)資料和培訓(xùn)記錄項(xiàng)目總結(jié)報告項(xiàng)目驗(yàn)收方法整個驗(yàn)收工作包括集成測試、用戶接收測試、初驗(yàn)、試運(yùn)行、終驗(yàn)，驗(yàn)收的方法與步驟按現(xiàn)有標(biāo)準(zhǔn)的項(xiàng)目管理辦法執(zhí)行。驗(yàn)收分兩個階段：安裝運(yùn)行前的用戶測試；系統(tǒng)正式運(yùn)行后的實(shí)際業(yè)務(wù)操作的檢驗(yàn)。系統(tǒng)運(yùn)行滿足約定時間后，進(jìn)行軟件的驗(yàn)收工作。驗(yàn)收前和用戶溝通好驗(yàn)收的時間和方式，制定驗(yàn)收計劃，列出模塊清單，并且安排好每個模塊驗(yàn)收的時間段，按照這個時間列表與用戶逐個模塊驗(yàn)收。雙方事先商定驗(yàn)收過程要求及參加人員，必要時邀請行業(yè)專家和相關(guān)領(lǐng)導(dǎo)參與。軟件驗(yàn)收以符合需求分析、業(yè)務(wù)要求作為驗(yàn)收標(biāo)準(zhǔn)。驗(yàn)收結(jié)果說明軟件滿足下列要求：符合通過審核的需求和設(shè)計文檔中表述的功能要求，以及符合性能和安全性等非功能要求。問題處理：將驗(yàn)收過程中發(fā)現(xiàn)的所有錯誤都必須記錄下來；對錯誤進(jìn)行分類和確定級別；報告的錯誤得到修改/處理，或修改錯誤的計劃得到同意。驗(yàn)收工作建議由用戶相關(guān)部門組織的專家組對軟件系統(tǒng)進(jìn)行全面的驗(yàn)收和鑒定，并出具項(xiàng)目驗(yàn)收小組領(lǐng)導(dǎo)簽字的項(xiàng)目驗(yàn)收報告，并簽署驗(yàn)收意見，本公司在此過程中將全程參與，在現(xiàn)場進(jìn)行驗(yàn)收前的維護(hù)工作。驗(yàn)收步驟1）編寫驗(yàn)收方案。項(xiàng)目實(shí)施單位在對項(xiàng)目進(jìn)行深入的需求分析的基礎(chǔ)上編寫驗(yàn)收方案（計劃書），提交用戶單位審定。2）成立項(xiàng)目驗(yàn)收小組。實(shí)施測試驗(yàn)收工作時，應(yīng)當(dāng)成立項(xiàng)目驗(yàn)收小組，具體負(fù)責(zé)驗(yàn)收事宜。3）項(xiàng)目驗(yàn)收的實(shí)施。嚴(yán)格按照用戶審定的驗(yàn)收方案對項(xiàng)目應(yīng)用軟件、網(wǎng)絡(luò)集成效果、系統(tǒng)文檔資料等進(jìn)行全面的測試和驗(yàn)收。4）提交驗(yàn)收報告。項(xiàng)目驗(yàn)收完畢，對項(xiàng)目系統(tǒng)設(shè)計、建設(shè)質(zhì)量、設(shè)備質(zhì)量、軟件運(yùn)行情況等做出全面的評價，得出結(jié)論性意見，對不合格的項(xiàng)目提出整改意見，對遺留問題提出具體的解決意見。5）召開項(xiàng)目驗(yàn)收評審會。召開由驗(yàn)收委員會全體成員參加的項(xiàng)目驗(yàn)收評審會，全面細(xì)致地審核項(xiàng)目驗(yàn)收小組所提交的驗(yàn)收報告，給出最終的驗(yàn)收意見，形成驗(yàn)收評審報告。驗(yàn)收程序驗(yàn)收申請申請：項(xiàng)目竣工后經(jīng)測試和試運(yùn)行合格，實(shí)施單位根據(jù)合同、招標(biāo)書、計劃任務(wù)書，檢查、總結(jié)項(xiàng)目完成情況后向用戶提出初驗(yàn)申請。方式：項(xiàng)目用戶和實(shí)施單位進(jìn)行初驗(yàn)。實(shí)施單位提供材料：初驗(yàn)申請書、完工報告、項(xiàng)目總結(jié)，以及要求的驗(yàn)收評審資料。驗(yàn)收依據(jù)作為項(xiàng)目驗(yàn)收的依據(jù)，一般選用項(xiàng)目合同書、國標(biāo)、行業(yè)標(biāo)準(zhǔn)和相關(guān)政策法規(guī)、國際慣例等。1）項(xiàng)目合同書。簽定的項(xiàng)目有關(guān)合同；2）其它。具體驗(yàn)收標(biāo)準(zhǔn)和依據(jù)由監(jiān)理單位根據(jù)具體項(xiàng)目情況提出，項(xiàng)目業(yè)主審定。驗(yàn)收內(nèi)容項(xiàng)目驗(yàn)收標(biāo)準(zhǔn)是判斷項(xiàng)目成果是否達(dá)到要求的依據(jù)，因而應(yīng)具有科學(xué)性和權(quán)威性，只有制定科學(xué)的標(biāo)準(zhǔn)，才能有效地驗(yàn)收項(xiàng)目結(jié)果。驗(yàn)收內(nèi)容一般包括測試（復(fù)核）、資料評審、質(zhì)量鑒定三部分。驗(yàn)收的內(nèi)容包括以下幾個部分：1）驗(yàn)收內(nèi)容一般包括軟件驗(yàn)收（按功能要求的可執(zhí)行軟件、開發(fā)計劃文檔、詳細(xì)設(shè)計文檔、質(zhì)量保證計劃、確認(rèn)測試計劃、源代碼、使用說明書等產(chǎn)品、單元測試等）和硬件驗(yàn)收（設(shè)備的型號、設(shè)備外觀、設(shè)備相應(yīng)附件、設(shè)備運(yùn)行、網(wǎng)絡(luò)運(yùn)行等）2）驗(yàn)收評測工作主要包括：文檔分析、方案制定、現(xiàn)場測試、問題單提交、測試報告；3）驗(yàn)收測試內(nèi)容主要包括：功能度、安全可靠性、易用性、可擴(kuò)充性、兼容性、效率、資源占用率、用戶文檔。4）文檔驗(yàn)收標(biāo)準(zhǔn)一般包括：文檔完備性、內(nèi)容針對性、內(nèi)容充分性、內(nèi)容一致性、文字明確性、圖表詳實(shí)性、易讀性、文檔價值等5）軟件、硬件驗(yàn)收標(biāo)準(zhǔn)要符合國家和相關(guān)標(biāo)準(zhǔn)。驗(yàn)收簽收流程在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目中，對于項(xiàng)目的驗(yàn)收工作，合同驗(yàn)收要由我方提供，并需要得到甲方授權(quán)的項(xiàng)目驗(yàn)收負(fù)責(zé)人簽字認(rèn)可為準(zhǔn)。項(xiàng)目管理方案項(xiàng)目進(jìn)度管理項(xiàng)目進(jìn)度管理控制是對項(xiàng)目在施工階段的作業(yè)程序和作業(yè)時間進(jìn)行規(guī)劃、實(shí)施、檢查、調(diào)查等一系列活動的總稱，即在施工項(xiàng)目實(shí)施過程中，按照已經(jīng)核準(zhǔn)的工程進(jìn)度計劃，采用科學(xué)的方法定期追蹤和檢驗(yàn)項(xiàng)目的實(shí)際進(jìn)度情況，并參照項(xiàng)目先期進(jìn)度計劃，找出兩者之間的偏差，并對產(chǎn)生偏差的各種因素及影響工期的程度進(jìn)行分析與評估；而后組織、指導(dǎo)、協(xié)調(diào)相關(guān)單位，幫助其及時采取有效措施調(diào)整項(xiàng)目進(jìn)度，使工期在計劃執(zhí)行中不斷循環(huán)往復(fù)，直至該項(xiàng)目按合同約定的工期如期完工，或在保證工程質(zhì)量和不增加原先預(yù)算的工程造價的條件下，使該項(xiàng)目提前完工并交付使用。施工工程項(xiàng)目進(jìn)度控制是影響工程項(xiàng)目管理中成本、進(jìn)度、質(zhì)量三大控制因素中的主要控制因素，貫穿于整個施工工程項(xiàng)目的投標(biāo)、設(shè)計、施工、投產(chǎn)等所有階段，尤其是在項(xiàng)目施工階段，相關(guān)部門對該項(xiàng)目進(jìn)度的把控管理力度居于首位，不容忽視。施工工程項(xiàng)目的進(jìn)度控制管理，是工程建設(shè)過程中一項(xiàng)兼具實(shí)施復(fù)雜性的復(fù)合任務(wù)，是工程建設(shè)的三大目標(biāo)的重要部分。對工程項(xiàng)目進(jìn)度進(jìn)行合理有效的控制管理，有利于盡快發(fā)揮投資者投入產(chǎn)出比，有利于經(jīng)濟(jì)秩序的良好維持，同時有利于提高企業(yè)效益。項(xiàng)目質(zhì)量管理在項(xiàng)目開發(fā)過程中，策劃可行的質(zhì)量管理活動，然后正確地執(zhí)行和控制這些活動以保證絕大多數(shù)的缺陷可以在開發(fā)過程中被發(fā)現(xiàn)。在項(xiàng)目里，評審和測試活動是預(yù)先策劃好的，在執(zhí)行過程中，根據(jù)已定義好的過程來執(zhí)行這些活動。通過執(zhí)行這些活動來識別缺陷，然后消除這些缺陷。本項(xiàng)目質(zhì)量保證貫穿于整個項(xiàng)目的始終，開展有計劃、有組織的活動，不斷地改進(jìn)質(zhì)量。保證指通過實(shí)施計劃中的系統(tǒng)質(zhì)量活動，確保項(xiàng)目實(shí)施滿足要求所需的所用過程。項(xiàng)目團(tuán)隊的管理人員采取有效措施，監(jiān)督項(xiàng)目的具體實(shí)施結(jié)果，判斷它們是否符合項(xiàng)目有關(guān)的質(zhì)量標(biāo)準(zhǔn)，并確定消除產(chǎn)生不良結(jié)果原因的途徑，通過質(zhì)量控制確保項(xiàng)目質(zhì)量目標(biāo)得以完滿實(shí)現(xiàn)。通過配置管理控制項(xiàng)目的進(jìn)化過程，如持續(xù)的、變化的變更，為軟件系統(tǒng)提供了穩(wěn)定性，從而保證項(xiàng)目有質(zhì)量的按規(guī)定工期交付。項(xiàng)目風(fēng)險管理項(xiàng)目從策劃、實(shí)施到投入使用,需要一個較長的過程,在這個過程中存在著很大的不確定性,可能會給項(xiàng)目帶來各種各樣的風(fēng)險。如果不能很好地管理項(xiàng)目的風(fēng)險,就會給項(xiàng)目造成各種各樣的損失,因此,必須加強(qiáng)對工程項(xiàng)目風(fēng)險的監(jiān)控,以確保高效地實(shí)現(xiàn)工程項(xiàng)目的目標(biāo)(1)建立項(xiàng)目風(fēng)險監(jiān)控體制。主要包括:項(xiàng)目風(fēng)險責(zé)任制、項(xiàng)目風(fēng)險信息報告制、項(xiàng)目風(fēng)險監(jiān)控決策制、項(xiàng)目風(fēng)險監(jiān)控溝通程序等。(2)確定要監(jiān)控的項(xiàng)目風(fēng)險事件。(3)確定項(xiàng)目風(fēng)險監(jiān)控責(zé)任。所有需要監(jiān)控的項(xiàng)目風(fēng)險都必須落實(shí)到人,同時明確崗位職責(zé),對于項(xiàng)目風(fēng)險控制應(yīng)實(shí)行專人負(fù)責(zé)。(4)確定項(xiàng)目風(fēng)險監(jiān)控的行動時間。指對項(xiàng)目風(fēng)險的監(jiān)控要制訂相應(yīng)的時間計劃和安排,計劃和規(guī)定出解決項(xiàng)目風(fēng)險問題的時間表與時間限制。(5)制訂具體項(xiàng)目風(fēng)險監(jiān)控方案。根據(jù)項(xiàng)目風(fēng)險的特性和時間計劃制訂出各具體項(xiàng)目風(fēng)險控制方案,找出能夠控制項(xiàng)目風(fēng)險的各種備選方案,然后要對方案作必要可行性分析,以驗(yàn)證各項(xiàng)目風(fēng)險控制備選方案的效果,最終選定要采用的風(fēng)險控制方案或備用方案。(6)實(shí)施具體項(xiàng)目風(fēng)險監(jiān)控方案。按照選定的具體項(xiàng)目風(fēng)險控制方案開展項(xiàng)目風(fēng)險控制的活動。(7)跟蹤具體項(xiàng)目風(fēng)險的控制結(jié)果。就是要收集風(fēng)險事件控制工作的信息并給出反饋,即利用跟蹤去確認(rèn)所采取的項(xiàng)目風(fēng)險控制活動是否有效,項(xiàng)目風(fēng)險的發(fā)展是否有新的變化等,以便不斷提供反饋信息,從而指導(dǎo)項(xiàng)目風(fēng)險控制方案的具體實(shí)施。(8)判斷項(xiàng)目風(fēng)險是否已經(jīng)消除。若認(rèn)定某個項(xiàng)目風(fēng)險已經(jīng)解除,到該項(xiàng)目風(fēng)險的控制作業(yè)就已完成,若判斷該項(xiàng)目風(fēng)險仍未解除,就要重新進(jìn)行項(xiàng)目風(fēng)險識別,重新開展下一步的項(xiàng)目風(fēng)險監(jiān)控作業(yè)。項(xiàng)目溝通管理為加強(qiáng)項(xiàng)目的順利實(shí)施，了解工程進(jìn)度、施工質(zhì)量的現(xiàn)狀，分析解決實(shí)際問題，確保過程順利完工，特制定本制度；一、會議時間、地點(diǎn)、參會人員會議時間：每周一上午九點(diǎn)整會議地點(diǎn)：待定參會人員：項(xiàng)目班子成員，項(xiàng)目經(jīng)理、客戶負(fù)責(zé)人二、 會議流程a) 會議簽到；參加會議人員于開會前5分鐘提前到會議室，在簽到表上簽名；b) 項(xiàng)目經(jīng)理梳理上周的工作（進(jìn)度、質(zhì)量、安全）；c)項(xiàng)目經(jīng)理報告公司在上次例會提出（要求、建議、措施）的落實(shí)情況；d)項(xiàng)目經(jīng)理提出本周存在的問題、缺陷，解決辦法； e) 項(xiàng)目經(jīng)理匯報項(xiàng)目下周的工作安排、節(jié)點(diǎn)和目標(biāo)；f) 項(xiàng)目經(jīng)理提出需要公司出面協(xié)調(diào)解決的事情（如果有）；g) 公司領(lǐng)導(dǎo)針對項(xiàng)目的實(shí)際情況提出下月的（要求、建議、措施）；三、 會議紀(jì)律a) 參會人員如有特殊情況不能參加，需事先向項(xiàng)目組請假，并且提前寫好個人的工作匯報委托專人代為匯報，如無故缺席視同曠工，按公司相關(guān)管理制度處理；b) 每次開會前，參會人員應(yīng)積極準(zhǔn)備當(dāng)次會議議題的相關(guān)內(nèi)容，不能敷衍了事；c) 參會人員應(yīng)尊重發(fā)言人的工作成果，禁止隨意中斷發(fā)言人的講話，搶奪話語權(quán)，惡意中傷他人，謾罵嬉戲；d) 匯報工作情況時，應(yīng)言簡意賅，能真實(shí)反映項(xiàng)情況；e) 參會人員會議期間不得隨意離席，手機(jī)調(diào)成振動或靜音狀態(tài)以免擾亂會議秩序，如有重要電話要示意會議主持人，到會議室外接聽；f) 參會人員應(yīng)自帶筆紙，及時做好的記錄，以便做好各自范圍內(nèi)的交付任務(wù)g) 會議記錄由會議組織者指定人員記錄，第二天形成文件，下發(fā)參會人員，同時存放檔案室一份備查。

項(xiàng)目服務(wù)方案項(xiàng)目資源投入項(xiàng)目人員管理在本次企業(yè)大數(shù)據(jù)智能管理與治理平臺項(xiàng)目中，我方將嚴(yán)格按照甲方項(xiàng)目的需求挑選合適的項(xiàng)目服務(wù)人員，并在整個項(xiàng)目實(shí)施過程中對我方項(xiàng)目人員進(jìn)行嚴(yán)格、規(guī)范的管理。具體，我方