集團企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

集團企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案集團企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案集團企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案XX銀行XX項目投標(biāo)書——技術(shù)部分北京宇信易誠科技有限公司I目錄TOC\o\h\z\u第1章方案總述 11.1項目背景 11.2項目目標(biāo) 21.3項目建設(shè)原則 2第2章系統(tǒng)建設(shè)規(guī)劃 42.1項目建設(shè)目標(biāo)的理解 42.1.1項目建設(shè)范圍 4業(yè)務(wù)范圍 4組織范圍 4數(shù)據(jù)范圍 42.1.2項目建設(shè)內(nèi)容 4基礎(chǔ)數(shù)據(jù)平臺 5集團級指標(biāo)體系 6統(tǒng)一報表平臺 62.22.2.1集團大數(shù)據(jù)平臺的建設(shè)目標(biāo) 72.2.12.2.1集團大數(shù)據(jù)平臺一期建設(shè)目標(biāo) 72.2.22.2.1集團大數(shù)據(jù)平臺二期建設(shè)目標(biāo) 7第3章整體設(shè)計方案 83.1系統(tǒng)設(shè)計方法論 83.1.1方法論 83.1.2設(shè)計原則 10標(biāo)準(zhǔn)規(guī)范 11開放性 12可擴展性 12高性能 13可管理性 14高可用性 15安全性 16可重用性 173.2數(shù)據(jù)平臺技術(shù)體系 183.2.1數(shù)據(jù)平臺邏輯架構(gòu) 18數(shù)據(jù)集成區(qū) 19集團分析型數(shù)據(jù)區(qū) 19管理平臺區(qū) 19統(tǒng)一報表展現(xiàn)平臺 20ETL設(shè)計關(guān)鍵技術(shù)點說明 20.1.1ETL處理策略 20.1.2ETL處理流程 21.2質(zhì)量檢核 21.2.1ETL處理原則 21.2.2ETL處理方法 213.2.2數(shù)據(jù)采集設(shè)計 22T+1數(shù)據(jù)采集 22數(shù)據(jù)補錄 24.1檢核規(guī)則管理 24.2錄入任務(wù)管理 25.3數(shù)據(jù)錄入 26.4查詢操作 27.5錄入任務(wù)審批 283.3數(shù)據(jù)平臺數(shù)據(jù)體系 283.3.1數(shù)據(jù)架構(gòu)設(shè)計 28源系統(tǒng)數(shù)據(jù)落地區(qū) 29緩沖數(shù)據(jù)層(ODM) 30基礎(chǔ)整合層（FDM） 30共性加工層（ADM） 31數(shù)據(jù)集市層（MDM） 31各層次數(shù)據(jù)特點對比 323.3.2數(shù)據(jù)模型設(shè)計 34基礎(chǔ)整合層 34共性加工層 34.1共性層模型設(shè)計思路 34.2共性加工層模型建設(shè)方法 36.2.1存儲什么數(shù)據(jù)：存儲具有一定程度匯總的指標(biāo) 36.2.2數(shù)據(jù)如何獲取：指標(biāo)分類和指標(biāo)ID 37.2.3數(shù)據(jù)如何存儲：星型模型 37.2.4如何適應(yīng)多應(yīng)用系統(tǒng)共性數(shù)據(jù)存儲的需求：與業(yè)務(wù)需求輕耦合 38.2.5如何適應(yīng)指標(biāo)頻繁變化的要求：具有高度的擴展性 39.3共性加工層當(dāng)前目標(biāo) 41.4共性加工層遠景目標(biāo) 42.4.1完善貴公司數(shù)據(jù)平臺及之上的應(yīng)用系統(tǒng)數(shù)據(jù)架構(gòu) 42.4.2擴展共性加工層指標(biāo)數(shù)據(jù) 43.4.3關(guān)于共性加工層主題劃分 43集市數(shù)據(jù)層 433.3.3靈活查詢功能架構(gòu) 443.3.4數(shù)據(jù)備份與恢復(fù) 45數(shù)據(jù)備份與恢復(fù)實施思路 45數(shù)據(jù)備份機制 46數(shù)據(jù)恢復(fù)機制 46數(shù)據(jù)清理機制 47存儲空間規(guī)劃 473.4數(shù)據(jù)平臺應(yīng)用體系 493.4.1統(tǒng)一報表平臺 49報表管理模塊 49.1系統(tǒng)管理 50.1.1支持主流關(guān)系型業(yè)務(wù)數(shù)據(jù)源 50.1.2支持多種數(shù)據(jù)集類型 50.1.3基于RBAC模型的權(quán)限控制模式 51.1.3.1可配置的權(quán)限控制項 53.1.3.2資源權(quán)限 54.1.3.3報表數(shù)據(jù)權(quán)限 55.1.4對角色授權(quán) 55.1.4.1權(quán)限對照設(shè)置 55.1.4.2角色權(quán)限復(fù)制 56.1.4.3角色權(quán)限查看 57.1.5可配置的系統(tǒng)資源 57.1.5.1菜單項管理 57.1.5.2系統(tǒng)日志管理 58.1.5.3公告管理 58.1.5.4通用代碼管理 58.2報表管理 59.2.1提供統(tǒng)一的報表管理方式 59.2.1.1統(tǒng)一的報表服務(wù)器管理 60.2.1.2統(tǒng)一的參數(shù)模板管理 60.2.1.3統(tǒng)一的報表發(fā)布方式 62.2.1.4統(tǒng)一的報表資源管理 62.2.2報表生命周期管理 63.2.3調(diào)度式自動執(zhí)行報表 63.2.4支持多種報表緩存方式 64.2.5支持歷史數(shù)據(jù)追數(shù) 66.2.6支持制度包導(dǎo)入更新 67.3指標(biāo)管理 67.3.1指標(biāo)邏輯架構(gòu) 67.3.2指標(biāo)數(shù)據(jù)流程 67.3.3功能框架 68.3.4指標(biāo)引擎 68.3.4.1指標(biāo)引擎框架 68.3.4.2指標(biāo)引擎功能 69.3.4.3派生指標(biāo)定義優(yōu)化器 69.3.4.4指標(biāo)分類組裝 70.3.4.5指標(biāo)運算調(diào)度器 70.3.4.6指標(biāo)運算器 71.3.4.7數(shù)據(jù)回寫器 71.3.5指標(biāo)管理 71.3.5.1基礎(chǔ)指標(biāo)信息維護 72.3.5.2派生指標(biāo)信息維護 72.3.5.3派生指標(biāo)公式維護 73.3.5.4指標(biāo)權(quán)限管理 75.3.5.5指標(biāo)計算信息維護 76.3.6指標(biāo)庫管理 76.3.7指標(biāo)運算 78.3.8指標(biāo)應(yīng)用 78.3.9與元數(shù)據(jù)平臺關(guān)系 79.4自定義報表 79.4.1類Excel報表設(shè)計器 80.4.2多種報表樣式支持 82.4.3自定義報表特色 85.4.4支持用戶自定義公式 87.4.5支持數(shù)據(jù)校驗 88.4.6支持異常變動校驗 90.4.7歸屬信息查詢和導(dǎo)出 91數(shù)據(jù)管理模塊 92.1數(shù)據(jù)保存 92.1.1保存內(nèi)容 92.1.2保存時間 93.2數(shù)據(jù)狀態(tài) 93.3日志管理 93.4ETL調(diào)度監(jiān)控 95公共管理模塊 95.1機構(gòu)管理 96.1.1行內(nèi)機構(gòu)管理 96.2用戶管理 96.3消息管理 97.4參數(shù)管理 97.5權(quán)限管理 98.6機構(gòu)變動管理 98報表展現(xiàn)模塊 99.1數(shù)據(jù)補錄 99.1.1支持主流關(guān)系型數(shù)據(jù)庫 99.1.2靈活的錄入與查詢方式 99.1.2.1錄入任務(wù)審批 101.1.2.2數(shù)據(jù)正式入庫 102.1.3支持事件式多表同步更新 102.1.3.1檢核規(guī)則管理 103.2報表展現(xiàn) 104.2.1統(tǒng)一的報表展現(xiàn)方式 104.2.2報表導(dǎo)航圖 105.2.3個性化報表資源管理 105.2.3.1我的收藏夾 105.2.3.2我的文件夾 106.2.4常用指標(biāo)查詢 106.2.5報表指標(biāo)查詢 107.2.6高級指標(biāo)查詢 108.3儀表盤 109.3.1提供關(guān)鍵的高粒度、高縱深的匯總信息(即關(guān)鍵信息) 109.3.2強大的圖形引擎 110.3.3靈活的儀表盤設(shè)計器 110.3.4提供1對1的信息服務(wù) 111.3.5個性化首頁設(shè)計器 112.3.6個性首頁管理 112.4智能報告 113.4.1新增智能報告 114.4.2查詢智能報告 114.4.3修改智能報告 115.4.4刪除智能報告 115.4.5生成智能報告 1163.4.2數(shù)據(jù)圖表化展示 116功能設(shè)計 118.1指標(biāo)體系查詢 118.2集團排名 119.3行長報表 119.4大額變動 121.5匯率&利率查詢 121指標(biāo)體系設(shè)計 123.1規(guī)模指標(biāo) 123.2財務(wù)指標(biāo) 124.3質(zhì)量指標(biāo) 124.4流動性指標(biāo) 124.5預(yù)算指標(biāo) 125.6市場風(fēng)險指標(biāo) 125.7外部監(jiān)管指標(biāo) 125.8風(fēng)險資產(chǎn) 125.9資金變動情況 1263.5數(shù)據(jù)平臺設(shè)計關(guān)鍵點 1273.5.1數(shù)據(jù)平臺性能保障 127性能保障概述 127ETL性能保證 129數(shù)據(jù)庫性能 130J2EE 1393.5.2時間窗口 1413.5.3備份策略 1423.5.4數(shù)據(jù)模型的歷史數(shù)據(jù)存儲 1443.5.5源系統(tǒng)變更影響分析 146第4章軟件及推薦硬件設(shè)備配置方案 1484.1系統(tǒng)軟件方案 1484.1.1統(tǒng)一報表平臺 150概述 150技術(shù)架構(gòu) 150.1技術(shù)層次劃分 151.2技術(shù)工具選擇 152物理架構(gòu) 153功能架構(gòu) 155功能介紹 156.1集成BI報表 156.2數(shù)據(jù)補錄 159.3即席查詢 162.4儀表盤 167.5快捷報表 170性能保障 171工具價值 173.1報表應(yīng)用集成與整合利器 173.2可靈活組裝的邏輯系統(tǒng) 173.3與BI報表工具互為補充 173.4廣泛的環(huán)境與平臺支持 174.5廣泛的認證平臺支持 174.6完善的用戶和權(quán)限管理策略 174.7支持大用戶量的并發(fā)訪問 174.8統(tǒng)一緩存機制 175總結(jié) 175宇信行業(yè)案例 1750宇信易誠軟件產(chǎn)品介紹 1750.1綜合報表系統(tǒng)（RIDP） 1750.1.1報表應(yīng)用整合平臺 175搭建BI工具與前端展現(xiàn)之間的橋梁 177整合主流報表工具與數(shù)據(jù)源 177提供不同機構(gòu)不同部門的統(tǒng)一用戶體驗 178滿足不同機構(gòu)的部署需求 178滿足規(guī)范化開發(fā)要求 178滿足信息系統(tǒng)間集成與整合需求 1780.1.2RIDP功能介紹 178報表展現(xiàn)(RptView) 178.1統(tǒng)一的報表展現(xiàn)方式 179.2個性化報表資源管理 180.2.1我的收藏夾 180.2.2我的文件夾 180快捷報表(SmartRpt) 181.1良好的通用性 181.1.1支持主流關(guān)系型數(shù)據(jù)庫 181.1.2良好的性能 181.1.3多種報表輸出格式 181.2Excel式報表設(shè)計器 182.3多種報表樣式支持 182儀表盤(EIS) 184.1提供關(guān)鍵的高粒度、高縱深的匯總信息(即關(guān)鍵信息) 185.2強大的圖形引擎 185.3靈活的儀表盤設(shè)計器 186.4提供1對1的信息服務(wù) 187.4.1個性化首頁設(shè)計器 187.4.2個性首頁管理 188數(shù)據(jù)錄入(Input) 189.1支持主流關(guān)系型數(shù)據(jù)庫 189.2靈活的錄入與查詢方式 190.3增強的數(shù)據(jù)安全性 192.3.1錄入任務(wù)分發(fā) 192.3.2錄入任務(wù)審批 193.3.3數(shù)據(jù)正式入庫 193.4支持事件式多表同步更新 194.4.1檢核規(guī)則管理 194報表管理(Report) 195.1提供統(tǒng)一的報表管理方式 196.1.1統(tǒng)一的報表服務(wù)器管理 196.1.2統(tǒng)一的參數(shù)模板管理 197.1.3統(tǒng)一的報表發(fā)布方式 198.1.4統(tǒng)一的報表資源管理 199.2調(diào)度式自動執(zhí)行報表 2000.2指標(biāo)管理 2010.2.1指標(biāo)邏輯架構(gòu) 2010.2.2指標(biāo)數(shù)據(jù)流程 2010.2.3功能框架 2020.2.4指標(biāo)引擎 202指標(biāo)引擎框架 202指標(biāo)引擎功能 203派生指標(biāo)定義優(yōu)化器 203指標(biāo)分類組裝 204指標(biāo)運算調(diào)度器 204指標(biāo)運算器 205數(shù)據(jù)回寫器 2050.2.5指標(biāo)管理 205基礎(chǔ)指標(biāo)信息維護 206派生指標(biāo)信息維護 206派生指標(biāo)公式維護 207指標(biāo)權(quán)限管理 209指標(biāo)計算信息維護 2100.2.6指標(biāo)庫管理 2100.2.7指標(biāo)運算 2120.2.8指標(biāo)應(yīng)用 212集團企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案第215頁方案總述項目背景隨著貴公司業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增多，業(yè)務(wù)數(shù)據(jù)量的規(guī)模也在急速膨脹。集團數(shù)據(jù)整合平臺作為貴公司的數(shù)據(jù)整合中心，需緊密銜接總行ODS、數(shù)據(jù)倉庫及集團特色系統(tǒng)、并且需考慮到貴公司未來將要建設(shè)的系統(tǒng)的接入問題。根據(jù)貴公司業(yè)務(wù)的拓展和條線管理的需要，各業(yè)務(wù)部門對決策信息依賴程度不斷提高，經(jīng)常會有一些高靈活性、多變性、高及時性的信息需求。貴公司目前需要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一數(shù)據(jù)平臺，僅依靠傳統(tǒng)的數(shù)據(jù)加工模式對源數(shù)據(jù)進行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、數(shù)據(jù)質(zhì)量低下、以及缺乏良好的數(shù)據(jù)統(tǒng)計分析手段等問題導(dǎo)致集團范圍的決策分析成為難題，不能充分發(fā)揮業(yè)務(wù)積累的相關(guān)數(shù)據(jù)的作用數(shù)據(jù)的及時性和準(zhǔn)確性難以保證，給管理和營銷增加了難度。本次數(shù)據(jù)報表平臺項目承擔(dān)了集團主要業(yè)務(wù)數(shù)據(jù)的集中和整合及報表應(yīng)用展示的功能。通過數(shù)據(jù)平臺的建設(shè)，將為零售、公司、同業(yè)、績效、人力資源、運營等業(yè)務(wù)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支持，是貴公司業(yè)務(wù)精細化管理能力的重要基礎(chǔ)類系統(tǒng)。數(shù)據(jù)平臺從中遠期角度來看，將成為貴公司管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水平、推進戰(zhàn)略決策效能、支撐綜合運營分析的數(shù)據(jù)分析平臺。通過數(shù)據(jù)的集中化、標(biāo)準(zhǔn)化管理，實現(xiàn)集團數(shù)據(jù)的信息共享，構(gòu)建實現(xiàn)企業(yè)數(shù)據(jù)平臺及相關(guān)的管理決策分析應(yīng)用。項目目標(biāo)貴公司數(shù)據(jù)平臺建設(shè)項目是搭建一個對接總行ODS、數(shù)據(jù)倉庫、銜接集團特色業(yè)務(wù)的數(shù)據(jù)平臺。從底層的數(shù)據(jù)平臺、DW到上層的BI（商業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺在各交易系統(tǒng)之間、交易系統(tǒng)和報表分析系統(tǒng)之間實現(xiàn)數(shù)據(jù)交換，通過數(shù)據(jù)的加工、整合實現(xiàn)報表統(tǒng)計和分析。建立基礎(chǔ)數(shù)據(jù)模型、ETL平臺、ETL管理調(diào)度平臺、確保數(shù)據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成集團統(tǒng)一的數(shù)據(jù)視圖，建設(shè)成為貴公司系統(tǒng)應(yīng)用的基礎(chǔ)數(shù)據(jù)平臺。2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實現(xiàn)統(tǒng)一報表平臺，為貴公司業(yè)務(wù)分析和經(jīng)驗決策提供全面的支持。項目建設(shè)原則本次項目建設(shè)遵循的技術(shù)原則如下： 數(shù)據(jù)平臺的正確建立和合理利用將直接影響到貴公司的未來信息化發(fā)展，貴公司數(shù)據(jù)平臺建設(shè)應(yīng)參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來的數(shù)據(jù)平臺信息化建設(shè)和管理，在項目方案中應(yīng)該能夠體現(xiàn)以下原則：1. 數(shù)據(jù)集中原則： 將總行ODS、數(shù)據(jù)倉庫數(shù)據(jù)、集團特色數(shù)據(jù)和應(yīng)用統(tǒng)一進行管理和運維，保證資源的高度利用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)和應(yīng)用的絕對安全和穩(wěn)定。2. 數(shù)據(jù)標(biāo)準(zhǔn)集團統(tǒng)一原則： 依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義性。未來集團特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是集團數(shù)據(jù)結(jié)構(gòu)模型的子集。對集團級數(shù)據(jù)實行單點維護，確保集團級數(shù)據(jù)的可靠性和一致性。3. 數(shù)據(jù)管理集團統(tǒng)一原則： 統(tǒng)一的存儲管理，統(tǒng)一規(guī)劃使用存儲資源，提高存儲資源使用效率。統(tǒng)一的性能管理，根據(jù)實際業(yè)務(wù)需求，合理分配資源，確保對數(shù)據(jù)的訪問性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn)的安全管理，提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)的安全隱患。4. 降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制原則： 減低集團級數(shù)據(jù)的冗余度，降低數(shù)據(jù)對存儲資源的需求。各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理實際需求，確定對屬于其它系統(tǒng)數(shù)據(jù)的同步需求，制訂出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進行實施。系統(tǒng)建設(shè)規(guī)劃項目建設(shè)目標(biāo)的理解數(shù)據(jù)平臺的建設(shè)對于貴公司是一個非常重要的系統(tǒng)工程，承擔(dān)著貴公司企業(yè)數(shù)據(jù)整合、數(shù)據(jù)交換以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)平臺的建設(shè)使得貴公司將自身信息資產(chǎn)切實、有效的管理起來，形成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框架，并為統(tǒng)一報表系統(tǒng)提供有效的數(shù)據(jù)支撐。項目建設(shè)范圍貴公司數(shù)據(jù)平臺本期項目建設(shè)范圍，可以從涉及到的業(yè)務(wù)范圍、涵蓋到的組織范圍以及數(shù)據(jù)平臺需要接入的源系統(tǒng)范圍三個角度來分析。業(yè)務(wù)范圍本項目的業(yè)務(wù)范圍以貴公司零售、公司業(yè)務(wù)條線為主，計財、績效、運營等為輔。組織范圍本項目業(yè)務(wù)涵蓋的組織范圍為貴公司及轄內(nèi)二級集團、支行。數(shù)據(jù)范圍本項目的源系統(tǒng)范圍包括目前貴公司的主要業(yè)務(wù)系統(tǒng)，并需要滿足本期數(shù)據(jù)平臺主題應(yīng)用的數(shù)據(jù)需求。項目建設(shè)內(nèi)容基礎(chǔ)數(shù)據(jù)平臺基礎(chǔ)數(shù)據(jù)平臺技術(shù)架構(gòu)搭建從總體上規(guī)劃企業(yè)級的基礎(chǔ)數(shù)據(jù)平臺，平臺將包含歷史數(shù)據(jù)存儲、基礎(chǔ)數(shù)據(jù)平臺、統(tǒng)一報表平臺、自動調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺要采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；基礎(chǔ)數(shù)據(jù)平臺ETL監(jiān)控、調(diào)度功能，完成從原數(shù)據(jù)倉庫數(shù)據(jù)移植到新數(shù)據(jù)平臺的工作。ETL子系統(tǒng)實現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取至數(shù)據(jù)平臺，并進行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等操作，形成數(shù)據(jù)分析、決策所需的各種匯總數(shù)據(jù)模型、分析模型，最終形成各種報表、查詢以及KPI指標(biāo)。ETL子系統(tǒng)實現(xiàn)自動化的數(shù)據(jù)抽取、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動化數(shù)據(jù)重新加載、加載錯誤自動處理、臟數(shù)據(jù)識別等功能?；A(chǔ)數(shù)據(jù)平臺數(shù)據(jù)補錄功能提供數(shù)據(jù)補錄平臺功能，包括補錄流程管理、補錄模版管理、單筆補錄、批量補錄等。通過補錄平臺實現(xiàn)數(shù)據(jù)平臺無法自動獲取的具備分析價值的數(shù)據(jù)。本期基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作內(nèi)容：接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平臺加載數(shù)據(jù)接口、卸出數(shù)據(jù)格式及校驗標(biāo)準(zhǔn)公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉庫標(biāo)準(zhǔn)與集團特色數(shù)據(jù)標(biāo)準(zhǔn)；數(shù)據(jù)質(zhì)量管控數(shù)據(jù)質(zhì)量管控是一個長期的過程，依托于數(shù)據(jù)管控組織機構(gòu)、流程的建立和完善。數(shù)據(jù)平臺一期進行數(shù)據(jù)質(zhì)量管控體系的初步探索，主要完成如下目標(biāo)：（1）、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，包括功能性和非功能性規(guī)則。功能性規(guī)則主要包括：完整性、唯一性、合法性、準(zhǔn)確性等；非功能性主要包括信息的完整性、一致性、業(yè)務(wù)稽核等；（2）、根據(jù)建立的初步檢查規(guī)則，進行數(shù)據(jù)質(zhì)量的監(jiān)測，出具初步的數(shù)據(jù)質(zhì)量檢查報告；（3）、根據(jù)數(shù)據(jù)質(zhì)量檢查報告，提出數(shù)據(jù)質(zhì)量提升的解決方案。集團級指標(biāo)體系借鑒與參考總行統(tǒng)一報表指標(biāo)體系成果，在此基礎(chǔ)上建立滿足集團口徑指標(biāo)體系，擴展集團指標(biāo)；滿足業(yè)務(wù)日常固定報表使用的同時提供多樣化的報表展現(xiàn)界面，包括表格展現(xiàn)，各類圖形展現(xiàn)；要求界面友好，易用性強，并能夠提供具性化應(yīng)用風(fēng)格支持。統(tǒng)一報表平臺構(gòu)建統(tǒng)一報表平臺，實現(xiàn)集團業(yè)務(wù)應(yīng)用報表的集中化管理、一體化服務(wù)；具有報表定制、管理、維護功能；構(gòu)建集團用戶及權(quán)限管理體系，支撐集團業(yè)務(wù)用戶報表應(yīng)用需求。能夠快速響應(yīng)各級業(yè)務(wù)應(yīng)用人員的報表需求，滿足報表批量分類存檔的需要。2.2.1集團大數(shù)據(jù)平臺的建設(shè)目標(biāo)2.2.1集團大數(shù)據(jù)平臺一期建設(shè)目標(biāo)基于對貴公司系統(tǒng)現(xiàn)狀的了解，貴公司數(shù)據(jù)平臺一期的建設(shè)目標(biāo)是：1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成集團統(tǒng)一的數(shù)據(jù)視圖，建設(shè)成為貴公司數(shù)據(jù)集中管理和應(yīng)用的基礎(chǔ)數(shù)據(jù)平臺。2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實現(xiàn)統(tǒng)一報表平臺，為貴公司業(yè)務(wù)分析和經(jīng)驗決策提供全面的支持。3、集成現(xiàn)有對公、零售主要系統(tǒng)業(yè)務(wù)固定報表，支撐業(yè)務(wù)數(shù)據(jù)使用需求。4、指標(biāo)數(shù)據(jù)按照圖表樣式進行區(qū)間查詢展示數(shù)據(jù)趨向，波動。5、將集團原指標(biāo)體系按照新指標(biāo)體系進行平移；2.2.1集團大數(shù)據(jù)平臺二期建設(shè)目標(biāo)鑒于一期建設(shè)主要是搭建主體平臺，二期的信息化建設(shè)目標(biāo)是繼續(xù)完善平臺，豐富平臺應(yīng)用效果，全面覆蓋現(xiàn)有舊綜合平臺，將重要數(shù)據(jù)遷移。具體目標(biāo)如下：二期項目中可以集成計財、運營、人力資源等系統(tǒng)報表;支持數(shù)據(jù)圖表展示、SQL查詢等個性化查詢需求；將更多的管理應(yīng)用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)平臺；建立并推廣一套完整的需求與技術(shù)落地標(biāo)準(zhǔn)與體系?？梢灶A(yù)見，隨著數(shù)據(jù)平臺的不斷成熟，業(yè)務(wù)部門對數(shù)據(jù)平臺的認知不斷提高，會有源源不斷的需求基于數(shù)據(jù)平臺提出，這種變化將使得數(shù)據(jù)平臺由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè)務(wù)部門的“拉”，讓業(yè)務(wù)需求作為數(shù)據(jù)平臺持續(xù)良好發(fā)展的源動力。整體設(shè)計方案系統(tǒng)設(shè)計方法論方法論數(shù)據(jù)平臺的項目是一個長期的循序漸進的過程，也是一個不斷創(chuàng)新、修復(fù)、完善的過程，其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)貴公司的業(yè)務(wù)特點以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展藍圖，致力打造一個可擴展的、高可用性的、安全的、高效的、跨部門的可以快速處理海量數(shù)據(jù)的數(shù)據(jù)平臺。在貴公司數(shù)據(jù)平臺建設(shè)方面依據(jù)可重用性、安全性、高可用性、可管理性、可擴展性、高性能的設(shè)計原則采取總體規(guī)劃，分層實現(xiàn)的方式?？v向?qū)用孀陨隙驴矗F公司數(shù)據(jù)平臺的架構(gòu)由邏輯（應(yīng)用）架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)四個層次組成，每個層次內(nèi)部又根據(jù)設(shè)計需要進行抽象分層，從而形成立體的貴公司數(shù)據(jù)平臺項目架構(gòu)方法。邏輯（應(yīng)用）架構(gòu)是貴公司數(shù)據(jù)平臺項目承載的應(yīng)用體系，它描述了貴公司數(shù)據(jù)平臺項目所要實現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需求所必須的公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù)管理等工具組件。數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)實體關(guān)系的分布，它通過數(shù)據(jù)模型的方式進行組織，主要分為緩沖數(shù)據(jù)層(ODS)、基礎(chǔ)數(shù)據(jù)層（FDM）、加工匯總層(ADM)和數(shù)據(jù)集市層(MDM)等四個層次。技術(shù)架構(gòu)是用于支撐貴公司數(shù)據(jù)平臺的數(shù)據(jù)分布和流動的技術(shù)框架，用到的技術(shù)有數(shù)據(jù)庫技術(shù)、數(shù)據(jù)平臺技術(shù)、ETL技術(shù)、多維計算技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)等。作為最底層的物理架構(gòu)，是對貴公司數(shù)據(jù)平臺物理設(shè)備和網(wǎng)絡(luò)的合理規(guī)劃部署，它通過有效地利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備進行擴展為上層架構(gòu)（技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、邏輯架構(gòu)）提供支撐能力。數(shù)據(jù)架構(gòu)數(shù)據(jù)架構(gòu)業(yè)務(wù)實體關(guān)系分布和對應(yīng)的數(shù)據(jù)模型技術(shù)架構(gòu)支撐的技術(shù)架構(gòu)，DW技術(shù)、數(shù)據(jù)庫技術(shù)、ETL技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)和相應(yīng)配套技術(shù)邏輯架構(gòu)模塊組成，需求實現(xiàn)，相應(yīng)的公共模塊，調(diào)度、監(jiān)控、元數(shù)據(jù)管理等非應(yīng)用技術(shù)組件網(wǎng)絡(luò)物理基礎(chǔ)設(shè)施系統(tǒng)基礎(chǔ)設(shè)施物理架構(gòu)物理設(shè)備和網(wǎng)絡(luò)等的合理規(guī)劃和有效擴展，為上層架構(gòu)提供支撐貴公司數(shù)據(jù)平臺架構(gòu)方法立體視圖設(shè)計原則根據(jù)貴公司數(shù)據(jù)平臺提出的系統(tǒng)建議的總體原則，總結(jié)我們在多家金融機構(gòu)建設(shè)數(shù)據(jù)平臺經(jīng)驗，貴公司數(shù)據(jù)平臺的設(shè)計原則體現(xiàn)如下原則：標(biāo)準(zhǔn)規(guī)范，可擴展，開放，前瞻，高性能，穩(wěn)定，安全，易維護，實用，可管理，高可用，可重用。系統(tǒng)設(shè)計原則標(biāo)準(zhǔn)規(guī)范建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴公司數(shù)據(jù)平臺的代碼標(biāo)準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計應(yīng)對有高效數(shù)據(jù)處理要求及日常低能耗操作的兼容性數(shù)據(jù)模型，建設(shè)符合貴公司數(shù)據(jù)平臺遠景目標(biāo)利益的技術(shù)管理體系。數(shù)據(jù)模型：制定表名、字段名命名規(guī)范標(biāo)準(zhǔn)。設(shè)計基礎(chǔ)標(biāo)準(zhǔn)模型及基于基礎(chǔ)數(shù)據(jù)模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型標(biāo)準(zhǔn)。建立數(shù)據(jù)質(zhì)量管理機制，提高貴公司數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量，也是數(shù)據(jù)平臺邁向標(biāo)準(zhǔn)化規(guī)范化管理的重要環(huán)節(jié)。ETL處理：將ETL處理程序分類化，整理規(guī)范出各種ETL處理策略。確保ETL開發(fā)人員所開發(fā)的ETL程序遵循中信總行的規(guī)范。ETL管理：建設(shè)ETL管理平臺，將其納入貴公司的ETL管理體系，形成有貴公司特色的ETL管理制度。開放性系統(tǒng)建設(shè)遵循開放原則，適應(yīng)未來業(yè)務(wù)和技術(shù)發(fā)展，與現(xiàn)有系統(tǒng)進行有序的數(shù)據(jù)交互。數(shù)據(jù)模型：數(shù)據(jù)模型的設(shè)計盡量接口化，關(guān)系與抽象并存。應(yīng)對新出現(xiàn)的業(yè)務(wù)種類，同時能夠兼容與現(xiàn)有系統(tǒng)進行數(shù)據(jù)交互，完成輸入與輸出系統(tǒng)的角色。ETL處理：ETL程序處理邏輯規(guī)則模塊化，應(yīng)對日益更新的技術(shù)發(fā)展及業(yè)務(wù)變更。相關(guān)產(chǎn)品：項目開發(fā)過程中使用的宇信易誠工具類產(chǎn)品可以提供客戶相關(guān)開發(fā)源碼進行二次開發(fā)。后續(xù)開發(fā)：項目組再實施過程中，會對客戶方科技人員進行相關(guān)的技術(shù)培訓(xùn)，使科技人員能夠獨立的進行ETL程序的開發(fā)、報表開發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配置等等可擴展性可擴展性是指數(shù)據(jù)平臺能夠支持貴公司業(yè)務(wù)系統(tǒng)和應(yīng)用系統(tǒng)發(fā)展的需要。在本項目中，具體要從以下幾個方面考慮系統(tǒng)的可擴展性：數(shù)據(jù)模型：設(shè)計基礎(chǔ)數(shù)據(jù)層和數(shù)據(jù)預(yù)處理層模型時應(yīng)充分考慮，除了能夠容納現(xiàn)有源系統(tǒng)的結(jié)構(gòu)設(shè)計，還應(yīng)該盡可能滿足即將要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時還需要制定一套合理的模型設(shè)計規(guī)范，使得新上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型能很方便地擴展到數(shù)據(jù)平臺。ETL處理：需要考慮兩個方面的擴展性，增加新的ETL任務(wù)處理以及原有任務(wù)所處理的數(shù)據(jù)規(guī)模加大，ETL處理架構(gòu)必須能適應(yīng)新的變化，需要考慮通過集群的方式來擴展。數(shù)據(jù)交換平臺：在設(shè)計時應(yīng)考慮，隨著分發(fā)數(shù)據(jù)規(guī)模的擴大和推送節(jié)點的增多，對交換處理和傳輸處理的性能要求會越來越高，必須支持集群的方式進行擴展。此外，數(shù)據(jù)交換平臺還必須提供二次開發(fā)接口，支持SOA服務(wù)模式，可以進行應(yīng)用級的擴展。服務(wù)器：平臺中的每一種服務(wù)器都使用集群擴展模式，可以通過對服務(wù)器數(shù)量的增加獲得更好的數(shù)據(jù)處理和查詢能力。高性能高性能是指在硬件資源有限的情況下，數(shù)據(jù)平臺應(yīng)盡可能的支持盡量多的數(shù)據(jù)服務(wù)需求，還能承受用戶峰值時間段壓力，使得數(shù)據(jù)平臺能夠滿足集團范圍內(nèi)的使用者。在本項目中，高性能的設(shè)計主要體現(xiàn)在以下幾個方面：ETL處理：在進行ETL設(shè)計時，需要考慮大數(shù)據(jù)量條件下的處理效率，確保在規(guī)定的時間窗口內(nèi)完成ETL處理，特別是一些特殊日期的ETL處理，例如結(jié)息日、月底等。數(shù)據(jù)交換平臺：需要考慮在大數(shù)據(jù)量條件下的文件傳輸效率，主要也是體現(xiàn)在一些特殊日期條件下的文件傳輸，以及特殊情況下的全量文件傳輸。數(shù)據(jù)庫設(shè)計：對一些海量數(shù)據(jù)表或頻繁訪問的數(shù)據(jù)表，在數(shù)據(jù)庫設(shè)計的時候需要從數(shù)據(jù)庫設(shè)計的角度考慮性能優(yōu)化機制?？晒芾硇赃@里所說的可管理性主要是指系統(tǒng)運維的可管理性。比如：在實際運行過程中，系統(tǒng)能很方便地對系統(tǒng)的運行狀態(tài)進行監(jiān)控，查看數(shù)據(jù)質(zhì)量情況；出現(xiàn)系統(tǒng)異常時，能及時收到消息通知，并有一套完善的流程來處理數(shù)據(jù)或系統(tǒng)方面的異常等等。在本項目中，可管理性的設(shè)計具體表現(xiàn)在以下幾個方面：ETL處理：在ETL的總體設(shè)計時，確保系統(tǒng)可以監(jiān)控全過程的運行狀態(tài)，并能對異常情況及時提醒，保存完整的處理日志信息，并設(shè)計相應(yīng)的錯誤處理流程。另外，還需要考慮ETL任務(wù)配置的直觀圖形化。數(shù)據(jù)管控：在總體設(shè)計時，應(yīng)充分考慮數(shù)據(jù)的復(fù)雜性，必須能做到多而不亂，能夠清楚了解系統(tǒng)每一個應(yīng)用的轉(zhuǎn)換邏輯和數(shù)據(jù)含義，在任何環(huán)節(jié)有變動時，能迅速的反饋變動產(chǎn)生的影響。數(shù)據(jù)交換平臺：在總體設(shè)計時，需要充分考慮數(shù)據(jù)交換任務(wù)易于配置，傳輸結(jié)果易于監(jiān)控。高可用性高可用性是指系統(tǒng)在一些特殊情況發(fā)生時，依靠架構(gòu)的有效設(shè)計，仍然能保證正常運行。在本項目中，高可用性的設(shè)計主要體現(xiàn)在以下幾個方面：數(shù)據(jù)模型的可用性：模型的設(shè)計應(yīng)能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)平臺集成平臺和將在其上建設(shè)的分析應(yīng)用系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴展不會對其它數(shù)據(jù)模型產(chǎn)生