數(shù)據(jù)平臺系統(tǒng)項目-技術(shù)方案

數(shù)據(jù)平臺系統(tǒng)項目-技術(shù)方案

LT

數(shù)據(jù)平臺項目

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

目錄

第1頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)投標(biāo)書

3.3.1數(shù)據(jù)架構(gòu)設(shè)計................32

3.3.2數(shù)據(jù)模型設(shè)計................38

3.3.3靈活查詢功能架構(gòu)............51

3.3.4數(shù)據(jù)備份與恢復(fù)..............52

3.4數(shù)據(jù)平臺應(yīng)用體系.................56

3.4.1統(tǒng)一報表平臺................56

3.4.2數(shù)據(jù)圖表化展示.............127

3.5數(shù)據(jù)平臺設(shè)計關(guān)鍵點..............138

3.5.1數(shù)據(jù)平臺性能保障...........138

3.5.2時間窗口...................154

3.5.3備份策略...................155

3.5.4數(shù)據(jù)模型的歷史數(shù)據(jù)存儲....157

3.5.5源系統(tǒng)變更影響分析.........160

第4章軟件及推薦硬件設(shè)備配置方案.....162

4.1系統(tǒng)軟件方案.....................162

4.1.1統(tǒng)一報表平臺...............163

北京宇信易誠科技有限公司II

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

第1章方案總述

1.1前言

我們衷心感謝貴行給予我們這樣一個很好的

機會，可以為貴行的數(shù)據(jù)平臺建設(shè)提供技術(shù)解決

方案和項目實施方案的建議書，并通過我們的方

案建議書為及其應(yīng)用系統(tǒng)的建設(shè)提供幫助。

我們期盼與貴行共同努力，以我們在兄弟分行

和其他銀行實施同類項目的經(jīng)驗以及我們使您

的愿景變成現(xiàn)實的能力，為貴行IT建設(shè)增添一

個新的里程碑，也為我們與貴行的真誠合作啟動

一個良好的開端。

該項目除了可以用宇信易誠所具有的經(jīng)驗和

技術(shù)為貴行提供幫助外，我們認為這也是一個與

貴行建立長期戰(zhàn)略合作關(guān)系的寶貴機會。我們?yōu)?/p>

這個目標(biāo)所做出的努力正反映了這一點，我們愿

意建立一個靈活的商務(wù)策略，和服務(wù)質(zhì)量有競爭

力的專家團隊來滿足貴行的需要。

1.2項目背景

隨著貴行業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增

多，業(yè)務(wù)數(shù)據(jù)量的規(guī)模也在急速膨脹。分行數(shù)據(jù)

整合平臺作為貴行的數(shù)據(jù)整合中心，需緊密銜接

第1頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

總行ODS、數(shù)據(jù)倉庫及分行特色系統(tǒng)、并且

需考慮到貴行未來將要建設(shè)的系統(tǒng)的接入問題。

根據(jù)貴行業(yè)務(wù)的拓展和條線管理的需要，各業(yè)務(wù)

部門對決策信息依賴程度不斷提高，經(jīng)常會有一

些高靈活性、多變性、高及時性的信息需求。貴

行目前需要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一

數(shù)據(jù)平臺，僅依靠傳統(tǒng)的數(shù)據(jù)加工模式對源數(shù)據(jù)

進行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、

數(shù)據(jù)質(zhì)量低下、以及缺乏良好的數(shù)據(jù)統(tǒng)計分析手

段等問題導(dǎo)致分行范圍的決策分析成為難題，不

能充分發(fā)揮業(yè)務(wù)積累的相關(guān)數(shù)據(jù)的作用數(shù)據(jù)的

及時性和準(zhǔn)確性難以保證，給管理和營銷增加了

難度。

本次數(shù)據(jù)報表平臺項目承擔(dān)了分行主要業(yè)務(wù)

數(shù)據(jù)的集中和整合及報表應(yīng)用展示的功能。通過

數(shù)據(jù)平臺的建設(shè)，將為零售、公司、同業(yè)、績效、

人力資源、運營等業(yè)務(wù)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支

持，是貴行業(yè)務(wù)精細化管理能力的重要基礎(chǔ)類系

統(tǒng)。數(shù)據(jù)平臺從中遠期角度來看，將成為貴行

管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水

平、推進戰(zhàn)略決策效能、支撐綜合運營分析的數(shù)

據(jù)分析平臺。通過數(shù)據(jù)的集中化、標(biāo)準(zhǔn)化管理，

第1頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

實現(xiàn)分行數(shù)據(jù)的信息共享，構(gòu)建實現(xiàn)企業(yè)數(shù)據(jù)平

臺及相關(guān)的管理決策分析應(yīng)用。

1.1項目目標(biāo)

貴行數(shù)據(jù)平臺建設(shè)項目是搭建一個對接總

行ODS、數(shù)據(jù)倉庫、銜接分行特色業(yè)務(wù)的數(shù)據(jù)

平臺。從底層的數(shù)據(jù)平臺、DW到上層的BI（商

業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺在各交易系統(tǒng)之間、交

易系統(tǒng)和報表分析系統(tǒng)之間實現(xiàn)數(shù)據(jù)交換，通過

數(shù)據(jù)的加工、整合實現(xiàn)報表統(tǒng)計和分析。建立基

礎(chǔ)數(shù)據(jù)模型、ETL平臺、ETL管理調(diào)度平臺、

確保數(shù)據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成

統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行系統(tǒng)應(yīng)用的基礎(chǔ)數(shù)據(jù)

平臺。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺的基礎(chǔ)上實現(xiàn)統(tǒng)一報表平臺，為貴行業(yè)務(wù)分

析和經(jīng)驗決策提供全面的支持。

1.2項目建設(shè)原則

本次項目建設(shè)遵循的技術(shù)原則如下：

第2頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)平臺的正確建立和合理利用將直接影響

到貴行的未來信息化發(fā)展，貴行數(shù)據(jù)平臺建設(shè)應(yīng)

參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來的數(shù)據(jù)平臺

信息化建設(shè)和管理，在項目方案中應(yīng)該能夠體現(xiàn)

以下原則：

1.數(shù)據(jù)集中原則：

將總行ODS、數(shù)據(jù)倉庫數(shù)據(jù)、分行特色數(shù)據(jù)

和應(yīng)用統(tǒng)一進行管理和運維，保證資源的高度利

用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)和應(yīng)用的絕對

安全和穩(wěn)定。

2.數(shù)據(jù)標(biāo)準(zhǔn)分行統(tǒng)一原則：

依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義

性。未來分行特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是分行數(shù)

據(jù)結(jié)構(gòu)模型的子集。對分行級數(shù)據(jù)實行單點維

護，確保分行級數(shù)據(jù)的可靠性和一致性。

3.數(shù)據(jù)管理分行統(tǒng)一原則：

統(tǒng)一的存儲管理，統(tǒng)一規(guī)劃使用存儲資源，提

高存儲資源使用效率。統(tǒng)一的性能管理，根據(jù)實

際業(yè)務(wù)需求，合理分配資源，確保對數(shù)據(jù)的訪問

性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn)的安全管

理，提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)

的安全隱患。

第3頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

4.降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制原則：

減低分行級數(shù)據(jù)的冗余度，降低數(shù)據(jù)對存儲資

源的需求。各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理實際需

求，確定對屬于其它系統(tǒng)數(shù)據(jù)的同步需求，制訂

出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進行實施。

第2章系統(tǒng)建設(shè)規(guī)劃

2.1項目建設(shè)目標(biāo)的理解

數(shù)據(jù)平臺的建設(shè)對于貴行是一個非常重要的

系統(tǒng)工程，承擔(dān)著貴行企業(yè)數(shù)據(jù)整合、數(shù)據(jù)交換

以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)平臺的建設(shè)使得

貴行將自身信息資產(chǎn)切實、有效的管理起來，形

成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框

架，并為統(tǒng)一報表系統(tǒng)提供有效的數(shù)據(jù)支撐。

2.1.1項目建設(shè)范圍

貴行數(shù)據(jù)平臺本期項目建設(shè)范圍，可以從涉

及到的業(yè)務(wù)范圍、涵蓋到的組織范圍以及數(shù)據(jù)平

臺需要接入的源系統(tǒng)范圍三個角度來分析。

2.1.1.1業(yè)務(wù)范圍

本項目的業(yè)務(wù)范圍以貴行零售、公司業(yè)務(wù)條

線為主，計財、績效、運營等為輔。

2.1.1.2組織范圍

第4頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

本項目業(yè)務(wù)涵蓋的組織范圍為貴行及轄內(nèi)

二級分行、支行。

2.1.1.3數(shù)據(jù)范圍

本項目的源系統(tǒng)范圍包括目前貴行的主要

業(yè)務(wù)系統(tǒng)，并需要滿足本期數(shù)據(jù)平臺主題應(yīng)用的

數(shù)據(jù)需求。

2.1.2項目建設(shè)內(nèi)容

2.1.2.1基礎(chǔ)數(shù)據(jù)平臺

基礎(chǔ)數(shù)據(jù)平臺技術(shù)架構(gòu)搭建

從總體上規(guī)劃企業(yè)級的基礎(chǔ)數(shù)據(jù)平臺，平臺

將包含歷史數(shù)據(jù)存儲、基礎(chǔ)數(shù)據(jù)平臺、統(tǒng)一報表

平臺、自動調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺要采

用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；

基礎(chǔ)數(shù)據(jù)平臺ETL監(jiān)控、調(diào)度功能，完成從

原數(shù)據(jù)倉庫數(shù)據(jù)移植到新數(shù)據(jù)平臺的工作。

ETL子系統(tǒng)實現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取

至數(shù)據(jù)平臺，并進行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等

操作，形成數(shù)據(jù)分析、決策所需的各種匯總數(shù)據(jù)

模型、分析模型，最終形成各種報表、查詢以及

KPI指標(biāo)。ETL子系統(tǒng)實現(xiàn)自動化的數(shù)據(jù)抽取、

數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動化數(shù)據(jù)重

新加載、加載錯誤自動處理、臟數(shù)據(jù)識別等功能。

第5頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)補錄功能

提供數(shù)據(jù)補錄平臺功能，包括補錄流程

管理、補錄模版管理、單筆補錄、批量補錄等。

通過補錄平臺實現(xiàn)數(shù)據(jù)平臺無法自動獲取的具

備分析價值的數(shù)據(jù)。

本期基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作

內(nèi)容：

接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平臺加載數(shù)據(jù)接口、卸

出數(shù)據(jù)格式及校驗標(biāo)準(zhǔn)

公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉庫標(biāo)

準(zhǔn)與分行特色數(shù)據(jù)標(biāo)準(zhǔn)；

數(shù)據(jù)質(zhì)量管控

數(shù)據(jù)質(zhì)量管控是一個長期的過程，依托于數(shù)

據(jù)管控組織機構(gòu)、流程的建立和完善。數(shù)據(jù)平臺

一期進行數(shù)據(jù)質(zhì)量管控體系的初步探索，主要完

成如下目標(biāo)：

(1)、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，

包括功能性和非功能性規(guī)則。功能性規(guī)則主要包

括：完整性、唯一性、合法性、準(zhǔn)確性等；非功

能性主要包括信息的完整性、一致性、業(yè)務(wù)稽核

等；

第6頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

（2）、根據(jù)建立的初步檢查規(guī)則，進行數(shù)據(jù)

質(zhì)量的監(jiān)測，出具初步的數(shù)據(jù)質(zhì)量檢查報告；

（3）、根據(jù)數(shù)據(jù)質(zhì)量檢查報告，提出數(shù)據(jù)質(zhì)

量提升的解決方案。

2.1.2.2分行級指標(biāo)體系

借鑒與參考總行統(tǒng)一報表指標(biāo)體系成果，在

此基礎(chǔ)上建立滿足分行口徑指標(biāo)體系，擴展分行

指標(biāo)；滿足業(yè)務(wù)日常固定報表使用的同時提供多

樣化的報表展現(xiàn)界面，包括表格展現(xiàn)，各類圖形

展現(xiàn)；要求界面友好，易用性強，并能夠提供具

性化應(yīng)用風(fēng)格支持。

2.1.2.3統(tǒng)一報表平臺

構(gòu)建統(tǒng)一報表平臺，實現(xiàn)分行業(yè)務(wù)應(yīng)用報表

的集中化管理、一體化服務(wù)；具有報表定制、管

理、維護功能；構(gòu)建分行用戶及權(quán)限管理體系，

支撐分行業(yè)務(wù)用戶報表應(yīng)用需求。能夠快速響應(yīng)

各級業(yè)務(wù)應(yīng)用人員的報表需求，滿足報表批量分

類存檔的需要。

2.2分行數(shù)據(jù)平臺的建設(shè)目標(biāo)

2.2.1分行數(shù)據(jù)平臺一期建設(shè)目標(biāo)

基于對貴行系統(tǒng)現(xiàn)狀的了解,貴行數(shù)據(jù)平臺一

期的建設(shè)目標(biāo)是:

第7頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行數(shù)據(jù)集中管理和應(yīng)用

的基礎(chǔ)數(shù)據(jù)平臺。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺的基礎(chǔ)上實現(xiàn)統(tǒng)一報表平臺，為貴行業(yè)務(wù)

分析和經(jīng)驗決策提供全面的支持。

3、集成現(xiàn)有對公、零售主要系統(tǒng)業(yè)務(wù)固定報

表，支撐業(yè)務(wù)數(shù)據(jù)使用需求。

4、指標(biāo)數(shù)據(jù)按照圖表樣式進行區(qū)間查詢展示

數(shù)據(jù)趨向，波動。

5、將分行原指標(biāo)體系按照新指標(biāo)體系進行平

移；

2.2.2分行數(shù)據(jù)平臺二期建設(shè)目標(biāo)

鑒于一期建設(shè)主要是搭建主體平臺，二期的信

息化建設(shè)目標(biāo)是繼續(xù)完善平臺，豐富平臺應(yīng)用效

果,全面覆蓋現(xiàn)有舊綜合平臺，將重要數(shù)據(jù)遷移。

具體目標(biāo)如下：

二期項目中可以集成計財、運營、人力資源等

系統(tǒng)報表;

支持?jǐn)?shù)據(jù)圖表展示、SQL查詢等個性化查詢需

求;

第8頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

將更多的管理應(yīng)用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)

平臺；

建立并推廣一套完整的需求與技術(shù)落地標(biāo)準(zhǔn)

與體系。

可以預(yù)見，隨著數(shù)據(jù)平臺的不斷成熟，業(yè)務(wù)部

門對數(shù)據(jù)平臺的認知不斷提高，會有源源不斷的

需求基于數(shù)據(jù)平臺提出，這種變化將使得數(shù)據(jù)平

臺由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè)務(wù)部門的“拉”,

讓業(yè)務(wù)需求作為數(shù)據(jù)平臺持續(xù)良好發(fā)展的源動

力。

第3章整體設(shè)計方案

3.1系統(tǒng)設(shè)計方法論

3.1.1方法論

數(shù)據(jù)平臺的項目是一個長期的循序漸進的

過程，也是一個不斷創(chuàng)新、修復(fù)、完善的過程，

其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)貴行的業(yè)

務(wù)特點以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展藍

圖，致力打造一個可擴展的、高可用性的、安全

的、高效的、跨部門的可以快速處理海量數(shù)據(jù)的

數(shù)據(jù)平臺。

在貴行數(shù)據(jù)平臺建設(shè)方面依據(jù)可重用性、安

全性、高可用性、可管理性、可擴展性、高性能

第9頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

的設(shè)計原則采取總體規(guī)劃，分層實現(xiàn)的方式。縱

向?qū)用孀陨隙驴?，貴行數(shù)據(jù)平臺的架構(gòu)由邏輯

(應(yīng)用)架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)

四個層次組成，每個層次內(nèi)部又根據(jù)設(shè)計需要進

行抽象分層，從而形成立體的貴行數(shù)據(jù)平臺項目

架構(gòu)方法。

邏輯(應(yīng)用)架構(gòu)是貴行數(shù)據(jù)平臺項目承載

的應(yīng)用體系，它描述了貴行數(shù)據(jù)平臺項目所要實

現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需求所必須的

公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù)管理等工具組

件。

數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)

實體關(guān)系的分布，它通過數(shù)據(jù)模型的方式進行組

織，主要分為緩沖數(shù)據(jù)層(ODS)、基礎(chǔ)數(shù)據(jù)層

(FDM)、加工匯總層(ADM)和數(shù)據(jù)集市層(MDM)

等四個層次。

技術(shù)架構(gòu)是用于支撐貴行數(shù)據(jù)平臺的數(shù)據(jù)分

布和流動的技術(shù)框架，用到的技術(shù)有數(shù)據(jù)庫技

術(shù)、數(shù)據(jù)平臺技術(shù)、ETL技術(shù)、多維計算技術(shù)、

數(shù)據(jù)展現(xiàn)技術(shù)等。

作為最底層的物理架構(gòu)，是對貴行數(shù)據(jù)平臺

物理設(shè)備和網(wǎng)絡(luò)的合理規(guī)劃部署，它通過有效地

第10頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備進行擴展

為上層架構(gòu)（技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、邏輯架構(gòu)）

提供支撐能力。

貴行數(shù)據(jù)平臺架構(gòu)方法立體視圖

3.1.2設(shè)計原則

根據(jù)貴行數(shù)據(jù)平臺提出的系統(tǒng)建議的總體原

則，總結(jié)我們在多家金融機構(gòu)建設(shè)數(shù)據(jù)平臺經(jīng)

驗，貴行數(shù)據(jù)平臺的設(shè)計原則體現(xiàn)如下原則：標(biāo)

準(zhǔn)規(guī)范，可擴展，開放，前瞻，高性能，穩(wěn)定，

安全，易維護，實用，可管理，高可用，可重用。

第11頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

系統(tǒng)設(shè)計原則

3.1.2.1標(biāo)準(zhǔn)規(guī)范

建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴行數(shù)

據(jù)平臺的代碼標(biāo)準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計應(yīng)對有高效

數(shù)據(jù)處理要求及日常低能耗操作的兼容性數(shù)據(jù)

模型，建設(shè)符合貴行數(shù)據(jù)平臺遠景目標(biāo)利益的技

術(shù)管理體系。

1.數(shù)據(jù)模型：制定表名、字段名命名

規(guī)范標(biāo)準(zhǔn)。設(shè)計基礎(chǔ)標(biāo)準(zhǔn)模型及基于基礎(chǔ)數(shù)

據(jù)模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型

標(biāo)準(zhǔn)。建立數(shù)據(jù)質(zhì)量管理機制，提高貴行數(shù)

據(jù)平臺的數(shù)據(jù)質(zhì)量,也是數(shù)據(jù)平臺邁向標(biāo)準(zhǔn)

第12頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

化規(guī)范化管理的重要環(huán)節(jié)。

2.ETL處理：將ETL處理程序分類化，

整理規(guī)范出各種ETL處理策略。確保ETL

開發(fā)人員所開發(fā)的ETL程序遵循中信總行

的規(guī)范。

3.ETL管理：建設(shè)ETL管理平臺，將其

納入貴行的ETL管理體系，形成有貴行特色

的ETL管理制度。

3.1.2.2開放性

系統(tǒng)建設(shè)遵循開放原則,適應(yīng)未來業(yè)務(wù)和技術(shù)

發(fā)展，與現(xiàn)有系統(tǒng)進行有序的數(shù)據(jù)交互。

1.數(shù)據(jù)模型：數(shù)據(jù)模型的設(shè)計盡量接

口化，關(guān)系與抽象并存。應(yīng)對新出現(xiàn)的業(yè)務(wù)

種類，同時能夠兼容與現(xiàn)有系統(tǒng)進行數(shù)據(jù)交

互，完成輸入與輸出系統(tǒng)的角色。

2.ETL處理：ETL程序處理邏輯規(guī)則模

塊化，應(yīng)對日益更新的技術(shù)發(fā)展及業(yè)務(wù)變

更。

3.相關(guān)產(chǎn)品：項目開發(fā)過程中使用的

宇信易誠工具類產(chǎn)品可以提供客戶相關(guān)開

發(fā)源碼進行二次開發(fā)。

第13頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

4.后續(xù)開發(fā)：項目組再實施過程中，

會對客戶方科技人員進行相關(guān)的技術(shù)培訓(xùn)L

使科技人員能夠獨立的進行ETL程序的開

發(fā)、報表開發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配

曾箋箋

旦守守

3.1.2.3可擴展性

可擴展性是指數(shù)據(jù)平臺能夠支持貴行業(yè)務(wù)系

統(tǒng)和應(yīng)用系統(tǒng)發(fā)展的需要。在本項目中，具體要

從以下幾個方面考慮系統(tǒng)的可擴展性：

1.數(shù)據(jù)模型：設(shè)計基礎(chǔ)數(shù)據(jù)層和數(shù)據(jù)

預(yù)處理層模型時應(yīng)充分考慮，除了能夠容納

現(xiàn)有源系統(tǒng)的結(jié)構(gòu)設(shè)計,還應(yīng)該盡可能滿足

即將要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時還需

要制定一套合理的模型設(shè)計規(guī)范，使得新上

線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型能很方便地擴展到

數(shù)據(jù)平臺。

2.ETL處理：需要考慮兩個方面的擴展

性,增加新的ETL任務(wù)處理以及原有任務(wù)所

處理的數(shù)據(jù)規(guī)模加大，ETL處理架構(gòu)必須能

適應(yīng)新的變化，需要考慮通過集群的方式來

擴展。

第14頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

3.數(shù)據(jù)交換平臺：在設(shè)計時應(yīng)考慮，

隨著分發(fā)數(shù)據(jù)規(guī)模的擴大和推送節(jié)點的增

多，對交換處理和傳輸處理的性能要求會越

來越高，必須支持集群的方式進行擴展。此

外，數(shù)據(jù)交換平臺還必須提供二次開發(fā)接

口，支持SOA服務(wù)模式，可以進行應(yīng)用級的

擴展。

4.服務(wù)器：平臺中的每一種服務(wù)器都

使用集群擴展模式,可以通過對服務(wù)器數(shù)量

的增加獲得更好的數(shù)據(jù)處理和查詢能力。

3.1.2.4高性能

高性能是指在硬件資源有限的情況下,數(shù)據(jù)平

臺應(yīng)盡可能的支持盡量多的數(shù)據(jù)服務(wù)需求，還能

承受用戶峰值時間段壓力，使得數(shù)據(jù)平臺能夠滿

足分行范圍內(nèi)的使用者。在本項目中，高性能的

設(shè)計主要體現(xiàn)在以下幾個方面：

1.ETL處理：在進行ETL設(shè)計時，需要

考慮大數(shù)據(jù)量條件下的處理效率,確保在規(guī)

定的時間窗口內(nèi)完成ETL處理,特別是一些

特殊日期的ETL處理,例如結(jié)息日、月底等。

2.數(shù)據(jù)交換平臺：需要考慮在大數(shù)據(jù)

第15頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

量條件下的文件傳輸效率,主要也是體現(xiàn)在

一些特殊日期條件下的文件傳輸，以及特殊

情況下的全量文件傳輸。

3.數(shù)據(jù)庫設(shè)計：對一些海量數(shù)據(jù)表或

頻繁訪問的數(shù)據(jù)表,在數(shù)據(jù)庫設(shè)計的時候需

要從數(shù)據(jù)庫設(shè)計的角度考慮性能優(yōu)化機制。

3.1.2.5可管理性

這里所說的可管理性主要是指系統(tǒng)運維的可

管理性。比如：在實際運行過程中，系統(tǒng)能很方

便地對系統(tǒng)的運行狀態(tài)進行監(jiān)控，查看數(shù)據(jù)質(zhì)量

情況；出現(xiàn)系統(tǒng)異常時，能及時收到消息通知，

并有一套完善的流程來處理數(shù)據(jù)或系統(tǒng)方面的

異常等等。在本項目中，可管理性的設(shè)計具體表

現(xiàn)在以下幾個方面：

1.ETL處理：在ETL的總體設(shè)計時，確

保系統(tǒng)可以監(jiān)控全過程的運行狀態(tài)，并能對

異常情況及時提醒,保存完整的處理日志信

息，并設(shè)計相應(yīng)的錯誤處理流程。另外，還

需要考慮ETL任務(wù)配置的直觀圖形化。

2.數(shù)據(jù)管控：在總體設(shè)計時，應(yīng)充分

考慮數(shù)據(jù)的復(fù)雜性，必須能做到多而不亂，

第16頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

能夠清楚了解系統(tǒng)每一個應(yīng)用的轉(zhuǎn)換邏輯

和數(shù)據(jù)含義，在任何環(huán)節(jié)有變動時，能迅速

的反饋變動產(chǎn)生的影響。

3.數(shù)據(jù)交換平臺：在總體設(shè)計時，需

要充分考慮數(shù)據(jù)交換任務(wù)易于配置，傳輸結(jié)

果易于監(jiān)控。

3.1.2.6高可用性

高可用性是指系統(tǒng)在一些特殊情況發(fā)生時,依

靠架構(gòu)的有效設(shè)計，仍然能保證正常運行。在本

項目中，高可用性的設(shè)計主要體現(xiàn)在以下幾個方

面：

1.數(shù)據(jù)模型的可用性：模型的設(shè)計應(yīng)

能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)

平臺集成平臺和將在其上建設(shè)的分析應(yīng)用

系統(tǒng)帶來影響O局部數(shù)據(jù)模型的擴展不會對

其它數(shù)據(jù)模型產(chǎn)生大的影響。

2.ETL處理的可用性：應(yīng)充分考慮各源

系統(tǒng)的時間窗口可能存在不一致的情況,避

免出現(xiàn)一個系統(tǒng)的數(shù)據(jù)時間窗口沒有滿足

條件，影響到其它所有系統(tǒng)的ETL處理。

3.系統(tǒng)備份：當(dāng)正在運行的系統(tǒng)出現(xiàn)

第17頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

異常時，系統(tǒng)應(yīng)具備相應(yīng)的備份恢復(fù)機制，

確保系統(tǒng)能及時恢復(fù)處理。

4.各個功能模塊設(shè)計時應(yīng)考慮自己的

運行管理流程。

3.1.2.7安全性

在本項目中，安全性主要包括兩個層面的含

義：一是防止數(shù)據(jù)服務(wù)體系的數(shù)據(jù)資源被惡意修

改和盜取；二是防止數(shù)據(jù)在傳輸過程中被截留和

篡改。在本項目中，安全性的設(shè)計具體體現(xiàn)在以

下方面：

1.對于第一個層面的安全性，主要依

賴于各應(yīng)用系統(tǒng)對用戶角色和功能權(quán)限的

控制。因此，在編寫基于數(shù)據(jù)服務(wù)體系的應(yīng)

用系統(tǒng)設(shè)計開發(fā)規(guī)范時,應(yīng)明確要求應(yīng)用系

統(tǒng)必須充分考慮安全性的設(shè)計。若貴行建設(shè)

有面向管理系統(tǒng)的統(tǒng)一用戶認證平臺（UA）,

可以考慮通過UA來管理用戶權(quán)限。

對于數(shù)據(jù)范圍方面的安全控制要求,在梳理

出貴行數(shù)據(jù)平臺應(yīng)用需求與目標(biāo)用戶權(quán)限

關(guān)系之后，通過在程序中對數(shù)據(jù)進行過濾，

用戶無法涉及其權(quán)限范圍以外的數(shù)據(jù)，以確

第18頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

保數(shù)據(jù)范圍的安全。數(shù)據(jù)過濾程序可抽象為

一個準(zhǔn)確、高效、易管理維護的過濾器。

2.對于第二個層面的安全性，主要依

賴于文件傳輸過程中的加解密處理。因此，

數(shù)據(jù)交換平臺在進行總體設(shè)計的時候需要

充分考慮數(shù)據(jù)傳輸過程中的安全性。

3.此外，系統(tǒng)在進行網(wǎng)絡(luò)規(guī)劃時，對

系統(tǒng)的安全級別也需要進行分析，必要時需

要提高網(wǎng)絡(luò)的安全級別，從物理設(shè)計層面提

高系統(tǒng)的安全性。

3.1.2.8可重用性

可重用性是指盡可能避免貴行數(shù)據(jù)服務(wù)體系

建設(shè)的重復(fù)投入，應(yīng)盡可能考慮包括物理設(shè)備、

系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等

多個層面上的復(fù)用。在本項目中，可重用性的設(shè)

計具體表現(xiàn)在以下幾個方面：

1.ETL功能組件：在設(shè)計ETL任務(wù)處理

流程時，要分析ETL任務(wù)的各個環(huán)節(jié)，盡可

能找出一些公用的ETL組件,進行必要的封

裝，便于在模塊內(nèi)復(fù)用，進而推廣到項目內(nèi)

進行復(fù)用。

第19頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

2.數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型：在設(shè)計

數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型時,應(yīng)充分考慮應(yīng)

用系統(tǒng)的數(shù)據(jù)加工需求,盡可能將一些共性

的加工需求在該層實現(xiàn)；并通過這種機制，

不斷擴充和完善改成的數(shù)據(jù)模型，實現(xiàn)加工

數(shù)據(jù)的復(fù)用。

3.知識庫的復(fù)用：在ETL管理平臺中,

應(yīng)充分考慮知識庫的管理和使用流程，以便

運維人員和業(yè)務(wù)人員復(fù)用知識庫的經(jīng)驗,來

解決和處理一些日常的問題。

4.組件復(fù)用：各模塊在開發(fā)的過程中,

注意提煉出一些可用共用的公共組件,在模

塊內(nèi)實現(xiàn)復(fù)用，甚至在模塊間實現(xiàn)復(fù)用。

5.硬件部署：在進行硬件部署的規(guī)劃

時，應(yīng)充分對系統(tǒng)的處理規(guī)模進行分析。如

果性能允許的話，盡可能集中部署，使用現(xiàn)

有設(shè)備，在硬件方面實現(xiàn)復(fù)用。

3.2數(shù)據(jù)平臺技術(shù)體系

3.2.1數(shù)據(jù)平臺邏輯架構(gòu)

第20頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書—技術(shù)部分

數(shù)據(jù)倉庫

領(lǐng)

■導(dǎo)

主

應(yīng)

共

?層

用

數(shù)

乎

數(shù)

模

集

據(jù)I

型

據(jù)

市

tf遛

緩Itfl

層

層

分

沖

(工

E發(fā)

層

D層

W平

)G

一

D臺

?

SI操

I作

層

系

矮

管

理

ODS員

貴行數(shù)據(jù)平臺邏輯架構(gòu)圖

上圖為宇信易誠對貴行數(shù)據(jù)平臺的邏輯架構(gòu)

建議設(shè)計圖。從邏輯架構(gòu)上看，數(shù)據(jù)平臺主要分

為下面幾個部分：

3.2.1.1數(shù)據(jù)集成區(qū)

數(shù)據(jù)集成區(qū)為總行區(qū)域,分行只需要提出對應(yīng)

接口需求，由數(shù)據(jù)集成區(qū)下發(fā)至分行，目前的范

圍包含了總行ODS、數(shù)據(jù)倉庫。

3.2.1.2分行分析型數(shù)據(jù)區(qū)

分行分析型數(shù)據(jù)區(qū)包含報表數(shù)據(jù)區(qū)、應(yīng)用服務(wù)

區(qū)及訪問層區(qū)；

報表數(shù)據(jù)區(qū)將總行數(shù)倉、ODS數(shù)據(jù)經(jīng)分發(fā)平

第21頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

臺下發(fā)至分行數(shù)據(jù)進行整合，選用宇信易誠的

YC.LDM作為參考模型，建立數(shù)據(jù)緩沖層、基

礎(chǔ)整合層、共性加工層、應(yīng)用集市層。其中基礎(chǔ)

整合層模型是用來統(tǒng)一存儲整合企業(yè)所有源系

統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層數(shù)據(jù)模型主要是用來

存儲一些共性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同

的基礎(chǔ)數(shù)據(jù)預(yù)處理，提高數(shù)據(jù)共享程度和數(shù)據(jù)使

用效率。

應(yīng)用服務(wù)區(qū)按照報表類別及指標(biāo)作用劃分為

固定報表、即席報表、OLAP、儀表盤等，滿足

業(yè)務(wù)報表需求。

訪問層主要對用戶角色、操作權(quán)限進行管理;

3.2.1.3管理平臺區(qū)

管理平臺區(qū)包括任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量

三大模塊。分行需要建設(shè)自身的調(diào)度平臺?？梢?/p>

采用總行統(tǒng)一調(diào)度平臺ETLPLUS或宇信公司

USE調(diào)度產(chǎn)產(chǎn)品，實現(xiàn)對作業(yè)調(diào)度、監(jiān)控和配

制管理，支持各類ETLJOB的調(diào)度，能夠與主

流ETL工具集成，支持對調(diào)度策略、執(zhí)行過程、

錯誤日志的實時監(jiān)控。此外ETL管理平臺支持

文件到達監(jiān)控，ETL集群部署與集群調(diào)度以及

針對各個服務(wù)器資源的運行情況監(jiān)控。

第22頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

元數(shù)據(jù)及數(shù)據(jù)質(zhì)量使用總行元數(shù)據(jù)及數(shù)據(jù)質(zhì)

量標(biāo)準(zhǔn),，本期暫不考慮分行自建。

3.2.1.4統(tǒng)一報表展現(xiàn)平臺

統(tǒng)一報表展現(xiàn)平臺（報表平臺）是本期基于數(shù)

據(jù)平臺之上建立的一個報表系統(tǒng)，實現(xiàn)對報表的

統(tǒng)一管理以及統(tǒng)一展現(xiàn)服務(wù)，向用戶展現(xiàn)數(shù)據(jù)平

臺數(shù)據(jù)整合的成果。報表平臺在功能上需要具備

系統(tǒng)管理、報表管理、報表展現(xiàn)（業(yè)務(wù)報表需求）、

BI工具集成，報表目錄與分類，靈活查詢以及

報表統(tǒng)計等功能。通過BI工具開發(fā)的報表能夠

被報表展現(xiàn)平臺無縫集成并且以最方便、最直觀

的方式提供給報表的使用者。在本次貴行數(shù)據(jù)平

臺建設(shè)中，圖表展示、SQL靈活查詢均將作為

一類特殊的報表系統(tǒng)的應(yīng)用。由統(tǒng)一報表展現(xiàn)平

臺完成功能集成與發(fā)布，向用戶提供統(tǒng)一的訪問

入口以及應(yīng)用體驗。

3.2.1.5ETL設(shè)計關(guān)鍵技術(shù)點說明

3.2.1.5.1.1ETL處理策略

原則上因機構(gòu)撤并造成的新增賬戶仍以新

增帳戶處理，賬戶間的關(guān)系通過機構(gòu)拆并表進行

對應(yīng)。如果有臟數(shù)據(jù)，依據(jù)數(shù)據(jù)情況另行處理。

賬戶主檔表的處理：新增賬戶直接插入

第23頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

拉鏈表的處理：關(guān)閉老賬戶，以銷戶方式處

理；新增賬戶直接插入。

3..2ETL處理流程

源系統(tǒng)數(shù)據(jù)中心應(yīng)用系統(tǒng)

機構(gòu)撤并ETL處理流程

3.2.1.5.2質(zhì)量檢核

3.2.1.5.2.1ETL處理原則

質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量

提供檢核處理

檢核處理不能對ETL處理有較大性能上的

影響

檢核處理不能對時間窗口壓力過大

3.2.1.5.2.2ETL處理方法

檢核作業(yè)與該表的數(shù)據(jù)處理作業(yè)封裝在同

一個作業(yè)組中

3.2.2數(shù)據(jù)采集設(shè)計

第24頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

在數(shù)據(jù)平臺架構(gòu)中，數(shù)據(jù)采集平臺的設(shè)計主要

體現(xiàn)在T+1數(shù)據(jù)采集區(qū)技術(shù)架構(gòu)、數(shù)據(jù)補錄、

數(shù)據(jù)處理平臺三個方面的設(shè)計。

散■平臺

MMMivai

批量采集

EJL統(tǒng)一管理

準(zhǔn)實時采集

數(shù)據(jù)采集模式

3.2.2.1T+1數(shù)據(jù)采集

T+1數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采

集數(shù)據(jù)到數(shù)據(jù)集成平臺的源系統(tǒng)數(shù)據(jù)文件落地

區(qū)。通用的數(shù)據(jù)采集方法如下：

1.自行開發(fā)通用的數(shù)據(jù)下載平臺，將源系統(tǒng)生

產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于

核心系統(tǒng)增量數(shù)據(jù)采集。通過該模式基本上

能按需要來定制開發(fā)數(shù)據(jù)采集程序，靈活性

第25頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

大，效率也較高，同時還可以集成增量比對、

亂碼校驗及修正、壓縮打包、拆分并發(fā)處理、

傳輸處理等功能，是一個務(wù)實的做法。但該

模式也存在一個致命的問題，那就是如何確

定增量數(shù)據(jù)的問題？如果通過數(shù)據(jù)庫日志

來獲取，難度很大，而且也并不一定可行；

如果通過數(shù)據(jù)庫結(jié)構(gòu)的某個字段來識別，這

完全取決于源系統(tǒng)最初設(shè)計時是否考慮了

增量備份的需求；不幸的是，大多數(shù)情況下,

并沒有考慮。于是，不得不采用先全量下載

的方式，然后傳送到數(shù)據(jù)采集區(qū)，再通過數(shù)

據(jù)采集區(qū)來實現(xiàn)增量對比。在這種模式下，

全量數(shù)據(jù)的傳輸無疑又是一個新的問題。事

實上，這也正是大部分?jǐn)?shù)據(jù)平臺目前面臨的

實際問題。

2.由源系統(tǒng)本身開發(fā)數(shù)據(jù)下載腳本,在本地生

成數(shù)據(jù)，然后通過文件傳輸工具發(fā)送到數(shù)據(jù)

采集區(qū)。這種模式常用于核心系統(tǒng)以外的其

他源系統(tǒng)數(shù)據(jù)采集，這主要是考慮其他源系

統(tǒng)的數(shù)據(jù)采集量不大，而且各源系統(tǒng)架構(gòu)多

樣化，不適宜采用通用的數(shù)據(jù)下載工具。這

種模式是一種主動采集模式。

第26頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

上述兩種數(shù)據(jù)采集模式，均各有特點，鑒于總

行下發(fā)數(shù)據(jù)都是采集過的，分行只需要將特色系

統(tǒng)數(shù)據(jù)定時FTP下發(fā)即可。

T+1數(shù)據(jù)采集除了考慮上述采集技術(shù)外,還應(yīng)

該設(shè)計T+1數(shù)據(jù)采集區(qū)的存儲方式。分行數(shù)據(jù)

平臺僅需按一定的規(guī)則存儲不同來源基礎(chǔ)數(shù)據(jù)。

通常的做法是，數(shù)據(jù)采集區(qū)的數(shù)據(jù)以文件的方式

保存，不用加載到數(shù)據(jù)庫。這些數(shù)據(jù)文件的保存

周期大約為7天左右，最長不應(yīng)超過一個數(shù)據(jù)糾

錯周期。

3.2.2.2數(shù)據(jù)補錄

數(shù)據(jù)補錄是為了彌補數(shù)據(jù)源缺失或者業(yè)務(wù)系

統(tǒng)建設(shè)不完善的情況而設(shè)置特殊采集模式。在本

方案中數(shù)據(jù)補錄功能采用宇信易誠開發(fā)的產(chǎn)品

(YC.RIDP)來實現(xiàn)。

數(shù)據(jù)補錄模塊的提供是針對不同業(yè)務(wù)數(shù)據(jù)庫

的通用數(shù)據(jù)錄入工具，包括頁面錄入和模板錄入

以及數(shù)據(jù)入庫的審批流程。支持對錄入數(shù)據(jù)的事

件處理(如新增前進行有效性數(shù)據(jù)檢查、新增后

進行數(shù)據(jù)平衡校驗等，使用檢核規(guī)則來實現(xiàn))。

數(shù)據(jù)補錄工具服務(wù)于各部門、各機構(gòu)的數(shù)據(jù)錄

入人員。該模塊使用到“數(shù)據(jù)集管理”功能。

第27頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

3.2.2.2.1檢核規(guī)則管理

檢核規(guī)則有兩種類型:存儲過程、正則表達式，

是用于對錄入數(shù)據(jù)進行合法性檢核而定義的規(guī)

則。存儲過程類型的檢核規(guī)則必須要有輸入?yún)?shù)

和輸出字段，其中輸入?yún)?shù)得到需要檢核的數(shù)據(jù)

的值，輸出參數(shù)返回檢核結(jié)果的標(biāo)志位。

管理員建立錄入任務(wù)的時候,可以在檢核規(guī)則

設(shè)置界面設(shè)置錄入的數(shù)據(jù)所對應(yīng)的檢核規(guī)則，可

以設(shè)置數(shù)據(jù)入庫前、入庫后、修改前、修改后等

各種檢核規(guī)則。

檢核規(guī)則管理

名稱查找匚斯建檢核雙則

—檢核規(guī)■名稱中文名稱5555-

length等值檢核正則表達式聯(lián)修改Q聊院

共垓記錄頁次：Ui頁io條球轉(zhuǎn)到第1次GO

檢核規(guī)則管理

3.2.2.2.2錄入任務(wù)管理

錄入任務(wù)是對一項錄入工作的總體安排,包括

錄入的目標(biāo)表、操作控制信息、使用的檢核規(guī)則、

批量錄入模板的管理和權(quán)限控制等一系列內(nèi)容。

1.目標(biāo)表：錄入的數(shù)據(jù)將被保存到這個表中，

目標(biāo)表也是一個數(shù)據(jù)集。

2.操作控制信息:控制錄入任務(wù)是否可以被新

增、修改、刪除。

3.檢核規(guī)則：用于對錄入數(shù)據(jù)進行檢核，可設(shè)

第28頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

置在入庫前、入庫后、修改前、修改后、

任務(wù)分發(fā)前、任務(wù)分發(fā)后等時間點觸發(fā)

檢核過程。

4.批量錄入模板：用于批量導(dǎo)入數(shù)據(jù)。

5.權(quán)限管理：設(shè)置錄入任務(wù)的可見機構(gòu)，用于

控制權(quán)限。

錄入任務(wù)建立并且分發(fā)完畢后,管理員可通過

“權(quán)限管理”菜單下的“權(quán)限對照設(shè)置”子菜單，

來修改錄入任務(wù)的操作權(quán)限。

宇信易誠YU5rg?g機構(gòu):宇信易誠I樵作員：ride|崗位:系線管理員…|登錄時間:2008-06-2009:33:49|退出系統(tǒng)

。一營而一■?￡線首理。祝用首映。任某管理。黔電小、。擰表管理。孜的先去。咦H擰布。并去排行。個人信息。幫助

::傷民在所在的驚,娼：R】DE左電可試>黔憲錄>7/任尋管理

錄入任務(wù)管理

名稱狀賽描迷操作

現(xiàn)買單可用10任務(wù)分益上修改&.崎

能否錄入可用能否錄入IG任務(wù)分發(fā)N修改&.刪除

錄入可用■任務(wù)分發(fā)N修改土城賒

數(shù)據(jù)錄入可用歐任務(wù)分發(fā)/修改&.峰

共修記錄頁次：1/1頁10條須轉(zhuǎn)到第1頁第一頁11上一頁1下一頁|：是后一頁-|1|

宇信易誠WCtiCrg

|新建］［的］

宇信晨速做W5■司蝴所有

錄入任務(wù)管理

3.2.2.2.3數(shù)據(jù)錄入

錄入任務(wù)定義好之后,用戶可以在此界面進行

具體數(shù)據(jù)的錄入。

第29頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)錄入

錄入任務(wù)：數(shù)據(jù)錄入選擇Exce展板：下載上傳

IDSSVALUESCORELOCATIONNOTES

夕刪除

確定取消

數(shù)據(jù)錄入

用戶也可以下載批量錄入模板,按模板樣式填

好數(shù)據(jù)之后，可以將批量錄入文件上傳至服務(wù)器

并導(dǎo)入文件中的數(shù)據(jù)。

文怦9跳耨盤）視圖s插入a）格式仙工具CD數(shù)據(jù)Q）窗口的帶助如怦,'記秀灣的汕燈登?-9X

io?回/口手國卷百書活一?：>，▲?道

窗口口M

A1▼齊B4-H4

BCDEFGiHIJKLMNO

=B4HJ10

數(shù)據(jù)錄入

3LOCATIO

IDAPPIDIDSSVALUESCORENNOTES

，

|56|

7

8

9

^

|

^

蜀

如果S入數(shù)據(jù)超出第一格指定的區(qū)域，諾修改第一格的有效區(qū)域箱圖:第

舞

二格注擇，0一期的、1一修改、2一■除

01

符

善

[24

豆

B-

窗

JZIV

>x\數(shù)據(jù)錄入/|<>|

解s

批?錄入模板

如果管理員將錄入任務(wù)定義成不需要審批的

狀態(tài)，那么錄入員將數(shù)據(jù)寫入臨時數(shù)據(jù)后，就可

以直接將它們提交入庫。

3.2.2.2.4查詢操作

用戶可查詢錄入任務(wù)的正式數(shù)據(jù)和臨時數(shù)據(jù)。

第30頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

可對錄入任務(wù)的各個查詢字段輸入條件來篩選

數(shù)據(jù)。

數(shù)據(jù)錄入

查詢手段

VALUE

SCORE

查詢位置理摩、（臨時數(shù)據(jù)為在臨時表中的數(shù)據(jù)，正式數(shù)據(jù)為用尸要錄入的目標(biāo)表中的數(shù)據(jù)）

其做條件

錄入日期臼-0*必埴

當(dāng)前狀態(tài)；未提交v

確定取洎

錄入查詢

查詢臨時數(shù)據(jù)時，還可以對“未提交”或者“不

通過”的數(shù)據(jù)進行審批操作。

3.2.2.2.5錄入任務(wù)審批

用于對用戶錄入的臨時表數(shù)據(jù)進行審核及入

庫操作。

用戶錄入的數(shù)據(jù)存放在臨時表中，需要對臨時

表數(shù)據(jù)審核之后，才可以正式入庫。

數(shù)據(jù)錄入

名亦數(shù)薪錄入行皴100000000/布日期2008-03-14|新增闌

|IDAPP1DIDSSWALUESCORELOCATIONNOTES5s-

共0條記錄頁次：1/110條須轉(zhuǎn)到第1頁刷新

返回提交審批

錄入審批

3.3數(shù)據(jù)平臺數(shù)據(jù)體系

3.3.1數(shù)據(jù)架構(gòu)設(shè)計

第31頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)

數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)上可分為以下層次：

?源系統(tǒng)數(shù)據(jù)落區(qū)

?緩沖數(shù)據(jù)層(數(shù)據(jù)平臺-ODM)

?基礎(chǔ)整合層(FDM)

?共性加工層(ADM)

?數(shù)據(jù)集市層(MDM)

3.3.1.1源系統(tǒng)數(shù)據(jù)落地區(qū)

貴行數(shù)據(jù)平臺的數(shù)據(jù)來源將囊括總行下發(fā)數(shù)

據(jù)、貴行主要系統(tǒng)模塊，包括公司、零售、同業(yè)、

第32頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

績效、運營、人力資源多個子模塊等。數(shù)據(jù)平臺

每日將總行的增量數(shù)據(jù)將首先以文件形式落地

在源系統(tǒng)數(shù)據(jù)洛地區(qū)內(nèi)，每日的數(shù)據(jù)文件以系統(tǒng)

+日期的形式存儲在特定的文件目錄內(nèi)，之后由

數(shù)據(jù)平臺的數(shù)據(jù)加載程序完成從文件向數(shù)據(jù)庫

貼源區(qū)裝載的過程。源系統(tǒng)數(shù)據(jù)落地區(qū)的文件需

要保留一定的糾錯周期，一般保留周期為1周“

個月。

3.3.1.2緩沖數(shù)據(jù)層(ODM)

該層本質(zhì)上是業(yè)務(wù)系統(tǒng)、總行下發(fā)數(shù)據(jù)與數(shù)據(jù)

平臺之間的中間緩存層次，有以下特點：

?對接總行ODS、倉庫下發(fā)的主題及匯總數(shù)

據(jù)

?基于分行特色業(yè)務(wù)系統(tǒng)的整理和分析,按

照業(yè)務(wù)流程進行梳理對關(guān)鍵業(yè)務(wù)及相關(guān)

信息進行抽取整合；

?可按照需要進行必要的裁剪但不作轉(zhuǎn)換

和聚合處理；

?不保留歷史信息，每日增量、全量業(yè)務(wù)信

息；

?緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過標(biāo)準(zhǔn)化的,在該

入庫過程進行數(shù)據(jù)轉(zhuǎn)換處理動作。

第33頁

數(shù)據(jù)平臺系統(tǒng)投標(biāo)書——技術(shù)部分

緩沖層的存儲周期一般僅作為緩沖處理保留周

期為1天。

3.3.1.3基礎(chǔ)整合層(FDM)

基礎(chǔ)整合層(FDM)基于緩沖層主題或非主

題數(shù)據(jù)，進行處理和轉(zhuǎn)化?？傂邢掳l(fā)的ODS、

倉庫是經(jīng)過了標(biāo)準(zhǔn)化處理后的，可以直接進行主

題存儲。針對