數(shù)據(jù)集市數(shù)據(jù)架構(gòu)方案設(shè)計(jì)

2021

項(xiàng)目工作建議匯報(bào)匯報(bào)方:XXX工作計(jì)劃/商業(yè)計(jì)劃目錄2業(yè)務(wù)部需求計(jì)劃1科技部IT需求2021年度工作概述科技部需求The2021annualworksummary01001信用卡集市改造升級(jí)數(shù)據(jù)架構(gòu)—加工計(jì)量層定位信用卡集市項(xiàng)目背景

XX項(xiàng)目信用卡集市建設(shè)基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)集市、結(jié)合數(shù)據(jù)治理措施，集中統(tǒng)籌管理XX項(xiàng)目信用卡中心業(yè)務(wù)數(shù)據(jù)，并從信用卡營(yíng)銷、運(yùn)營(yíng)和風(fēng)險(xiǎn)控制的業(yè)務(wù)角度出發(fā)，實(shí)現(xiàn)數(shù)據(jù)管理集中化和規(guī)范化，提升面對(duì)復(fù)雜市場(chǎng)環(huán)境和監(jiān)管政策下的數(shù)據(jù)管理和決策支持能力，并為后續(xù)衍生出更多適應(yīng)市場(chǎng)變化創(chuàng)新產(chǎn)品提供平臺(tái)基礎(chǔ)，實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)價(jià)值挖掘和數(shù)據(jù)價(jià)值變現(xiàn)，為信用卡業(yè)務(wù)戰(zhàn)略決策和高效運(yùn)營(yíng)提供準(zhǔn)確高效的數(shù)據(jù)支持，提升行業(yè)科技競(jìng)爭(zhēng)力。信用卡集市定位信用卡數(shù)據(jù)集市，在BigData基礎(chǔ)上，以信用卡、ETC業(yè)務(wù)驅(qū)動(dòng)為主，數(shù)據(jù)驅(qū)動(dòng)為輔，建立的一種多層次數(shù)據(jù)訪問(wèn)服務(wù)體系。支持新報(bào)表或報(bào)表需求變更的敏捷開發(fā)、落地支持分行特色業(yè)務(wù)以及報(bào)表的分層級(jí)管理信用卡數(shù)據(jù)集市的特點(diǎn)數(shù)據(jù)層面業(yè)務(wù)層面功能層面數(shù)據(jù)管理層面確定的數(shù)據(jù)來(lái)源采用模型化結(jié)構(gòu)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行加工整合減少同類報(bào)表間數(shù)據(jù)的冗余存儲(chǔ)和重復(fù)的ETL工作實(shí)現(xiàn)信用卡、ETC業(yè)務(wù)的整合以及分類，支持業(yè)務(wù)按照數(shù)據(jù)來(lái)源進(jìn)行查詢存儲(chǔ)信用卡報(bào)表計(jì)量結(jié)果數(shù)據(jù)分析與報(bào)表展現(xiàn)分行特色業(yè)務(wù)查詢報(bào)表分層級(jí)管理應(yīng)用展現(xiàn)權(quán)限控制建立數(shù)據(jù)質(zhì)量檢核機(jī)制推進(jìn)信用卡數(shù)據(jù)質(zhì)量的改善大數(shù)據(jù)平臺(tái)信用卡集市改造信用卡系統(tǒng)其他系統(tǒng)數(shù)據(jù)源數(shù)據(jù)安全備份恢復(fù)數(shù)據(jù)校驗(yàn)系統(tǒng)監(jiān)控?cái)?shù)據(jù)質(zhì)量規(guī)則配置運(yùn)營(yíng)管理數(shù)據(jù)質(zhì)量任務(wù)監(jiān)控任務(wù)管理數(shù)據(jù)處理調(diào)度引擎數(shù)據(jù)存儲(chǔ)基礎(chǔ)數(shù)據(jù)主題計(jì)量數(shù)據(jù)主題應(yīng)用數(shù)據(jù)主題信用卡報(bào)表系統(tǒng)行內(nèi)業(yè)務(wù)分析報(bào)表對(duì)外報(bào)送報(bào)表數(shù)據(jù)平臺(tái)DWH整體架構(gòu)-加工計(jì)量主題域整體架構(gòu)—具體描述源系統(tǒng)數(shù)據(jù)源信用卡集市現(xiàn)狀：信用卡數(shù)據(jù)集市的數(shù)據(jù)源為信用卡系統(tǒng)、數(shù)據(jù)從XX項(xiàng)目DWH平臺(tái)中接入大數(shù)據(jù)平臺(tái)，DWH通過(guò)中轉(zhuǎn)服務(wù)器給大數(shù)據(jù)平臺(tái)下發(fā)數(shù)據(jù)文件。

大數(shù)據(jù)平臺(tái)信用卡接口數(shù)據(jù)將進(jìn)行數(shù)據(jù)指標(biāo)校驗(yàn)以及數(shù)據(jù)條數(shù)校驗(yàn)規(guī)則進(jìn)行程序的加工處理。改造方案：信用卡數(shù)據(jù)源進(jìn)行數(shù)據(jù)目錄切換，不在通過(guò)DWH進(jìn)行數(shù)據(jù)文件下發(fā)，將通過(guò)源系統(tǒng)目錄文件進(jìn)行數(shù)據(jù)接收接入大數(shù)據(jù)平臺(tái)，跳過(guò)DWH平臺(tái)。與DWH中轉(zhuǎn)服務(wù)器連機(jī)：落地為文本文件數(shù)據(jù)存儲(chǔ)信用卡集市現(xiàn)狀：對(duì)信用卡數(shù)據(jù)集市內(nèi)的基礎(chǔ)數(shù)據(jù)主題、計(jì)量數(shù)據(jù)主題、應(yīng)用數(shù)據(jù)主題等各數(shù)據(jù)主題進(jìn)行定制化的存儲(chǔ)，可指定關(guān)鍵時(shí)間節(jié)點(diǎn)存儲(chǔ)、時(shí)間段歷史存儲(chǔ)數(shù)據(jù)交換數(shù)據(jù)處理數(shù)據(jù)處理任務(wù)由統(tǒng)一大數(shù)據(jù)平臺(tái)調(diào)度機(jī)器人完成來(lái)完成，調(diào)度工具具備成熟的調(diào)度處理、任務(wù)監(jiān)控、任務(wù)分析等功能信用卡數(shù)據(jù)集市加工計(jì)量層主題：計(jì)量數(shù)據(jù)主題，進(jìn)行指標(biāo)共性加工存儲(chǔ)、以供應(yīng)用主題、進(jìn)行定制化的存儲(chǔ)，可指定關(guān)鍵時(shí)間節(jié)點(diǎn)存儲(chǔ)、時(shí)間段歷史存儲(chǔ)整體架構(gòu)—系統(tǒng)交互上游系統(tǒng)大數(shù)據(jù)平臺(tái)應(yīng)用服務(wù)DWH標(biāo)準(zhǔn)接口文件BigData加載加載ADS聯(lián)機(jī)庫(kù)信用卡集市ORA聯(lián)機(jī)庫(kù)說(shuō)明：針對(duì)大數(shù)據(jù)平臺(tái)數(shù)據(jù)集市改造，數(shù)據(jù)接口將不再接DWH數(shù)據(jù)文件，直接對(duì)接原系統(tǒng)數(shù)據(jù)目錄文件，大數(shù)據(jù)平臺(tái)自身進(jìn)行清洗臟數(shù)據(jù)后，接入BigData。數(shù)據(jù)架構(gòu)—層次介紹基礎(chǔ)數(shù)據(jù)主題存儲(chǔ)信用卡集市應(yīng)用所需的全部基礎(chǔ)數(shù)據(jù)，進(jìn)行統(tǒng)一的數(shù)據(jù)清洗、整合、預(yù)鏈接和預(yù)加工計(jì)量數(shù)據(jù)主題存儲(chǔ)信用卡應(yīng)用的聚合匯總（計(jì)量加工）數(shù)據(jù)，即從基礎(chǔ)數(shù)據(jù)層加工而來(lái)的匯總（計(jì)量）數(shù)據(jù)，基礎(chǔ)指標(biāo)的加工應(yīng)用數(shù)據(jù)主題直接用于前端展示的業(yè)務(wù)數(shù)據(jù)，依據(jù)業(yè)務(wù)需求，對(duì)基礎(chǔ)指標(biāo)進(jìn)行最終加工，并保存歷史數(shù)據(jù)。數(shù)據(jù)架構(gòu)—詳細(xì)介紹數(shù)據(jù)存儲(chǔ)信用卡源系統(tǒng)數(shù)據(jù)接口其他系統(tǒng)數(shù)據(jù)接口數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)每天數(shù)據(jù)通過(guò)日期字段區(qū)分?jǐn)?shù)據(jù)處理加載源數(shù)據(jù)文件到BigData庫(kù)數(shù)據(jù)文件加載需要配置作業(yè)任務(wù)數(shù)據(jù)形式數(shù)據(jù)庫(kù)表存儲(chǔ)策略保留14天（以業(yè)務(wù)給定保存策略為準(zhǔn)）數(shù)據(jù)存儲(chǔ)對(duì)基礎(chǔ)數(shù)據(jù)的聚合匯總、計(jì)量加工、基礎(chǔ)指標(biāo)加工等數(shù)據(jù)結(jié)構(gòu)面向信用卡應(yīng)用主題建模。解耦合的設(shè)計(jì)模式數(shù)據(jù)處理

SQL語(yǔ)句作業(yè)運(yùn)行日志以文件的形式保存數(shù)據(jù)形式數(shù)據(jù)庫(kù)表存儲(chǔ)策略存儲(chǔ)3-5年歷史數(shù)據(jù)（以業(yè)務(wù)給定保存策略為準(zhǔn)）數(shù)據(jù)存儲(chǔ)基礎(chǔ)指標(biāo)的最終加工直接用于前端展現(xiàn)數(shù)據(jù)結(jié)構(gòu)基于報(bào)表展現(xiàn)的設(shè)計(jì)數(shù)據(jù)處理SQL語(yǔ)句作業(yè)運(yùn)行日志以文件的形式保存數(shù)據(jù)形式數(shù)據(jù)庫(kù)表存儲(chǔ)策略存儲(chǔ)3-5年歷史數(shù)據(jù)（以業(yè)務(wù)給定保存策略為準(zhǔn)）計(jì)量數(shù)據(jù)主題應(yīng)用數(shù)據(jù)主題基礎(chǔ)數(shù)據(jù)主題數(shù)據(jù)架構(gòu)—ETL處理過(guò)程XX項(xiàng)目信用卡數(shù)據(jù)集市大數(shù)據(jù)統(tǒng)一調(diào)度平臺(tái)接口文件加載校驗(yàn)加載通信接口基礎(chǔ)數(shù)據(jù)主題計(jì)量加工關(guān)聯(lián)代碼轉(zhuǎn)換匯總計(jì)量數(shù)據(jù)主題基礎(chǔ)指標(biāo)應(yīng)用加工匯總關(guān)聯(lián)報(bào)表指標(biāo)應(yīng)用數(shù)據(jù)主題校驗(yàn)加載通信接口關(guān)聯(lián)代碼轉(zhuǎn)換匯總基礎(chǔ)指標(biāo)關(guān)聯(lián)報(bào)表指標(biāo)數(shù)據(jù)架構(gòu)—加工計(jì)量層指標(biāo)項(xiàng)貸款品種貸款產(chǎn)品支付渠道運(yùn)營(yíng)管理部風(fēng)險(xiǎn)管理部業(yè)務(wù)拓展部貸款產(chǎn)品貸款期限最后到期日貸款產(chǎn)品合作渠道貸款區(qū)域分類業(yè)務(wù)維度業(yè)務(wù)指標(biāo)放款筆數(shù)放款金額應(yīng)收本金放款渠道進(jìn)件渠道還款渠道明細(xì)類客戶明細(xì)放款明細(xì)還款明細(xì)賬務(wù)差異明細(xì)貸款明細(xì)逾期金額逾期利息逾期天數(shù)逾期貸款明細(xì)放款明細(xì)還款明細(xì)五級(jí)分類貸款狀態(tài)還款方式貸款金額貸款余額到期本金進(jìn)件筆數(shù)、金額放款筆數(shù)放款金額累積放款客戶數(shù)累計(jì)放款筆數(shù)累計(jì)放款金額學(xué)歷性別年齡城市級(jí)別客戶明細(xì)首期逾期金額累積歸還本金催收服務(wù)費(fèi)新增客戶數(shù)授信筆數(shù)授信金額實(shí)收本金應(yīng)收利息實(shí)收利息交易成功率貸款期數(shù)扣款類型貸款類型進(jìn)件渠道貸款品種2021年度工作概述科技部需求The2021annualworksummary02002績(jī)效考核改造升級(jí)歷年常規(guī)任務(wù)：

①配合對(duì)公績(jī)效考核中間業(yè)務(wù)供數(shù)；

②績(jī)效考核填報(bào)，審核人員賦權(quán)；

③分值報(bào)表查看角色調(diào)整；

④檢查所有填報(bào)審批流程；

⑤分值指標(biāo)填報(bào)配合格式修改，添加新指標(biāo)考核標(biāo)準(zhǔn)配合開發(fā)；

⑥配合業(yè)務(wù)人員分析相關(guān)數(shù)據(jù)指標(biāo)存疑問(wèn)題?？萍疾縄T需求—績(jī)效考核平臺(tái)改造新建貸款考核指標(biāo)平臺(tái)：

①建設(shè)分支行系列貸款考核指標(biāo)，按照各部門劃分對(duì)公條線及對(duì)私條線貸款考核制；

②建設(shè)縣域支行系列貸款考核指標(biāo)，按照不同部門劃分不同業(yè)務(wù)條線，如：風(fēng)險(xiǎn)部，風(fēng)險(xiǎn)類考核指標(biāo)；授信部，征信貸款考核指標(biāo)。

績(jī)效考核指標(biāo)評(píng)分01常規(guī)任務(wù)_存款02計(jì)劃實(shí)施_貸款010203

建設(shè)大數(shù)據(jù)平臺(tái)ODS層數(shù)據(jù)清洗機(jī)制；不通過(guò)數(shù)據(jù)倉(cāng)庫(kù)下發(fā)清洗上游數(shù)據(jù)文件，上游系統(tǒng)數(shù)據(jù)文件直接下發(fā)中轉(zhuǎn)服務(wù)器UP目錄下（DOWN目錄為數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)清洗后的下發(fā)數(shù)據(jù)文件），BIGDATA平臺(tái)直接進(jìn)行CHECK檢測(cè)IPM平臺(tái)中；優(yōu)點(diǎn)：可跳過(guò)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)清洗卸載的等待時(shí)間。科技部IT需求—運(yùn)營(yíng)優(yōu)化

目前，大數(shù)據(jù)平臺(tái)ODS層接入上游系統(tǒng)表1325張，經(jīng)過(guò)分析統(tǒng)計(jì)有727張數(shù)據(jù)表無(wú)下游任務(wù)使用，接入數(shù)據(jù)表緊40%使用率；為減輕平臺(tái)批量任務(wù)的負(fù)荷情況，①可進(jìn)行727張數(shù)據(jù)表下線處理②在不線下的前提下，進(jìn)行大數(shù)據(jù)平臺(tái)時(shí)間空閑的情況下進(jìn)行設(shè)置數(shù)據(jù)刷新同步。優(yōu)點(diǎn)：減少平臺(tái)批量任務(wù)時(shí)間，同樣可減輕CHECK任務(wù)的排隊(duì)擁擠，預(yù)估可減少批量時(shí)間2-3小時(shí)左右。

優(yōu)化ETL任務(wù)