大數(shù)據(jù)中心考核草案

1、金融大數(shù)據(jù)中心考核草案為了更好的推進(jìn)和保證金融大數(shù)據(jù)中心建設(shè)和對(duì)外支持工作，特編寫金融大數(shù)據(jù)中心考核草案，草案主要涉及到金融大數(shù)據(jù)中心數(shù)據(jù)開發(fā)部、應(yīng)用開發(fā)部、數(shù)據(jù)挖掘部，各部門要明確相關(guān)部門主要的目標(biāo)、策略、責(zé)任及考核最終落實(shí)到人；草案涉及到兩部分，一部分是要求類，另一部分是考核類，要求類是日常設(shè)計(jì)、開發(fā)或運(yùn)維等工作中需要遵守且對(duì)中心內(nèi)部比較重要的指標(biāo)或事項(xiàng)，考核類主要是影響業(yè)務(wù)正常開展的相關(guān)指標(biāo)，系統(tǒng)的不可用、不及時(shí)、不準(zhǔn)確等對(duì)業(yè)務(wù)部門的工作造成了一定的影響，都屬于本中心考核范疇；考核草案詳情如下：一、數(shù)據(jù)開發(fā)部1 .數(shù)據(jù)定義有邏輯模型和物理模型，并有建模說明，建模按照建模規(guī)范進(jìn)行，模型標(biāo)準(zhǔn)

2、和規(guī)范進(jìn)行考核。建模規(guī)范、考核標(biāo)準(zhǔn)2 .數(shù)據(jù)分類數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)行業(yè)標(biāo)準(zhǔn)并結(jié)合金融大數(shù)據(jù)中心實(shí)際內(nèi)容指定標(biāo)準(zhǔn)分類，數(shù)據(jù)嚴(yán)格按照分類進(jìn)行劃分（例如：數(shù)據(jù)歸類可劃分當(dāng)事人、產(chǎn)品、渠道、合約、機(jī)構(gòu)、事件、活動(dòng)、賬務(wù)等）分類標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)3 .元數(shù)據(jù)管理從以下幾點(diǎn)進(jìn)行考核：1）對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)（包含來源以及數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù)）進(jìn)行描述，相關(guān)人員可以查看。2）統(tǒng)一記錄好ETL中調(diào)度時(shí)間、依賴、抽取內(nèi)容、方式、方法等。3）記錄并檢測(cè)系統(tǒng)數(shù)據(jù)的一致性，并能記錄執(zhí)行情況。4）記錄好ETL數(shù)據(jù)清洗模型、轉(zhuǎn)換模型、加載模型，相關(guān)信息入庫(kù)。4 .數(shù)據(jù)標(biāo)準(zhǔn)主要針對(duì)指標(biāo)的業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)范文業(yè)務(wù)標(biāo)準(zhǔn)：對(duì)指標(biāo)有明確

3、的統(tǒng)計(jì)邏輯。技術(shù)標(biāo)準(zhǔn)：表、視圖、索引、分區(qū)、文件、腳本、字段等符合規(guī)范，相同指標(biāo)需要有統(tǒng)一的定義。業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)（有了，看看是否需要完善）5,數(shù)據(jù)質(zhì)量1）根據(jù)不同的業(yè)務(wù)需求和規(guī)則驗(yàn)證數(shù)據(jù)是否被正確地轉(zhuǎn)化。2）確保所有預(yù)期的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中沒有任何數(shù)據(jù)丟失和截?cái)唷?）確保數(shù)據(jù)在規(guī)定和預(yù)計(jì)的時(shí)間框架內(nèi)被加載到數(shù)據(jù)倉(cāng)庫(kù)中，以確認(rèn)改進(jìn)的性能和可擴(kuò)展性。4）預(yù)期數(shù)據(jù)被添加到目標(biāo)系統(tǒng)5）確認(rèn)所有的數(shù)據(jù)庫(kù)字段，字段數(shù)據(jù)加載沒有任何截?cái)?）記錄計(jì)數(shù)匹配的數(shù)據(jù)校驗(yàn)7）被拒絕的數(shù)據(jù)的錯(cuò)誤日志都有詳細(xì)記錄8） NULL®字段9）重復(fù)數(shù)據(jù)未加載10）數(shù)據(jù)的完整性缺少數(shù)據(jù)質(zhì)量衡量標(biāo)準(zhǔn)。6 .穩(wěn)定性：每

4、天ETL調(diào)度的出錯(cuò)率需要在總?cè)蝿?wù)量的10%Z內(nèi)，出錯(cuò)要找出出錯(cuò)原因（例如：沒有順序執(zhí)行、時(shí)間延遲、程序錯(cuò)誤等），并上報(bào)給規(guī)劃管理部進(jìn)行記錄備案，并納入季度及年度部門及個(gè)人考核。7 .其它1）腳本編寫等需要有良好的數(shù)據(jù)庫(kù)移植性，不適用特定數(shù)據(jù)庫(kù)的特殊函數(shù)（使用sql9.2標(biāo)準(zhǔn)），便于后期不同的平臺(tái)、系統(tǒng)、數(shù)據(jù)的移植。2）安全性：系統(tǒng)的安全性要首先考慮，系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全方面充分考慮，對(duì)外數(shù)據(jù)支持需要走流程，規(guī)劃管理部要進(jìn)行審核。3）數(shù)據(jù)分散與集中相結(jié)合：所有數(shù)據(jù)集中存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)根據(jù)需要對(duì)外系范文統(tǒng)(中心外或中心內(nèi)的應(yīng)用系統(tǒng))管理分別設(shè)置權(quán)限，不同的用戶維護(hù)不同

5、數(shù)據(jù)。二、應(yīng)用開發(fā)部應(yīng)用開發(fā)部主要涉及到應(yīng)用程序或接口服務(wù)程序的設(shè)計(jì)、開發(fā)、優(yōu)化、監(jiān)控、運(yùn)維等(例如WEBAPR接口程序等)工作，下面提出針對(duì)系統(tǒng)設(shè)計(jì)、開發(fā)或運(yùn)維時(shí)需要考慮的部分指標(biāo)，指標(biāo)有待大家進(jìn)行擴(kuò)充和完善。1 .事務(wù)(Transaction)在web中一個(gè)事務(wù)表示一個(gè)“從用戶發(fā)送請(qǐng)求->webserver接受到請(qǐng)求，進(jìn)行處理->webserver向口瞰取數(shù)據(jù)->生成用戶的object(頁(yè)面)，返回給用戶”的過程，一般的響應(yīng)時(shí)間都是針對(duì)事務(wù)而言的。支持事物個(gè)數(shù)：？2 .請(qǐng)求響應(yīng)時(shí)間請(qǐng)求響應(yīng)時(shí)間指的是從客戶端發(fā)起的一個(gè)請(qǐng)求開始，到客戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，這個(gè)過

6、程所耗費(fèi)的時(shí)間，在某些工具中，響應(yīng)通常會(huì)稱為“TTLE?,即"timetolastbyte",意思是從發(fā)起一個(gè)請(qǐng)求開始，到客戶端接收到最后一個(gè)字節(jié)的響應(yīng)所耗費(fèi)的時(shí)間，響應(yīng)時(shí)間的單位一般為“秒”或者“毫秒”。公式為：響應(yīng)時(shí)間=網(wǎng)絡(luò)響應(yīng)時(shí)間+應(yīng)用程序響應(yīng)時(shí)間。標(biāo)準(zhǔn)可參考國(guó)外的3/5/10原則：(1)在3秒鐘之內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“很不錯(cuò)的”；(2)在35秒鐘內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“好的”；(3)在510秒鐘內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“勉強(qiáng)接受的”；(4)超過10秒就讓人有點(diǎn)不耐煩了，用戶很可能不會(huì)繼續(xù)等待下去；3 .事務(wù)響應(yīng)時(shí)

7、間事務(wù)可能由一系列請(qǐng)求組成，事務(wù)的響應(yīng)時(shí)間主要是針對(duì)用戶而言，屬于宏觀上的概念，是為了向用戶說明業(yè)務(wù)響應(yīng)時(shí)間而提出的。各系統(tǒng)事物響應(yīng)時(shí)間？4 .并發(fā)用戶數(shù)并發(fā)一般分為2種情況。一種是嚴(yán)格意義上的并發(fā)，即所有的用戶在同一時(shí)范文刻做同一件事情或者操作，這種操作一般指做同一類型的業(yè)務(wù)；還有一種特例，即所有用戶進(jìn)行完全一樣操作。各系統(tǒng)的并發(fā)用戶數(shù)？5 .吞吐量指的是在一次性能測(cè)試過程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和.吞吐量/傳輸時(shí)問，就是吞吐率.6 .TPS(transactionpersecond)每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理能力的重要指標(biāo).7 .宕機(jī)率主要系統(tǒng)全年宕機(jī)時(shí)間=?

8、8 .點(diǎn)擊率每秒鐘用戶向WE圄艮務(wù)器提交的HTTP青求數(shù).這個(gè)指標(biāo)是WE而用特有的一個(gè)指標(biāo)：WEB應(yīng)用是"請(qǐng)求-響應(yīng)”模式，用戶發(fā)出一次申請(qǐng)，服務(wù)器就要處理一次,所以點(diǎn)擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點(diǎn)擊定義為一個(gè)交易，點(diǎn)擊率和TPS就是一個(gè)概念.容易看出，點(diǎn)擊率越大，對(duì)服務(wù)器的壓力越大.9 .資源利用率1)通用指標(biāo)(指We的用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器必需測(cè)試項(xiàng))指標(biāo)說明ProcessorTime服務(wù)器CPU占用率，一般平均達(dá)到70%寸，服務(wù)就接近飽和MemoryAvailableMbyte可用內(nèi)存數(shù)，如果測(cè)試時(shí)發(fā)現(xiàn)內(nèi)存有變化情況也要注意，如果是內(nèi)存泄露則比較嚴(yán)重Phy

9、sicsdiskTime物理磁盤讀寫時(shí)間情況2)Wet®務(wù)器指標(biāo)指標(biāo)說明RequestsPerSecond(AvgRps)平均每秒鐘響應(yīng)次數(shù)=總請(qǐng)求時(shí)間/秒數(shù)Avgtimetolastbyteperterstions)(mste平均每秒業(yè)務(wù)腳本的迭代次數(shù)，混淆有人會(huì)把上面那個(gè)范文SuccessfulRounds成功的請(qǐng)求FailedRequests失敗的請(qǐng)求SuccessfulHits成功的點(diǎn)擊次數(shù)FailedHits失敗的點(diǎn)擊次數(shù)HitsPerSecond每秒點(diǎn)擊次數(shù)SuccessfulHitsPerSecond每秒成功的點(diǎn)擊次數(shù)FailedHitsPerSecond每秒失敗的點(diǎn)擊

10、次數(shù)AttemptedConnections嘗試鏈接數(shù)3）數(shù)據(jù)庫(kù)服務(wù)器性能指標(biāo)指標(biāo)說明User0Connections用戶連接數(shù)，也就是數(shù)據(jù)庫(kù)的連接數(shù)量Numberofdeadlocks數(shù)據(jù)庫(kù)死鎖ButterCachehit數(shù)據(jù)庫(kù)Cache的命中情況4）系統(tǒng)的瓶頸定義性能項(xiàng)命令指標(biāo)CPU艮制vmstat當(dāng)user+%sys超過80%寸磁盤I/O限制Vmstat當(dāng)%iowait超過40%（AIX4.3.3或更高版本）時(shí)應(yīng)用磁盤限制ostat當(dāng)tm_act超過70%寸虛存空間少Lsps,-a當(dāng)分頁(yè)空間的活動(dòng)率超過70%寸換頁(yè)限制ostat,stat虛存邏輯卷%tm_act超過I/O（iostat）的30%,激活的虛存率超過CPUB量（vmstat）的10倍時(shí)系統(tǒng)失效Vmstat,s