大數(shù)據(jù)中心考核草案

1、金融大數(shù)據(jù)中央考核草案為了更好的推進(jìn)和保證金融大數(shù)據(jù)中央建設(shè)和對(duì)外支持工作,特編寫(xiě)金融大數(shù)據(jù)中央考核草案,草案主要涉及到金融大數(shù)據(jù)中央數(shù)據(jù)開(kāi)發(fā)部、應(yīng)用開(kāi)發(fā)部、數(shù)據(jù)挖掘部,各部門要明確相關(guān)部門主要的目標(biāo)、策略、責(zé)任及考核最終落實(shí)到人；草案涉及到兩局部,一局部是要求類,另一局部是考核類,要求類是日常設(shè)計(jì)、開(kāi)發(fā)或運(yùn)維等工作中需要遵守且對(duì)中央內(nèi)部比擬重要的指標(biāo)或事項(xiàng),考核類主要是影響業(yè)務(wù)正常開(kāi)展的相關(guān)指標(biāo),系統(tǒng)的不可用、不及時(shí)、不準(zhǔn)確等對(duì)業(yè)務(wù)部門的工作造成了一定的影響,都屬于本中央考核范疇；考核草案詳情如下：一、數(shù)據(jù)開(kāi)發(fā)部1 .數(shù)據(jù)定義有邏輯模型和物理模型,并有建模說(shuō)明,建模根據(jù)建模標(biāo)準(zhǔn)進(jìn)行,模型標(biāo)準(zhǔn)

2、和標(biāo)準(zhǔn)進(jìn)行考核.建模標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)2 .數(shù)據(jù)分類數(shù)據(jù)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)行業(yè)標(biāo)準(zhǔn)并結(jié)合金融大數(shù)據(jù)中央實(shí)際內(nèi)容指定標(biāo)準(zhǔn)分類,數(shù)據(jù)嚴(yán)格根據(jù)分類進(jìn)行劃分例如：數(shù)據(jù)歸類可劃分當(dāng)事人、產(chǎn)品、渠道、合約、機(jī)構(gòu)、事件、活動(dòng)、賬務(wù)等分類標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)3 .元數(shù)據(jù)治理從以下幾點(diǎn)進(jìn)行考核：1對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)包含來(lái)源以及數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù)進(jìn)行描述,相關(guān)人員可以查看.2統(tǒng)一記錄好ETL中調(diào)度時(shí)間、依賴、抽取內(nèi)容、方式、方法等.3記錄并檢測(cè)系統(tǒng)數(shù)據(jù)的一致性,并能記錄執(zhí)行情況.4記錄好ETL數(shù)據(jù)清洗模型、轉(zhuǎn)換模型、加載模型,相關(guān)信息入庫(kù).4 .數(shù)據(jù)標(biāo)準(zhǔn)主要針對(duì)指標(biāo)的業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)業(yè)務(wù)標(biāo)準(zhǔn)：對(duì)指標(biāo)有明確的統(tǒng)計(jì)邏輯.技術(shù)標(biāo)準(zhǔn)

3、：表、視圖、索引、分區(qū)、文件、腳本、字段等符合標(biāo)準(zhǔn),相同指標(biāo)需要有統(tǒng)一的定義.業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)有了,看看是否需要完善5,數(shù)據(jù)質(zhì)量1根據(jù)不同的業(yè)務(wù)需求和規(guī)那么驗(yàn)證數(shù)據(jù)是否被正確地轉(zhuǎn)化.2保證所有預(yù)期的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有任何數(shù)據(jù)喪失和截?cái)?3保證數(shù)據(jù)在規(guī)定和預(yù)計(jì)的時(shí)間框架內(nèi)被加載到數(shù)據(jù)倉(cāng)庫(kù)中,以確認(rèn)改良的性能和可擴(kuò)展性.4預(yù)期數(shù)據(jù)被添加到目標(biāo)系統(tǒng)5確認(rèn)所有的數(shù)據(jù)庫(kù)字段,字段數(shù)據(jù)加載沒(méi)有任何截?cái)?記錄計(jì)數(shù)匹配的數(shù)據(jù)校驗(yàn)7被拒絕的數(shù)據(jù)的錯(cuò)誤日志都有詳細(xì)記錄8） NULL®字段9重復(fù)數(shù)據(jù)未加載10數(shù)據(jù)的完整性缺少數(shù)據(jù)質(zhì)量衡量標(biāo)準(zhǔn).6 .穩(wěn)定性：每天ETL調(diào)度的出錯(cuò)率需要在總?cè)蝿?wù)量的10

4、%Z內(nèi),出錯(cuò)要找出出錯(cuò)原因例如：沒(méi)有順序執(zhí)行、時(shí)間延遲、程序錯(cuò)誤等,并上報(bào)給規(guī)劃治理部進(jìn)行記錄備案,并納入季度及年度部門及個(gè)人考核.7 .其它1腳本編寫(xiě)等需要有良好的數(shù)據(jù)庫(kù)移植性,不適用特定數(shù)據(jù)庫(kù)的特殊函數(shù)使用sql9.2標(biāo)準(zhǔn),便于后期不同的平臺(tái)、系統(tǒng)、數(shù)據(jù)的移植.2平安性：系統(tǒng)的平安性要首先考慮,系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)平安、數(shù)據(jù)平安方面充分考慮,對(duì)外數(shù)據(jù)支持需要走流程,規(guī)劃治理部要進(jìn)行審核.3數(shù)據(jù)分散與集中相結(jié)合：所有數(shù)據(jù)集中存儲(chǔ),數(shù)據(jù)倉(cāng)庫(kù)根據(jù)需要對(duì)外系統(tǒng)(中央外或中央內(nèi)的應(yīng)用系統(tǒng))治理分別設(shè)置權(quán)限,不同的用戶維護(hù)不同數(shù)據(jù).二、應(yīng)用開(kāi)發(fā)部應(yīng)用開(kāi)發(fā)部主要涉及到應(yīng)用程序或接口效勞

5、程序的設(shè)計(jì)、開(kāi)發(fā)、優(yōu)化、監(jiān)控、運(yùn)維等(例如WEBAPR接口程序等)工作,下面提出針對(duì)系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)或運(yùn)維時(shí)需要考慮的局部指標(biāo),指標(biāo)有待大家進(jìn)行擴(kuò)充和完善.1 .事務(wù)(Transaction)在web中一個(gè)事務(wù)表示一個(gè)“從用戶發(fā)送請(qǐng)求->webserver接受到請(qǐng)求,進(jìn)行處理->webserver向口瞰取數(shù)據(jù)->生成用戶的object(頁(yè)面),返回給用戶的過(guò)程,一般的響應(yīng)時(shí)間都是針對(duì)事務(wù)而言的.支持事物個(gè)數(shù)：？2 .請(qǐng)求響應(yīng)時(shí)間請(qǐng)求響應(yīng)時(shí)間指的是從客戶端發(fā)起的一個(gè)請(qǐng)求開(kāi)始,到客戶端接收到從效勞器端返回的響應(yīng)結(jié)束,這個(gè)過(guò)程所消耗的時(shí)間,在某些工具中,響應(yīng)通常會(huì)稱為“TTLE?,即

6、"timetolastbyte",意思是從發(fā)起一個(gè)請(qǐng)求開(kāi)始,到客戶端接收到最后一個(gè)字節(jié)的響應(yīng)所消耗的時(shí)間,響應(yīng)時(shí)間的單位一般為“秒或者“毫秒.公式為：響應(yīng)時(shí)間=網(wǎng)絡(luò)響應(yīng)時(shí)間+應(yīng)用程序響應(yīng)時(shí)間.標(biāo)準(zhǔn)可參考國(guó)外的3/5/10原那么：(1)在3秒鐘之內(nèi),頁(yè)面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“很不錯(cuò)的；(2)在35秒鐘內(nèi),頁(yè)面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“好的；(3)在510秒鐘內(nèi),頁(yè)面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“勉強(qiáng)接受的；(4)超過(guò)10秒就讓人有點(diǎn)不耐煩了,用戶很可能不會(huì)繼續(xù)等待下去；3 .事務(wù)響應(yīng)時(shí)間事務(wù)可能由一系列請(qǐng)求組成,事務(wù)的響應(yīng)時(shí)間主要是針對(duì)用戶而言,屬于宏

7、觀上的概念,是為了向用戶說(shuō)明業(yè)務(wù)響應(yīng)時(shí)間而提出的.各系統(tǒng)事物響應(yīng)時(shí)間？4 .并發(fā)用戶數(shù)并發(fā)一般分為2種情況.一種是嚴(yán)格意義上的并發(fā),即所有的用戶在同一時(shí)刻做同一件事情或者操作,這種操作一般指做同一類型的業(yè)務(wù)；還有一種特例,即所有用戶進(jìn)行完全一樣操作.各系統(tǒng)的并發(fā)用戶數(shù)？5 .吞吐量指的是在一次性能測(cè)試過(guò)程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和.吞吐量/傳輸時(shí)問(wèn),就是吞吐率.6 .TPS(transactionpersecond)每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理水平的重要指標(biāo).7 .宕機(jī)率主要系統(tǒng)全年宕機(jī)時(shí)間=?8 .點(diǎn)擊率每秒鐘用戶向WE圄艮務(wù)器提交的HTTP青求數(shù).這個(gè)指標(biāo)是WE

8、而用特有的一個(gè)指標(biāo)：WEB應(yīng)用是"請(qǐng)求-響應(yīng)模式,用戶發(fā)出一次申請(qǐng),效勞器就要處理一次,所以點(diǎn)擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點(diǎn)擊定義為一個(gè)交易,點(diǎn)擊率和TPS就是一個(gè)概念.容易看出,點(diǎn)擊率越大,對(duì)效勞器的壓力越大.9 .資源利用率1)通用指標(biāo)(指We的用效勞器、數(shù)據(jù)庫(kù)效勞器必需測(cè)試項(xiàng))指標(biāo)說(shuō)明ProcessorTime效勞器CPU占用率,一般平均到達(dá)70%寸,效勞就接近飽和MemoryAvailableMbyte可用內(nèi)存數(shù),如果測(cè)試時(shí)發(fā)現(xiàn)內(nèi)存有變化情況也要注意,如果是內(nèi)存泄露那么比擬嚴(yán)重PhysicsdiskTime物理磁盤讀寫(xiě)時(shí)間情況2)Wet®務(wù)器指

9、標(biāo)指標(biāo)說(shuō)明RequestsPerSecond(AvgRps)平均每秒鐘響應(yīng)次數(shù)=總請(qǐng)求時(shí)間/秒數(shù)Avgtimetolastbyteperterstions)(mste平均每秒業(yè)務(wù)腳本的迭代次數(shù),混淆有人會(huì)把上面那個(gè)SuccessfulRounds成功的請(qǐng)求FailedRequests失敗的請(qǐng)求SuccessfulHits成功的點(diǎn)擊次數(shù)FailedHits失敗的點(diǎn)擊次數(shù)HitsPerSecond每秒點(diǎn)擊次數(shù)SuccessfulHitsPerSecond每秒成功的點(diǎn)擊次數(shù)FailedHitsPerSecond每秒失敗的點(diǎn)擊次數(shù)AttemptedConnections嘗試鏈接數(shù)3數(shù)據(jù)庫(kù)效勞器性能指標(biāo)指標(biāo)說(shuō)明User0Connections用戶連接數(shù),也就是數(shù)據(jù)庫(kù)的連接數(shù)量Numberofdeadlocks數(shù)據(jù)庫(kù)死鎖ButterCachehit數(shù)據(jù)庫(kù)Cache的命中情況4系統(tǒng)的瓶頸定義性能項(xiàng)命令指標(biāo)CPU艮制vmstat當(dāng)user+%sys超過(guò)80%寸磁盤I/O限制Vmstat當(dāng)%iowait超過(guò)40%AIX4.3.3或更高版本時(shí)應(yīng)用磁盤限制ostat當(dāng)tm_act超過(guò)70%寸虛存空間少Lsps,-a當(dāng)分頁(yè)空間的活動(dòng)率超過(guò)70%寸換頁(yè)限制ostat,stat虛存邏輯卷%tm_act超過(guò)I/Oiostat的30%,激活的虛存率超過(guò)CPUB量vmstat的10倍時(shí)系統(tǒng)失效Vmst