大數(shù)據(jù)中心考核草案

金融大數(shù)據(jù)中心考核草案為了更好的推進(jìn)和保證金融大數(shù)據(jù)中心建設(shè)和對(duì)外支持工作，特編寫金融大數(shù)據(jù)中心考核草案，草案主要涉及到金融大數(shù)據(jù)中心數(shù)據(jù)開(kāi)發(fā)部、應(yīng)用開(kāi)發(fā)部、數(shù)據(jù)挖掘部，各部門要明確相關(guān)部門主要的目標(biāo)、策略、責(zé)任及考核最終落實(shí)到人；草案涉及到兩部分，一部分是要求類，另一部分是考核類，要求類是日常設(shè)計(jì)、開(kāi)發(fā)或運(yùn)維等工作中需要遵守且對(duì)中心內(nèi)部比較重要的指標(biāo)或事項(xiàng)，考核類主要是影響業(yè)務(wù)正常開(kāi)展的相關(guān)指標(biāo)，系統(tǒng)的不可用、不及時(shí)、不準(zhǔn)確等對(duì)業(yè)務(wù)部門的工作造成了一定的影響，都屬于本中心考核范疇；考核草案詳情如下：數(shù)據(jù)開(kāi)發(fā)部數(shù)據(jù)定義有邏輯模型和物理模型，并有建模說(shuō)明，建模按照建模規(guī)范進(jìn)行，模型標(biāo)準(zhǔn)和規(guī)范進(jìn)行考核。建模規(guī)范、考核標(biāo)準(zhǔn)數(shù)據(jù)分類數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)行業(yè)標(biāo)準(zhǔn)并結(jié)合金融大數(shù)據(jù)中心實(shí)際內(nèi)容指定標(biāo)準(zhǔn)分類，數(shù)據(jù)嚴(yán)格按照分類進(jìn)行劃分(例如：數(shù)據(jù)歸類可劃分當(dāng)事人、產(chǎn)品、渠道、合約、機(jī)構(gòu)、事件、活動(dòng)、賬務(wù)等)分類標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)元數(shù)據(jù)管理從以下幾點(diǎn)進(jìn)行考核：對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)(包含來(lái)源以及數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù))進(jìn)行描述，相關(guān)人員可以查看。統(tǒng)一記錄好ETL中調(diào)度時(shí)間、依賴、抽取內(nèi)容、方式、方法等。記錄并檢測(cè)系統(tǒng)數(shù)據(jù)的一致性，并能記錄執(zhí)行情況。記錄好ETL數(shù)據(jù)清洗模型、轉(zhuǎn)換模型、加載模型，相關(guān)信息入庫(kù)。數(shù)據(jù)標(biāo)準(zhǔn)主要針對(duì)指標(biāo)的業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)。業(yè)務(wù)標(biāo)準(zhǔn)：對(duì)指標(biāo)有明確的統(tǒng)計(jì)邏輯。技術(shù)標(biāo)準(zhǔn)：表、視圖、索引、分區(qū)、文件、腳本、字段等符合規(guī)范，相同指標(biāo)需要有統(tǒng)一的定義。業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)(有了，看看是否需要完善)數(shù)據(jù)質(zhì)量根據(jù)不同的業(yè)務(wù)需求和規(guī)則驗(yàn)證數(shù)據(jù)是否被正確地轉(zhuǎn)化。確保所有預(yù)期的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有任何數(shù)據(jù)丟失和截?cái)唷４_保數(shù)據(jù)在規(guī)定和預(yù)計(jì)的時(shí)間框架內(nèi)被加載到數(shù)據(jù)倉(cāng)庫(kù)中，以確認(rèn)改進(jìn)的性能和可擴(kuò)展性。預(yù)期數(shù)據(jù)被添加到目標(biāo)系統(tǒng)確認(rèn)所有的數(shù)據(jù)庫(kù)字段，字段數(shù)據(jù)加載沒(méi)有任何截?cái)嘤涗浻?jì)數(shù)匹配的數(shù)據(jù)校驗(yàn)被拒絕的數(shù)據(jù)的錯(cuò)誤\t"/html/87/_self"日志都有詳細(xì)記錄NULL值字段重復(fù)數(shù)據(jù)未加載數(shù)據(jù)的完整性缺少數(shù)據(jù)質(zhì)量衡量標(biāo)準(zhǔn)。穩(wěn)定性：每天ETL調(diào)度的出錯(cuò)率需要在總?cè)蝿?wù)量的10%以內(nèi)，出錯(cuò)要找出出錯(cuò)原因(例如：沒(méi)有順序執(zhí)行、時(shí)間延遲、程序錯(cuò)誤等)，并上報(bào)給規(guī)劃管理部進(jìn)行記錄備案，并納入季度及年度部門及個(gè)人考核。其它腳本編寫等需要有良好的數(shù)據(jù)庫(kù)移植性，不適用特定數(shù)據(jù)庫(kù)的特殊函數(shù)(使用sql9.2標(biāo)準(zhǔn))，便于后期不同的平臺(tái)、系統(tǒng)、數(shù)據(jù)的移植。安全性：系統(tǒng)的安全性要首先考慮，系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全方面充分考慮，對(duì)外數(shù)據(jù)支持需要走流程，規(guī)劃管理部要進(jìn)行審核。數(shù)據(jù)分散與集中相結(jié)合：所有數(shù)據(jù)集中存儲(chǔ)，數(shù)據(jù)倉(cāng)庫(kù)根據(jù)需要對(duì)外系統(tǒng)(中心外或中心內(nèi)的應(yīng)用系統(tǒng))管理分別設(shè)置權(quán)限，不同的用戶維護(hù)不同數(shù)據(jù)。應(yīng)用開(kāi)發(fā)部應(yīng)用開(kāi)發(fā)部主要涉及到應(yīng)用程序或接口服務(wù)程序的設(shè)計(jì)、開(kāi)發(fā)、優(yōu)化、監(jiān)控、運(yùn)維等(例如WEB、APP、接口程序等)工作，下面提出針對(duì)系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)或運(yùn)維時(shí)需要考慮的部分指標(biāo)，指標(biāo)有待大家進(jìn)行擴(kuò)充和完善。事務(wù)（Transaction）在web中一個(gè)事務(wù)表示一個(gè)“從用戶發(fā)送請(qǐng)求->webserver接受到請(qǐng)求，進(jìn)行處理->webserver向DB獲取數(shù)據(jù)->生成用戶的object(頁(yè)面)，返回給用戶”的過(guò)程，一般的響應(yīng)時(shí)間都是針對(duì)事務(wù)而言的。支持事物個(gè)數(shù)：？請(qǐng)求響應(yīng)時(shí)間請(qǐng)求響應(yīng)時(shí)間指的是從客戶端發(fā)起的一個(gè)請(qǐng)求開(kāi)始，到客戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，這個(gè)過(guò)程所耗費(fèi)的時(shí)間，在某些工具中，響應(yīng)通常會(huì)稱為“TTLB”，即"timetolastbyte"，意思是從發(fā)起一個(gè)請(qǐng)求開(kāi)始，到客戶端接收到最后一個(gè)字節(jié)的響應(yīng)所耗費(fèi)的時(shí)間，響應(yīng)時(shí)間的單位一般為“秒”或者“毫秒”。公式為：響應(yīng)時(shí)間＝網(wǎng)絡(luò)響應(yīng)時(shí)間+應(yīng)用程序響應(yīng)時(shí)間。標(biāo)準(zhǔn)可參考國(guó)外的3/5/10原則：（1）在3秒鐘之內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“很不錯(cuò)的”；（2）在3~5秒鐘內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“好的”；（3）在5~10秒鐘內(nèi)，頁(yè)面給予用戶響應(yīng)并有所顯示，可認(rèn)為是“勉強(qiáng)接受的”；（4）超過(guò)10秒就讓人有點(diǎn)不耐煩了，用戶很可能不會(huì)繼續(xù)等待下去；事務(wù)響應(yīng)時(shí)間事務(wù)可能由一系列請(qǐng)求組成,事務(wù)的響應(yīng)時(shí)間主要是針對(duì)用戶而言,屬于宏觀上的概念，是為了向用戶說(shuō)明業(yè)務(wù)響應(yīng)時(shí)間而提出的。各系統(tǒng)事物響應(yīng)時(shí)間？并發(fā)用戶數(shù)并發(fā)一般分為2種情況。一種是嚴(yán)格意義上的并發(fā)，即所有的用戶在同一時(shí)刻做同一件事情或者操作，這種操作一般指做同一類型的業(yè)務(wù)；還有一種特例，即所有用戶進(jìn)行完全一樣操作。各系統(tǒng)的并發(fā)用戶數(shù)？吞吐量指的是在一次性能測(cè)試過(guò)程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和.吞吐量/傳輸時(shí)間,就是吞吐率.TPS（transactionpersecond）每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理能力的重要指標(biāo).宕機(jī)率主要系統(tǒng)全年宕機(jī)時(shí)間<=?點(diǎn)擊率每秒鐘用戶向WEB服務(wù)器提交的HTTP請(qǐng)求數(shù).這個(gè)指標(biāo)是WEB應(yīng)用特有的一個(gè)指標(biāo):WEB應(yīng)用是"請(qǐng)求-響應(yīng)"模式,用戶發(fā)出一次申請(qǐng),服務(wù)器就要處理一次,所以點(diǎn)擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點(diǎn)擊定義為一個(gè)交易,點(diǎn)擊率和TPS就是一個(gè)概念.容易看出,點(diǎn)擊率越大,對(duì)服務(wù)器的壓力越大.資源利用率通用指標(biāo)（指Web應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器必需測(cè)試項(xiàng))指標(biāo)說(shuō)明ProcessorTime服務(wù)器CPU占用率，一般平均達(dá)到70%時(shí)，服務(wù)就接近飽和MemoryAvailableMbyte可用內(nèi)存數(shù)，如果測(cè)試時(shí)發(fā)現(xiàn)內(nèi)存有變化情況也要注意，如果是內(nèi)存泄露則比較嚴(yán)重PhysicsdiskTime物理磁盤讀寫時(shí)間情況Web服務(wù)器指標(biāo)指標(biāo)說(shuō)明RequestsPerSecond（AvgRps）平均每秒鐘響應(yīng)次數(shù)＝總請(qǐng)求時(shí)間/秒數(shù)Avgtimetolastbyteperterstion（mstes）平均每秒業(yè)務(wù)腳本的迭代次數(shù),有人會(huì)把上面那個(gè)混淆SuccessfulRounds成功的請(qǐng)求FailedRequests失敗的請(qǐng)求SuccessfulHits成功的點(diǎn)擊次數(shù)FailedHits失敗的點(diǎn)擊次數(shù)HitsPerSecond每秒點(diǎn)擊次數(shù)SuccessfulHitsPerSecond每秒成功的點(diǎn)擊次數(shù)FailedHitsPerSecond每秒失敗的點(diǎn)擊次數(shù)AttemptedConnections嘗試鏈接數(shù)數(shù)據(jù)庫(kù)服務(wù)器性能指標(biāo)指標(biāo)說(shuō)明User0Connections用戶連接數(shù)，也就是數(shù)據(jù)庫(kù)的連接數(shù)量Numberofdeadlocks數(shù)據(jù)庫(kù)死鎖ButterCachehit數(shù)據(jù)庫(kù)Cache的命中情況系統(tǒng)的瓶頸定義性能項(xiàng)命令指標(biāo)CPU限制vmstat當(dāng)%user+%sys超過(guò)80%時(shí)磁盤I/O限制Vmstat當(dāng)%iowait超過(guò)40%(AIX4.3.3或更高版本)時(shí)應(yīng)用磁盤限制Iostat當(dāng)%tm_act超過(guò)70%時(shí)虛存空間少Lsps，-a當(dāng)分頁(yè)空間的活動(dòng)率超過(guò)70%時(shí)換頁(yè)限制Iostat,stat虛存邏輯卷%tm_act超過(guò)I/O(iostat)的30%，激活的虛存率超過(guò)CPU數(shù)