備份系統(tǒng)運(yùn)行數(shù)據(jù)收集及分析的設(shè)計(jì)

備份系統(tǒng)運(yùn)行數(shù)據(jù)收集及分析的設(shè)計(jì)

【導(dǎo)讀】本文從個(gè)人運(yùn)維實(shí)踐經(jīng)驗(yàn)出發(fā)，研究設(shè)計(jì)備份系統(tǒng)運(yùn)行數(shù)據(jù)采集及分析方法，從而能更加洞察系統(tǒng)的運(yùn)行規(guī)律，希望對同行有一定的借鑒和參考價(jià)值。前言信息系統(tǒng)的運(yùn)行雖然遵循一定的運(yùn)行規(guī)律，但也呈現(xiàn)出動(dòng)態(tài)的、易干擾、難以預(yù)測的特征。對于IT系統(tǒng)運(yùn)維人員來說，我們最關(guān)注的是系統(tǒng)的穩(wěn)定運(yùn)行，有時(shí)會(huì)過于擔(dān)憂系統(tǒng)的運(yùn)行風(fēng)險(xiǎn)，有時(shí)也對某些運(yùn)行中的風(fēng)險(xiǎn)麻痹大意，甚至在面對潛在的、未知的故障時(shí)，還會(huì)十分恐慌?？謶衷从谖粗琁T運(yùn)維人員需要克服這種恐懼，讓運(yùn)維從容不迫。本文將從個(gè)人運(yùn)維實(shí)踐經(jīng)驗(yàn)出發(fā)，研究設(shè)計(jì)備份系統(tǒng)運(yùn)行數(shù)據(jù)采集及分析方法，從而能更加洞察系統(tǒng)的運(yùn)行規(guī)律，希望對同行有一定的借鑒和參考價(jià)值。1.需求數(shù)據(jù)備份是為應(yīng)對潛在的數(shù)據(jù)丟失風(fēng)險(xiǎn)，而將業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)加以復(fù)制并轉(zhuǎn)儲(chǔ)到備份存儲(chǔ)的工作。為統(tǒng)一調(diào)度不同的數(shù)據(jù)備份作業(yè)，集成管理數(shù)據(jù)備份服務(wù)器以及不同類型的備份存儲(chǔ)介質(zhì)，企業(yè)需要規(guī)劃建設(shè)與業(yè)務(wù)系統(tǒng)架構(gòu)相適應(yīng)的數(shù)據(jù)備份系統(tǒng)。作為數(shù)據(jù)安全的一道重要防線，穩(wěn)定運(yùn)行的數(shù)據(jù)備份系統(tǒng)是至關(guān)重要的。備份系統(tǒng)運(yùn)維側(cè)重于關(guān)注備份作業(yè)是否出現(xiàn)報(bào)錯(cuò)，備份存儲(chǔ)是否存在異常，出現(xiàn)異?；蚬收蠒r(shí)如何去排查、分析、干預(yù)等方面?；趥浞菹到y(tǒng)運(yùn)行數(shù)據(jù)的收集及分析，來構(gòu)建備份系統(tǒng)較全面的數(shù)字模型，主要用于解決以下三個(gè)痛點(diǎn)：缺乏有效的故障預(yù)警：粗粒度、滯后性的運(yùn)維方式增加了備份系統(tǒng)的故障率，進(jìn)而影響了備份作業(yè)的成功率。故障溯源困難：故障會(huì)導(dǎo)致運(yùn)行錯(cuò)誤，故障分析定位的過程則是從運(yùn)行錯(cuò)誤回溯到故障，找出錯(cuò)誤源頭，這也是傳統(tǒng)運(yùn)維方式的痛點(diǎn)之一。系統(tǒng)管控能力不足：備份系統(tǒng)不同于一般的業(yè)務(wù)系統(tǒng)，往往會(huì)忽略了運(yùn)維的過程管理，包括配置管理、變更管理、容量管理等。如果系統(tǒng)管控能力不足，會(huì)大大增加運(yùn)維風(fēng)險(xiǎn)，嚴(yán)重影響系統(tǒng)的穩(wěn)定運(yùn)行。2.設(shè)計(jì)策略部分大數(shù)據(jù)、智能化運(yùn)維項(xiàng)目更注重于形，即先搭平臺，數(shù)據(jù)收集起來，再慢慢看能做什么樣的數(shù)據(jù)分析和應(yīng)用。這樣的設(shè)計(jì)策略沒有認(rèn)識到數(shù)據(jù)質(zhì)量的重要性，也輕視了系統(tǒng)運(yùn)行規(guī)律和運(yùn)維經(jīng)驗(yàn)的指導(dǎo)作用，系統(tǒng)的有效性大大降低。如果數(shù)據(jù)質(zhì)量不高或缺失了某些關(guān)鍵指標(biāo)數(shù)據(jù)，數(shù)據(jù)分析的結(jié)果必然會(huì)有偏差。因此，總體設(shè)計(jì)策略應(yīng)先關(guān)注領(lǐng)域分析，即有必要深入分析備份系統(tǒng)的整體架構(gòu)，了解系統(tǒng)各組件之間的關(guān)系、數(shù)據(jù)流路徑；然后是數(shù)據(jù)的場景化設(shè)計(jì)，針對具體的運(yùn)維場景確定數(shù)據(jù)分析及應(yīng)用場景，再追溯確認(rèn)需要采集的指標(biāo)數(shù)據(jù)；最后詳細(xì)設(shè)計(jì)數(shù)據(jù)收集和數(shù)據(jù)分析方法。整體設(shè)計(jì)流程如圖1所示：圖1.設(shè)計(jì)策略流程圖3.領(lǐng)域分析3.1備份系統(tǒng)整體架構(gòu)備份系統(tǒng)主要包括備份管理系統(tǒng)、備份客戶端、備份網(wǎng)絡(luò)以及備份存儲(chǔ)介質(zhì)這幾種組件，如圖2所示：圖2.備份系統(tǒng)整體架構(gòu)圖備份管理系統(tǒng)包括備份管理軟件和備份管理服務(wù)器，承擔(dān)備份作業(yè)調(diào)度管理、備份存儲(chǔ)介質(zhì)管理等責(zé)任，是典型的C/S架構(gòu)，讀取備份客戶端數(shù)據(jù)，并將數(shù)據(jù)寫入備份介質(zhì)中。備份客戶端執(zhí)行備份任務(wù)的業(yè)務(wù)主機(jī)，是用戶感知層，一般需安裝備份軟件客戶端代理程序，并與備份服務(wù)端通信。備份網(wǎng)絡(luò)承擔(dān)備份數(shù)據(jù)流的傳輸任務(wù)，一般分為基于TCP/IP的備份LAN和基于FC的備份SAN。備份存儲(chǔ)介質(zhì)承擔(dān)備份數(shù)據(jù)存儲(chǔ)的備份設(shè)備或介質(zhì)，常見的包括磁帶庫，虛擬帶庫，NAS存儲(chǔ)等。3.2備份數(shù)據(jù)流備份系統(tǒng)的數(shù)據(jù)流主要包括備份作業(yè)數(shù)據(jù)流和數(shù)據(jù)恢復(fù)數(shù)據(jù)流，如圖3和圖4所示。需要強(qiáng)調(diào)的是，數(shù)據(jù)流傳輸并不是一個(gè)直接調(diào)用返回的動(dòng)作，而是一個(gè)持續(xù)的數(shù)據(jù)傳輸過程，在數(shù)據(jù)流傳輸路徑的任意一個(gè)環(huán)節(jié)出現(xiàn)堵塞或者故障，備份或恢復(fù)作業(yè)即會(huì)受到影響；另外，由于源端或目的端重復(fù)刪除技術(shù)的應(yīng)用，備份與恢復(fù)的數(shù)據(jù)流并不對稱，需要分別分析。

圖3.備份作業(yè)數(shù)據(jù)流圖圖4.恢復(fù)作業(yè)數(shù)據(jù)流圖4.場景設(shè)計(jì)4.1故障管理場景故障管理是運(yùn)維場景中最重要的一環(huán)，一般可分為事前、事中、事后三個(gè)階段。事前階段的重點(diǎn)是評估分析，做好故障預(yù)防；事中階段則包括故障告警、故障處理和恢復(fù)；事后階段需要做好分析改進(jìn)。下文將對備份系統(tǒng)常見的故障場景做具體分析。4.1.1作業(yè)時(shí)長增加數(shù)據(jù)備份和恢復(fù)作業(yè)的時(shí)長增加是一種隱性故障，一般影響較小。但對于關(guān)鍵業(yè)務(wù)系統(tǒng)來說，超出備份時(shí)間窗口，帶來的影響有時(shí)也是無法容忍的；而數(shù)據(jù)恢復(fù)作業(yè)時(shí)長有時(shí)也決定了故障恢復(fù)時(shí)間長短。數(shù)據(jù)備份恢復(fù)時(shí)長一般隨數(shù)據(jù)量的增長而緩慢增長，但異常情況下，備份恢復(fù)速度也會(huì)降低。在事前階段，我們可以判斷數(shù)據(jù)量是否有突增，可以提前調(diào)整備份時(shí)間；事中階段可關(guān)注數(shù)據(jù)吞吐量，如達(dá)不到速度預(yù)期，甚至嚴(yán)重超出備份時(shí)間窗口，可能需要及時(shí)中止備份恢復(fù)作業(yè)；事后階段主要是排查定位速度下降的原因，主要排查方向是備份網(wǎng)絡(luò)帶寬被占用、讀取數(shù)據(jù)源的速度下降以及寫入備份存儲(chǔ)的速度下降這三類。4.1.2硬件故障硬件故障的影響依賴于硬件冗余情況，備份服務(wù)器、備份網(wǎng)絡(luò)、磁帶機(jī)、磁帶等等硬件都需要有冗余，這種問題對備份系統(tǒng)的影響一般是一次性的。除了硬件設(shè)備自身故障以外，還可能存在兼容性問題導(dǎo)致的硬件故障問題，這類問題可能會(huì)間歇性的影響到備份作業(yè)的成功率，定位難度也比較高。在事前階段，我們需要關(guān)注硬件自身的狀態(tài)，可提前預(yù)防硬件故障帶來的影響；事中階段，一般來說硬件故障會(huì)導(dǎo)致作業(yè)報(bào)錯(cuò)，即使硬件自身狀態(tài)正常，但通過運(yùn)行日志能判斷到硬件故障的可能性較大，需要及時(shí)將故障硬件排除出去，先保障備份作業(yè)的成功率；事后階段，綜合運(yùn)行日志情況和故障處理情況，可進(jìn)一步去定位是硬件自身故障還是兼容性問題，為故障最終處理提供依據(jù)。4.1.3軟件異常一般軟件異常指的是軟件提供的服務(wù)不達(dá)預(yù)期，可能是代碼缺陷或服務(wù)異常終止，可以分為前端和后端異常，前端異常會(huì)導(dǎo)致備份恢復(fù)作業(yè)報(bào)錯(cuò)，后端異常主要是影響server后端作業(yè)。前端異常涉及到備份軟件server和client，client影響的是使用該代理的備份作業(yè)，server端的影響較大。在事前階段，我們需要確認(rèn)備份軟件進(jìn)程和服務(wù)端口是否正常，防患于未然；在事中階段應(yīng)根據(jù)作業(yè)報(bào)錯(cuò)或受影響情況，結(jié)合運(yùn)行日志去判斷異常的軟件組件，從而權(quán)衡需要如何去干預(yù)軟件運(yùn)行中異常；事后階段則需要復(fù)盤運(yùn)行狀態(tài)和運(yùn)行日志，為后續(xù)類似的軟件異常能預(yù)防和定位，提供更多數(shù)據(jù)依據(jù)。4.1.4資源爭用備份系統(tǒng)是一種C/S架構(gòu)系統(tǒng)，會(huì)共享備份服務(wù)器和備份存儲(chǔ)資源。資源共享會(huì)帶來資源爭用，也是資源容量不足引起的。典型的資源爭用引起的故障場景主要有磁帶機(jī)可用數(shù)量不足、備份服務(wù)器計(jì)算資源或網(wǎng)絡(luò)資源占滿、備份存儲(chǔ)容量不足或服務(wù)能力不足，會(huì)帶來備份作業(yè)報(bào)錯(cuò)或性能下降導(dǎo)致的作業(yè)超出時(shí)間窗口等不利影響。在事前階段，我們需要做好資源調(diào)度規(guī)劃，合理配置不同時(shí)間段的備份任務(wù)；在事中階段，可以通過監(jiān)視資源調(diào)度情況和運(yùn)行日志中的資源等待情況，及時(shí)判斷出是否發(fā)生了資源爭用，可及時(shí)中止以確保優(yōu)先級更高的作業(yè)任務(wù)的完成；事后階段則是根據(jù)運(yùn)行中出現(xiàn)的資源爭用情況來修改資源調(diào)度規(guī)劃，必要時(shí)也可以申請更多的備份資源。4.2運(yùn)維管理場景運(yùn)維管理是通過制度化、流程化、標(biāo)準(zhǔn)化的運(yùn)維手段來指導(dǎo)IT系統(tǒng)的運(yùn)維，是一套持續(xù)改進(jìn)的機(jī)制。相比故障管理場景，運(yùn)維管理場景更關(guān)注的是在平時(shí)運(yùn)維工作中如何去應(yīng)用備份系統(tǒng)運(yùn)行數(shù)據(jù)，以達(dá)到持續(xù)改進(jìn)優(yōu)化的目的。通過數(shù)據(jù)收集及數(shù)據(jù)分析，可以更好地實(shí)現(xiàn)對備份系統(tǒng)管控，主要集中在下面幾個(gè)場景。4.2.1數(shù)據(jù)管理數(shù)據(jù)管理的目標(biāo)是保障數(shù)據(jù)安全可靠，對備份系統(tǒng)來說，個(gè)人認(rèn)為主要是三點(diǎn)內(nèi)容需要關(guān)注：一是定時(shí)備份作業(yè)是否成功，可通過收集備份作業(yè)結(jié)果來確認(rèn)；二是重要的備份數(shù)據(jù)通常還會(huì)做數(shù)據(jù)復(fù)制，保持主備站點(diǎn)兩到三份相同的數(shù)據(jù)備份，需要定期確認(rèn)數(shù)據(jù)是否成功同步；三是備份的數(shù)據(jù)需要有數(shù)據(jù)恢復(fù)驗(yàn)證機(jī)制，可定期確認(rèn)備份介質(zhì)中數(shù)據(jù)的完整性，并針對不同數(shù)據(jù)類型的備份做數(shù)據(jù)恢復(fù)，以驗(yàn)證數(shù)據(jù)正確性。4.2.2容量管理備份系統(tǒng)容量管理工作中主要關(guān)注的是數(shù)據(jù)存儲(chǔ)和性能兩方面的容量場景。數(shù)據(jù)存儲(chǔ)容量場景關(guān)注多的是備份數(shù)據(jù)源的容量增長趨勢、備份存儲(chǔ)介質(zhì)可用容量等，及時(shí)做好容量預(yù)估，容量估算過程中還需要考慮到重復(fù)數(shù)據(jù)刪除和數(shù)據(jù)壓縮技術(shù)的應(yīng)用；性能容量場景是對備份系統(tǒng)整體的服務(wù)能力做評估，評估備份作業(yè)并發(fā)的能力、數(shù)據(jù)傳輸?shù)耐掏?、備份客戶端和服?wù)端的計(jì)算資源消耗情況等等。4.2.3配置管理配置管理場景可以關(guān)注新增或優(yōu)化的備份策略信息以及備份介質(zhì)中存儲(chǔ)的備份數(shù)據(jù)信息。備份策略信息包括主控服務(wù)器、備份服務(wù)器、備份客戶端、備份策略集、存儲(chǔ)策略、定時(shí)策略以及存儲(chǔ)庫等的詳細(xì)配置信息，是備份管理軟件的核心邏輯信息，需要妥善保存；備份介質(zhì)主要包括在線介質(zhì)和離線介質(zhì)，備份介質(zhì)離線保存后，更需要關(guān)注備份介質(zhì)中存儲(chǔ)的備份數(shù)據(jù)信息，以便即使調(diào)取訪問，該配置信息變化頻率較快，需要保持最新版本的配置信息。4.2.4監(jiān)控優(yōu)化監(jiān)控優(yōu)化場景主要關(guān)注三個(gè)方向：一是豐富監(jiān)控指標(biāo)，二是監(jiān)控閾值優(yōu)化，三是告警關(guān)聯(lián)。原有的備份系統(tǒng)監(jiān)控指標(biāo)主要集中在備份系統(tǒng)軟硬件的運(yùn)行狀態(tài)、備份作業(yè)的成功失敗情況，這些監(jiān)控指標(biāo)對于潛在故障的覆蓋程度不夠，系統(tǒng)運(yùn)行日志中的部分關(guān)鍵字也是監(jiān)控的重點(diǎn)；監(jiān)控指標(biāo)中部分閾值設(shè)置時(shí)可能采用的是通用經(jīng)驗(yàn)方式，會(huì)出現(xiàn)告警誤報(bào)的情況，是需要更加系統(tǒng)運(yùn)行情況來動(dòng)態(tài)調(diào)整的；告警關(guān)聯(lián)則更利于故障溯源，利用運(yùn)維經(jīng)驗(yàn)、系統(tǒng)規(guī)則可將分散的監(jiān)控告警信息關(guān)聯(lián)起來，便于定位故障。4.2.5統(tǒng)計(jì)報(bào)表統(tǒng)計(jì)報(bào)表是運(yùn)維工作中一項(xiàng)重要工作，可定期回顧系統(tǒng)運(yùn)行情況。統(tǒng)計(jì)報(bào)表場景中，可結(jié)合運(yùn)行數(shù)據(jù)訂制每日、每周、每月的運(yùn)行情況定時(shí)報(bào)表，包括特定時(shí)間段內(nèi)的不同備份數(shù)據(jù)對象的備份作業(yè)統(tǒng)計(jì)信息，包括完成作業(yè)數(shù)、失敗作業(yè)數(shù)、運(yùn)行中的作業(yè)數(shù)、備份存儲(chǔ)消耗情況等等。5.數(shù)據(jù)收集設(shè)計(jì)場景設(shè)計(jì)確定了數(shù)據(jù)分析的應(yīng)用場景，也進(jìn)一步可以確定所需收集的數(shù)據(jù)。那么數(shù)據(jù)收集設(shè)計(jì)的目標(biāo)是至少涵蓋到已設(shè)計(jì)場景中所需的指標(biāo)數(shù)據(jù)，并且這些指標(biāo)數(shù)據(jù)可在多種數(shù)據(jù)源中獲得。設(shè)計(jì)總體目標(biāo)是數(shù)據(jù)收集能夠兼顧到高效和低開銷，同時(shí)對IT系統(tǒng)來說是低影響、無風(fēng)險(xiǎn)的。具體設(shè)計(jì)方面可按照數(shù)據(jù)源的不同進(jìn)行分類，并針對不同數(shù)據(jù)源設(shè)計(jì)不同的數(shù)據(jù)收集方法、數(shù)據(jù)采集周期以及采集的數(shù)據(jù)指標(biāo)信息。5.1運(yùn)行日志備份軟件的運(yùn)行日志一般針對記錄不同的組件的運(yùn)行日志及其錯(cuò)誤日志，是研究備份系統(tǒng)運(yùn)行的重要數(shù)據(jù)源。日志文件有一定的固定格式，每一行日志一般可分為日期、時(shí)間、日志級別、詳細(xì)信息等字段，對應(yīng)于一條記錄信息，發(fā)送到Kafka，并最終存儲(chǔ)到ELK。備份軟件是C/S架構(gòu)，server與client的日志采集方法和周期設(shè)置上會(huì)做區(qū)分。Server端日志數(shù)據(jù)較多，產(chǎn)生速度快，且不屬于一般業(yè)務(wù)系統(tǒng)，可以在server端服務(wù)器上安裝Logagent（可自己編寫日志代理程序，也可使用filebeat等輕量級日志采集工具）去實(shí)時(shí)采集；client端服務(wù)器上一般運(yùn)行著業(yè)務(wù)系統(tǒng)，為降低對其他系統(tǒng)的影響，可設(shè)置定時(shí)任務(wù)，每分鐘執(zhí)行腳本將client日志發(fā)送到日志服務(wù)器上，再有日志代理程序發(fā)送數(shù)據(jù)。日志采集的整體架構(gòu)設(shè)計(jì)如圖5所示：圖5.日志采集架構(gòu)圖5.2硬件設(shè)備信息硬件設(shè)備主要指的是備份存儲(chǔ)、磁帶庫、虛擬帶庫、SAN交換機(jī)等專有硬件設(shè)備，一般可通過snmp輪詢、訪問硬件設(shè)備API以及CMD命令輸出等方法來收集硬件狀態(tài)信息，適宜于設(shè)置定時(shí)任務(wù)定時(shí)采集硬件設(shè)備信息。硬件設(shè)備上可采集的指標(biāo)數(shù)據(jù)包括硬件整體及其各部件狀態(tài)信息、硬件的邏輯配置拓?fù)浜腿萘啃畔?、備份存?chǔ)控制器CPU負(fù)載、備份存儲(chǔ)IO帶寬和延時(shí)、SAN交換機(jī)對應(yīng)端口的吞吐數(shù)據(jù)、網(wǎng)絡(luò)端口IO錯(cuò)誤計(jì)數(shù)器信息等。5.3備份軟件接口數(shù)據(jù)備份軟件也會(huì)有對應(yīng)的API接口或CMD接口來獲取備份軟件的具體信息，可自行編程定期抓取相關(guān)數(shù)據(jù)。備份軟件接口數(shù)據(jù)可分成配置數(shù)據(jù)和運(yùn)行數(shù)據(jù)，其中配置數(shù)據(jù)的頻度較低，可以每天抓取一份信息即可；而運(yùn)行數(shù)據(jù)是動(dòng)態(tài)的，變化頻率較高，定時(shí)抓取頻率可設(shè)為分鐘級。配置數(shù)據(jù)主要包括主控服務(wù)器、備份服務(wù)器、備份客戶端、備份策略集、存儲(chǔ)策略、定時(shí)策略以及存儲(chǔ)庫等的詳細(xì)配置信息；運(yùn)行信息主要包括每日的定時(shí)備份作業(yè)以及其他后臺作業(yè)完成信息、備份作業(yè)關(guān)聯(lián)的備份介質(zhì)信息、備份介質(zhì)中存儲(chǔ)的備份數(shù)據(jù)信息、軟件運(yùn)行事件及告警信息。5.4其他監(jiān)控?cái)?shù)據(jù)源其他監(jiān)控?cái)?shù)據(jù)源中需要收集的數(shù)據(jù)主要是備份客戶端和服務(wù)端的操作系統(tǒng)性能數(shù)據(jù),包括CPU負(fù)載、磁盤IO、網(wǎng)卡IO吞吐信息等監(jiān)控系統(tǒng)中通用的監(jiān)控?cái)?shù)據(jù)指標(biāo)，另外還需要收集備份軟件相關(guān)的進(jìn)程和服務(wù)端口信息。監(jiān)控軟件一般都留有數(shù)據(jù)接口，也可以直接訪問監(jiān)控?cái)?shù)據(jù)庫直接獲取監(jiān)控?cái)?shù)據(jù)，數(shù)據(jù)的采集周期則依照其他監(jiān)控?cái)?shù)據(jù)域的更新頻率來設(shè)定。6數(shù)據(jù)分析設(shè)計(jì)數(shù)據(jù)分析是處理加工收集到的數(shù)據(jù)，并對數(shù)據(jù)加以詳細(xì)研究和概況總結(jié)，提取有用信息并形成結(jié)論。拋開一些具體的工具方法，我總結(jié)了一下日常運(yùn)維中通用的數(shù)據(jù)經(jīng)驗(yàn)，主要是兩點(diǎn)：一是對技術(shù)的深入理解，我們會(huì)對不同類型的組件做分類，也會(huì)找出組件之間的各種關(guān)聯(lián)，這樣才能對一些技術(shù)更加了解；二是對數(shù)據(jù)變化的敏感性，比較典型的例子是我們對一個(gè)系統(tǒng)每日做巡檢，CPU負(fù)載可能穩(wěn)定在某些值附近或者在特定時(shí)刻才好發(fā)生數(shù)值突變，如果某一天CPU負(fù)載數(shù)據(jù)不再遵循這樣的波動(dòng)規(guī)律，這種數(shù)據(jù)的變化就是我們需要捕獲并深入關(guān)注的。在備份系統(tǒng)的具體數(shù)據(jù)分析工作中，可以從上文提到的數(shù)據(jù)場景出發(fā)來應(yīng)用不同的數(shù)據(jù)分析方法，但我個(gè)人覺得也可以以場景為輔助，而從數(shù)據(jù)類型入手。上文已設(shè)計(jì)了不同數(shù)據(jù)源的數(shù)據(jù)收集方法，個(gè)人覺得也可以分為靜態(tài)配置數(shù)據(jù)、動(dòng)態(tài)運(yùn)行數(shù)據(jù)以及日志數(shù)據(jù)這三種類型數(shù)據(jù)。下文將詳細(xì)介紹這三種類型數(shù)據(jù)的數(shù)據(jù)分析方法。6.1靜態(tài)配置數(shù)據(jù)在備份系統(tǒng)的數(shù)據(jù)分析中，靜態(tài)配置數(shù)據(jù)是骨。靜態(tài)配置數(shù)據(jù)的數(shù)據(jù)分析最適宜采用的方法是詳細(xì)分類和關(guān)聯(lián)分析，理清配置不同種類的數(shù)據(jù)元素以及它們之間關(guān)聯(lián)關(guān)系。備份系統(tǒng)的配置數(shù)據(jù)主要包括硬件設(shè)備及其組件的配置信息、備份軟件層的備份策略信息以及網(wǎng)絡(luò)拓?fù)湫畔⒌?。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。優(yōu)先對配置數(shù)據(jù)進(jìn)行分析，可以幫助我們理清備份作業(yè)的靜態(tài)時(shí)序信息、備份作業(yè)和存儲(chǔ)資源的關(guān)系、硬件設(shè)備間的聯(lián)系、不同備份客戶端的基礎(chǔ)信息以及架構(gòu)拓?fù)湫畔⒌取?.2動(dòng)態(tài)運(yùn)行數(shù)據(jù)在備份系統(tǒng)的數(shù)據(jù)分析中，動(dòng)態(tài)運(yùn)行數(shù)據(jù)則是血肉。在靜態(tài)配置數(shù)據(jù)的分析結(jié)果的基礎(chǔ)上，動(dòng)態(tài)運(yùn)行數(shù)據(jù)可以提供更加詳細(xì)的關(guān)聯(lián)關(guān)系，不在是元素種類之間的關(guān)聯(lián)，而是具體元素之間的關(guān)聯(lián)；根據(jù)時(shí)序信息，回溯歷史數(shù)據(jù)可以刻畫同一元素的數(shù)據(jù)趨勢圖；結(jié)合數(shù)據(jù)詳細(xì)分類結(jié)果，運(yùn)用數(shù)據(jù)對比的分析方法，橫向比較可以刻畫出同類型元素之間的數(shù)據(jù)趨勢對比圖，縱向比較可以將現(xiàn)時(shí)與歷史一段時(shí)間內(nèi)的數(shù)據(jù)趨勢做對比。備份系統(tǒng)的動(dòng)態(tài)運(yùn)行數(shù)據(jù)主要包括硬件狀態(tài)、軟件進(jìn)程運(yùn)行狀態(tài)、作業(yè)運(yùn)行信息、網(wǎng)絡(luò)IO信息、備份存儲(chǔ)IO信息、備份存儲(chǔ)使用信息、備份服務(wù)器系統(tǒng)資源使用信息、事件及告警等。出了進(jìn)一步完善分類與關(guān)聯(lián)關(guān)系外，備份系統(tǒng)運(yùn)行數(shù)據(jù)的做單維度分析可以得到每日作業(yè)完成情況圖、整體存儲(chǔ)使用趨勢圖、備份網(wǎng)絡(luò)IO趨勢圖、單個(gè)備份作業(yè)存儲(chǔ)資源使用趨勢圖、備份存儲(chǔ)IO趨勢圖等，如圖6所示；多維度分析可以得到不同客戶端使用的存儲(chǔ)資源對比趨勢圖、不同備份存儲(chǔ)使用情況對比圖及IO對比圖、不同備份作業(yè)IO與歷史數(shù)據(jù)對比圖等，如圖7所示。圖6單維度分析-存儲(chǔ)使用趨勢圖

圖7多維度分