集團(tuán)公司智慧IT運(yùn)維平臺(tái)-技術(shù)路線方案

1、集團(tuán)公司智慧IT運(yùn)維平臺(tái)技術(shù)路線方案 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 目標(biāo)及范圍 5 HYPERLINK l bookmark2 o Current Document 項(xiàng)目目標(biāo) 5 HYPERLINK l bookmark4 o Current Document 項(xiàng)目范圍6 HYPERLINK l bookmark6 o Current Document 技術(shù)方案 7 HYPERLINK l bookmark8 o Current Document 技術(shù)路線7關(guān)鍵技術(shù)8運(yùn)行監(jiān)控系統(tǒng)8 HYPERLINK l book

2、mark12 o Current Document 配置管理數(shù)據(jù)庫系統(tǒng) 27IT服務(wù)管理系統(tǒng) 31運(yùn)維門戶33大屏展示36平臺(tái)集成38特色技術(shù)39電信級(jí)的統(tǒng)一數(shù)據(jù)采集技術(shù) 39科學(xué)的業(yè)務(wù)可用性量化算法 43特色的移動(dòng)終端應(yīng)用技術(shù)（掌上運(yùn)維） 45強(qiáng)大的系統(tǒng)集成 ESB數(shù)據(jù)總線52高效的告警掃描產(chǎn)品 54面向SOA的流程引擎 54CMDB靈活建模和調(diào)和技術(shù) 58大屏綜合展示開發(fā)技術(shù) 59系統(tǒng)性能61設(shè)備管理數(shù)量 61響應(yīng)時(shí)間61容量62系統(tǒng)總體架構(gòu)及部署 62總體架構(gòu) 62系統(tǒng)組成及系統(tǒng)體系結(jié)構(gòu)63標(biāo)準(zhǔn)化 64運(yùn)行監(jiān)控系統(tǒng)64運(yùn)行監(jiān)控系統(tǒng)接口規(guī)范 64監(jiān)控對(duì)象命名規(guī)范 66運(yùn)行監(jiān)控服務(wù)目錄 68

3、運(yùn)行監(jiān)控服務(wù)及報(bào)表申請(qǐng)流程 70服務(wù)管理系統(tǒng)73服務(wù)管理系統(tǒng)接口規(guī)范 73運(yùn)維術(shù)語和運(yùn)維流程73相關(guān)指標(biāo)75基礎(chǔ)數(shù)據(jù)77配置管理系統(tǒng)78配置項(xiàng)分類標(biāo)準(zhǔn)78配置項(xiàng)命名標(biāo)準(zhǔn)79配置項(xiàng)信息變更規(guī)范 81配置項(xiàng)信息模板85安全設(shè)計(jì)85物理安全86網(wǎng)絡(luò)安全 86主機(jī)安全86數(shù)據(jù)安全89應(yīng)用安全91安全管理92與其他系統(tǒng)的集成 93備份方案94備份方案94備份技術(shù)介紹 94備份策略介紹94備份技術(shù)要求95重點(diǎn)備份內(nèi)容96恢復(fù)方案96恢復(fù)時(shí)間與策略96備份恢復(fù)處理流程97備份恢復(fù)處理方案98軟硬件配置方案 101軟件配置清單 101運(yùn)行監(jiān)控配置清單101服務(wù)管理配置清單 103配置管理配置清單 104運(yùn)維門

4、戶配置清單 104大屏展示配置清單 105硬件配置清單配置建議 105生產(chǎn)環(huán)境硬件配置建議105測(cè)試環(huán)境硬件配置清單106數(shù)據(jù)庫配置建議 1071.目標(biāo)及范圍1.1項(xiàng)目目標(biāo)集團(tuán)公司在總部和企業(yè)層面已經(jīng)建立了以綜合網(wǎng)管系統(tǒng)和SAP SLM系統(tǒng)為主的運(yùn)維支持系統(tǒng)，運(yùn)維支持系統(tǒng)概覽如錯(cuò)誤！未找到引用源。所示。圖運(yùn)維支持系統(tǒng)概覽集團(tuán)公司總部建立呼叫中心系統(tǒng)實(shí)時(shí)響應(yīng)了用戶有關(guān)門戶、OA、基礎(chǔ)應(yīng)用、 安全、視頻、MES等系統(tǒng)的服務(wù)請(qǐng)求；工單系統(tǒng)實(shí)現(xiàn)了總部運(yùn)維人員處理系統(tǒng) 故障的工單流轉(zhuǎn)；SAP SLM實(shí)現(xiàn)了 ERP系統(tǒng)服務(wù)請(qǐng)求受理、事件管理、應(yīng)用監(jiān) 控及變更管理；網(wǎng)管監(jiān)控系統(tǒng)實(shí)現(xiàn)了因特網(wǎng)、主干網(wǎng)、局域網(wǎng)、

5、服務(wù)器、安全設(shè) 備、企業(yè)防火墻、基礎(chǔ)應(yīng)用等基礎(chǔ)設(shè)施的故障和性能監(jiān)控；資金集中監(jiān)控系統(tǒng)實(shí) 現(xiàn)了資金集中系統(tǒng)的網(wǎng)絡(luò)設(shè)備、服務(wù)器、安全設(shè)備、存儲(chǔ)、負(fù)載均衡、災(zāi)備和應(yīng) 用系統(tǒng)的一體化監(jiān)控；MES應(yīng)用監(jiān)控評(píng)價(jià)系統(tǒng)對(duì) MES應(yīng)用進(jìn)行監(jiān)控，為MES 上線達(dá)標(biāo)、驗(yàn)收達(dá)標(biāo)及深化應(yīng)用提供了報(bào)告和依據(jù)。在企業(yè)，已建成76家企業(yè)的綜合網(wǎng)管系統(tǒng)，實(shí)現(xiàn)了對(duì)企業(yè)基礎(chǔ)設(shè)施的監(jiān)控； 基本建成防病毒管理Bigfix系統(tǒng)，截至2012年1月，共安裝18.3萬臺(tái)，授權(quán)數(shù) 18萬。同時(shí)，廣州石化、茂名石化、燕山石化、北京石油等部分企業(yè)已建設(shè)了 運(yùn)維服務(wù)管理系統(tǒng)。本次項(xiàng)目的總體目標(biāo)是整合運(yùn)維支持系統(tǒng)，建設(shè)集中的一體化運(yùn)維平臺(tái)，支撐集團(tuán)公

6、司IT運(yùn)維共享服務(wù)，提高運(yùn)行效率，降低成本，實(shí)現(xiàn)總部和企業(yè)運(yùn)維 統(tǒng)一調(diào)度和集中管控，達(dá)到國內(nèi)領(lǐng)先、國際一流的水平。(1)建設(shè)集團(tuán)公司IT運(yùn)維平臺(tái)，實(shí)現(xiàn)運(yùn)行監(jiān)控、配置管理數(shù)據(jù)庫、IT服 務(wù)管理、運(yùn)維門戶與大屏展示；實(shí)現(xiàn)與 SAP SLM、SSOC、云資源管理平臺(tái)、資 金集中監(jiān)控系統(tǒng)、加油卡監(jiān)控等系統(tǒng)的集成。具體實(shí)現(xiàn)如下：統(tǒng)一調(diào)度運(yùn)維資源：建成集中的服務(wù)管理系統(tǒng)，集成 SAP SLM,實(shí)現(xiàn)運(yùn) 維支持工作的全過程管控和知識(shí)共享，通過在線流程有機(jī)協(xié)同總部、區(qū) 域中心和企業(yè)之間，運(yùn)維隊(duì)伍與項(xiàng)目組之間的運(yùn)維支持工作。集中監(jiān)控應(yīng)用系統(tǒng)：建成集中的運(yùn)行監(jiān)控系統(tǒng)，實(shí)現(xiàn)對(duì)50套應(yīng)用系統(tǒng)的 應(yīng)用監(jiān)控，從用戶使用的角

7、度進(jìn)行可用性監(jiān)控，及時(shí)發(fā)現(xiàn)和處理問題，縮短系統(tǒng)不可用時(shí)間。集中管理配置信息：建成集中的配置管理數(shù)據(jù)庫系統(tǒng)， 實(shí)現(xiàn)50套應(yīng)用系 統(tǒng)與總部管理的基礎(chǔ)設(shè)施的統(tǒng)一管理，為運(yùn)維支持、變更風(fēng)險(xiǎn)分析、重 大問題處理決策等及時(shí)地提供真實(shí)數(shù)據(jù)。大屏展示運(yùn)維情況：提升運(yùn)維門戶和大屏展示，通過系統(tǒng)集成大屏展示 應(yīng)用監(jiān)控指標(biāo)、信息安全狀況、服務(wù)受理情況、重大問題處理情況等運(yùn) 維服務(wù)信息。(2)制定集團(tuán)公司IT運(yùn)維標(biāo)準(zhǔn)與規(guī)范。包括運(yùn)行監(jiān)控規(guī)范、服務(wù)管理規(guī)范、 配置管理規(guī)范等。1.2項(xiàng)目范圍項(xiàng)目范圍包含總部基礎(chǔ)設(shè)施和總部統(tǒng)建的 50套應(yīng)用系統(tǒng)，以及與兩家試點(diǎn) 企業(yè)已有運(yùn)維系統(tǒng)的集成?；A(chǔ)設(shè)施的范圍主要包括總部 4個(gè)數(shù)據(jù)中

8、心，11個(gè)區(qū)域中心，涵蓋服務(wù)器、 存儲(chǔ)、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、中間件等，當(dāng)前共有各類設(shè)備7000臺(tái)左右，具體數(shù)量以實(shí)際為準(zhǔn)。應(yīng)用系統(tǒng)的范圍主要包括 ERP、MES、資金集中管理、總部生產(chǎn)營(yíng)運(yùn)指揮、 電子商務(wù)、合同管理、綜合辦公、加油卡(區(qū)外)、APC等50套應(yīng)用系統(tǒng)，主 要涵蓋了 SAP、.NET、JAVA、Domino等技術(shù)平臺(tái)。2.技術(shù)方案技術(shù)路線IT運(yùn)維平臺(tái)系統(tǒng)的建設(shè)將采取如下總體技術(shù)思路，兼并考慮平臺(tái)的整體性 與可擴(kuò)充性。(1)采用先進(jìn)的企業(yè)級(jí)架構(gòu)技術(shù)(2)采用先進(jìn)的工作流引擎和組件化技術(shù)(3)支持自動(dòng)配置項(xiàng)發(fā)現(xiàn)和識(shí)別(4)支持豐富的接口實(shí)現(xiàn)工具，保證相關(guān)系統(tǒng)協(xié)同運(yùn)維平臺(tái)主要包括

9、呼叫中心系統(tǒng)、 服務(wù)管理系統(tǒng)、運(yùn)行監(jiān)控系統(tǒng)、配置管理 數(shù)據(jù)庫系統(tǒng)、綜合展示與運(yùn)維門戶，平臺(tái)實(shí)施的技術(shù)路線為：(1)產(chǎn)品路線1)選擇先進(jìn)的成熟產(chǎn)品，在考慮利舊的同時(shí)，考慮易于適應(yīng)運(yùn)維業(yè)務(wù)、平 臺(tái)需求變更的產(chǎn)品；2)選擇系統(tǒng)間接口采用標(biāo)準(zhǔn)協(xié)議或具有集成相關(guān)系統(tǒng)成熟套件的產(chǎn)品；3)基于云架構(gòu)進(jìn)行基礎(chǔ)設(shè)施及應(yīng)用部署。(2)實(shí)施路線將專業(yè)工具與通用平臺(tái)相結(jié)合，通過系統(tǒng)集成滿足專業(yè)管理需求與通用管 理需求。參照最佳運(yùn)維實(shí)踐，定制業(yè)務(wù)流程及主要功能。對(duì)于不能由產(chǎn)品定制 實(shí)現(xiàn)的功能，根據(jù)產(chǎn)品技術(shù)路線，采取 J2EE或.NET及其他技術(shù)路線進(jìn)行二次 開發(fā)，采用標(biāo)準(zhǔn)接口或其他技術(shù)手段進(jìn)行集成每個(gè)子系統(tǒng)使用的關(guān)鍵技

10、術(shù)詳細(xì)描述如下。2.1.1關(guān)鍵技術(shù)IT運(yùn)維平臺(tái)在技術(shù)的選擇上遵循先進(jìn)性和成熟型的原則，確保IT運(yùn)維平臺(tái)達(dá)到國內(nèi)領(lǐng)先。具體采用關(guān)鍵技術(shù)分系統(tǒng)描述。運(yùn)行監(jiān)控系統(tǒng)統(tǒng)一數(shù)據(jù)采集運(yùn)行監(jiān)控系統(tǒng)的數(shù)據(jù)采集層通過與被管系統(tǒng)的接口采集相關(guān)數(shù)據(jù)，送到數(shù) 據(jù)處理層進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)采集是運(yùn)行監(jiān)控系統(tǒng)的重點(diǎn)，采集的效率、準(zhǔn)確 性直接影響到整套運(yùn)行監(jiān)控系統(tǒng)的效率。因此，需要一套高效、準(zhǔn)確的采集平 臺(tái)。自主開發(fā)的統(tǒng)一數(shù)據(jù)采集平臺(tái)（軟件登記名稱：統(tǒng)一采集云平臺(tái)軟件V7.0 ） 經(jīng)過多年的沉淀和積累可以很好地解決以上問題。統(tǒng)一采集平臺(tái)的建設(shè)目標(biāo)是 構(gòu)建基于云架構(gòu)的采集共享平臺(tái)，能夠?qū)崿F(xiàn)統(tǒng)一采集、統(tǒng)一共享、統(tǒng)一管控：統(tǒng)一采集：

11、統(tǒng)一采集控制，對(duì)基礎(chǔ)設(shè)施的監(jiān)控進(jìn)行管控，對(duì)不同廠商的監(jiān)控工 具進(jìn)行集中管理，實(shí)現(xiàn)監(jiān)控軟件的起?？刂疲呗缘慕y(tǒng)一管理、下 發(fā)，支持采集客戶端的的自動(dòng)分發(fā)、集中部署?？山尤敫鞣N設(shè)備系統(tǒng)，具備靈活的擴(kuò)展性。支持第三方廠家適配器插件，提高采集系統(tǒng)的平臺(tái)能力和開放性。更合理的采集策略和并行度，采集執(zhí)行效率提升。支持云計(jì)算技術(shù)，突破硬件采集瓶頸。統(tǒng)一共享：按需采集，根據(jù)管理需要靈活設(shè)定采集范圍和采集指標(biāo)。采集平臺(tái) 處理能力可根據(jù)負(fù)載進(jìn)行調(diào)整，克服采集資源浪費(fèi)的問題。統(tǒng)一的北向接口，采集規(guī)?？梢云交炜s，通過采集機(jī)管理功能， 滿足應(yīng)用和用戶規(guī)模伸縮的需要。 對(duì)不同的數(shù)據(jù)源采用不同的采集適配器，以插件形式集成

12、在統(tǒng)一采集平臺(tái)。一次采集多處復(fù)用，實(shí)現(xiàn)數(shù)據(jù)開放性，并可按照約定接口向第三方 系統(tǒng)提供數(shù)據(jù)。統(tǒng)一管控：管理采集能力伸縮，支持超大規(guī)模數(shù)據(jù)采集，多服務(wù)器并行處理， 實(shí)現(xiàn)大數(shù)據(jù)量的并行采集，提升采集效率。動(dòng)態(tài)負(fù)載均衡，通過采集節(jié)點(diǎn)同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施來 保障采集服務(wù)的高可靠性和容錯(cuò)能力。指標(biāo)算法可視化?？梢暬闹笜?biāo)算法管理可方便維護(hù)人員對(duì)各類指 標(biāo)算法的維護(hù)和使用，是實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理和采集過程管理的基礎(chǔ)。 采集流程透明化，可監(jiān)控?cái)?shù)據(jù)處理過程，簡(jiǎn)化了接入過程，減少了 維護(hù)工作量。統(tǒng)一數(shù)據(jù)采集的功能架構(gòu)如圖所示:我辯希的和區(qū)* I 也匕動(dòng)湃理一q蛆堂兒胃叫制器防膏展必茂耨注肘函電TEH迫配耨在

13、局和e杳此旃發(fā)黑咬廢制事件儲(chǔ) 1*單71張量仲鐵陽甲由H出g辨那H性照”字帝H萩母出*H11方才二 /航標(biāo)心才1 *淚*1”丸也MM里驚帕在1氣符耳法端HBi塢廳步雙T需電Wi修象樸七科熊時(shí)月*.*!；異川斤rt*sTit采“嵬熊接也it蘇士向世簧生璘色以合并H出版綱 T即11輯鼬霰出方星牧王拓搐療:f.TW *文rt下達(dá)以崔星花打Ai敷信康信KX同“助才忖S(餐總舉丫控二丁補(bǔ)麥關(guān)果百用餐】dicnXikfn“fl比七金注J tk*拉加gggjggg松魚警量班宣圖統(tǒng)一數(shù)據(jù)采集功能架構(gòu)具備如下功能:(1)采集適配器實(shí)現(xiàn)與設(shè)備側(cè)的接口協(xié)議適配，從設(shè)備側(cè)獲取原始數(shù)據(jù)，進(jìn)行數(shù)據(jù)解析(詞 法分析，數(shù)據(jù)格

14、式標(biāo)準(zhǔn)化，根據(jù)處理規(guī)則將采集到的底層數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的信 息模型的數(shù)據(jù))。采集適配器的功能組成如下：協(xié)議適配、數(shù)據(jù)獲取、告警風(fēng)暴 抑制、數(shù)據(jù)解析、數(shù)據(jù)上報(bào)，并支持被動(dòng)接收設(shè)備側(cè)發(fā)送的數(shù)據(jù)。經(jīng)過解析后 的源數(shù)據(jù)通過適配器北向接口向上共享。(2)采集調(diào)度及處理數(shù)據(jù)處理接收采集任務(wù)，主動(dòng)調(diào)用相應(yīng)采集適配器從設(shè)備側(cè)獲取數(shù)據(jù)，對(duì) 數(shù)據(jù)進(jìn)行解析、歸一化，并根據(jù)需要進(jìn)行 KPI指標(biāo)計(jì)算。原始數(shù)據(jù)、歸一化數(shù) 據(jù)、KPI指標(biāo)均可以推送到數(shù)據(jù)共享層，可以文件、數(shù)據(jù)庫、消息等方式進(jìn)行 傳送和保存。支持采集適配器的靈活擴(kuò)展以支持不同設(shè)備的數(shù)據(jù)接入。同時(shí)可 以接收訂閱策略，根據(jù)策略和當(dāng)前時(shí)間實(shí)例化成采集任務(wù)，根據(jù)各采集節(jié)

15、點(diǎn)的 運(yùn)行環(huán)境和資源空閑情況進(jìn)行判斷，能夠選擇合適的采集節(jié)點(diǎn)，并把任務(wù)下發(fā)； 能夠接收采集節(jié)點(diǎn)反饋的任務(wù)執(zhí)行情況，并監(jiān)控各采集節(jié)點(diǎn)運(yùn)行狀態(tài)；根據(jù)任 務(wù)的采集結(jié)果分析數(shù)據(jù)是否完整，能夠根據(jù)設(shè)定的策略觸發(fā)數(shù)據(jù)的補(bǔ)采。支持 如下采集能力：自動(dòng)采集能力滿足定時(shí)任務(wù)周期性自動(dòng)采集數(shù)據(jù)，采集周期和采集時(shí)間根據(jù)要求可任意 設(shè)置。采集的時(shí)間粒度可以基于單個(gè)網(wǎng)元選擇。手動(dòng)采集能力滿足任意時(shí)間通過手工方式下發(fā)采集任務(wù)。通過對(duì)要采集數(shù)據(jù)范圍設(shè)置開 關(guān)量，即可隨時(shí)手動(dòng)按網(wǎng)元或時(shí)間進(jìn)行數(shù)據(jù)采集。全量采集功能提供按照全部被管理對(duì)象的全量采集任務(wù)集中下發(fā)，根據(jù)數(shù)據(jù)需要進(jìn)行全 量數(shù)據(jù)的集中采集做系統(tǒng)整體數(shù)據(jù)更新能力。單網(wǎng)元采

16、集功能在全量采集基礎(chǔ)上補(bǔ)充提供針對(duì)單網(wǎng)元的數(shù)據(jù)采集及數(shù)據(jù)更新，作為全量采集缺失的有效補(bǔ)充機(jī)制10(3)采集接入管理適配器的注冊(cè)、查詢、裝載以及采集單元設(shè)置。(4)采集策略管理對(duì)采集策略的配置、查詢等設(shè)置。能夠根據(jù)采集對(duì)象、采集指標(biāo)、采集頻 率、采集時(shí)間、啟停狀態(tài)靈活定義被管理網(wǎng)元的采集策略?？芍С峙坎杉?略配置，即一次對(duì)一組被管理對(duì)象設(shè)定采集策略。 采集策略支持按分鐘、小時(shí)、 天采集，可以是周期性連續(xù)的時(shí)間段，也可以根據(jù)實(shí)際使用需求需要針對(duì)一天 中的特定的幾個(gè)時(shí)間點(diǎn)進(jìn)行定制任務(wù)性采集數(shù)據(jù)。(5)指標(biāo)算法管理采集算法的導(dǎo)入/導(dǎo)出、編輯、差異分析以及指標(biāo)的核查分析等。(6)數(shù)據(jù)共享管理數(shù)據(jù)訂閱

17、請(qǐng)求，對(duì)數(shù)據(jù)消費(fèi)者的管理和查詢、權(quán)限授權(quán)、根據(jù)設(shè)定的數(shù)據(jù) 訂閱權(quán)限判斷該訂閱請(qǐng)求是否合理并作出響應(yīng)。數(shù)據(jù)準(zhǔn)備好后，給訂閱該數(shù)據(jù) 的外部系統(tǒng)發(fā)送通知消息以及數(shù)據(jù)的訪問方法，外部系統(tǒng)主動(dòng)獲取數(shù)據(jù)，對(duì)同 一份數(shù)據(jù)的不同訂閱者分別發(fā)送通知。(7)負(fù)載均衡管理設(shè)置采集機(jī)/組啟停、采集服務(wù)查詢、負(fù)載均衡監(jiān)控及負(fù)荷閾值查看。(8)采集數(shù)據(jù)監(jiān)控分析對(duì)采集到的數(shù)據(jù)進(jìn)行完整性等監(jiān)控及質(zhì)量問題分析。(9)系統(tǒng)自身管理對(duì)統(tǒng)一采集平臺(tái)自身的管理，把適配器注冊(cè)到平臺(tái)中，設(shè)置訪問設(shè)備的信 息，對(duì)統(tǒng)一采集平臺(tái)中任務(wù)執(zhí)行情況、數(shù)據(jù)共享情況的監(jiān)控，設(shè)定各外部應(yīng)用 系統(tǒng)對(duì)數(shù)據(jù)訂閱的權(quán)限，支持通過統(tǒng)一采集平臺(tái)直接完成外部系統(tǒng)對(duì)數(shù)據(jù)的

18、訂 閱。部署架構(gòu)統(tǒng)一數(shù)據(jù)采集平臺(tái)的部署結(jié)構(gòu)如圖所示：11統(tǒng)一數(shù)采的部署結(jié)構(gòu)圖(1)各采集機(jī)做為采集節(jié)點(diǎn)，部署在各個(gè)專業(yè)網(wǎng)域內(nèi)，和被管理設(shè)備進(jìn)行 交互。采集調(diào)度服務(wù)器、消息服務(wù)器和各個(gè)采集節(jié)點(diǎn)進(jìn)程之間保持網(wǎng)絡(luò)暢通， 各采集節(jié)點(diǎn)之間可以不直接連通。這種部署方式通過采集節(jié)點(diǎn)同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施，可以保障 采集服務(wù)的高可靠性和容錯(cuò)能力。(2)采集調(diào)度服務(wù)器及其存儲(chǔ)設(shè)備，部署控制層和應(yīng)用層，根據(jù)需要可以 部署為主備服務(wù)器，支持在不同機(jī)器上分布部署。(3)消息服務(wù)器，接受、傳遞、轉(zhuǎn)發(fā)消息，根據(jù)需要可以部署為主備服務(wù)數(shù)據(jù)來源本項(xiàng)目中，統(tǒng)一數(shù)據(jù)采集平臺(tái)的數(shù)據(jù)來源如下圖:12實(shí)時(shí)監(jiān)控、運(yùn)行分析、綜合展

19、示統(tǒng)一數(shù)據(jù)采集數(shù)據(jù)解析分發(fā)通知事件管理采集策略定義snmp采集任務(wù)管理適配器管理采集接口管理Agent Telnet/ssh ODBCsyslog |應(yīng)用系統(tǒng)(電子商務(wù)、OA/門戶、合同管理等)1信息基礎(chǔ)設(shè)施(網(wǎng)絡(luò)、安全、 服務(wù)器、數(shù)據(jù)庫、中間件、存 儲(chǔ)等)直接采集接口TSNMPTrapWebserviceSocket第三方系統(tǒng)集成接口ManagerSAPSolutSCOSOC資金集中監(jiān)控等其他監(jiān)控系統(tǒng)在本項(xiàng)目中統(tǒng)一數(shù)據(jù)采集的數(shù)據(jù)來源有三方面：(1)直接采集網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、數(shù)據(jù)庫、中間件等基礎(chǔ)設(shè)施的性能數(shù) 據(jù)、告警和主要配置數(shù)據(jù)。(2)直接采集22套應(yīng)用系統(tǒng)的可用性和響應(yīng)時(shí)間等應(yīng)用監(jiān)控?cái)?shù)據(jù)

20、。22套應(yīng)用系統(tǒng)包括會(huì)計(jì)集中、業(yè)務(wù)公開、合同管理、電子商務(wù)、綜合辦公、總部門 戶、股份/集團(tuán)公司網(wǎng)站、總部生產(chǎn)營(yíng)運(yùn)指揮、零售管理、目錄服務(wù)系統(tǒng)、統(tǒng)一 郵件系統(tǒng)、統(tǒng)一通信系統(tǒng)、代理服務(wù)系統(tǒng)、文檔安全管理系統(tǒng)、統(tǒng)一身份管理、 PKI/CA、日志審計(jì)系統(tǒng)、時(shí)間服務(wù)、防病毒。(3)通過和其他監(jiān)控系統(tǒng)集成，實(shí)現(xiàn)對(duì) 50套重點(diǎn)應(yīng)用系統(tǒng)(錯(cuò)誤！未找 到引用源。昔誤！未找到引用源。)中另外28套應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控。其他監(jiān) 控系統(tǒng)包括SAP Solution Manager微軟SCOM、安全SOC、資金集中監(jiān)控系 統(tǒng)、加油卡監(jiān)控系統(tǒng)、MES應(yīng)用評(píng)價(jià)、APC運(yùn)行監(jiān)控、勘探開發(fā)監(jiān)控、機(jī)房環(huán) 境監(jiān)控系統(tǒng)。統(tǒng)一數(shù)據(jù)采集

21、至少提供但不限于以下三種數(shù)據(jù)采集方式：(1)通過配置實(shí)現(xiàn)采集：通過配置 Syslog、SNMP Trap、Socket、ODBC、 NetFlow、Eflow等方式將事件日志、告警信息、性能參數(shù)以及各類事件數(shù)據(jù)發(fā) 送到采集服務(wù)器或數(shù)據(jù)集中管理組件。13(2)安裝代理實(shí)現(xiàn)采集：在服務(wù)器上安裝采集引擎代理程序，執(zhí)行后臺(tái)采 集服務(wù)以及采集腳本，將目標(biāo)系統(tǒng)上的事件日志、告警信息、性能參數(shù)以及各 類事件數(shù)據(jù)收集后發(fā)送給采集服務(wù)器或數(shù)據(jù)集中管理組件。采集到的數(shù)據(jù)暫存 于被管服務(wù)器端，緩存時(shí)長(zhǎng)可調(diào)整，具備主動(dòng)數(shù)據(jù)上傳能力，在與上層模塊通 訊中斷的情況下，主動(dòng)嘗試重連，提供斷點(diǎn)續(xù)傳能力。(3)定時(shí)輪詢采集：通

22、過ICMP、HTTP定時(shí)輪詢、用戶模擬體驗(yàn)來獲取被 管對(duì)象的數(shù)據(jù)。平臺(tái)至少支持：SNMP SNMP Trap、SYSLOG專用 Agent、Telnet/SSH、 Ping、ODBC JDBC WebService、Flow、SMI-S、Http/Https 、JMX Socket 年 數(shù)據(jù)采集協(xié)議和接口。重點(diǎn)支持協(xié)議支持如下：表運(yùn)行監(jiān)控系統(tǒng)支持的數(shù)據(jù)采集協(xié)議內(nèi)容規(guī)范數(shù)據(jù)采集SNMP、SNMPTrap V1、V2、V3 :米石持 Snmp 協(xié)議的產(chǎn)品。Syslog：米集支持 Syslog協(xié)議的廣品。Agent:采集專用Agent的數(shù)據(jù)，主要指服務(wù)器代理。Flow : Netflow、Netst

23、ream、Cflow、Sflow 米集支持 Flow 協(xié)議的產(chǎn)品。ODBC/JDBC :采集存儲(chǔ)在數(shù)據(jù)庫的系統(tǒng)日志。API采集：運(yùn)行監(jiān)控系統(tǒng)主動(dòng)調(diào)用被監(jiān)控系統(tǒng)提供的API,來族取監(jiān)控信息。SMIS采集:存儲(chǔ)設(shè)備、光纖交換機(jī)、HBA卡等SAN存儲(chǔ)設(shè)備運(yùn)行數(shù)據(jù)采集。FTP, NFS或SMB等通用文件接口：米集基于文件的日志，包括 數(shù)據(jù)庫日志文件、中間件日志文件、 業(yè)務(wù)系統(tǒng)日志文件、定時(shí)采集系統(tǒng)資源而生成的文件等。專用日志采集接口：通過監(jiān)控設(shè)備提供接口獲取日志。采用代理獲取：通過第二方代理獲取日志。包括但不限于 SHELL、BAT、SOCKET等米集方式。終端用戶體驗(yàn)：通過模擬用戶操作行為，探測(cè)應(yīng)用

24、可用性。使用情況監(jiān)控：注冊(cè)用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、14針對(duì)網(wǎng)絡(luò)設(shè)備，獲取的信息包括：接口數(shù)量、IP/MAC地址、接口索引、 接口類型、接口描述、接口速率、工作狀態(tài)、管理狀態(tài)、接口流量、VLAN 信息、丟包信息、錯(cuò)包信息等；針對(duì)安全設(shè)備，獲取安全設(shè)備的安全告警日志和運(yùn)行狀態(tài)等信息；針對(duì)主機(jī)系統(tǒng)，獲取的信息包括：操作系統(tǒng)類型和版本、網(wǎng)絡(luò)接口數(shù)量、IP地址/MAC地址、子網(wǎng)掩碼、CPU編號(hào)、內(nèi)核數(shù)、內(nèi)存大小、CPU動(dòng) 態(tài)信息、內(nèi)存動(dòng)態(tài)信息、系統(tǒng)進(jìn)程動(dòng)態(tài)信息、硬盤動(dòng)態(tài)信息、用戶訪問 信息等；針對(duì)數(shù)據(jù)庫，獲取的信息包括：數(shù)據(jù)庫名稱、數(shù)據(jù)路徑、基本目錄、數(shù) 據(jù)庫版本、字符集、配置的臨時(shí)表

25、大小、臨時(shí)表目錄、數(shù)據(jù)表信息、緩 存信息、線程信息、鎖信息、頁和行鎖信息、查詢命中率、數(shù)據(jù)庫內(nèi)存 使用性能指標(biāo)、數(shù)據(jù)庫特定表的空間性能指標(biāo)、表空間性能指標(biāo)、數(shù)據(jù) 文件或數(shù)據(jù)設(shè)備的讀寫次數(shù)性能指標(biāo)、數(shù)據(jù)庫碎片的情況性能指標(biāo)、數(shù) 據(jù)庫日志空間或回滾段使用情況性能指標(biāo)等指標(biāo)15 針對(duì)中間件，獲取的信息包括：中間件系統(tǒng)類型、中間件系統(tǒng)版本信息、 會(huì)話動(dòng)態(tài)信息、進(jìn)程池動(dòng)態(tài)信息、JDBC連接池動(dòng)態(tài)信息、事務(wù)數(shù)動(dòng)態(tài) 信息、事務(wù)的平均持續(xù)時(shí)間、JVM動(dòng)態(tài)信息、EJB動(dòng)態(tài)信息等； 針對(duì)存儲(chǔ)設(shè)備，獲取基本信息、健康度、磁盤信息、主機(jī)端口映射信息、 陣列l(wèi)un信息、陣列組信息等；虛擬化管理：樹立并建立虛擬化資源對(duì)象

26、間的關(guān)系模型，實(shí)現(xiàn)對(duì)虛擬化 配置管理系統(tǒng)、運(yùn)行狀態(tài)和故障管理、虛擬機(jī)運(yùn)行性能管理。終端用戶體驗(yàn)：對(duì)模擬終端用戶訪問各應(yīng)用系統(tǒng)(如登錄、查詢、報(bào)表、 退出等)的過程進(jìn)行監(jiān)測(cè)，監(jiān)測(cè)終端用戶訪問應(yīng)用系統(tǒng)的可用性與響應(yīng) 時(shí)間；應(yīng)用系統(tǒng)使用情況：應(yīng)用性能管理應(yīng)該重點(diǎn)關(guān)注應(yīng)用交易的狀態(tài)，包括 注冊(cè)用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、失敗交易次數(shù)； 自定義對(duì)象監(jiān)控：根據(jù)運(yùn)行監(jiān)控系統(tǒng)的要求，系統(tǒng)提供對(duì)監(jiān)控對(duì)象和監(jiān) 控內(nèi)容的擴(kuò)展，擴(kuò)展方式簡(jiǎn)便，提供可視化、腳本等多種形式的擴(kuò)展方 式。關(guān)鍵技術(shù)(1)管理服務(wù)器雙機(jī)熱備統(tǒng)一采集平臺(tái)支持分布部署，在日常運(yùn)行過程中管理服務(wù)器屬于系統(tǒng)的核心 中樞，統(tǒng)一采集平臺(tái)通過對(duì)

27、自身軟件管理控制功能的優(yōu)化改造，無需采用例如 HA等第三方的雙機(jī)熱備軟件，即可實(shí)現(xiàn)管理服務(wù)器的雙機(jī)熱備。通過雙機(jī)熱備 方式，解決管理機(jī)單點(diǎn)故障，保障在一臺(tái)機(jī)器故障的情況下，能夠自動(dòng)完成切換， 不丟失采集任務(wù)，正常輸出數(shù)據(jù)，為上層應(yīng)用提供穩(wěn)定的數(shù)據(jù)支撐。統(tǒng)一采集平臺(tái)實(shí)現(xiàn)的雙機(jī)熱備功能，是針對(duì)系統(tǒng)自身的實(shí)時(shí)性特點(diǎn)所定制的 高可用解決方案，屬于應(yīng)用軟件級(jí)別的雙機(jī)熱備，不僅能夠應(yīng)對(duì)網(wǎng)絡(luò)、主機(jī)等基礎(chǔ)設(shè)施層面的故障，還能夠支持應(yīng)對(duì)主機(jī)應(yīng)用程序的掛死等故障，保障采集任務(wù)的不丟失，有效提升了統(tǒng)一采集平臺(tái)的穩(wěn)定性與安全。統(tǒng)一采集平臺(tái)實(shí)現(xiàn)管理服務(wù)器的雙機(jī)熱備，主要包括主備服務(wù)器信息同步功 能、主用服務(wù)器狀態(tài)監(jiān)控功

28、能、主/備服務(wù)器切換功能。16用例示意圖如下:流程示意圖如下:(2)采集節(jié)點(diǎn)負(fù)載均衡和容災(zāi)采集節(jié)點(diǎn)心跳監(jiān)控：采集節(jié)點(diǎn)實(shí)時(shí)上報(bào)心跳信息給管理服務(wù)器， 心跳信息中 包含系統(tǒng)資源占用情況，包括 CPU、內(nèi)存占用情況，管理服務(wù)器通過心跳信息 及時(shí)掌握各采集節(jié)點(diǎn)的狀態(tài)，管理服務(wù)器在3個(gè)心跳周期沒有收到心跳就置該采 集節(jié)點(diǎn)為不可用狀態(tài)，不會(huì)再給該采集節(jié)點(diǎn)下發(fā)任務(wù)，同時(shí)發(fā)送告警信息及時(shí)通 知維護(hù)人員。17采集節(jié)點(diǎn)負(fù)載均衡：根據(jù)當(dāng)前采集節(jié)點(diǎn)的資源空閑情況、當(dāng)前運(yùn)行任務(wù)情況， 待下發(fā)的任務(wù)權(quán)重，計(jì)算出發(fā)給每個(gè)采集節(jié)點(diǎn)的任務(wù)。支持定向到采集節(jié)點(diǎn)：由于網(wǎng)絡(luò)路由限制，允許對(duì)采集節(jié)點(diǎn)進(jìn)行分組，在采集節(jié)點(diǎn)組內(nèi)部進(jìn)行負(fù)載均

29、衡，支持對(duì)某個(gè)采集源的采集定向到某一個(gè)采集節(jié)點(diǎn)。采集節(jié)點(diǎn)容災(zāi)：當(dāng)某個(gè)采集節(jié)點(diǎn)硬件出現(xiàn)故障后，該采集節(jié)點(diǎn)上正在執(zhí)行的 任務(wù)會(huì)被重新分發(fā)給其他采集節(jié)點(diǎn)完成。（3）系統(tǒng)自恢復(fù)能力采集節(jié)點(diǎn)和管理服務(wù)器之間的網(wǎng)絡(luò)斷開后，采集節(jié)點(diǎn)應(yīng)該能夠不斷嘗試和 管理服務(wù)器通訊，網(wǎng)絡(luò)恢復(fù)后采集節(jié)點(diǎn)會(huì)及時(shí)上報(bào)心跳信息，后續(xù)管理服務(wù)器 就會(huì)把該采集節(jié)點(diǎn)置為可用狀態(tài)，下發(fā)新的任務(wù)。.1.5 監(jiān)控?cái)?shù)量（1）監(jiān)控?cái)?shù)量每級(jí)節(jié)點(diǎn)支持的管理對(duì)象下限如下，可通過軟硬件處理能力進(jìn)一步擴(kuò)展：1）網(wǎng)絡(luò)設(shè)備對(duì)象：不低于2000個(gè)（含虛擬網(wǎng)絡(luò)設(shè)備）。2）服務(wù)器對(duì)象：不低于2000個(gè)操作系統(tǒng)（含虛擬服務(wù)器）。3）通用應(yīng)用服務(wù)對(duì)象：不低于500個(gè)應(yīng)用

30、實(shí)例（含DNS IIS、tomcat等）。4）數(shù)據(jù)庫對(duì)象：不低于200個(gè)數(shù)據(jù)庫實(shí)例，含Oracle、SQLServer、MySQL 等數(shù)據(jù)庫支持，并支持對(duì)神通數(shù)據(jù)庫的管理開發(fā)定制。5）存儲(chǔ)設(shè)備對(duì)象：不低于20個(gè)。6）應(yīng)用系統(tǒng)：不低于100個(gè)，主要為自主設(shè)計(jì)開發(fā)的專用業(yè)務(wù)系統(tǒng)。（2）數(shù)據(jù)存儲(chǔ)能力1）系統(tǒng)保存所有原始告警數(shù)據(jù)，原始告警與監(jiān)控系統(tǒng)或網(wǎng)元管理終端所獲 告警保持一致，告警數(shù)據(jù)一致性能達(dá)到 100%2）原始粒度性能數(shù)據(jù)默認(rèn)在線保持 3月以上，小時(shí)粒度性能數(shù)據(jù)默認(rèn)在線保持1年以上，日粒度性能數(shù)據(jù)默認(rèn)在線保持 2年以上。且此時(shí)間可以 根據(jù)用戶需求自行修改；支持在線數(shù)據(jù)在線修改功能，用戶可通過對(duì)

31、應(yīng)18用界面進(jìn)行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持?jǐn)?shù)據(jù)倒入恢復(fù)功 能。3）各種日志文件、歷史告警文件應(yīng)至少能保存 6個(gè)月的事件。6個(gè)月以上 數(shù)據(jù)采用光盤、磁帶等介質(zhì)進(jìn)行備份，脫機(jī)保存，應(yīng)提供查詢功能。2.1,1.1,2視圖管理拓?fù)湟晥D主要是對(duì)IT基礎(chǔ)網(wǎng)元拓?fù)潢P(guān)系的展示，業(yè)務(wù)視圖主要是對(duì) BSM （業(yè)務(wù)服務(wù)管理）要體現(xiàn)的業(yè)務(wù)系統(tǒng)與IT基礎(chǔ)網(wǎng)元相互關(guān)系的展示。在拓?fù)潢P(guān) 系展示和業(yè)務(wù)關(guān)系展示的理論框架中，都包含服務(wù)的分解與構(gòu)建、應(yīng)用映射等 功能的模塊，所以，運(yùn)行監(jiān)控子系統(tǒng)中采用統(tǒng)一的視圖管理實(shí)現(xiàn)拓?fù)湔故竞蜆I(yè) 務(wù)視圖的展示。.2.1架構(gòu)設(shè)計(jì)圖web視圖技術(shù)架構(gòu)山arTopology在每一層次位置情

32、況如下:（1）數(shù)據(jù)源:配置文件將作為File數(shù)據(jù)被使用。在Topology模塊中，對(duì)于XML File數(shù)19 據(jù)的需求與依賴程度遠(yuǎn)遠(yuǎn)高于其它模塊，主要是因?yàn)門opology的全局開關(guān)與默 認(rèn)參數(shù)、交互動(dòng)作、事件插件、指標(biāo)字典、顯示轉(zhuǎn)換器、告警、圖標(biāo)、右鍵菜 單等等核心功能全部基于配置工作，并進(jìn)一步用于屏蔽項(xiàng)目個(gè)性化帶來的分支 維護(hù)與版本升級(jí)壓力。PM與AM分別指性能服務(wù)層與告警服務(wù)層，這部分并不發(fā)生改變，主要 為客戶端提供實(shí)時(shí)的、高性能的性能與告警數(shù)據(jù)。Hyperspace是新的系統(tǒng)架構(gòu)中用于提供資源服務(wù)的模塊，與PM、AM同級(jí)，也是中層服務(wù)的一部分。Topology的所有資源數(shù)據(jù)都將不再依賴

33、于數(shù)據(jù)庫，而 是直接從Hyperspace查詢獲得，這其中不僅僅包括最基本的網(wǎng)元等，還包括更 加高級(jí)的樹與圖。Database的作用在Topology核心功能中被弱化，但是在Topology各個(gè)業(yè)務(wù) 的外圍功能中，地位不降反升，主要是因?yàn)橼厔?shì)、統(tǒng)計(jì)、排名、狀態(tài)類數(shù)據(jù)均 存在通過Topology集中圖形化展示的需求。(2)架構(gòu)層次：服務(wù)端：服務(wù)端DAO層次將借助Spring Transaction來進(jìn)行事務(wù)管理。另 外，服務(wù)端對(duì)于拓?fù)鋱D資源維護(hù)過程中的一些觸發(fā)式的預(yù)計(jì)算也要進(jìn)行更多的 支持，以便客戶端能夠更方便、更專注的完成圖形繪制的工作。數(shù)據(jù)交互：新架構(gòu)上變更較大的是由服務(wù)端向客戶端主動(dòng)推送數(shù)

34、據(jù)，在一 個(gè)瀏覽器中，Topology通過FlashPlayer與Web的整體框架共用同一個(gè)已經(jīng)在服 務(wù)端注冊(cè)過的消息客戶端，從而接收由服務(wù)端主動(dòng)推送給 Topology模塊的告警、 資源變更、狀態(tài)變更等消息，并在圖中將變更快速、直觀體現(xiàn)出來。止匕外， Hyperspace向外提供 RESTful 的 WebService訪問接口，并提供 Java與 JavaScript 兩種語言的客戶端，所以Topology將直接應(yīng)用其提供的客戶端完成對(duì)于資源數(shù) 據(jù)和圖結(jié)構(gòu)數(shù)據(jù)的獲取。客戶端：采用JavaScript + CSS3 + SVG技術(shù)。除了智能手機(jī)的屏幕過小不適合瀏覽拓?fù)浣Y(jié)構(gòu)視圖外，Pad等屏幕

35、稍大的移動(dòng)終端應(yīng)該能夠支持拓?fù)鋱D形的顯示。智能終端推送可考慮小規(guī)模的異步輪 詢模式，以極小代價(jià)獲取服務(wù)端是否更新的動(dòng)態(tài)標(biāo)識(shí)，來達(dá)成推送的跨終端平 臺(tái)能力。20.2.2 圖形引擎拓?fù)涞膱D形繪制完全由圖形引擎(GraphEngine)負(fù)責(zé)，它的接口比純粹的 點(diǎn)、線、面繪圖更加高級(jí)，提供專門用于組織、繪制二維拓?fù)鋱D形的全部高度 抽象接口。這些接口與具體繪制的拓?fù)錁I(yè)務(wù)無關(guān)。另外，圖形引擎對(duì)其定義的 接口用哪一種繪圖技術(shù)來實(shí)現(xiàn)也不關(guān)心，只要這種技術(shù)能夠?qū)崿F(xiàn)圖形引擎所定 義的接口，那么業(yè)務(wù)邏輯部分就可以通過圖形引擎的接口完成拓?fù)鋱D的繪制。.3大數(shù)據(jù)技術(shù)數(shù)量龐大的IT資源，在運(yùn)行過程當(dāng)中，時(shí)時(shí)刻刻都在產(chǎn)生大

36、量的運(yùn)行事件 信息，同時(shí)也積累了超大數(shù)據(jù)量的歷史運(yùn)行數(shù)據(jù)。采用大數(shù)據(jù)分析處理技術(shù)為 告警相關(guān)性挖掘、長(zhǎng)周期性能分析與預(yù)測(cè)、實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)性能數(shù)據(jù)分析、告警 日志檢索、應(yīng)用流量分析、數(shù)據(jù)分析挖掘等應(yīng)用場(chǎng)景提供了新的途徑和方法。大數(shù)據(jù)分析處理在產(chǎn)品系統(tǒng)中的應(yīng)用場(chǎng)景說明：應(yīng)用場(chǎng)景大鮑據(jù)技術(shù)應(yīng)用說明逋過大數(shù)據(jù)技術(shù).進(jìn)行者瞥國1吉父覲列生或、告瞥偵S&告當(dāng)歷 史依理經(jīng)驗(yàn)分布故障定位提升告警壓輻率，卷晌率.關(guān)聯(lián)度 歷史敬據(jù)的漏電存儲(chǔ),薪處理、簡(jiǎn)單分析，應(yīng)用系辨與信息基魅 設(shè)施的負(fù)戟負(fù)荷性能預(yù)測(cè)，節(jié)假日分析,場(chǎng)昊事件分析，提前融直 說沒砸與應(yīng)用素?zé)\(yùn)行既跑針對(duì)翱照亞就g實(shí)外匏居采用大數(shù)據(jù)我由，進(jìn)河重后歐亞業(yè)務(wù)

37、的分 業(yè)務(wù)、分應(yīng)用。嵬能分析對(duì)非勢(shì)?；罩君}的海置處要圣栓案，w準(zhǔn)定位美植寧熱點(diǎn)區(qū) 城，對(duì)關(guān)瘴字世行重點(diǎn)組織，過渡分桁，地告輸出利用大敷指技術(shù),對(duì)網(wǎng)絡(luò)SS的源.目的.全S、刨BL應(yīng)用怫議等 迸行歸整、曲析,定義異言沈昌 凝魂3,燕放芳泊量，掌握有寬 應(yīng)用壽品，價(jià)于QoS策珞坑化對(duì)口運(yùn)鏤平臺(tái)的海量的配鼠 性能、事忤瞥敵據(jù)進(jìn)行挖掘分析，為口 笈二謂護(hù)慢伐深域分析與深黃支拄告會(huì)相關(guān)性解反周崩但能分析與預(yù)訓(xùn)實(shí)時(shí)數(shù)據(jù)小舞注邃數(shù)據(jù)今析告黑日幫建應(yīng)用施分析數(shù)據(jù)挖掘分析.3.1大數(shù)據(jù)技術(shù)說明Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由 Apache基金會(huì)開發(fā)。用戶可以在 不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程

38、序。充分利用集群的威力高速 運(yùn)算和存儲(chǔ)。Hadoop的成員架構(gòu)如下圖所示：21用戶應(yīng)用Flume日志收第工具M(jìn)ahout . . HivePig黃據(jù)拽掘工具 數(shù)據(jù)倉庫工具大數(shù)據(jù)處11JSqoop關(guān)系型數(shù)據(jù)庫同步工具I Map Reduce并行計(jì)算框架HBase分布式NU5QL列數(shù)據(jù)隹Zookeeper分布式展服務(wù)Avro序列化中間件HDFS 分布式文件至統(tǒng)Hadoop成員架構(gòu)圖本次系統(tǒng)中使用到的Hadoop框架內(nèi)容包括：HDFSHadoop分布式文件系統(tǒng)(Distributed File System) HDFS (Hadoop Distributed File System)Map-Redu

39、ce并行計(jì)算框架，0.20前使用org.apache.hadoop.mapred 舊接口，0.20版 本開始弓I入 org.apache.hadoop.mapreduce 的新 API。本項(xiàng)目中此項(xiàng)技術(shù)用來解決大數(shù)據(jù)的預(yù)處理或特定要求下的大規(guī)模計(jì)算。具體特點(diǎn)：海量數(shù)據(jù)快速加載。海量數(shù)據(jù)的清洗與轉(zhuǎn)換工作。海量數(shù)據(jù)轉(zhuǎn)換為Hbase格式數(shù)據(jù)。 HbaseHBase:類似 Google BigTable 的分布式 NoSQ圓數(shù)據(jù)庫。(HBase和 Avro 已經(jīng)于2010年5月成為頂級(jí)Apache項(xiàng)目)，22本次項(xiàng)目中，將使用Hbase作為大數(shù)據(jù)的索引查詢庫使用，滿足快速的ID查詢需求。具體特點(diǎn)：滿足

40、海量數(shù)據(jù)的快速查詢。滿足海量數(shù)據(jù)的過濾、排序、分揀等操作。 HiveHive：數(shù)據(jù)倉庫工具，可以使用 SQL卻本方式，對(duì)數(shù)據(jù)進(jìn)行開發(fā)，本項(xiàng)目 作為日常的匯總統(tǒng)計(jì)工具。具體特點(diǎn)：滿足對(duì)數(shù)據(jù)的稽核統(tǒng)計(jì)與Impala的結(jié)合，滿足近線短周期的大數(shù)據(jù)快速JDBC ODB的式查詢。（5） Redis內(nèi)存數(shù)據(jù)庫技術(shù)redis是一個(gè)key-value 存儲(chǔ)系統(tǒng)。和Memcachedfe似，它支持存儲(chǔ)的value 類型相對(duì)更多，包括 string（字符串）、list（ 鏈表）、set（集合）、zset（sorted set -有序集合）和hashs（哈希類型）。本項(xiàng)目中，Redis庫作為編碼集中管理， 保持在集

41、群內(nèi)部的編碼統(tǒng)一。.3.2告警相關(guān)性挖掘通過時(shí)間序列模型、Hadoop技術(shù)、數(shù)據(jù)挖掘、時(shí)間窗口模型等大數(shù)據(jù)技 術(shù)，進(jìn)行告警壓縮、告警規(guī)則生成、告警預(yù)測(cè)、告警歷史處理經(jīng)驗(yàn)分析、故障 定位，提升告警壓縮率、準(zhǔn)確率、關(guān)聯(lián)度。告警挖掘處理流程圖23利用Hbase數(shù)據(jù)裝載、與索引裝載的異步實(shí)現(xiàn)、大數(shù)據(jù)壓縮等Hadoop技術(shù) 和Hive開發(fā)的數(shù)據(jù)分析，對(duì)非結(jié)構(gòu)化日志數(shù)據(jù)的海量處理和檢索，精準(zhǔn)定位關(guān) 鍵字熱點(diǎn)區(qū)域，對(duì)關(guān)鍵字進(jìn)行重點(diǎn)組織、過濾、分析、報(bào)告輸出。實(shí)現(xiàn)查詢 的跨越級(jí)目標(biāo)，實(shí)現(xiàn)秒級(jí)查詢。.4數(shù)據(jù)庫設(shè)計(jì).4.1數(shù)據(jù)庫架構(gòu)設(shè)計(jì)做好數(shù)據(jù)庫的設(shè)計(jì)與優(yōu)化是保證系統(tǒng)性能的關(guān)鍵：(1)數(shù)據(jù)庫的設(shè)計(jì)，包括表的設(shè)計(jì)、

42、索引的設(shè)計(jì)等。增量層將去除不必要的 索引；(2)根據(jù)表、索引的設(shè)計(jì)情況，估算每個(gè)表的基準(zhǔn)數(shù)據(jù)量及大小，還有表數(shù)據(jù)的增長(zhǎng)情況，合理設(shè)計(jì)每個(gè)表的參數(shù)值。對(duì)于數(shù)據(jù)量大的表，采用分區(qū)表和 物化視圖等技術(shù)，以及在設(shè)計(jì)上考慮歷史表等方法來提高性能；(3)根據(jù)表、索引的設(shè)計(jì)情況，合理設(shè)計(jì)表空間的大小、在磁盤上的分布以 及相關(guān)的參數(shù)；(4)合理調(diào)整數(shù)據(jù)庫的初始化參數(shù)以及操作系統(tǒng)的內(nèi)核參數(shù)等；24(5)合理規(guī)劃連接池及客戶端對(duì)數(shù)據(jù)庫的連接數(shù)目；(6)根據(jù)現(xiàn)場(chǎng)實(shí)際情況，定期監(jiān)測(cè)和檢查數(shù)據(jù)庫的使用情況， 并對(duì)不合理參 數(shù)做出調(diào)整。同時(shí)，也定期對(duì)數(shù)據(jù)庫中的碎片進(jìn)行整理。.4.2大數(shù)據(jù)表設(shè)計(jì)(1)存儲(chǔ)空間設(shè)計(jì)不要為監(jiān)控

43、實(shí)例多、監(jiān)控周期少的性能數(shù)據(jù)表設(shè)置存儲(chǔ)的限制。在ORACLE 數(shù)據(jù)庫中，對(duì)于一些數(shù)據(jù)容量比較小的表格，設(shè)置存儲(chǔ)配額限制是合理的，可 以提高空間的利用率。對(duì)于大表設(shè)則不對(duì)其存儲(chǔ)空間做出任何的限制。(2)為大表分配足夠的臨時(shí)空間查詢時(shí)，我們還會(huì)經(jīng)常的進(jìn)行排序操作。當(dāng)記錄多的話，這個(gè)排序動(dòng)作， 要求具有比較大的臨時(shí)存儲(chǔ)空間。所以，當(dāng)某個(gè)表預(yù)計(jì)會(huì)有很大的記錄數(shù)量的 時(shí)候，我們就要給其分配足夠多的臨時(shí)空間。(3)考慮表和表的索引分離存放大表所對(duì)應(yīng)的索引通常也比較大。一般來說，索引的數(shù)量是隨著表記錄的 數(shù)量增加而增加，兩者是接近于一個(gè)正比例的關(guān)系?？紤]把表和他的索引分別 存儲(chǔ)于不同的表空間中，最大的好處是

44、讓索引比較容易的獲得所需要的連續(xù)的 存儲(chǔ)空間，從而提高輸入輸入的效率。(4)大表分區(qū)設(shè)計(jì)當(dāng)數(shù)據(jù)庫表記錄達(dá)到千萬條以上時(shí)，不但影響著數(shù)據(jù)庫的運(yùn)行效率，也增 大了數(shù)據(jù)庫的維護(hù)難度，可以通過對(duì)大表進(jìn)行合理分區(qū)得到很大的改善。當(dāng)表和索引變得非常大時(shí)，分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分 來提高系統(tǒng)的運(yùn)行效率。系統(tǒng)通常按照如下的規(guī)劃進(jìn)行分區(qū)：5分鐘性能表按天分區(qū)，小時(shí)表10天一個(gè)分區(qū)，天匯總表是1個(gè)月一個(gè)分區(qū)，表月也是一個(gè)月 一個(gè)分區(qū)。表及索引分區(qū)對(duì)用戶的訪問數(shù)據(jù)是透明的，完全不影響前端應(yīng)用的數(shù)據(jù)訪 問邏輯。每個(gè)分區(qū)可以被單獨(dú)管理，可以不依賴于其他分區(qū)而單獨(dú)發(fā)揮作用， 因而，分區(qū)可以提高可管理性、性

45、能與可用性，從而給各種各樣的應(yīng)用程序帶25來極大的好處.5性能設(shè)計(jì),5.1告警信息處理運(yùn)行監(jiān)控系統(tǒng)擁有強(qiáng)大告警數(shù)據(jù)處理能力，在處理設(shè)備產(chǎn)生告警的同時(shí)也 能接受Trap、syslog等告警數(shù)據(jù)。(1)網(wǎng)絡(luò)正常情況下，集中告警系統(tǒng)的告警平均響應(yīng)時(shí)間(指從網(wǎng)元發(fā)生告 警到集中告警系統(tǒng)顯示告警)不大于 30秒。(2)告警處理時(shí)延(即本系統(tǒng)接口收到告警到本系統(tǒng)終端顯示出告警之間的 時(shí)延)：不超過3秒。(3)收集處理告警信息的能力：大于1000條/秒。(4)系統(tǒng)能處理的最大當(dāng)前告警能力：大于5000條/秒。(5)在系統(tǒng)滿負(fù)荷情況下，告警響應(yīng)時(shí)間應(yīng)不大于以上指標(biāo)的150%設(shè)備管理數(shù)量每級(jí)節(jié)點(diǎn)支持的管理對(duì)象下

46、限如下，并可通過軟硬件處理能力進(jìn)一步擴(kuò)展：(1)網(wǎng)絡(luò)設(shè)備對(duì)象：不低于2000個(gè)(含虛擬網(wǎng)絡(luò)設(shè)備)。(2)服務(wù)器對(duì)象：不低于2000個(gè)操作系統(tǒng)(含虛擬服務(wù)器)。(3)通用應(yīng)用服務(wù)對(duì)象：不低于500個(gè)應(yīng)用實(shí)例(含DNS IIS、tomcat等)。(4)數(shù)據(jù)庫對(duì)象：不低于200個(gè)數(shù)據(jù)庫實(shí)例，含Oracle、SQLServer、MySQL 等數(shù)據(jù)庫支持，并支持對(duì)神通數(shù)據(jù)庫的管理開發(fā)定制。(5)存儲(chǔ)設(shè)備對(duì)象：不低于20個(gè)。(6)應(yīng)用系統(tǒng)：不低于100個(gè)，主要為自主設(shè)計(jì)開發(fā)的專用業(yè)務(wù)系統(tǒng)。系統(tǒng)處理效率監(jiān)控系統(tǒng)擁有高效的系統(tǒng)處理能力，具體參數(shù)如下：(1)后臺(tái)采集及解析處理，單個(gè)等效網(wǎng)元不超過2毫秒。26(2

47、)后臺(tái)處理響應(yīng)：后臺(tái)數(shù)據(jù)平均處理速度小于 7秒，最大不超過20秒。(3) 一般頁面響應(yīng)時(shí)間：用戶進(jìn)行界面操作時(shí)，系統(tǒng)響應(yīng)時(shí)間小于2秒；用 戶進(jìn)行查詢、匯總數(shù)據(jù)時(shí)，系統(tǒng)響應(yīng)時(shí)間小于 5秒；用戶生成報(bào)表時(shí)，系統(tǒng)響 應(yīng)時(shí)間小于10秒。以上時(shí)間均排除網(wǎng)絡(luò)延遲的干擾。(4)系統(tǒng)自身流量占用：平均每次采集請(qǐng)求/應(yīng)答流量約為1 Kbyte ,經(jīng)過 數(shù)據(jù)壓縮后，流量名勺為0.5Kbyte ,約每5分鐘采集一次，則帶寬需求為：“50 * 0.5K*8 /300 = 0.67 Kbit/s ” 。(5)數(shù)據(jù)庫：數(shù)據(jù)入庫能力大于500條/秒。(6)運(yùn)行監(jiān)控系統(tǒng)自身軟件占用資源：在系統(tǒng)硬件資源滿足的前提下，系統(tǒng) 資源

48、平均內(nèi)存占用少于30%峰值內(nèi)存占用少于70%平均CPU占用少于30%, 峰值CPU占用少于60%主動(dòng)擁有資源自動(dòng)釋放功能，會(huì)定期整理系統(tǒng)資源。 服務(wù)器端數(shù)據(jù)庫性能穩(wěn)定。數(shù)據(jù)存儲(chǔ)能力(1)系統(tǒng)需要保存所有原始告警數(shù)據(jù)，原始告警應(yīng)與監(jiān)控系統(tǒng)或網(wǎng)元管理終 端所獲告警保持一致，告警數(shù)據(jù)一致性能達(dá)到100%(2)性能數(shù)據(jù)默認(rèn)在線保持1年以上，且此時(shí)間可以根據(jù)用戶需求自行修改； 支持在線數(shù)據(jù)在線修改功能，用戶可通過對(duì)應(yīng)用界面進(jìn)行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持?jǐn)?shù)據(jù)倒入恢復(fù)功能。(3)各種日志文件、歷史告警文件應(yīng)至少能保存6個(gè)月的事件。6個(gè)月以上 數(shù)據(jù)采用光盤、磁帶等介質(zhì)進(jìn)行備份，脫機(jī)保存。配置管理數(shù)據(jù)庫系統(tǒng)資源模型管理采用自主開發(fā)的成熟的資源建模軟件產(chǎn)品GOAT,通過建立對(duì)象到關(guān)系型數(shù)據(jù)的映射和轉(zhuǎn)換，達(dá)到了數(shù)據(jù)的對(duì)象化封裝，包括對(duì)象查詢， 數(shù)據(jù)檢查，規(guī)則約束等。按照現(xiàn)在廣泛使用的ORM的方法，完成對(duì)持久層產(chǎn)品的兩個(gè)重要組件的創(chuàng)建和修改，它們是持久層JAVA類和映射文件(MAP文件)。通過按照對(duì)象映射，規(guī)則約束條件等生成的 JAVA類，最終打包成J2EE27的EJB發(fā)布在中間件的服務(wù)器上，并以此對(duì)外提供API方式訪問。GOAT系統(tǒng)包括模型文件處理（Model Handle） 模型編輯模塊（ModelEd讓or）、 持久化模塊（Persistent Modul