版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 IT技術(shù)運(yùn)維技能解析目 錄 TOC o 1-3 h z u HYPERLINK l _Toc10116693 1.運(yùn)維職位的發(fā)展和趨勢(shì) PAGEREF _Toc10116693 h 3 HYPERLINK l _Toc10116694 1.1.按領(lǐng)域來劃分 PAGEREF _Toc10116694 h 3 HYPERLINK l _Toc10116695 1.2.按技術(shù)切面來分 PAGEREF _Toc10116695 h 3 HYPERLINK l _Toc10116696 1.3.按流程來劃分 PAGEREF _Toc10116696 h 3 HYPERLINK l _Toc101166
2、97 2.系統(tǒng)運(yùn)維技能圖譜 PAGEREF _Toc10116697 h 5 HYPERLINK l _Toc10116698 3.Web運(yùn)維技能圖譜 PAGEREF _Toc10116698 h 6 HYPERLINK l _Toc10116699 4.大數(shù)據(jù)運(yùn)維技能圖譜 PAGEREF _Toc10116699 h 7 HYPERLINK l _Toc10116700 5.容器運(yùn)維技能圖譜 PAGEREF _Toc10116700 h 8 HYPERLINK l _Toc10116701 6.數(shù)據(jù)為王的時(shí)代 PAGEREF _Toc10116701 h 9 HYPERLINK l _Toc
3、10116702 6.1.系統(tǒng)日志 PAGEREF _Toc10116702 h 9 HYPERLINK l _Toc10116703 6.2.應(yīng)用日志 PAGEREF _Toc10116703 h 10 HYPERLINK l _Toc10116704 6.3.數(shù)據(jù)庫日志 PAGEREF _Toc10116704 h 10 HYPERLINK l _Toc10116705 6.4.設(shè)備日志 PAGEREF _Toc10116705 h 10 HYPERLINK l _Toc10116706 7.用大數(shù)據(jù)思維做運(yùn)維監(jiān)控 PAGEREF _Toc10116706 h 15運(yùn)維是一個(gè)融合多學(xué)科(網(wǎng)
4、絡(luò)、系統(tǒng)、開發(fā)、安全、應(yīng)用架構(gòu)、存儲(chǔ)等)的綜合性技術(shù)崗位,從最初的網(wǎng)絡(luò)管理(網(wǎng)管)發(fā)展到現(xiàn)在的系統(tǒng)運(yùn)維工程師、網(wǎng)絡(luò)運(yùn)維工程師、安全運(yùn)維工程師、運(yùn)維開發(fā)工程師等,可以看出,運(yùn)維的分工一直在細(xì)化,并且對(duì)綜合技能要求越來越高,可以看出,未來運(yùn)維的發(fā)展趨勢(shì)是高、精、尖,高表示高度,精表示精通,尖表示尖端,也就是運(yùn)維職場(chǎng)一定要站在一定的技術(shù)高度,在多個(gè)技術(shù)領(lǐng)域中,要精通某項(xiàng)技能,同時(shí)對(duì)尖端前沿技術(shù)一定要能掌控趨勢(shì)。運(yùn)維職位的發(fā)展和趨勢(shì)根據(jù)不同的運(yùn)維領(lǐng)域和技術(shù)面以及分工流程三個(gè)方面來了解下2019年運(yùn)維職位的發(fā)展趨勢(shì)。按領(lǐng)域來劃分1)、基礎(chǔ)設(shè)施運(yùn)維:IDC/網(wǎng)絡(luò)運(yùn)維、服務(wù)器/存儲(chǔ)設(shè)備運(yùn)維2)、系統(tǒng)運(yùn)維:系
5、統(tǒng)中間件運(yùn)維、云計(jì)算平臺(tái)運(yùn)維3)、數(shù)據(jù)運(yùn)維:數(shù)據(jù)庫運(yùn)維、大數(shù)據(jù)技術(shù)平臺(tái)運(yùn)維4)、應(yīng)用運(yùn)維:應(yīng)用軟件系統(tǒng)5)、云平臺(tái)運(yùn)維:公有云平臺(tái)運(yùn)維6)、容器運(yùn)維:基于容器服務(wù)的運(yùn)維按技術(shù)切面來分1)、安全運(yùn)維2)、性能運(yùn)維3)、數(shù)據(jù)運(yùn)維4)、集成運(yùn)維按流程來劃分1)、構(gòu)建/持續(xù)集成、發(fā)布2)、安裝部署、升級(jí)、遷移、合并、擴(kuò)展3)、配置、初始化、配置變更4)、備份、傳輸、恢復(fù)5)、日志、監(jiān)控、預(yù)警6)、診斷排查、優(yōu)化系統(tǒng)運(yùn)維技能圖譜系統(tǒng)運(yùn)維是運(yùn)維的基礎(chǔ),新的一年中,對(duì)基礎(chǔ)運(yùn)維技能要求也在提高,打好系統(tǒng)運(yùn)維基礎(chǔ),才能深入學(xué)習(xí)后面的各種運(yùn)維技能。下圖列出了系統(tǒng)運(yùn)維要掌握的必備技能:Web運(yùn)維技能圖譜web運(yùn)維是
6、運(yùn)維崗位中崗位最多的一個(gè),薪資也相對(duì)較高,但需要掌握的知識(shí)點(diǎn)也比較多,新的技能要掌握,老的運(yùn)維技能也不能丟,下圖列出了web運(yùn)維要掌握的各種必備技能。大數(shù)據(jù)運(yùn)維技能圖譜大數(shù)據(jù)從2017年開始逐漸走到生活的各個(gè)角落,2018年在逐漸落地,而在2019年,大數(shù)據(jù)依然火熱,加上國(guó)家對(duì)大數(shù)據(jù)產(chǎn)業(yè)的扶持,大數(shù)據(jù)產(chǎn)業(yè)在新的一年崗位需求一定會(huì)更加大,因此掌握大數(shù)據(jù)運(yùn)維技能,就走在了運(yùn)維的前沿,下圖列出了大數(shù)據(jù)運(yùn)維要掌握的各種必備技能。容器運(yùn)維技能圖譜容器的產(chǎn)生,是一次IT行業(yè)的革命,2015 年到 2016 年,是業(yè)界普遍認(rèn)為的容器技術(shù)爆發(fā)的一年,短短一年多時(shí)間里,容器技術(shù)在中國(guó)大陸完成了從零星概念到烽火燎
7、原的壯舉。時(shí)至今日,容器技術(shù)在國(guó)內(nèi)大多數(shù)企業(yè)中落地已成為一種共識(shí),而國(guó)內(nèi)的生態(tài)系統(tǒng),也呈現(xiàn)出了企業(yè)產(chǎn)品、開源社區(qū)和公有云齊頭并進(jìn)的良好局面。因此,2019年也是容器繼續(xù)快速落地的一年,下圖列出了大數(shù)據(jù)運(yùn)維要掌握的各種必備技能。數(shù)據(jù)為王的時(shí)代萬丈高樓平地起,高樓穩(wěn)不穩(wěn)取決于地基是否扎實(shí)。運(yùn)維數(shù)據(jù)便是運(yùn)維管理這座高樓的地基。運(yùn)維數(shù)據(jù)大致分為CMDB、日志、生產(chǎn)DB、知識(shí)庫四個(gè)方面。CMDB中文是配置管理數(shù)據(jù)庫,存儲(chǔ)與管理企業(yè)IT架構(gòu)中設(shè)備的各種配置信息,主要是IT資產(chǎn)管理信息。日志數(shù)據(jù)保護(hù)了企業(yè)服務(wù)器上運(yùn)行的各種系統(tǒng)產(chǎn)生的應(yīng)用日志,系統(tǒng)日志、設(shè)備日志、數(shù)據(jù)庫日志等數(shù)據(jù),這部分?jǐn)?shù)據(jù)是企業(yè)數(shù)據(jù)的核心。
8、DB數(shù)據(jù)主要是所有IT系統(tǒng)的數(shù)據(jù)庫信息,包括運(yùn)維管理系統(tǒng)本身的數(shù)據(jù)庫,數(shù)據(jù)庫包含生產(chǎn)數(shù)據(jù)庫、測(cè)試數(shù)據(jù)庫、開發(fā)數(shù)據(jù)庫三種類型。知識(shí)庫主要存儲(chǔ)日常開發(fā)、測(cè)試、運(yùn)維管理中發(fā)生的事件、問題以及一些經(jīng)典問題的解決和常用的解決方案,主要起到運(yùn)維管理輔助的功能。對(duì)數(shù)據(jù)的維護(hù)和管理只管重要,特別是日志數(shù)據(jù),對(duì)運(yùn)維來說,通過日志可以比較準(zhǔn)確全面地知道系統(tǒng)或是設(shè)備的運(yùn)行情況,可以返查問題產(chǎn)生的原因,還原問題發(fā)生的整個(gè)過程。通過日志也可以提前預(yù)測(cè)系統(tǒng)可能要發(fā)生的問題或是故障,如系統(tǒng)安全日志,如果網(wǎng)絡(luò)攻 擊會(huì)在系統(tǒng)安全日志中有一定的體現(xiàn)。下面簡(jiǎn)單介紹下,運(yùn)維重點(diǎn)收集的日志數(shù)據(jù)有哪些部分以及用途。系統(tǒng)日志系統(tǒng)日志主要指
9、的是操作系統(tǒng)的日志,主要在/var/log下的各種日志信息。包含系統(tǒng)操作日志、系統(tǒng)安全日志、定時(shí)任務(wù)日志等。系統(tǒng)日志是運(yùn)維管理安全模塊中審計(jì)的重要依據(jù)。一般默認(rèn)的操作系統(tǒng)日志不能滿足要求,需要對(duì)系統(tǒng)的參數(shù)進(jìn)行修改,如為history命令加上時(shí)間戳、IP,并且長(zhǎng)久保留歷史等功能。并且對(duì)日志文件進(jìn)行處理,不允許用戶進(jìn)行清空命令,只能追加。應(yīng)用日志應(yīng)用日志主要記錄應(yīng)用服務(wù)的健康運(yùn)行情況以及業(yè)務(wù)操作的具體日志兩部分。應(yīng)用監(jiān)控運(yùn)行情況反應(yīng)應(yīng)用服務(wù)的健康狀態(tài),如果應(yīng)用占用CPU或是內(nèi)存過高或是忽高忽低不定,都可以通過分析應(yīng)用日志結(jié)合業(yè)務(wù)操作日志得出結(jié)論。業(yè)務(wù)操作日志可以為業(yè)務(wù)審計(jì)提供主要依據(jù)。有一些系統(tǒng)喜
10、歡把業(yè)務(wù)操作日志寫到數(shù)據(jù)庫中,這個(gè)也是需要注意的。不過不管在哪個(gè)地方,要求是不可缺少的,它為以后業(yè)務(wù)審計(jì)和問題返查提供依據(jù)。數(shù)據(jù)庫日志數(shù)據(jù)庫日志主要反饋數(shù)據(jù)庫的運(yùn)行情況。通過監(jiān)控和管理數(shù)據(jù)庫的日志,及時(shí)了解數(shù)據(jù)庫的運(yùn)行情況,遇到問題及時(shí)解決等。可以通過數(shù)據(jù)庫日志結(jié)合數(shù)據(jù)庫系統(tǒng)自帶的數(shù)據(jù)庫如Oracle的系統(tǒng)視圖v$開頭,MySQL的performance_schema等。雖然數(shù)據(jù)庫的一些信息不是存在日志中而是在數(shù)據(jù)庫里面,但是也可以作為數(shù)據(jù)庫日志的一部分進(jìn)行管理和監(jiān)控,已便我們及時(shí)知道數(shù)據(jù)庫的監(jiān)控狀況,從而預(yù)防可能出現(xiàn)的問題。設(shè)備日志設(shè)備日志一般是一個(gè)比較容易忽略的地方,但設(shè)備日志往往可以反映
11、設(shè)備的運(yùn)行情況。交換機(jī)故障,防火墻故障等設(shè)備故障都可能引起大面積的系統(tǒng)和服務(wù)故障。所以設(shè)備日志一定要收集,分析和監(jiān)控預(yù)警。常用的設(shè)備日志有交換機(jī)日志、防火墻日志、網(wǎng)絡(luò)安全設(shè)備日志等。這么多的日志,運(yùn)維要通過各種手段完成日志的收集、過濾分析、可視化展示,那么如何實(shí)現(xiàn)這些功能呢,方法很多,例如ELK集成套件(Elasticsearch , Logstash, Kibana)就可以輕松實(shí)現(xiàn)日志數(shù)據(jù)的實(shí)時(shí)收集、分析傳輸以及圖形化展示。Elasticsearch是個(gè)開源分布式搜索引擎,提供搜集、分析、存儲(chǔ)數(shù)據(jù)三大功能。它的特點(diǎn)有:分布式,零配置,自動(dòng)發(fā)現(xiàn),索引自動(dòng)分片,索引副本機(jī)制,restful風(fēng)格接
12、口,多數(shù)據(jù)源,自動(dòng)搜索負(fù)載等。Logstash主要是用來日志的搜集、分析、過濾日志的工具,支持大量的數(shù)據(jù)獲取方式。一般工作方式為c/s架構(gòu),client端安裝在需要收集日志的主機(jī)上,server端負(fù)責(zé)將收到的各節(jié)點(diǎn)日志進(jìn)行過濾、修改等操作在一并發(fā)往elasticsearch上去。Kibana 也是一個(gè)開源和免費(fèi)的工具,Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。另外,還有Filebeat可以替換Logstash作為日志收集工具,F(xiàn)ilebeat隸屬于Beats。目前Beats包含四種工具:Pac
13、ketbeat(搜集網(wǎng)絡(luò)流量數(shù)據(jù))Topbeat(搜集系統(tǒng)、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù))Filebeat(搜集文件數(shù)據(jù))Winlogbeat(搜集Windows事件日志數(shù)據(jù))可以看到,Beats涵蓋了所有收集日志數(shù)據(jù)的各個(gè)方面。那么要如何使用ELK呢,根據(jù)日志量的不同,對(duì)應(yīng)的ELK架構(gòu)也不盡相同,看下面幾個(gè)常見架構(gòu):此架構(gòu)主要是將Logstash部署在各個(gè)節(jié)點(diǎn)上搜集相關(guān)日志、數(shù)據(jù),并經(jīng)過分析、過濾后發(fā)送給遠(yuǎn)端服務(wù)器上的Elasticsearch進(jìn)行存儲(chǔ)。Elasticsearch再將數(shù)據(jù)以分片的形式壓縮存儲(chǔ),并提供多種API供用戶查詢、操作。用戶可以通過Kibana W
14、eb直觀的對(duì)日志進(jìn)行查詢,并根據(jù)需求生成數(shù)據(jù)報(bào)表。此架構(gòu)的優(yōu)點(diǎn)是搭建簡(jiǎn)單,易于上手。缺點(diǎn)是Logstash消耗系統(tǒng)資源比較大,運(yùn)行時(shí)占用CPU和內(nèi)存資源較高。另外,由于沒有消息隊(duì)列緩存,可能存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)。此架構(gòu)建議供初學(xué)者或數(shù)據(jù)量小的環(huán)境使用。由此衍生出來了第二種架構(gòu):此架構(gòu)主要特點(diǎn)是引入了消息隊(duì)列機(jī)制,位于各個(gè)節(jié)點(diǎn)上的Logstash Agent(一級(jí)Logstash,主要用來傳輸數(shù)據(jù))先將數(shù)據(jù)傳遞給消息隊(duì)列(常見的有Kafka、Redis等),接著,Logstash server(二級(jí)Logstash,主要用來拉取消息隊(duì)列數(shù)據(jù),過濾并分析數(shù)據(jù))將格式化的數(shù)據(jù)傳遞給Elasticsea
15、rch進(jìn)行存儲(chǔ)。最后,由Kibana將日志和數(shù)據(jù)呈現(xiàn)給用戶。由于引入了Kafka(或者Redis)緩存機(jī)制,即使遠(yuǎn)端Logstash server因故障停止運(yùn)行,數(shù)據(jù)也不會(huì)丟失,因?yàn)閿?shù)據(jù)已經(jīng)被存儲(chǔ)下來了。這種架構(gòu)適合于較大集群、數(shù)據(jù)量一般的應(yīng)用環(huán)境,但由于二級(jí)Logstash要分析處理大量數(shù)據(jù),同時(shí)Elasticsearch也要存儲(chǔ)和索引大量數(shù)據(jù),因此它們的負(fù)荷會(huì)比較重,解決的方法是將它們配置為集群模式,以分擔(dān)負(fù)載。此架構(gòu)的優(yōu)點(diǎn)在于引入了消息隊(duì)列機(jī)制,均衡了網(wǎng)絡(luò)傳輸,從而降低了網(wǎng)絡(luò)閉塞尤其是丟失數(shù)據(jù)的可能性,但依然存在Logstash占用系統(tǒng)資源過多的問題,在海量數(shù)據(jù)應(yīng)用場(chǎng)景下,可能會(huì)出現(xiàn)性能
16、瓶頸。最后,還有第三種架構(gòu):這個(gè)架構(gòu)是在上面第二個(gè)架構(gòu)基礎(chǔ)上改進(jìn)而來的,主要是將前端收集數(shù)據(jù)的Logstash Agent換成了filebeat,消息隊(duì)列使用了kafka集群,然后將Logstash和Elasticsearch都通過集群模式進(jìn)行構(gòu)建,此架構(gòu)適合大型集群、海量數(shù)據(jù)的業(yè)務(wù)場(chǎng)景,它通過將前端Logstash Agent替換成filebeat,有效降低了收集日志對(duì)業(yè)務(wù)系統(tǒng)資源的消耗。同時(shí),消息隊(duì)列使用kafka集群架構(gòu),有效保障了收集數(shù)據(jù)的安全性和穩(wěn)定性,而后端Logstash和Elasticsearch均采用集群模式搭建,從整體上提高了ELK系統(tǒng)的高效性、擴(kuò)展性和吞吐量。用大數(shù)據(jù)思維
17、做運(yùn)維監(jiān)控大數(shù)據(jù)分析最早就來源于運(yùn)維人的日志分析,到逐漸發(fā)展對(duì)各種業(yè)務(wù)的分析,人們發(fā)現(xiàn)這些數(shù)據(jù)蘊(yùn)涵著非常大的價(jià)值,通過實(shí)時(shí)監(jiān)測(cè)、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù),進(jìn)行挖掘分析,揭示出規(guī)律性的東西,提出研究結(jié)論和對(duì)策。這就是大數(shù)據(jù)的用途。同樣,通過大數(shù)據(jù)分析,我們可以得到各種指標(biāo),例如:1、在業(yè)務(wù)層面,如團(tuán)購(gòu)業(yè)務(wù)每秒訪問數(shù),團(tuán)購(gòu)券每秒驗(yàn)券數(shù),每分鐘支付、創(chuàng)建訂單等。2、在應(yīng)用層面,每個(gè)應(yīng)用的錯(cuò)誤數(shù),調(diào)用過程,訪問的平均耗時(shí),最大耗時(shí),95線等3、在系統(tǒng)資源層面:如cpu、內(nèi)存、swap、磁盤、load、主進(jìn)程存活等4、在網(wǎng)絡(luò)層面: 如丟包、ping存活、流量、tcp連接數(shù)等而這些指標(biāo),剛好是運(yùn)維特別需要的東西。通過大數(shù)據(jù)分析出的這些指標(biāo),可以解決如下方面的問題:系統(tǒng)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 雙方自愿離婚協(xié)議書七篇
- 二人合伙協(xié)議書2025
- 自發(fā)性多汗癥病因介紹
- 廣東省佛山市南海區(qū)、三水區(qū)2023-2024學(xué)年九年級(jí)上學(xué)期期末數(shù)學(xué)試題
- 《電機(jī)技術(shù)應(yīng)用》課件 3.3.3 直流電機(jī)的制動(dòng)
- (立項(xiàng)備案方案)壓制封頭項(xiàng)目立項(xiàng)申請(qǐng)報(bào)告
- (2024)歡樂世界旅游開發(fā)項(xiàng)目可行性研究報(bào)告申請(qǐng)備案編制(一)
- 2023年天津市高考語文模擬試卷
- 江蘇省鹽城市建湖縣漢開書院學(xué)校2023-2024學(xué)年七年級(jí)上學(xué)期第二次月考道德與法治試題(原卷版)-A4
- 2023年乙烯冷箱產(chǎn)品項(xiàng)目融資計(jì)劃書
- 福建省廈門市2023-2024學(xué)年九年級(jí)上學(xué)期化學(xué)用語教學(xué)質(zhì)量監(jiān)測(cè)試題(無答案)
- 2023-2024學(xué)年湖南省岳陽市九年級(jí)(上)期末數(shù)學(xué)試卷(含解析)
- 蟲控消殺行業(yè)報(bào)告
- 導(dǎo)醫(yī)接待中的患者滿意度調(diào)查
- 《古從軍行李頎》課件
- ISO9001質(zhì)量管理體系內(nèi)審員培訓(xùn)
- 國(guó)開電大可編程控制器應(yīng)用實(shí)訓(xùn)形考任務(wù)5
- 國(guó)開電大 建筑工程計(jì)量與計(jì)價(jià) 形考作業(yè)1-4答案
- 《學(xué)位論文規(guī)范寫作》課件
- 新教師入職培訓(xùn)新學(xué)期新教師入職培訓(xùn)課件
- pmc年終總結(jié)報(bào)告
評(píng)論
0/150
提交評(píng)論