Linux-基礎(chǔ)教程-系統(tǒng)監(jiān)視與系統(tǒng)日志課件

第11章

系統(tǒng)監(jiān)視與系統(tǒng)日志本章內(nèi)容要點(diǎn)理解影響系統(tǒng)性能的因素系統(tǒng)性能分析工具日志系統(tǒng)的功能日志系統(tǒng)的配置查看和分析日志文件2023年7月20日2本章學(xué)習(xí)目標(biāo)學(xué)會(huì)使用top、mpstat、vmstst、iostat工具分析系統(tǒng)性能熟悉系統(tǒng)性能評估標(biāo)準(zhǔn)學(xué)習(xí)syslog的配置方法學(xué)會(huì)配置遠(yuǎn)程日志學(xué)會(huì)查看系統(tǒng)日志并理解日志滾動(dòng)2023年7月20日3監(jiān)視系統(tǒng)性能2023年7月20日4系統(tǒng)性能監(jiān)視對象容易形成性能瓶頸的監(jiān)視對象CPU性能內(nèi)存性能磁盤I/O性能網(wǎng)絡(luò)I/O帶寬2023年7月20日5系統(tǒng)性能監(jiān)視常用工具CPU監(jiān)視工具/usr/bin/uptime：顯示系統(tǒng)平均負(fù)載/usr/bin/top：動(dòng)態(tài)顯示系統(tǒng)進(jìn)程任務(wù)/usr/bin/mpstat：輸出CPU的各種統(tǒng)計(jì)信息內(nèi)存監(jiān)視工具/usr/bin/free：顯示系統(tǒng)內(nèi)存的使用/usr/bin/vmstat：報(bào)告虛擬內(nèi)存的統(tǒng)計(jì)信息I/O監(jiān)視工具/usr/bin/iostat：輸出CPU、I/O系統(tǒng)和磁盤分區(qū)的統(tǒng)計(jì)信息2023年7月20日6top命令動(dòng)態(tài)顯示系統(tǒng)的統(tǒng)計(jì)信息和進(jìn)程的重要信息統(tǒng)計(jì)信息系統(tǒng)平均負(fù)載進(jìn)程狀態(tài)統(tǒng)計(jì)CPU使用的統(tǒng)計(jì)信息物理內(nèi)存和虛擬內(nèi)存的使用統(tǒng)計(jì)信息進(jìn)程信息1PIDUSERPRNIVIRTRESSHRS%CPU%MEMTIME+COMMAND2PIDPPIDTIME+%CPU%MEMPRNISVIRTSWAPRESUIDCOMMAND3PID%MEMVIRTSWAPRESCODEDATASHRnFLTnDRTSPRNI%CPUCOMMAND4PIDPPIDUIDUSERRUSERTTYTIME+%CPU%MEMSCOMMAND2023年7月20日7top命令輸出的統(tǒng)計(jì)信息(1)顯示的是uptime命令的輸出07:01:55——當(dāng)前時(shí)間up14min——系統(tǒng)自開機(jī)后運(yùn)行的時(shí)間1user——當(dāng)前登錄的用戶數(shù)loadaverage:0.03,0.02,0.00

1分鐘系統(tǒng)平均負(fù)載，5分鐘系統(tǒng)平均負(fù)載，15分鐘系統(tǒng)平均負(fù)載一段時(shí)間內(nèi)，每個(gè)值都應(yīng)該小于系統(tǒng)中CPU的個(gè)數(shù)，否則表示系統(tǒng)存在CPU瓶頸相關(guān)的交互命令交互命令“l(fā)”是用于是否顯示此信息的乒乓切換開關(guān)2023年7月20日8top-07:01:55up14min,1user,loadaverage:0.03,0.02,0.00top命令輸出的統(tǒng)計(jì)信息(2)進(jìn)程狀態(tài)的輸出字段總進(jìn)程數(shù)（total）正在運(yùn)行進(jìn)程數(shù)（running）睡眠的進(jìn)程數(shù)（sleeping）停止的進(jìn)程數(shù)（stopped）僵尸進(jìn)程數(shù)（zombie）2023年7月20日9Tasks:98total,2running,96sleeping,0stopped,0zombie僵尸進(jìn)程指的是子進(jìn)程退出后父進(jìn)程并沒有處理子進(jìn)程的退出信號，導(dǎo)致子進(jìn)程變?yōu)榻┦M(jìn)程。top命令輸出的統(tǒng)計(jì)信息(3)CPU使用率的輸出字段%us(user)：用戶態(tài)進(jìn)程占用CPU百分比%sy(system)：核心態(tài)進(jìn)程占用CPU百分比%ni(nice)：調(diào)整過優(yōu)先級的用戶態(tài)進(jìn)程占用CPU時(shí)間的百分比%id(idel)：CPU空閑的百分比%wa(iowait)：等待系統(tǒng)I/O的CPU時(shí)間百分比%hi(hardinterrupt)：CPU用于處理硬件中斷的時(shí)間百分比%si(softinterrupt)：CPU用于處理軟中斷的時(shí)間百分比%st(steal)：被虛擬機(jī)偷掉的CPU時(shí)間百分比（僅用于運(yùn)行虛擬機(jī)的情況）2023年7月20日10Cpu(s):0.0%us,0.0%sy,0.0%ni,100.0%id,0.0%wa,0.0%hi,0.0%si,0.0%st交互命令

t是用于是否顯示進(jìn)程狀態(tài)統(tǒng)計(jì)和CPU使用率的乒乓切換開關(guān)交互命令1

是用于顯示所有CPU的平均狀態(tài)還是每個(gè)CPU狀態(tài)的乒乓切換開關(guān)top命令輸出的統(tǒng)計(jì)信息(4)2023年7月20日11Mem:1025692ktotal,121072kused,904620kfree,13236kbuffersSwap:2064376ktotal,0kused,2064376kfree,59436kcached物理內(nèi)存總量，使用量，空閑量交換空間總量，使用量，空閑量Buffers指的是塊設(shè)備的讀寫緩沖區(qū)Cached指的是文件系統(tǒng)本身的頁面緩存buffers和cached都是Linux操作系統(tǒng)底層的機(jī)制，目的就是為了加速對磁盤的訪問。交互命令m

是用于是否顯示系統(tǒng)內(nèi)存和交換空間信息的乒乓切換開關(guān)top命令輸出的進(jìn)程信息PID(進(jìn)程號)，USER（運(yùn)行用戶）PR（優(yōu)先級），NI（任務(wù)nice值）VIRT（虛擬內(nèi)存用量），RES（物理內(nèi)存用量），SHR（共享內(nèi)存用量）S（進(jìn)程狀態(tài)）R=運(yùn)行；S=睡眠；T=跟蹤/停止；Z=僵尸%CPU（CPU占用比），%MEM（內(nèi)存占用比）TIME+（累計(jì)CPU占用時(shí)間)2023年7月20日12top的交互命令（1）<Space>或<Enter>：立即刷新顯示?或h：顯示幫助信息屏幕G[1234]：可以使用G1~G4切換top提供的四種字段方案的顯示窗口B：加粗加亮顯示的乒乓切換開關(guān)u：顯示指定用戶的進(jìn)程（僅匹配EUID）U：顯示指定用戶的進(jìn)程（匹配RUID、EUID、SUID和UID）k：殺死指定的進(jìn)程（發(fā)送進(jìn)程信號）r：重新設(shè)置一個(gè)進(jìn)程的優(yōu)先級別d或s：改變兩次刷新顯示之間的時(shí)間間隔，單位為秒W：將當(dāng)前的top設(shè)置寫入~/.toprc文件中q：退出top2023年7月20日13top的交互命令（2）多窗口顯示A：是否在一個(gè)界面中同時(shí)顯示四種字段方案顯示窗口的乒乓切換開關(guān)a和w：在四種字段方案的顯示窗口中移動(dòng)以確認(rèn)當(dāng)前窗口a表示下一個(gè)窗口w表示上一個(gè)窗口2023年7月20日14top的交互命令（3）加亮顯示行和列x：是否對當(dāng)前排序字段進(jìn)行加亮顯示的乒乓切換開關(guān)y：是否對當(dāng)前正在運(yùn)行進(jìn)程進(jìn)行加亮顯示的乒乓切換開關(guān)2023年7月20日15top的交互命令（4）選擇排序字段快速選擇排序字段M：按%MEM字段排序N：按PID字段排序P：按%CPU字段排序T：按TIME+字段排序交互式選擇排序字段F或O切換排序字段和逆向排序<或>R2023年7月20日16mpstat命令功能：輸出每一個(gè)CPU的運(yùn)行狀況，為多處理器系統(tǒng)中的CPU利用率提供統(tǒng)計(jì)信息。格式：mpstat[-P{cpu|ALL}][interval[count]]其中-P{cpu-id|ALL}：用CPU-ID指定CPU，CPU-ID從0開始interval:為取樣時(shí)間間隔count

:為輸出次數(shù)2023年7月20日17說明：RedHat沒有預(yù)裝mpstat，iostat命令，可以手動(dòng)安裝sysstat-7.0.0-3.e15-i386.rpm包mpstat命令舉例#mpstatLinux2.6.18-194.32.1.el5(centos1.ls-al.me)04/29/1112:56:27CPU%user%nice%sys%iowait%irq%soft%steal%idleintr/s12:56:27all3.890.000.764.040.020.120.0091.181050.99#mpstat-P0Linux2.6.18-194.32.1.el5(centos1.ls-al.me)04/29/1112:56:37CPU%user%nice%sys%iowait%irq%soft%steal%idleintr/s12:56:3703.860.000.754.010.020.120.0091.241050.81#mpstat510#mpstat–P15102023年7月20日19vmstat命令功能：顯示進(jìn)程隊(duì)列、內(nèi)存、交換空間、磁盤I/O、和CPU狀態(tài)信息。格式：vmstat[-a][-n][-Sk|K|m|M][Interval[Count]]其中：-a：顯示活躍和非活躍內(nèi)存-n：只在開始時(shí)顯示一次各字段名稱-S：使用指定單位顯示。k(1000)、K(1024)、m(1000000)、M(1048576)字節(jié)，默認(rèn)單位為K。interval和count的含義與mpstat一致2023年7月20日20vmstat命令舉例procsr列表示運(yùn)行和等待CPU時(shí)間片的進(jìn)程數(shù)，這個(gè)值若長期大于系統(tǒng)CPU的個(gè)數(shù)，說明CPU資源不足。b列表示在等待資源的進(jìn)程數(shù)，比如正在等待I/O、或者內(nèi)存交換等。cpuus列顯示了用戶態(tài)進(jìn)程消耗的CPU時(shí)間百分比；sy列顯示了核心態(tài)進(jìn)程消耗的CPU時(shí)間百分比。us的值比較高時(shí)說明用戶進(jìn)程消耗的CPU時(shí)間多，sy值較高時(shí)說明內(nèi)核消耗的CPU資源很多。根據(jù)經(jīng)驗(yàn)，us+sy的參考值為80%，若us+sy>80%說明可能存在CPU資源不足。2023年7月20日21#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000vmstat命令舉例（續(xù)）memoryswpd列表示切換到內(nèi)存交換區(qū)的內(nèi)存數(shù)量(以k為單位)。若swpd的值不為0，或者比較大，只要si、so的值長期為0，這種情況下一般不用擔(dān)心，不會(huì)影響系統(tǒng)性能。free列表示當(dāng)前空閑的物理內(nèi)存數(shù)量(以k為單位)。buff列表示bufferscache的內(nèi)存數(shù)量，一般對塊設(shè)備的讀寫才需要緩沖。cache列表示pagecached的內(nèi)存數(shù)量，一般作為文件系統(tǒng)cached，頻繁訪問的文件都會(huì)被cached若cache值較大，說明cached的文件數(shù)較多，如果此時(shí)IO中bi比較小，說明文件系統(tǒng)效率比較好。2023年7月20日22#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000vmstat命令舉例（續(xù)2）swapsi列表示由磁盤調(diào)入內(nèi)存，也就是內(nèi)存進(jìn)入內(nèi)存交換區(qū)的數(shù)量。so列表示由內(nèi)存調(diào)入磁盤，也就是內(nèi)存交換區(qū)進(jìn)入內(nèi)存的數(shù)量。一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統(tǒng)內(nèi)存不足。2023年7月20日23#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000iostat命令功能：輸出CPU和磁盤I/O相關(guān)的統(tǒng)計(jì)信息。格式：iostat[-c|-d][-x][-k|-m][device|ALL][interval[count]]其中：-c：僅顯示CPU統(tǒng)計(jì)信息。與-d選項(xiàng)互斥-d：僅顯示磁盤統(tǒng)計(jì)信息。與-c選項(xiàng)互斥-k：以KB為單位顯示每秒的磁盤請求數(shù)。默認(rèn)單位為塊-m：以MB為單位顯示每秒的磁盤請求數(shù)。默認(rèn)單位為塊-x：輸出擴(kuò)展信息device：用于指定磁盤設(shè)備interval和count的含義與mpstat一致2023年7月20日24iostat命令舉例（1）tps：每秒鐘物理設(shè)備的I/O傳輸總量長期的、超大的數(shù)據(jù)讀寫，肯定是不正常的，這種情況一定會(huì)影響系統(tǒng)性能。2023年7月20日25#iostat-dsdasda352Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:tpsBlk_read/sBlk_wrtn/sBlk_readBlk_wrtnsda4.6151.0939.21577048442878sda34.0744.8939.00507088440552Device:tpsBlk_read/sBlk_wrtn/sBlk_readBlk_wrtnsda0.410.0016.33080sda30.410.0016.33080iostat命令舉例（2）rrqm/s：每秒發(fā)送到設(shè)備的讀入請求數(shù)。wrqm/s：每秒發(fā)送到設(shè)備的寫入請求數(shù)。avgrq-sz：發(fā)送到設(shè)備的請求的平均大小。avgqu-sz：發(fā)送到設(shè)備的請求的平均隊(duì)列長度。await：表示平均每次設(shè)備I/O操作的等待時(shí)間(以毫秒為單位)。svctm：表示平均每次設(shè)備I/O操作的服務(wù)時(shí)間(以毫秒為單位)。%util：表示一秒中有百分之幾的時(shí)間用于I/O操作。2023年7月20日26#iostat-dxksdasda3Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitsvctm%utilsda0.752.442.182.1023.5818.3119.590.4093.522.531.08sda30.282.421.702.0920.7218.2120.580.40105.242.520.95iostat命令舉例（2續(xù)）正常情況下svctm應(yīng)該小于await的值svctm的大小和磁盤性能有關(guān)CPU、內(nèi)存的負(fù)荷也會(huì)對svctm值造成影響過多的磁盤請求也會(huì)間接的導(dǎo)致svctm值的增加await的大小一般取決與svctm的值和I/O隊(duì)列長度以及I/O請求模式如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁盤性能很好如果await的值遠(yuǎn)高于svctm的值，則表示I/O隊(duì)列等待太長，系統(tǒng)上運(yùn)行的應(yīng)用程序?qū)⒆兟藭r(shí)可以通過更換更快的硬盤來解決問題。%util項(xiàng)的值也是衡量磁盤I/O的一個(gè)重要指標(biāo)如果%util接近100%，表示磁盤產(chǎn)生的I/O請求太多，I/O系統(tǒng)已經(jīng)滿負(fù)荷的在工作，該磁盤可能存在瓶頸。2023年7月20日27#iostat-dxksdasda3Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitsvctm%utilsda0.752.442.182.1023.5818.3119.590.4093.522.531.08sda30.282.421.702.0920.7218.2120.580.40105.242.520.95系統(tǒng)性能評估影響因素評判標(biāo)準(zhǔn)好壞糟CPUuser%+sys%<70%user%+sys%=85%user%+sys%>=90%內(nèi)存SwapIn（si）＝0SwapOut（so）＝0PerCPUwith10page/sMoreSwapIn&SwapOut磁盤iowait%<20%iowait%=35%iowait%>=50%2023年7月20日28%user：表示CPU處在用戶模式下的時(shí)間百分比。%sys：表示CPU處在系統(tǒng)模式下的時(shí)間百分比。%iowait：表示CPU等待輸入輸出完成時(shí)間的百分比。swapin：即si，表示虛擬內(nèi)存的頁導(dǎo)入，即從SWAPDISK交換到RAM。swapout：即so，表示虛擬內(nèi)存的頁導(dǎo)出，即從RAM交換到SWAPDISK。日志系統(tǒng)和系統(tǒng)日志2023年7月20日29系統(tǒng)日志簡介日志的用途系統(tǒng)審計(jì)、監(jiān)測追蹤和分析統(tǒng)計(jì)。日志的功能用于記錄系統(tǒng)、程序運(yùn)行中發(fā)生的各種事件通過閱讀日志，有助于診斷和解決系統(tǒng)故障幫助系統(tǒng)管理員尋找攻擊者留下的痕跡日志的分類文件日志：將日志記錄到文件中數(shù)據(jù)庫日志：將日志記錄關(guān)系數(shù)據(jù)庫中管道日志：將日志通過管道傳遞給應(yīng)用程序處理2023年7月20日30日志系統(tǒng)簡介日志系統(tǒng)負(fù)責(zé)系統(tǒng)日志和內(nèi)核消息捕捉的日志記錄系統(tǒng)日志系統(tǒng)的主要功能分類存放日志、方便日志管理可將日志消息記錄到遠(yuǎn)程主機(jī)日志系統(tǒng)的常用軟件syslog（/）【默認(rèn)安裝】syslog-ng（/network-security/syslog-ng）rsyslog（/）2023年7月20日31RHEL/CentOS5中的syslog軟件包名：sysklogd服務(wù)類型：獨(dú)立運(yùn)行的守護(hù)進(jìn)程啟動(dòng)腳本：/etc/init.d/syslog守護(hù)進(jìn)程：/sbin/klogd：只處理內(nèi)核消息/sbin/syslogd：處理其他系統(tǒng)消息配置文件/etc/syslog.conf：syslog的主配置文件，規(guī)定了系統(tǒng)中需要監(jiān)視的事件和相應(yīng)的日志的保存位置。/etc/sysconfig/syslog：配置守護(hù)進(jìn)程的運(yùn)行參數(shù)2023年7月20日32配置文件/etc/syslog.conf格式以#開始的行為注釋詳情man5syslog.conf每一行的格式為facility.priorityaction

設(shè)備.級別

動(dòng)作facility和priority的詳細(xì)定義

man3syslog2023年7月20日33RHEL/CentOS的默認(rèn)配置#egrep-v'^#|^$'/etc/syslog.conf*.info;mail.none;authpriv.none;cron.none/var/log/messagesauthpriv.*/var/log/securemail.*-/var/log/maillogcron.*/var/log/cron*.emerg*uucp,news.crit/var/log/spoolerlocal7.*/var/log/boot.log2023年7月20日34facility.priority語法可以在同一行中設(shè)置多個(gè)“設(shè)備.級別”組合，每組之間用分號隔開可以同時(shí)指定多個(gè)設(shè)備或級別，用逗號間隔可以使用通配符“*”表示所有的設(shè)備或級別級別（priority）的指定直接指定：記錄比指定級別高的所有級別的消息使用=前綴：只記錄指定級別的日志消息使用!前綴：不記錄比指定級別高的所有級別的消息使用!=前綴：不記錄指定級別的日志消息none：用于禁止任何日志消息2023年7月20日35facility.priority語法舉例mail.=infokern.*;kern.!errmail.*;mail.!=infomail,news.=info*.=crit;kern.none*.=info;mail,news.none2023年7月20日36目標(biāo)動(dòng)作（

action

）常規(guī)文件將日志記錄于文件：以“/”開始的全路徑文件名[-]/path/filename文件名之前的減號（-）表示對文件的寫入同時(shí)不立即同步到磁盤，這樣可以加快日志寫入速度終端設(shè)備將日志發(fā)送到終端：/dev/console，/dev/ttyX命名管道將日志通過管道傳送給其他應(yīng)用程序處理|program2023年7月20日37目標(biāo)動(dòng)作（

action

）續(xù)遠(yuǎn)程主機(jī)@hostname將信息發(fā)送到可解析的遠(yuǎn)程主機(jī)hostname或IP該主機(jī)必須正在運(yùn)行syslogd，并可以識別syslog的配置文件syslog使用udp:514

端口傳送日志信息用戶列表User1,User2,…Usern發(fā)送信息到指定的登錄用戶，*表示所有用戶2023年7月20日38action語法舉例kern.*

/var/adm/kernelmail.*-/var/log/maillogmail.=info/dev/tty12*.info|/sbin/myprogram*.alertroot,joey*.=emerg**.*@finlandia2023年7月20日39日志管理策略及時(shí)作好備份和歸檔延長日志保存期限控制日志訪問權(quán)限日志中可能會(huì)包含各類敏感信息，如賬戶、口令等集中管理日志便于日志信息的統(tǒng)一收集、整理和分析杜絕日志信息的意外丟失、惡意篡改或刪除2023年7月20日40主要日志文件簡介日志保存位置默認(rèn)位于：/var/log

目錄下主要日志文件介紹內(nèi)核及常規(guī)消息日志：/var/log/messages計(jì)劃任務(wù)日志：/var/log/cron系統(tǒng)引導(dǎo)日志：/var/log/dmesg郵件系統(tǒng)日志：/var/log/maillog用戶登錄日志：/var/log/lastlog、/var/log/secure、/var/log/wtmp、/var/run/utmp……2023年7月20日41常規(guī)日志文件

/var/log/messages是純文