LINUX系統(tǒng)觀察方法

部系列培之

LINUX系察方

法

集股份有限公司

Copyright2011ByNeusoftGroup.AllrightsreservedNeusoft

第一部分概述

第二部分CPU

第三部分內(nèi)存

第四部分程

第五部分磁

第六部分網(wǎng)

第七部分

Neusoft

概述

Neusoft

操作系的主要能

?與系的硬件行交互并其加以控制

?用程序提供運(yùn)行境

7June.2009Neusoft

Confidential

操作系內(nèi)核構(gòu)

用戶(hù)級(jí)

1羲

7June.2009Neusoft

Confidential

系控制的硬件

基本的硬件

?CPU

?內(nèi)存

?磁

?網(wǎng)卡

7June.2009Neusoft

Confidential

用提供的系用

常用的系用：

?程控制（如fork,建一個(gè)程）

,文件系控制（如open,打文件）

?系控制（如time,取得系）

?內(nèi)存管理（如mlock,內(nèi)存面加）

?網(wǎng)管理（如gethostid,取主機(jī)號(hào)）

?Socket??］（如send,通socket送消息）

?用管理（如getuid,取用號(hào)）

?程通信（如shmget,取共享內(nèi)存）

7June.2009Neusoft

Confidential

系察工具

?性能控工具

系自：vmstat、mpstat、sar、iostat、top

第三方：nmonlinuxperfctat

?跟蹤定位工具

系自：top、pstack、strace'Itrace、oprofile

第三方：systemtap、gdb

7June.2009Neusoft

Confidential

系察三步走

?第一步：全局控

什有候系的響會(huì)慢？

?G通常是硬件源利用率和致，通nmon,linuxperfstat等全局

~控工具可以察并得出°

"Q在做性能，使用全局控工具是系察的第一步°

7June.2009Neusoft

Confidential

系察三步走

?第二步：程

審?是占用了大量的CPU?是致磁I/O和？

’"G通?？赡苡赡硞€(gè)或某些行大數(shù)據(jù)量操作的程致，通

7top,iotop等控工具可以察并得出°

"Q在做性能，使用控工具是性能控的第二步°

7June.2009Neusoft

Confidential

系察三步走

?第三步：定位函數(shù)

程中的哪些函數(shù)致了源占用？是系用是用本身？

一般來(lái)系用很少出，大都是用用未化使用系用致，用

strace,pstack,topsys等跟蹤定位工具可以察清楚°

"Q在做性能，使用跟蹤定位工具是性能控的第三步°

7June.2009Neusoft

Confidential

源消耗的常用

?利用率：用于量源的忙程度，通常由一段隔的平

均百分比來(lái)表示°

?和度：常是排等候源的工作的估量，可以量一段

的平均或某一特定點(diǎn)的°于不需要排的源，

和度可以由數(shù)合表示°

7June.2009Neusoft

Confidential

系察的基本域

?CPU

?程

?內(nèi)存

?磁

7June.2009Neusoft

Confidential

CPU的物理形

CPU物理構(gòu)可分內(nèi)核、基板、填充物、封裝以及接口五部

分，左下。右下是一個(gè)雙核CPU的例，它有兩個(gè)物理

內(nèi)核。

§A

>X

0D

^

0>

1，

一

s■。

?，

咎

i，

2

:

s0

0

5

7

7June.2009Neusoft

Confidential

CPU的物理形

CPU的內(nèi)核包括：運(yùn)算器、寄存器和控制器。

?運(yùn)算器

運(yùn)算部件，可以行定點(diǎn)或?qū)｜c(diǎn)的算運(yùn)算操作、移位操作

以及操作，也可行地址的運(yùn)算和°

?寄存器

寄存器部件，包括通用寄存器、用寄存器和控制寄存器°

?控制器

控制部件，主要指令，并且出完成每條指令所要行

的各個(gè)操作的控制信號(hào)°

7June.2009Neusoft

Confidential

CPU的工作原理

CPU的主要運(yùn)作原理，是行存于存器里的一系列指令?？煞?/p>

四個(gè)段：提取(Fetch)、解(Decode)、行(Execute)

和字向(Writeback)°

?提取

人人存器或高速?zèng)_存器中取出指令，放入指令寄存器°

?解

指令被排解有意的片斷。根據(jù)CPU的指令集架構(gòu)(ISA)定

籽數(shù)解指令°

-行一

接到各能行所需運(yùn)算的CPU部件°

?寫(xiě)回

以一定格式將行段的果的寫(xiě)回。

7June.2009Neusoft

Confidential

CPU的性能指

CPU的性能指分兩大：硬指和指°

?里的硬指是指CPU物理形的一些性能指，如主

外、倍、一存、二存等等，所以也可以是CPU

的物理指或靜指°

-指是指CPU在操作系運(yùn)行段，隨著系運(yùn)行狀的

化而化的性能指，如用利用率、系利用率、空

率等等，所以也可以是CPU的系指或指。

7June.2009Neusoft

Confidential

CPU的性能指

硬指

基本的物理指包括：主、外、倍、存、接口型、

內(nèi)存速度、指令集、封裝技、核心型、核心數(shù)量、

制作工等等°

性能中通常我最注的幾個(gè)硬指有:核心型，核

心數(shù)量，主，位數(shù)°

7June.2009Neusoft

Confidential

CPU的性能指

?核心型

了便于CPU、生、售的管理，CPU制造商會(huì)各CPU核

心出相的代號(hào)，$0Intel(r)Xeon(r)CPUE5420,因不同核心型

CPU的主、存、工等物理指可能都不同，故核心型在某程

度上決定了CPU的工作性能°

?核心數(shù)量

在一個(gè)物理理器上，可以有兩個(gè)甚至更多的理器核心，如4核

CPU(即個(gè)理器上有4個(gè)理器核心)；

?主

CPU內(nèi)核的率，如2.50GHz,主和的運(yùn)算速度有一定系

，但沒(méi)有一個(gè)公式能定量二者之的系，因CPU的運(yùn)算跟其他

性能指有，但提高的主于提高CPU的運(yùn)算速度確至重要的

O

?位數(shù)

CPU一次能同寄存和理的二制］位數(shù)，與寄存器的位數(shù)。指

令集的位數(shù)與CPU位數(shù)是向上兼容的系。

7June.2009Neusoft

Confidential

CPU的性能指

a/proc/cpuinfo

/proc/cpuinfo是取系CPU物理指的根源文件，它可以看

物理CPU的個(gè)數(shù)，每個(gè)CPU的物理核心數(shù)量，CPU的型號(hào)和主

等信息，如下：

[root(?LINUX-RH-PC-62~lttcat/proc/cpuinfo

processor：0

uendor_id：Genuinelntel

cpufamily：6

nodel：23

nodelname：Intel<R>Core<TM>2DuoCPUE?40002.80GHz

stepping：10

cpuMHz：1596.000

cachesize：3072KB

physicalid：0

siblings：2

coreid：0

cpucores：2

apicid：0

fpii:yes

￡pu-exception:yes

cpuidlevel：13

wp：yes

flags：fpuvmedepsetscnsrpaeneecx8apicsepntrrpgencacnoupatpse36elflushdtsacpinnxfxsrssesse2ssht

nsyscallnxInconstant_tscpninonitords_cplesttr>2cxl6xtprlahf-ln

bogonips:5589.68

elflushsize：64

cache_alignnent：64

addresssizes：36bitsphysical-48bitsuirtual

powermanagement：

7June.2009Neusoft

Confidential

CPU的性能指

看物理CPU個(gè)數(shù)：cat/proc/cpuinfo|grepphysical|grepid

[rootPLINUX-RH-PC-62~]ttcat/proc/cpuinfo'grepphysicalIgrepid

physicalid：0

physicalid：0

看CPU的物理核心數(shù)量：cat/proc/cpuinfo|grep'cpucores1

[root(?LINUX-RH-PC-62北catzproc/cpuinfoIgrep,cpucores*

cpucores：2

cpucores：2

看CPU的型號(hào)和主：cat/proc/cpuinfo|grep'modelname'

[rootPLINUX-RH-PC-62catZproc/cpuinfoSgrep*modelname'

modelname：Intel<R>Core<TM>2DuoCPUE7400(?2.80GHz

modelname：Intel<R>Core<TM>2DuoCPUE7400P2.80GHz

看CPU的才旨令集位數(shù)：cat/proc/cpuinfo|grepflags|grep1Im

|wc-I

[root&LINUX-RH-PC-62cat/procZcpuinfo!grepFlagsigrep'Im'；v/c-1

2

7June.2009Neusoft

Confidential

CPU的性能指

后xen服后看物理CPU個(gè)數(shù)將不再準(zhǔn)確，如下

[root(?BL460G7-76cat/proc/cpuinfo!grepphysical!grepid

physicalid：0

physicalid：1

physicalid：2

physicalid：3

physicalid：4

physicalid：5

physicalid：6

physicalid：7

physicalid：8________

采用1g程;技的CPU,processor會(huì)超物理CPU個(gè)數(shù)乘以4物理核心數(shù)

量，如下

[rootPBL460G7-76catZproc/cpuinfo；grepphysical!grepid

physicalid：1

physicalid：0

9

[POOt(?localhost々IMcatZproc/cpuinfoSgrepcpucores'

cpucores：4

[rootGlocalhostcat/proc/cpuinfo!grepprocessor!wc-I

16

7June.2009Neusoft

Confidential

CPU的性能指

于linux系而言，CPU的系指主要有八個(gè)：用

（user）、低先（nice）、系（sys）、空

（idle）、磁I/O等待（iowait）、質(zhì)中斷（irq）

、中斷（softirq）、失（steal）°

CPU利用率=(user+nice+sys+iowait+irq+

softirq+steal)/位xlOO%

CPU利用率=(1-idle)/位xlOO%

7June.2009Neusoft

Confidential

CPU的性能指

?%usr

生在用（用程序）行的CPU百分比°

?3^）nice

生在用且先nice正的CPU百分比°

,%sys

生在系（核心）行的CPU百分比°

?%idle

于空狀的CPU的百分比°

?%iowait

系中有磁I/O求CPU于等待的百分比°

?%irq

硬件起的中斷信號(hào)引起的CPU花的百分比°

,%softirq

件起的中斷信號(hào)引起的CPU花的百分比°

,%steal

管理程序另一個(gè)虛CPU提供服而等待的百分比

7June.2009Neusoft

Confidential

CPU的性能指

/proc/stat

/proc/stat是取CPU系指的根源文件，幾乎所有于CPU

的察工具都是人人攸件取CPU的信息后再次算得出的°

stat文件中以CPU的每行的每個(gè)參數(shù)的定如下：

user：人人系后始累到當(dāng)前刻，用的CPU；

nice:隊(duì)系啟始累到當(dāng)前亥U,nice正的CPU；

sys:八人系啟始累到當(dāng)前刻，系的CPU；

idle:八人系啟始累到當(dāng)前刻，空的CPU；

iowait：八人系啟始累到當(dāng)前亥U,磁等待的CPU；

irq:八人系后步累到當(dāng)前亥U,硬中斷；

softirq:八人系一啟始累到當(dāng)前亥U,中跖;

steal:八人系啟始累到當(dāng)前亥U,管理虛CPU°

位：jiffies=0.01秒

CPU=user-Fsystem-Fnice-Hdle-Howait-i-irq45oftirq+steal

7June.2009Neusoft

Confidential

CPU的性能指

[root(?localhostcat/proc/stat

cpu10144158972266519463242521643832338483280

cpu0289411786165916062673200750

cpul5048531182059156790566812430

cpu2190547110935916465418881270

cpu3266319719459164160538511880

cpu4165429511459167020493118530

cpu572753996745914439414835133750

cpu6196452893676759065183463011114030

cpu?1?020682459165877499411830

cpu82306350665915730613779111120

cpu92242256545916563559711570

cpul01019451432551559133628492211550

cpull1076813413948591436461087511770

cpul23312050195916744737411240

cpu13238204939591558991628812?0

cpul422350153752159091105149561254123290

cpul550950318785912087725221057180920

intr62741631359184930030320001000400000000000000000000000000000000000000000^

00000000000000000000000000000000000000000000000000000003500000

00000000000000000020876400000000000000002722000000075900000000000000033475

844000000000000000000000000000000000000000000000000000000000000

ctxt83923060

btine1307959683

processes183874

procs_running1

procs_blocked1

7June.2009Neusoft

Confidential

CPU察工具

在介具體的察工具之前，首先要介一下proc文件系，因所

有的性能控工具取的性能指都是Mproc文件系取并算得出

z/O

proc文件系是一個(gè)文件系,它只存在內(nèi)存當(dāng)中，而不占用外存

空。它以文件系的方式系內(nèi)核數(shù)據(jù)的操作提供接口。用和

用程序可以通proc得到系的信息，并可以改內(nèi)核的某些參數(shù)’

由于系的信息，如程，是改的，所以用或用程序取proc

文件，proc文件系是人人系內(nèi)核出所需信息并提交的°

proc文件系包含很多文件，其中/proc/cpuinfo和/proc/stat是

CPU信息的根源文件°

7June.2009Neusoft

Confidential

CPU察工具

ampstat

mpstat是MultiprocessorStatistics的寫(xiě)，是系控工具

在多CPUs系里，它不但能看所有CPU的平均狀況信息，而且

能看特定CPU的信息。

irootPlocalhostJUnpstat1

Linux2.6.18-238.el5(localhost.localdonain>201?1年06月21日

37分223

14Nira

&t、F5CPUzuserzmcezsysXiowaitzsoftzstealXidleintr/s

3?分2345000

rs1.

、5all0.770.000.412.190.182544.34

分0.0096.45

3rs724^40

e^、1all0.690.313.120.1295.762569.00

3rs7分2530.000.00

40日

1J

07、rrsall0.315.4993.452396.00

3?分2650.620.000.120.00

40口

07.rrs1Iall5.992404.00

37分27-0.560.000.250.060.0093.13

rsm

07、r0.940.880.313164.00

3rs7分28:all0.004.250.0093.62

0+、F531.190.0692.393616.00

3?分29aall0.001.504.3?0.500.00

Br、rr5

二

3?分30all0.870.000.8?5.060.000.310.0092.883779.00

07rr5

^10.00

31rs7分31-?all0.620.000.562.870.000.3195.632342.00

6■，

‘F513all0.810.000.754.620.000.250.0093.573039.00

37分32

14

Brrrs30.001.124.250.000.250.003604.00

3?分334all1.0093.38

37344—all0.690.000.445.740.000.120.0093.013115.00

分4

3?354—all0.750.000.625.250.000.190.0093.192492.08

分4

4

4all0.690.000.445.680.000.190.0093.003116.00

—

7June.2009Neusoft

Confidential

CPU察工具

mpstat的-P可以指定打印具體的CPU的性能指，可

以打印隔和打印次數(shù)，所以mpstat是取CPU指并出走的

理想工具°

[rootPlocalhostJitnpstat-P81

Linux2.6.18-238.el5<localhost.localdonain>2011年06月21日

4-R252

&\t5CPUzuser>:niceNsysZiowaitZirqzsoftZstealZidleintr/s

4iS23

&*t80.000.000.000.000.000.000.00100.000.00

46^dc254

\580.000.000.000.000.000.000.00100.000.00

4DC25

B1I-5680.000.000.000.000.000.000.00100.000.00

4kon2

4.5780.000.000.000.000.000.000.00100.000.00

-R2

4BdY-2s880.000.000.000.000.000.000.00100.000.00

80.000.000.000.000.000.000.00100.000.00

4&^tC259

sD

4S30080.000.000.000.000.000.000.00100.000.00

.附3

4C30180.000.000.000.000.000.000.00100.000.00

.臚

D80.000.000.000.000.000.000.00100.000.00

4.3

4380.000.000.000.000.000.000.00100.000.00

B.+03

4380.000.000.000.000.000.000.00100.000.00

B4.-uO04

4130580.000.000.000.000.000.000.00100.000.00

B4'3<

430680.000.000.000.000.000.000.00100.000.00

430780.000.000.000.000.000.000.00100.000.00

430880.000.000.000.000.000.000.00100.000.00

430980.000.000.000.000.000.000.00100.000.00

431080.000.000.000.000.000.000.00100.000.00

80.000.000.000.000.000.000.00100.000.00

7June.2009Neusoft

Confidential

CPU察工具

Atop

top是Linux下常用的性能分析工具，能示系中各個(gè)程

的源占用狀況，也可以全面的的示CPU源情況°

[root(?DL360-25Rtop

top-14：36：35up7days.20:28,1user.loadaverage：0.00.0.00.0.00

Tasks:199total.1running,,198sleeping，0stopped,.0zonbie

Cpu00.6zus>0.lzsy.0.0znir9?.6zidf,10.0zhi.0.0zsi.0.0zst

Cpul2.3NUS.1.0zsy.0.0zni>.91.4zid,5.2zwaf.0.0zhiM0.2zsir0.0zst

Cpu22.3NUS.0.3zsy,0.0zni?.92.3xid,5.0zwa?.0.0%hi.0.1zsi,0.0ZSt

Cpu31.6NIIS「0.？zsy,93.?zid.3.8xwa?.0.0zhi.0.lzsi-0.0ZSt

Cpu42.2ZUS,0.3zsy，88.6Nid,8.?zv/a^0.0zhi^0.1zsi?0.0ZSt

Cpu51.0ZUS>0.4zsy,0.0Zni-95.6zid,2.9Nwa,0.0Nhi.0.lzsi-0.0ZSt

Cpu61.3zus0.1zsy^96.4zid.2.2zsa,0.0zhi，0.1zsi?0.0ZSt

Cpu70.9zus,B.Tzsy,.0.0Nni.95.9zid?2.3zwa?.0.2zsir0.0ZSt

Mem：24682292ktotal,24505712kused,176580kfree,197848kbuffers

Sviap：51199112ktotal,56292kused-51142820kfree,23664412kcached

1PIDUSERPRUIRTRESSHRSzCPUzMEMTIME*COMMAND

1root15010348684576S0.00.00:01.69init

2rootRT-5000S0.00.00:00.10nigration/0

__1root3419000S0.00.00:00.00ksoftirqd/0

7June.2009Neusoft

Confidential

CPU察工具

asar

sar也是Linux下常用的性能分析工具，sar可以示CPU、

運(yùn)行列、磁I/O、分（交E）、內(nèi)存、CPU中斷、網(wǎng)等性能

數(shù)據(jù)，其中根據(jù)程察CPU的使用情況是它的一個(gè)亮點(diǎn)°

iroot&localhostgrublitsar-x2811311000

Linux2.6.18-238.el5(localhost.localdonain>2011年06月21日

4uD46

PIDninfIt/snajfLt/szuserzsystemnsv/ap/s

4un47

281130.000.003.002.000.00

4uD48

281136.000.001.003.000.00

4MR49

450281130.000.002.002.000.00

dC70

451281130.000.002.006.000.00

un70

452281130.000.001.983.960.00

uD

453281130.000.002.004.000.00

uD

4B54281130.000.002.003.000.00

455281130.000.002.003.000.00

uD

456281130.000.003.003.000.00

uQ

281135.000.001.005.000.00

7June.2009Neusoft

Confidential

CPU察工具

＞其他察工具

系安裝包中的工具有vmstat'iostat'uptime等，它也

可以人人不同的角度察CPU信息。

第三方件中，nmon是比好的一款，它集合了之前介工具

的一些點(diǎn)并可以自出走°

linuxperstat是基于perl的一款工具，它使用CPAN中的

Sys::Statistics::Linux模,其中CPU利用率的算也是通

7proc/stat得出的°

7June.2009Neusoft

Confidential

CPU察分析案例

A本案例是網(wǎng)品的性能。其中CMS的日志子系存在死循

下面來(lái)介并分析的全程°

?首先啟linuxperfspt腳本控系全局性能，然后啟CMS日志子系

cms-log-1.0.0,啟后CPU利用率持定在12%?13%之，

將日志系停掉后CPU利用率零。

7June.2009Neusoft

Confidential

[root@BL360-24peri]#,/linuxperfetat1

Utilisation

Time%CPU%Mem%Disk%Ne

2011-03-0109:59:319.530.000.04

2011-03-0109:59:329.530.000.04

2011-03-0109:59:339.530.000.01

2011-03-0109:59:349.530.000.00

2011-03-0109:59:359.530.000.01

2011-03-0109:59:369.530.000.02

2011-03-0109:59:379.530.000.11

2011-03-0109:59:389.530.000.01

2011-03-0109:59:399.530.000.01

2011-03-0109:59:409.530.000.08

2011-03-01