Linux系統(tǒng)性能調(diào)優(yōu)(精確分析)_非官方版本

1、Linux系統(tǒng)性能調(diào)優(yōu)那些事兒系統(tǒng)的性能是受多方面因素影響的，本文講述了Linux系統(tǒng)性能調(diào)優(yōu)那些事兒，幫助管理員們更好的管理和維護(hù)。 一、前提我們可以在文章的開始就列出一個(gè)列表，列出可能影響Linux操作系統(tǒng)性能的一些調(diào)優(yōu)參數(shù)，但這樣做其實(shí)并沒有什么價(jià)值。因?yàn)樾阅苷{(diào)優(yōu)是一個(gè)非常困難的任務(wù)，它要求對(duì)硬件、操作系統(tǒng)、和應(yīng)用都有著相當(dāng)深入的了解。如果性能調(diào)優(yōu)非常簡單的話，那些我們要列出的調(diào)優(yōu)參數(shù)早就寫入硬件的微碼或者操作系統(tǒng)中了，我們就沒有必要再繼續(xù)讀這篇文章了。正如下圖所示，服務(wù)器的性能受到很多因素的影響。當(dāng)面對(duì)一個(gè)使用單獨(dú)IDE硬盤的，有20000用戶的數(shù)據(jù)庫服務(wù)器時(shí)，即使我們使用數(shù)

2、周時(shí)間去調(diào)整I/O子系統(tǒng)也是徒勞無功的，通常一個(gè)新的驅(qū)動(dòng)或者應(yīng)用程序的一個(gè)更新（如SQL優(yōu)化）卻可以使這個(gè)服務(wù)器的性能得到明顯的提升。正如我們前面提到的，不要忘記系統(tǒng)的性能是受多方面因素影響的。理解操作系統(tǒng)管理系統(tǒng)資源的方法將幫助我們?cè)诿鎸?duì)問題時(shí)更好的判斷應(yīng)該對(duì)哪個(gè)子系統(tǒng)進(jìn)行調(diào)整。二、Linux的CPU調(diào)度任何計(jì)算機(jī)的基本功能都十分簡單，那就是計(jì)算。為了實(shí)現(xiàn)計(jì)算的功能就必須有一個(gè)方法去管理計(jì)算資源、處理器和計(jì)算任務(wù)（也被叫做線程或者進(jìn)程）。非常感謝Ingo Molnar，他為Linux內(nèi)核帶來了O（1）CPU調(diào)度器，區(qū)別于舊有的O（n）調(diào)度器，新的調(diào)度器是動(dòng)態(tài)的，可以支持負(fù)載均衡，并以恒定的速

3、度進(jìn)行操作。新調(diào)度器的可擴(kuò)展性非常好，無論進(jìn)程數(shù)量或者處理器數(shù)量，并且調(diào)度器本身的系統(tǒng)開銷更少。新調(diào)取器的算法使用兩個(gè)優(yōu)先級(jí)隊(duì)列。引用活動(dòng)運(yùn)行隊(duì)列過期運(yùn)行隊(duì)列調(diào)度器的一個(gè)重要目標(biāo)是根據(jù)優(yōu)先級(jí)權(quán)限有效地為進(jìn)程分配CPU 時(shí)間片，當(dāng)分配完成后它被列在CPU的運(yùn)行隊(duì)列中，除了 CPU 的運(yùn)行隊(duì)列之外，還有一個(gè)過期運(yùn)行隊(duì)列。當(dāng)活動(dòng)運(yùn)行隊(duì)列中的一個(gè)任務(wù)用光自己的時(shí)間片之后，它就被移動(dòng)到過期運(yùn)行隊(duì)列中。在移動(dòng)過程中，會(huì)對(duì)其時(shí)間片重新進(jìn)行計(jì)算。如果活動(dòng)運(yùn)行隊(duì)列中已經(jīng)沒有某個(gè)給定優(yōu)先級(jí)的任務(wù)了，那么指向活動(dòng)運(yùn)行隊(duì)列和過期運(yùn)行隊(duì)列的指針就會(huì)交換，這樣就可以讓過期優(yōu)先級(jí)列表變成活動(dòng)優(yōu)先級(jí)的列表。通常交互式進(jìn)程（相

4、對(duì)與實(shí)時(shí)進(jìn)程而言）都有一個(gè)較高的優(yōu)先級(jí)，它占有更長的時(shí)間片，比低優(yōu)先級(jí)的進(jìn)程獲得更多的計(jì)算時(shí)間，但通過調(diào)度器自身的調(diào)整并不會(huì)使低優(yōu)先級(jí)的進(jìn)程完全被餓死。新調(diào)度器的優(yōu)勢是顯著的改變Linux內(nèi)核的可擴(kuò)展性，使新內(nèi)核可以更好的處理一些有大量進(jìn)程、大量處理器組成的企業(yè)級(jí)應(yīng)用。新的O(1調(diào)度器包含仔2.6內(nèi)核中，但是也向下兼容2.4內(nèi)核。新調(diào)度器另外一個(gè)重要的優(yōu)勢是體現(xiàn)在對(duì)NUMA(non-uniform memory architecture和SMP（symmetric multithreading processors）的支持上，例如INTEL的超線程技術(shù)。改進(jìn)的NUMA支持保證了負(fù)載均衡不會(huì)發(fā)生

5、在CECs或者NUMA節(jié)點(diǎn)之間，除非發(fā)生一個(gè)節(jié)點(diǎn)的超出負(fù)載限度。三、Linux的內(nèi)存架構(gòu)今天我們面對(duì)選擇32位操作系統(tǒng)還是64位操作系統(tǒng)的情況。對(duì)企業(yè)級(jí)用戶它們之間最大的區(qū)別是64位操作系統(tǒng)可以支持大于4GB的內(nèi)存尋址。從性能角度來講，我們需要了解32位和64位操作系統(tǒng)都是如何進(jìn)行物理內(nèi)存和虛擬內(nèi)存的映射的。在上面圖示中我們可以看到64位和32位Linux內(nèi)核在尋址上有著顯著的不同。在32位架構(gòu)中，比如IA-32，Linux內(nèi)核可以直接尋址的范圍只有物理內(nèi)存的第一個(gè)GB（如果去掉保留部分還剩下896MB），訪問內(nèi)存必須被映射到這小于1GB的所謂ZONE_NORMAL空間中，這個(gè)操作是由應(yīng)用程序

6、完成的。但是分配在ZONE_HIGHMEM中的內(nèi)存頁將導(dǎo)致性能的降低。在另一方面，64位架構(gòu)比如x86-64（也稱作EM64T或者AMD64）。ZONE_NORMAL空間將擴(kuò)展到64GB或者128GB（實(shí)際上可以更多，但是這個(gè)數(shù)值受到操作系統(tǒng)本身支持內(nèi)存容量的限制）。正如我們看到的，使用64位操作系統(tǒng)我們排除了因ZONE_HIGHMEM部分內(nèi)存對(duì)性能的影響的情況。實(shí)際中，在32位架構(gòu)下，由于上面所描述的內(nèi)存尋址問題，對(duì)于大內(nèi)存，高負(fù)載應(yīng)用，會(huì)導(dǎo)致死機(jī)或嚴(yán)重緩慢等問題。雖然使用hugemen核心可緩解，但采取x86_64架構(gòu)是最佳的解決辦法。四、虛擬內(nèi)存管理因?yàn)椴僮飨到y(tǒng)將內(nèi)存都映射為虛擬內(nèi)存，所

7、以操作系統(tǒng)的物理內(nèi)存結(jié)構(gòu)對(duì)用戶和應(yīng)用來說通常都是不可見的。如果想要理解Linux系統(tǒng)內(nèi)存的調(diào)優(yōu)，我們必須了解Linux的虛擬內(nèi)存機(jī)制。應(yīng)用程序并不分配物理內(nèi)存，而是向Linux內(nèi)核請(qǐng)求一部分映射為虛擬內(nèi)存的內(nèi)存空間。如下圖所示虛擬內(nèi)存并不一定是映射物理內(nèi)存中的空間，如果應(yīng)用程序有一個(gè)大容量的請(qǐng)求，也可能會(huì)被映射到在磁盤子系統(tǒng)中的swap空間中。另外要提到的是，通常應(yīng)用程序不直接將數(shù)據(jù)寫到磁盤子系統(tǒng)中，而是寫入緩存和緩沖區(qū)中。Bdflush守護(hù)進(jìn)程將定時(shí)將緩存或者緩沖區(qū)中的數(shù)據(jù)寫到硬盤上。Linux內(nèi)核處理數(shù)據(jù)寫入磁盤子系統(tǒng)和管理磁盤緩存是緊密聯(lián)系在一起的。相對(duì)于其他的操作系統(tǒng)都是在內(nèi)存中分配指

8、定的一部分作為磁盤緩存，Linux處理內(nèi)存更加有效，默認(rèn)情況下虛擬內(nèi)存管理器分配所有可用內(nèi)存空間作為磁盤緩存，這就是為什么有時(shí)我們觀察一個(gè)配置有數(shù)G內(nèi)存的Linux系統(tǒng)可用內(nèi)存只有20MB的原因。同時(shí)Linux使用swap空間的機(jī)制也是相當(dāng)高效率的，如上圖所示虛擬內(nèi)存空間是由物理內(nèi)存和磁盤子系統(tǒng)中的swap空間共同組成的。如果虛擬內(nèi)存管理器發(fā)現(xiàn)一個(gè)已經(jīng)分配完成的內(nèi)存分頁已經(jīng)長時(shí)間沒有被調(diào)用，它將把這部分內(nèi)存分頁移到swap空間中。經(jīng)常我們會(huì)發(fā)現(xiàn)一些守護(hù)進(jìn)程，比如getty，會(huì)隨系統(tǒng)啟動(dòng)但是卻很少會(huì)被應(yīng)用到。這時(shí)為了釋放昂貴的主內(nèi)存資源，系統(tǒng)會(huì)將這部分內(nèi)存分頁移動(dòng)到swap空間中。上述就是Lin

9、ux使用swap空間的機(jī)制，當(dāng)swap分區(qū)使用超過50時(shí)，并不意味著物理內(nèi)存的使用已經(jīng)達(dá)到瓶頸了，swap空間只是Linux內(nèi)核更好的使用系統(tǒng)資源的一種方法。簡單理解：Swap usage只表示了Linux管理內(nèi)存的有效性。對(duì)識(shí)別內(nèi)存瓶頸來說，Swap In/Out才是一個(gè)比較又意義的依據(jù)，如果Swap In/Out的值長期保持在每秒200到300個(gè)頁面通常就表示系統(tǒng)可能存在內(nèi)存的瓶頸。下面的事例是好的狀態(tài)：引用# vmstatprocs memory- swap io- system -cpu-r b swpd free buff cache si so bi bo in cs us sy

10、id wa1 0 5696 6904 28192 50496 0 0 88 117 61 29 11 8 80 1五、模塊化的I/O調(diào)度器就象我們知道的Linux2.6內(nèi)核為我們帶來了很多新的特性，這其中就包括了新的I/O調(diào)度機(jī)制。舊的2.4內(nèi)核使用一個(gè)單一的I/O調(diào)度器，2.6 內(nèi)核為我們提供了四個(gè)可選擇的I/O調(diào)度器。因?yàn)長inux系統(tǒng)應(yīng)用在很廣闊的范圍里，不同的應(yīng)用對(duì)I/O設(shè)備和負(fù)載的要求都不相同，例如一個(gè)筆記本電腦和一個(gè)10000用戶的數(shù)據(jù)庫服務(wù)器對(duì)I/O的要求肯定有著很大的區(qū)別。引用（1）Anticipatoryanticipatory I/O調(diào)度器創(chuàng)建假設(shè)一個(gè)塊設(shè)備只有一個(gè)物理的查

11、找磁頭（例如一個(gè)單獨(dú)的SATA硬盤），正如anticipatory調(diào)度器名字一樣，anticipatory調(diào)度器使用“anticipatory”的算法寫入硬盤一個(gè)比較大的數(shù)據(jù)流代替寫入多個(gè)隨機(jī)的小的數(shù)據(jù)流，這樣有可能導(dǎo)致寫 I/O操作的一些延時(shí)。這個(gè)調(diào)度器適用于通常的一些應(yīng)用，比如大部分的個(gè)人電腦。（2）Complete Fair Queuing (CFQComplete Fair Queuing（CFQ）調(diào)度器是Red Flag DC Server 5使用的標(biāo)準(zhǔn)算法。CFQ調(diào)度器使用QoS策略為系統(tǒng)內(nèi)的所有任務(wù)分配相同的帶寬。CFQ調(diào)度器適用于有大量計(jì)算進(jìn)程的多用戶系統(tǒng)。它試圖避免進(jìn)程被餓死

12、和實(shí)現(xiàn)了比較低的延遲。（3）Deadlinedeadline調(diào)度器是使用deadline算法的輪詢的調(diào)度器，提供對(duì)I/O子系統(tǒng)接近實(shí)時(shí)的操作，deadline調(diào)度器提供了很小的延遲和維持一個(gè)很好的磁盤吞吐量。如果使用deadline算法請(qǐng)確保進(jìn)程資源分配不會(huì)出現(xiàn)問題。（4）NOOPNOOP調(diào)度器是一個(gè)簡化的調(diào)度程序它只作最基本的合并與排序。與桌面系統(tǒng)的關(guān)系不是很大，主要用在一些特殊的軟件與硬件環(huán)境下，這些軟件與硬件一般都擁有自己的調(diào)度機(jī)制對(duì)內(nèi)核支持的要求很小，這很適合一些嵌入式系統(tǒng)環(huán)境。作為桌面用戶我們一般不會(huì)選擇它。六、網(wǎng)絡(luò)子系統(tǒng)新的網(wǎng)絡(luò)中斷緩和（NAPI）對(duì)網(wǎng)絡(luò)子系統(tǒng)帶來了改變，提高了大流

13、量網(wǎng)絡(luò)的性能。Linux內(nèi)核在處理網(wǎng)絡(luò)堆棧時(shí)，相比降低系統(tǒng)占用率和高吞吐量更關(guān)注可靠性和低延遲。所以在某些情況下，Linux建立一個(gè)防火墻或者文件、打印、數(shù)據(jù)庫等企業(yè)級(jí)應(yīng)用的性能可能會(huì)低于相同配置的Windows服務(wù)器。在傳統(tǒng)的處理網(wǎng)絡(luò)封包的方式中，如下圖藍(lán)色箭頭所描述的，一個(gè)以太網(wǎng)封包到達(dá)網(wǎng)卡接口后，如果MAC地址相符合會(huì)被送到網(wǎng)卡的緩沖區(qū)中。網(wǎng)卡然后將封包移到操作系統(tǒng)內(nèi)核的網(wǎng)絡(luò)緩沖區(qū)中并且對(duì)CPU發(fā)出一個(gè)硬中斷，CPU會(huì)處理這個(gè)封包到相應(yīng)的網(wǎng)絡(luò)堆棧中，可能是一個(gè)TCP端口或者Apache應(yīng)用中。這是一個(gè)處理網(wǎng)絡(luò)封包的簡單的流程，但從中我們可以看到這個(gè)處理方式的缺點(diǎn)。正如我們看到的，每次適合

14、網(wǎng)絡(luò)封包到達(dá)網(wǎng)絡(luò)接口都將對(duì)CPU發(fā)出一個(gè)硬中斷信號(hào)，中斷CPU正在處理的其他任務(wù)，導(dǎo)致切換動(dòng)作和對(duì)CPU緩存的操作。你可能認(rèn)為當(dāng)只有少量的網(wǎng)絡(luò)封包到達(dá)網(wǎng)卡的情況下這并不是個(gè)問題，但是千兆網(wǎng)絡(luò)和現(xiàn)代的應(yīng)用將帶來每秒鐘成千上萬的網(wǎng)絡(luò)數(shù)據(jù)，這就有可能對(duì)性能造成不良的影響。正是因?yàn)檫@個(gè)情況，NAPI在處理網(wǎng)絡(luò)通訊的時(shí)候引入了計(jì)數(shù)機(jī)制。對(duì)第一個(gè)封包，NAPI以傳統(tǒng)的方式進(jìn)行處理，但是對(duì)后面的封包，網(wǎng)卡引入了POLL 的輪詢機(jī)制：如果一個(gè)封包在網(wǎng)卡DMA環(huán)的緩存中，就不再為這個(gè)封包申請(qǐng)新的中斷，直到最后一個(gè)封包被處理或者緩沖區(qū)被耗盡。這樣就有效的減少了因?yàn)檫^多的中斷CPU對(duì)系統(tǒng)性能的影響。同時(shí)，NAPI通

15、過創(chuàng)建可以被多處理器執(zhí)行的軟中斷改善了系統(tǒng)的可擴(kuò)展性。NAPI將為大量的企業(yè)級(jí)多處理器平臺(tái)帶來幫助，它要求一個(gè)啟用NAPI的驅(qū)動(dòng)程序。在今天很多驅(qū)動(dòng)程序默認(rèn)沒有啟用NAPI，這就為我們調(diào)優(yōu)網(wǎng)絡(luò)子系統(tǒng)的性能提供了更廣闊的空間。七、理解Linux調(diào)優(yōu)參數(shù)因?yàn)長inux是一個(gè)開源操作系統(tǒng)，所以又大量可用的性能監(jiān)測工具。對(duì)這些工具的選擇取決于你的個(gè)人喜好和對(duì)數(shù)據(jù)細(xì)節(jié)的要求。所有的性能監(jiān)測工具都是按照同樣的規(guī)則來工作的，所以無論你使用哪種監(jiān)測工具都需要理解這些參數(shù)。下面列出了一些重要的參數(shù)，有效的理解它們是很有用處的。（1）處理器參數(shù)引用CPU utilization這是一個(gè)很簡單的參數(shù)，它直觀的描述了

16、每個(gè)CPU的利用率。在xSeries架構(gòu)中，如果CPU的利用率長時(shí)間的超過80，就可能是出現(xiàn)了處理器的瓶頸。Runable processes這個(gè)值描述了正在準(zhǔn)備被執(zhí)行的進(jìn)程，在一個(gè)持續(xù)時(shí)間里這個(gè)值不應(yīng)該超過物理CPU數(shù)量的10倍，否則CPU方面就可能存在瓶頸。Blocked描述了那些因?yàn)榈却齀/O操作結(jié)束而不能被執(zhí)行的進(jìn)程，Blocked可能指出你正面臨I/O瓶頸。User time描述了處理用戶進(jìn)程的百分比，包括nice time。如果User time的值很高，說明系統(tǒng)性能用在處理實(shí)際的工作。System time描述了CPU花費(fèi)在處理內(nèi)核操作包括IRQ和軟件中斷上面的百分比。如果sys

17、tem time很高說明系統(tǒng)可能存在網(wǎng)絡(luò)或者驅(qū)動(dòng)堆棧方面的瓶頸。一個(gè)系統(tǒng)通常只花費(fèi)很少的時(shí)間去處理內(nèi)核的操作。Idle time描述了CPU空閑的百分比。Nice time描述了CPU花費(fèi)在處理re-nicing進(jìn)程的百分比。Context switch系統(tǒng)中線程之間進(jìn)行交換的數(shù)量。WaitingCPU花費(fèi)在等待I/O操作上的總時(shí)間，與blocked相似，一個(gè)系統(tǒng)不應(yīng)該花費(fèi)太多的時(shí)間在等待I/O操作上，否則你應(yīng)該進(jìn)一步檢測I/O子系統(tǒng)是否存在瓶頸。InterruptsInterrupts 值包括硬Interrupts和軟Interrupts，硬Interrupts會(huì)對(duì)系統(tǒng)性能帶來更多的不利影響

18、。高的Interrupts值指出系統(tǒng)可能存在一個(gè)軟件的瓶頸，可能是內(nèi)核或者驅(qū)動(dòng)程序。注意Interrupts值中包括CPU時(shí)鐘導(dǎo)致的中斷（現(xiàn)代的xServer系統(tǒng)每秒1000個(gè) Interrupts值）。（2）內(nèi)存參數(shù)引用Free memory相比其他操作系統(tǒng)，Linux空閑內(nèi)存的值不應(yīng)該做為一個(gè)性能參考的重要指標(biāo)，因?yàn)榫拖裎覀冎疤岬竭^的，Linux內(nèi)核會(huì)分配大量沒有被使用的內(nèi)存作為文件系統(tǒng)的緩存，所以這個(gè)值通常都比較小。Swap usage這 個(gè)值描述了已經(jīng)被使用的swap空間。Swap usage只表示了Linux管理內(nèi)存的有效性。對(duì)識(shí)別內(nèi)存瓶頸來說，Swap In/Out才是一個(gè)比較又

19、意義的依據(jù)，如果Swap In/Out的值長期保持在每秒200到300個(gè)頁面通常就表示系統(tǒng)可能存在內(nèi)存的瓶頸。Buffer and cache這個(gè)值描述了為文件系統(tǒng)和塊設(shè)備分配的緩存。在Red Flag DC Server 5版本中,你可以通過修改/proc/sys/vm中的page_cache_tuning來調(diào)整空閑內(nèi)存中作為緩存的數(shù)量。Slabs描述了內(nèi)核使用的內(nèi)存空間，注意內(nèi)核的頁面是不能被交換到磁盤上的。Active versus inactive memory提供了關(guān)于系統(tǒng)內(nèi)存的active內(nèi)存信息，Inactive內(nèi)存是被kswapd守護(hù)進(jìn)程交換到磁盤上的空間。（3）網(wǎng)絡(luò)參數(shù)引用Packets received and sent這個(gè)參數(shù)表示了一個(gè)指定網(wǎng)卡接收和發(fā)送的數(shù)據(jù)包的數(shù)量。Bytes received and sent這個(gè)參數(shù)表示了一個(gè)指定網(wǎng)卡接收和發(fā)送的數(shù)據(jù)包的字節(jié)數(shù)。Collisions per second這個(gè)值提供了發(fā)生在指定網(wǎng)卡上的網(wǎng)絡(luò)沖突的數(shù)量。持續(xù)的出現(xiàn)這個(gè)值代表在網(wǎng)絡(luò)架構(gòu)上出現(xiàn)了瓶頸，而不是在服務(wù)器端出現(xiàn)的問題。在正常配置的網(wǎng)絡(luò)中沖突是非常少見的，除非用戶的網(wǎng)絡(luò)環(huán)境都是由hub組成。Packets dropped這個(gè)值表示了被內(nèi)核丟掉的數(shù)據(jù)包數(shù)量，可能是因?yàn)榉阑饓?/p>