Linux系統(tǒng)管理和作業(yè)提交

1、計算決定未來Linux基礎(chǔ)培訓(xùn)鞏固作業(yè)提交2014年12月14日計算決定未來1.對本文檔的任何使用都被視為完全理解并接受本文檔列舉的所有法律條款。2.本文檔的所有權(quán)利歸作者所有，作者保留所有權(quán)利。3.未經(jīng)作者書面同意，禁止任何形式的商業(yè)使用。商業(yè)使用形式包括但不限于出版、復(fù)制、傳播、展示、引用、編輯。4.本文檔允許以學(xué)術(shù)研究、技術(shù)交流為目的使用。復(fù)制、傳播過程中不得對本文檔作任何增減編輯，引用時需注明出處。5.實施任何侵權(quán)行為的法人或自然人都必須向作者支付賠償金，賠償金計算方法為： 賠償金 = 涉案人次涉案時長（天）涉案文檔份數(shù)受眾人次100元人民幣，涉案人次、涉案時長、涉案文檔份數(shù)、受眾人次

2、小于1時，按1計算。6.對舉報侵權(quán)行為、提供有價值證據(jù)的自然人或法人，作者承諾獎勵案件實際賠償金的50%.7.涉及本文檔的法律糾紛由作者所在地法院裁決。8.本文檔所列舉法律條款的最終解釋權(quán)歸作者所有。法律條款計算決定未來培訓(xùn)目的n 鞏固Linux操作系統(tǒng)基本使用n 了解Linux系統(tǒng)常用管理n 掌握作業(yè)提交技能計算決定未來培訓(xùn)結(jié)構(gòu)第一部分 Linux基礎(chǔ)鞏固第二部 Linux常用管理第三部分 作業(yè)提交計算決定未來Linux基礎(chǔ)回顧計算決定未來磁盤分區(qū)/根目錄 /root 超級用戶主目錄 /bin基本命令/bootkernel 和boot配置文件 /etc各種配置文件/usr用戶程序 /opt-

3、 附加的應(yīng)用軟件包/home用戶目錄 /mnt- 設(shè)備/文件系統(tǒng)掛載點/tmp臨時文件/var可變信息區(qū)（file spool,logs,requests,mail,etc.)/proc進程信息 /dev設(shè)備 /sbin系統(tǒng)管理員執(zhí)行程序 /lib- 基本的共享庫和核心模塊計算決定未來Linux常用管理第一章 Linux系統(tǒng)的用戶權(quán)限管理第二章 Linux系統(tǒng)的進程管理第三章 Linux系統(tǒng)的網(wǎng)絡(luò)配置2022-5-199/101Linux操作系統(tǒng)管理n 用戶（user）的概念 Linux 是真正意義上的多用戶操作系統(tǒng)，Linux系統(tǒng)中可建若干用戶(user),在Linux系統(tǒng)中的一些用戶是用來

4、完成特定任務(wù)的。n 用戶組（group）的概念用戶組（group）就是具有相同特征的用戶（user）的集合體；比如有時要讓多個用戶具有相同的權(quán)限，比如查看、修改某一文件或執(zhí)行某個命令，這時需要用戶組，把用戶都定義到同一用戶組，通過修改文件或目錄的權(quán)限，讓用戶組具有一定的操作權(quán)限，這樣用戶組下的用戶對該文件或目錄都具有相同的權(quán)限，這是通過定義組和修改文件的權(quán)限來實現(xiàn)的；n 用戶和用戶組的對應(yīng)關(guān)系是：一對一、多對一、一對多或多對多 一對一：某個用戶可以是某個組的唯一成員；多對一：多個用戶可以是某個唯一的組的成員，不歸屬其它用戶組； 一對多：某個用戶可以是多個用戶組的成員； 多對多：多個用戶對應(yīng)多個

5、用戶組，并且?guī)讉€用戶可以是歸屬相同的組；其實多對多的關(guān)系是前面三條的擴展；理解了上面的三條，這條也能理解Linux系統(tǒng)用戶和組的概念2022-5-1910/101Linux操作系統(tǒng)管理n管理用戶（user）的工具或命令useradd ：添加用戶adduser ：添加用戶userdel ：刪除用戶passwd ：為用戶設(shè)置密碼usermod ：修改用戶命令，可以通過usermod 來修改登錄名、用戶的家目錄等pwconv ：同步用戶信息，從/etc/passwd 到/etc/shadowpwck ：校驗用戶配置文件/etc/passwd 和/etc/shadow 是否合法或完整；pwunconv

6、 ：pwcov 的立逆向操作，從/etc/shadow和 /etc/passwd 創(chuàng)建/etc/passwd ；finger ：查看用戶信息工具id ：查看用戶的UID、GID及所歸屬的用戶組chfn ：更改用戶信息工具su ：用戶切換工具sudo ：通過另一個用戶來執(zhí)行命令；但需通過visudo 編輯/etc/sudoers來實現(xiàn)；visudo ：編輯 /etc/sudoers 的命令sudoedit ：和visudo 功能差不多Linux系統(tǒng)用戶管理的命令2022-5-1911/101Linux操作系統(tǒng)管理n 管理用戶組（group）的工具或命令groupadd ：添加用戶組；groupd

7、el ：刪除用戶組；groupmod ：修改用戶組信息；groups ：顯示用戶所屬的用戶組；grpck/grpconv ：通過/etc/group和/etc/gshadow 的文件內(nèi)容來同步或創(chuàng)建/etc/gshadow ，如果/etc/gshadow 不存在則創(chuàng)建；grpunconv ：通過/etc/group 和/etc/gshadow 文件內(nèi)容來同步或創(chuàng)建/etc/group,然后刪除gshadow文件。Linux系統(tǒng)用戶組管理的命令2022-5-1912/101Linux操作系統(tǒng)管理n 添加test用戶,該用戶屬于workgroup組添加組：#groupadd u 1000 work

8、group添加用戶：#useradd u 1000 g 1000 d /home/test s /bin/bash test若系統(tǒng)為suse，則要在添加用戶時生成用戶目錄，需要加-m參數(shù)#useradd u 1000 g 1000 m /home/test s /bin/bash testn 刪除test用戶 #userdel test #rm rf /home/testLinux系統(tǒng)用戶管理舉例2022-5-1913/101Linux操作系統(tǒng)管理Linux進程管理 對于Linux進程的管理，是通過進程管理工具實現(xiàn)的，比如：ps、topkill、killallpgrep2022-5-1914/

9、101Linux操作系統(tǒng)管理2.2.1 ps aux 或lax輸出的解釋 USER 進程的屬主； PID 進程的ID； PPID 父進程的ID；%CPU 進程占用的CPU百分比；%MEM 占用內(nèi)存的百分比； NI 進程的NICE值，數(shù)值大，表示較少占用CPU時間； VSZ 進程虛擬大?。?RSS 駐留中頁的數(shù)量； TTY 終端IDWCHAN 正在等待的進程資源；START 啟動進程的時間； TIME 進程消耗CPU的時間；COMMAND 命令的名稱和參數(shù)； 2022-5-1915/101Linux操作系統(tǒng)管理2.2.1 ps aux顯示的進程狀態(tài)STAT 進程狀態(tài) D Uninterrupti

10、ble sleep (usually IO) R 正在運行可中在隊列中可過行的； S 處于休眠狀態(tài)；T 停止或被追蹤； W 進入內(nèi)存交換（從內(nèi)核2.6開始無效）； X 死掉的進程（從來沒見過）； Z 僵尸進程； 優(yōu)先級高的進程 N 優(yōu)先級較低的進程L 有些頁被鎖進內(nèi)存； s 進程的領(lǐng)導(dǎo)者（在它之下有子進程）；l is multi-threaded (using CLONE_THREAD, like NPTL pthreads do) + 位于后臺的進程組； WCHAN 正在等待的進程資源； START 啟動進程的時間； TIME 進程消耗CPU的時間； COMMAND 命令的名稱和參數(shù)。202

11、2-5-1916/101Linux操作系統(tǒng)管理3.1 Linux網(wǎng)絡(luò)配置的相關(guān)文件/etc/modprobe.conf 該文件定義了網(wǎng)卡的型號，如： alias eth1 forcedeth alias eth0 forcedeth /etc/sysconfig/networking-scripts/ifcfg-ethX 該文件設(shè)置網(wǎng)絡(luò)的IP地址、DNS及網(wǎng)關(guān) DEVICE=eth0 #設(shè)備名字 ONBOOT=yes #系統(tǒng)啟動過程中，網(wǎng)絡(luò)是否啟動 BOOTPROTO=static #網(wǎng)絡(luò)啟動是以靜態(tài)的獲得IP還是動態(tài)（DHCP）獲得IP IPADDR=11.11.11.49 #IP地址 NE

12、TMASK=255.0.0.0 #子網(wǎng)掩碼 NAMESERVER=IP #設(shè)置DNS對應(yīng)的IP GATEWAY=IP #設(shè)置網(wǎng)關(guān)對應(yīng)的IP/etc/sysconfig/network 該文件設(shè)置系統(tǒng)名字/etc/sysconfig/static-routes 該文件設(shè)置系統(tǒng)的靜態(tài)路由 any net 192.168.0.0/24 gw 192.168.1.62022-5-1917/101Linux操作系統(tǒng)管理3.2 網(wǎng)絡(luò)啟動命令 配置好網(wǎng)絡(luò)的相關(guān)文件后，進行網(wǎng)絡(luò)啟動： /etc/init.d/network restart ifconfig eth0 down = ifdown eth0 if

13、config eth0 up = ifup eth0 ifconfig eth0:0 192.168.0.1 netmask 255.0.0.0 網(wǎng)卡綁定第二個IP，臨時生效2022-5-1918/101Linux操作系統(tǒng)管理計算決定未來作業(yè)提交第一章 PBS作業(yè)提交第二章 Gridview作業(yè)提交2022-5-1919/101Linux操作系統(tǒng)管理1.準備：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。2.提交：使用qsub命令將該作業(yè)提交給PBS服務(wù)器3.排隊：服務(wù)器將該任務(wù)排入適當?shù)年犃?.調(diào)度：服務(wù)器檢查各工作節(jié)點的狀態(tài)是否符合該作業(yè)的要求，并進行調(diào)度。5.執(zhí)行：當條件滿足時，作業(yè)被

14、發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運行時執(zhí)行服務(wù)器會收集程序的標準輸出和標準錯誤流，等程序結(jié)束時，將這些信息返回給用戶。6.查詢和調(diào)整：當作業(yè)在運行時，用戶可以使用qstat進行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯誤時，可以使用qdel刪除正在運行的作業(yè)。7.查看結(jié)果：使用文本編輯軟件vi或者系統(tǒng)命令cat, less等查看輸出及錯誤信息顯示。PBS作業(yè)提交步驟p 在PBS系統(tǒng)中，用戶使用 qsub 命令提交用戶程序。用戶運行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運行：qsub qsub -N test.vasp -l nodes=4:ppn=2 -q de

15、faults PBS作業(yè)提交基本命令p 本質(zhì)是一個SHELL腳本p 注釋以“#”開頭p PBS運行參數(shù)，以“#PBS”開頭p 可以直接調(diào)用SHELL命令和系統(tǒng)命令#PBS -N vasp#PBS -l nodes=1:ppn=1#PBS -l walltime=12:00:00#PBS -q highcd /home/test/work./test.exePBS作業(yè)腳本運運 行行 參參 數(shù)數(shù)說說 明明-a 向PBS系統(tǒng)指定作業(yè)運行的開始時間。作業(yè)運行時間格式為： CCYYMMDDhhmm.SS-A 使用不同的用戶來提交作業(yè)，缺省使用當前用戶名-o -e 該參數(shù)指定標準錯誤輸出的位置，缺省的情況

16、下，PBS系統(tǒng)把標準輸出和標準錯誤輸出放在用戶qsub命令提交作業(yè)的目錄下。標準錯誤輸出：.o標準錯誤輸出：.e路徑使用如下格式標準： :-N 指定提交的作業(yè)名-q 指定作業(yè)提交的目標隊列，其中目標隊列可以是目標隊列、目標節(jié)點名或者是目標節(jié)點上的隊列。如果目標隊列是一個路由隊列，那么服務(wù)器可能把作業(yè)路由到新的隊列中。如果該參數(shù)沒有指定，命令qsub會把作業(yè)腳本提交到缺省的隊列中。-l 該參數(shù)指定作業(yè)腳本申請的PBS系統(tǒng)資源列表。申請資源列表使用如下格式： =,資源名=， .例如作業(yè)希望申請在雙路節(jié)點上申請5個CPU資源的情況，則可以在腳本中如下：#PBS l nodes=2:ppn=2+1:p

17、pn=1PBS運行參數(shù)在 PBS 腳本和 qsub 命令行中均有效，qsub命令行參數(shù)的優(yōu)先級更高變變 量量 名名說說 明明登陸登陸SHELL繼承來的變量繼承來的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊列名稱$PBS_O_WORKDIRqsub提交的作業(yè)的絕對路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號$PBS_JOBNAME用戶指定的作業(yè)名，可以在作業(yè)提交的時候用qsub N 指定，或者在PBS腳本中加入#PBS N 。$PBS_NOD

18、EFILEPBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。該變量在并行機和機群中使用。當在PBS腳本中用#PBS l nodes=2:ppn=2指定程序運行的節(jié)點數(shù)時，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile $PBS_NODEFILE $PBS_QUEUEPBS腳本在執(zhí)行時的隊列名PBS的環(huán)境變量# 這是一個串行作業(yè)腳本的例子#PBS -N test#PBS -l nodes=1:ppn=1cd $HOME/test/./a.out $HOME/result/a.result

19、# 這是一個并行作業(yè)腳本的例子#PBS -N vasp_job#PBS -l nodes=2:ppn=8#PBS -q lowecho This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vaspPBS腳本舉例PBS腳本舉例（續(xù)1）p 有時在PBS腳本中，需要對PBS環(huán)境變量的內(nèi)容進行改造p 比如，$PBS_NODEFILE，該文件內(nèi)容格式為：node1node1node2node2p 對于一般MPI程序，可直接將 $PBS_NODEFILE 作為 MPI 的

20、”-machinefile”參數(shù)，如上例所示p 而一些軟件有特殊的節(jié)點指定格式，比如ANSYS的命令行參數(shù)格式為： ansys121 -dis -machines node1:2:node2:2 -i test.inp -o test.logp 這時我們可以對 $PBS_NODEFILE 進行字符處理，得到需要的格式# 這是一個ANSYS并行作業(yè)的例子#PBS -N ansys_job#PBS -l nodes=2:ppn=8#PBS -q lowINPUTFILE=test.inpOUTPUTFILE=test.loghosts=cat $PBS_NODEFILE | uniq -c | a

21、wk print $2:$1 | tr n : | sed s/:$/cd $PBS_O_WORKDIRansys121 -dis -machines $hosts -i $INPUTFILE -o $OUTPUTFILEPBS腳本舉例（續(xù)2）2022-5-1927/101Linux操作系統(tǒng)管理#!/bin/bash#PBS -N jobname#PBS -l nodes=2:ppn=8cat echo $PBS_NODEFILE $HOME/$PBS_JOBID.nodesfor node in cat $HOME/$PBS_JOBID.nodes do ssh $node mkdir /t

22、mp/$PBS_JOBID ssh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/ donecd /tmp/$PBS_JOBIDmpirun -np 16 -machinefile $PBS_NODEFILE $HOME/bin/vaspcp -rf /tmp/$PBS_JOBID/* $PBS_O_WORKDIR/for node in cat $HOME/$PBS_JOBID.nodes do ssh $node rm -rf /tmp/$PBS_JOBID donerm $HOME/$PBS_JOBID.nodes一個復(fù)雜的PBS腳本# 這是

23、一個并行作業(yè)腳本的例子#PBS -N vasp.Hg#PBS -j oe#PBS -l nodes=2:ppn=12:amd#PBS -q lowecho This jobs is $PBS_JOBID$PBS_QUEUE NP=cat $PBS_NODEFILE | wc -lcd $PBS_O_WORKDIRmpirun -np $NP -machinefile $PBS_NODEFILE ./vasp#PBS -l nodes=2:ppn=4:amd:chem#PBS -l nodes=1:ppn=8:chem+1:ppn=8:bio#PBS -l nodes=node1:ppn=8+n

24、ode2:ppn=8指定節(jié)點特性2022-5-1929/101Linux操作系統(tǒng)管理作業(yè)提交后，會生成一個作業(yè)號，如：dawningnode1 $ qsub test.pbs93.node1查看集群作業(yè)運行狀態(tài)：dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs test 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default作業(yè)狀態(tài)說明：E：退出Q：排隊H ：掛起R ：運行

25、C：結(jié)束查詢作業(yè)狀態(tài)2022-5-1930/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default查詢某個作業(yè)運行狀態(tài)：qstat 93.node1 (或者 qstat 93)顯示作業(yè)運行在哪些節(jié)點上:qstat -n 93.node1 顯示作業(yè)運行詳細信息:qstat -f 93.

26、node1 查詢作業(yè)狀態(tài)（續(xù)）2022-5-1931/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q defaultqdel 93.node1取消刪除作業(yè)注：用戶只能刪除自己的作業(yè)，管理員可以刪除所有用戶作業(yè)2022-5-1932/101Linux操作系統(tǒng)管理dawningnode1 $ q

27、stat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default掛起作業(yè)：qhold 111.node1取消作業(yè)掛起qrls 111.node1作業(yè)掛起及取消2022-5-1933/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node

28、1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default更改作業(yè)運行隊列：qmove high 111.node1更改作業(yè)資源屬性：qalter -l walltime=10:00:00 111.node1更改作業(yè)2022-5-1934/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default112.node1 gaussian gauss 0 Q default交換兩個作業(yè)的排隊順序：qorder 111.node1 112.node1daw