shell編程詳解重點講義資料

1、零、shell中的內(nèi)部變量：1. $?: 表示 shell 命令的返回值 .2. $: 表示當(dāng)前 shell 的 pid.3. $!: 最后一個放入后臺作業(yè)的 PID 值.4. $0: 表示腳本的名字 .5. $1-$9,$10: 表示腳本的第一到九個參數(shù) ,和第十個參數(shù)6. $#: 表示參數(shù)的個數(shù) .7. $*,$: 表示所有的參數(shù) .兩者的區(qū)別如下：都是雙引號惹的禍A-A/ set apple pie pears peaches/ for i in $* do echo $i doneapplepiepearspeaches/ set apple pie pears peaches/ fo

2、r i in $ do echo $i doneapplepiepearspeaches/ set apple pie pears peaches/ for i in $* do echo $i doneapple pie pears peaches/ set apple pie pears peaches/ for i in $ do echo $i doneapple pie /這里的單引號將兩個單詞合成一個 .pears peaches一、正則表達式在 vi 中的用法：1. A:如/9ove,表示所有以love開頭的行.2. $:如/love$,表示所有以love結(jié)尾的行.3.:如/l.

3、e, dot 表示任意字符，如 Iove,l22e,live 等.4. *:如/*love, *表示0多多個字符，這里表示love前面可以有0個多任意多個空格字符，如 /go*gle, 可以表示 ggle,gogle,google,goooooooogle.5. :如/Llove,中的任意一個字符都可能成為候選者，如Love和love.6. x-y:如/A-Zt,表示中指定范圍內(nèi)的字符都可能成為候選者,如At, It等,也可表示多個區(qū)間段如： a-zA-TV-Z 表示所有除 V 之外的所有大小寫英文字符 .7. A： 如/AA-Zove,表示A-Z之內(nèi)的任意字符都是非法的,女口 LoveQov

4、e等.8. :轉(zhuǎn)義符,如果想表示任何meta字符的原義,需使用在meta字符前加轉(zhuǎn)義符,女嘰.將只表示dot，而不能在表示任何其他字符了 .9. :如/love,表示任何單詞的結(jié)束，如love和glove，但是lover將非法.11. (.):如八(love)able八1rs/,這里的1表示love,這種標(biāo)簽替代最多達到9,該例子表示用 lovers 代替 loveable.12. xm:如 x5, 表示 x 被重復(fù) 5 次,如 xxxxx.13. xm,: 如 x5, 表示 x 被至少重復(fù) 5 次,如 xxxxx,xxxxxxxx.14. xm,n:如 x5,10, 表示 x 被重復(fù) 5-1

5、0 次,如 xxxxx,xxxxxxxx.以下為 grep 的正則表示式用法 :15. w 和 W:等同于a-zA-Z0-9.16. b:等同于,均表示單詞的邊界.以下為grep的正則表示式的擴展用法(grep -E或egrep):17. +:如/lo+ve, +表示1個或者多個先前的字符，這里表示love,loove,但是lve非法.18. ?:如/lo?ve, ?表示0個或者1個先前的字符，這里只表示love和lve.19. (a|b|c):如/l(o|i)ve,表示或的意思，這里表示love和live. (o|i)和oi的主要區(qū)別就是 (word|word) 可以表示單詞之間或的關(guān)系 ,

6、只能表示字符 .20. xm,xm,xm,n 等同于 grep 普通模式中的 xm,xm,xm,n.二、 grep 家族:1. 家族成員 :egrep: 執(zhí)行帶有擴展正則表達式元字符的 grep 搜索 .fgrep: 將關(guān)閉 grep 的所有正則功能 , 即搜索字符串中所有正則元字符都將只是表 示其字符本意 .2. 返回值 :0: 表示成功1: 表示搜索字符串不存在2: 表示搜索文件不存在 .3. grep 的選項規(guī)則 :-#,-A#和-B#:表示在輸出匹配內(nèi)容的時候同時也輸出其上下指定數(shù)量的行數(shù),女口grep -2 love *, 該例輸出匹配 love 的上下兩行 ,grep -A2 lo

7、ve * 該例輸出匹配love的后兩行,grep -B2 love * 該例輸出匹配love 的前兩行 . 這里 A 表示 after,B 表示 before.-F: 等同于 fgrep, 這個選項將關(guān)閉所有正則功能 ,即所有正則的元字符均表示其本 身含義 .-c: 不輸出找到的內(nèi)容 ,只是輸出在該文件中有多少匹配的行數(shù) .-h: 不輸出匹配搜索字符串的文件的文件名,只是輸出內(nèi)容 .-i: 搜索時忽略大小寫 .-l: 只顯示匹配搜索內(nèi)容的文件名 , 不顯示具體的內(nèi)容 .-L: 只顯示沒有包含搜索內(nèi)容的文件名 .-n: 輸出匹配內(nèi)容的同時也輸出其所在的行號 .-v: 反向搜索 ,輸出不匹配搜索字

8、符串的行 .-w: 只打印以完整單詞形式匹配的行 , 如果該搜索字符為某個單詞的部分內(nèi)容 ,將 不會被輸出 .-x: 只打印以行形式匹配的行 , 如果該搜索字符為行的部分內(nèi)容,將不會被輸出 .-q: 不會輸出任何信息 , 該選項主要用于測試某個搜索字符或搜索 pattern 在執(zhí)行 grep 命令之后的返回值 .-r: 表示遞歸的搜索當(dāng)前目錄的子目錄中的文件 .4. 對于普通模式的grep,如果搜索的字符中普通字符前面加入,則該字符按照擴展grep(egrep 或者 grep -E)的正則規(guī)則進行查找.如 grep love|live file name,將等同于egrep love|live

9、 file name,這里的|將按照egrep中的|元字符處理，再如， egrep 3+ filename 等同于 grep 3+ filename.三、 sed:1. sed命令：,: 表示范圍 .1) sed -n /west/,尼ast/pdatafile表示打印所有從包含 west開始到包含 east的行，如果直到文件的結(jié)尾都沒有包含east的行,將打印west后面的所有行.其實邏輯很簡單，就是sed在發(fā)現(xiàn)包含west行之后開發(fā)打印該行，直到發(fā)現(xiàn)包含 east的行打印才結(jié)束，否則一直打印直到文件的末尾.2) sed -n 5,/Anortheast/pdatafile表示從第五行開始打

10、印，直到遇到以northeast開始 的行結(jié)束打印 .!: 表示對匹配結(jié)果取反 .1) sed /north/!d datafile 將刪除所有不包含 north 的行.a: 追加命令 .1) sed /Anorth/a first line second line third line datafile 將會在所有包含 north 行的后面追加 first line r second line n third line. 其中 表示下一行還有內(nèi)容的連詞 . 如果是 c-shell:sed n orth/a first line second line third line datafile

11、其中多出來的 是轉(zhuǎn)義符 .d: 表示刪除 .1) sed /north/d datafile 將刪除所有包含 north 的行 .2) sed 3d datafile 將刪除第三行 .3) sed 3,$d datafile 將刪除第三行到文件的結(jié)尾行 .4) sed d datafile 將刪除所有行 .e: 表示多點編輯 .1) sed -e 1,3d -e s/Hemenway/Jones/datafile 個 sed 語句執(zhí)行多條編輯命令,因 此命令的順序會影響其最終結(jié)果 .2) sed -e s/Hemenway/Jones/ -e s/Jones/Max/ datafile 先用

12、Jones替換 Hemenway, 再用 Max 替換 Jones.h 和 g/G: 保持和獲取命令 .1) sed -e /northeast/h -e $G datafile sed將把所有包含 northeast 的行輪流緩存到其 內(nèi)部緩沖區(qū) , 最后將只是保留最后一個匹配的行 ,$G是將緩沖區(qū)的行輸出到$G匹配行的后面，該例表示將最后一個包含northeast的行追加到文件的末尾 .2) sed -e /WE/h; d; -e /CT/G; datafile 表示將包含 WE 的行保存到緩沖區(qū) , 然后刪除該行 ,最后將緩沖區(qū)中保存的那份輸出到CT 行的后面 .3) sed -e /n

13、ortheast/h -e $g datafile表示將包含 northeast的行保存到緩沖區(qū)，再將 緩沖區(qū)中保存的那份替換文件的最后一行并輸出 .再與 h 合用時 , g 表示替換 , G 表示追加到匹配行后面 .4) sed -e /WE/h; d; -e /CT/g; datafile 保留包含 WE 的行到緩沖區(qū) , 如果有新的 匹配行出現(xiàn)將會替換上一個存在緩沖區(qū)中的行 , 如果此時發(fā)現(xiàn)有包含 CT 的行出現(xiàn) , 就用緩沖區(qū)中的當(dāng)前行替換這個匹配 CT 的行, 之后如果有 新的 WE 出現(xiàn) , 將會用該新行替換緩沖區(qū)中數(shù)據(jù) , 當(dāng)前再次遇到 CT 的時候,將用最 新的緩沖區(qū)數(shù)據(jù)替換該

14、 CT 行.i: 表示插入 .1) sed /north/i first line second line third line datafile 其規(guī)則和a命令基本相同,只是a是將額外的信息輸出到匹 配行的后面 , i 是將額外信息輸出到匹配行的前面 .p: 表示打印 .1) sed /north/p datafile 將打印所有包含 north 的行 .2) sed 3p datafile 將打印第三行 .3) sed 3,$p datafile 將打印第三行到文件的結(jié)尾行 .4) sed p datafile 將打印所有行 .注：使用p的時候sed將會輸出指定打印的行和所有行,當(dāng)其與-n

15、選項組合時候, 將只是打印輸出匹配的行 .n： 下一行命令 .1) sed 7north/ n; s/Chin/Joseph/ datafile 將先定位包含 north 的行,然后取其下一行作為目標(biāo)行，再在該目標(biāo)行上執(zhí)行s/Chin/Joseph/的替換操作.2) sed /north/ n; n; s/Chin/Joseph/ datafile 將取 north 包含行的后兩行作為目標(biāo)行 . 注： 作為嵌入的腳本執(zhí)行 .q： 退出命令 .1) sed 5q datafile 到第五行退出 (輸出第五行 ).2) sed /north/q datafile 輸出到包含 north 的行退出

16、(輸出包含 north 的行).3) sed /Lewis/ s/Lewis/Joseph/; q datafile 將先定位包含 Lewis 的行, 然后用Joseph 替換 Lewis, 最后退出 sed 操作 .r： 文件讀入 .1) sed /Suan/r newfile datafile在輸出時 將newfile的文件內(nèi)容跟隨在 datafile中包含Suan的行后面輸出，如果多行都包含Suan則文件被多次輸出.s： 表示替換 .1) sed s/west/north datafile將所有 west替換為north, g表示如果一行之內(nèi)多次出現(xiàn)west,將全部替換,如果沒有g(shù)命令，

17、將只是替換該行的第一個匹配.2) sed -n s/Awest/north/p datafile將所有以 west開頭的行替換為 north,同時只是輸出替換匹配的行 .3) sed -n 1,5 s/(Mar)got/1ianne/p datafile 將從第一行到第五行中所有的 Margot 替換為 Marianne, 1是(Mar)的變量替代符.w： 文件寫入 .1) sed -n /north/w newfile2 datafile 將 datafile 中所有包含 north 的行都寫入到 newfile2 中 .x： 互換命令 .1) sed -e /pat/h -e /Margo

18、t/x datafile x命令表示當(dāng)定位到包含Margot行，互換緩沖區(qū)和該匹配 Margot 行的數(shù)據(jù) , 即緩沖區(qū)中的數(shù)據(jù)替換該匹配行顯示 , 該匹配行進入緩沖區(qū) , 如果在交換時緩沖區(qū)是空 , 則該匹配行被換入緩沖區(qū) , 空 行將替換該行顯示，后面依此類推如果交換后,再次出現(xiàn)匹配pat的行，該行將仍然會按照 h 命令的規(guī)則替換 (不是交換 , 交換只是發(fā)生在發(fā)現(xiàn)匹配 Margot 的時候)緩沖區(qū)中的數(shù)據(jù) .y： 變形命令 .1) sed 1,3y/abcd/ABCD/datafile 將 1 到 3 行中的小寫 abcd 對應(yīng)者替換為 ABCD,注意abcd和ABCD是對應(yīng)的.如果他們

19、的長度不匹配,sed將報錯.2) sed y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/ datafile 將 datafile 中所有的小寫字符替換為大寫字母四、awk家族：1. 執(zhí)行方式 :1) awk pattern filename 如 awk /Mary/ employees2) awk action filename 如 awk print $1 employees3) awk pattern action filename 如 awk /Mary/ print $1 employees注：模式/Mary/對acti

20、on的作用范圍是從其后面的第一個左花括號開始,到第一個右花括號結(jié)束 . 其后的 pattern 將不會影響前面的 action.2. 內(nèi)置變量 ：$0:表示一整行 （相當(dāng)于數(shù)據(jù)庫中一條記錄）.NR:當(dāng)前行號 .NF:RS:當(dāng)前記錄的域 （相當(dāng)于數(shù)據(jù)庫中的字段）數(shù)量行分隔符 （缺省為回車 ）.FS:域分隔符，缺省為 t. awk -F: print $1,$2,$3 employees 這里 FS 等于:.OFS:輸出域分隔符,awk -F: print $1,$2,$3 employees 這里 OFS 等于空格,因 為在$1 和$2之間是空格分開的 .ARGC: 命令行參數(shù)的數(shù)量 .ARGV

21、: 命令行參數(shù)數(shù)組 .ENVIRON: 從 shell 傳遞來的包含當(dāng)前環(huán)境變量的數(shù)組 ERRNO: 錯誤號 .FILENAME: 當(dāng)前的輸入文件名3. 格式化輸出轉(zhuǎn)義碼 :b:Backspace.n:換行 .r:回車 .t:制表符 .格式化說明符 :%c:單個 ASCII 字符 .%d:十進制數(shù)字 .%e:科學(xué)記數(shù)法表示的數(shù)字%f:浮點數(shù) .%o:八進制數(shù)字 .%s:打印字符串 .%x:十六進制數(shù)字 .-:表示左對齊,如-15d,在十進制數(shù)字的后面會有一些空格，同時該數(shù)字是左對齊的.%+15d或%15d表示右對齊，當(dāng)數(shù)字不足15位的時候.#:如#o或#x,會在八進制的數(shù)字前面加入0,十六進制

22、前加Ox.4. 操作符 : 匹配運算符 . 如 awk $1/Mary/ employees, 表示第一個域 ($1) 中包含 Mary 的 被打印 , 如果其他域包含 ,第一個域沒有 ,則仍然視為無效 .!: 不匹配運算符 . 如 awk $1!/Mary/ employees, 表示第一個域 ($1)中不包含 Mary 的被打印 , 如果其他域包含 ,第一個域沒有 ,則仍然視為有效 .,=,!=,=: 關(guān)系運算符 . awk $35000 print $3 datafilecond ? expr1 : expr2 條件表達式 awk max = $1 $2 ? $1 : $2; print

23、 max datafile =,+=,-=,*=,/=,%=: 賦值運算符 .-,+,*,/,%T(xAy乘方):數(shù)學(xué)運算符.&, |, !: 邏輯運算符 .,: 表示范圍 , awk /Tom/,/Mary/ datafile 其規(guī)則可參照 sed 中逗號運算符 .5. 選項 :-F:指定特定的分隔符，而不是缺省的t,如-F:,這里分隔符是:.6. awk 編程 :1) BEGIN: 其后緊跟著動作塊 , 該塊將會在任何輸入文件被讀入之前執(zhí)行 , 如一些 初始化工作 , 或者打印一些輸出標(biāo)題 .awk BEGINFS=:; OFS=t;ORS=nn print $1,$2,$3 file 即

24、使輸入文件不存在 , BEGIN 塊動作仍然會被執(zhí)行 .2) END: 其后也緊隨動作塊 , 該動作模塊將在整個輸入文件處理完畢之后被處理 , 但是 END 需要有文件名的輸入 .awk END print The endn filename.3) 輸入輸出重新定向 :awk BEGIN print Hello newfile datafile 文件名一定要用雙引號擴起來 , 如果文件存在 ,則清空后重寫新文件 .awk BEGIN print Hello newfile datafile 文件名一定要用雙引號擴起來 , 如果文件存在 , 則在文件末尾追加寫入 .awk BEGIN getli

25、ne name /dev/tty; print name getline 是 awk 的內(nèi)置函數(shù) , 就像 c 語言的 gets, 將輸入賦值給 name 變量 .4) system函數(shù)可以執(zhí)行shell中的命令，這些命令必須用雙引號擴起.awk END system(clear); system (cat FILENAME) filename5) 條件語句 :if (expr) stat; else stat; if (expr) stat; else if stat; else stat; awk if ($7 = 2) print less than 2, $7 else if ($7

26、= 4) print less than 4, $7 else print the others, $7 datafile6) 循環(huán)語句 :while (expr) stat; for (i = 1; i = NF; i+) stat; break;continue;exit(exitcode); awk 將退出 . 退出后的 $?將會是這里的 exitcode.next; 讀取下一條記錄 . awk if ($7 = 3) next else print $0 datafile 將不會 輸出$7等于 3 的記錄.7) 數(shù)組 :awk 的數(shù)組和 pl/sql 中數(shù)組有些類似 , 都是通過哈希表

27、來實現(xiàn)的 ,其下標(biāo)可以是數(shù)字 也可以是字符串 .awk namex+=$3;ENDfor(i = 0; i NR; i+) print i, namei employeesawk idNR=$3;ENDfor (x = 1; x out; date out, 第二次操作失敗set +o noclobber 缺省 shell 行為 . date out; date out, 第二次操作成功 shopt -s extglob 使用擴展通配符 ,如 abc?(2|9)K, abc*(0-9), abc+(0-9), no(thing|body), no!(thing|body)其中 ?,*,+,和!

28、都是用于修飾后面的 ()的.3. 變量聲明 : declare, 在賦值的時候等號的兩邊不需要空格 . variable=value. declare -r variable=value 聲明只讀變量 .declare -x variable=value 相當(dāng)于 export variable=value.數(shù)組聲明 :declare -a variable=(1 2 3 4)or name=(tom tim helen) or x0=5 x4=10 數(shù)組的聲明可以不是連續(xù)的 , 這一點和 awk 中的數(shù)組比較類似 . e.g./ declare -a friends/ friends=(she

29、ryl peter louise)/ echo $friends0 sheryl/ echo $friends1 peter/ echo $friends2 louise/ echo $friends* shery1 peter louise / echo $#friends*3unset friends/ declare -a states=(ME 3=CA 2=CT) / echo $states*ME CA CT/ echo $#states*3/ echo $states0ME/ echo $states1/ echo $states2CT/ echo $states3CA unset

30、 states4. 函數(shù)聲明 :function greetingecho Hi $1 and $2;/ greeting tom joeHi tom and joe unset -f greeting5. printf 其參數(shù)類型類似于 awk 的 printf.6. 變量擴展修改符 : $variable:+word if (NULL != variable) echo word else echo $variablee.g./ unset var_name/ var_name=/ echo $var_name:+AA/ var_name=BB/ echo $var_name:+AAAA/

31、 echo $var_nameBB$variable:-wordif (NULL = variable)echo wordelseecho $variablee.g./ unset var_name/ var_name=/ echo $var_name:-AA/ AA/ var_name=BB/ echo $var_name:-AABB/ echo $var_nameBB$variable:=wordif (NULL = variable)variable=wordecho wordelseecho $variablee.g./ unset var_name/ echo $var_name:=

32、AAAA/ echo $var_nameAA/ echo $var_name:=CCAA/ echo $var_nameAA$variable:offset/$variable:offset:lengthe.g./ var_name=notebook/ echo $var_name:0:4/ note/ echo $var_name:4:4/ book/ echo $var_name:2/ tebook/ echo $var_name:0/ notebook$variable%pattern 從 variable 尾部開始 ,最小化的刪除 pattern e.g./ variable=/usr

33、/bin/local/bin/ echo $variable%/bin*/usr/bin/local$variable%pattern 從 variable 尾部開始 ,最大化的刪除 pattern / variable=/usr/bin/local/bin/ echo $variable%/bin*/usr$variable#pattern 從 variable 頭部開始 ,最小化的刪除 pattern / variable=/home/lilliput/jake/.bashrc/ echo $variable#/home/lilliput/jake/.bashrc$variable#pat

34、tern 從 variable 頭部開始 ,最大化的刪除 pattern / variable=/home/lilliput/jake/.bashrc/ echo $variable#*/.bashrc$#pattern 返回 patter 的字符數(shù)量 ./ variable=abc12367. 引用 : 可以史 shell 中的元字符無效 , 如?, , , $, *, , |, ( ), ;, &, : 單引號可以史其內(nèi)的所有元字符無效 , 也包括 .: 雙引號也可以史其內(nèi)的所有元字符無效 , 變量和命令替換除外 . 如 echo Whats time? $(date), 這里 date

35、命令將被執(zhí)行 .8. 命令替換 :variable=$(date) or variable=datevariable=basename pwd or variable=$(basename $(pwd)命令替換可以嵌套 ,第一種方法中 ,嵌套的命令必須使用 進行轉(zhuǎn)義 .eval: 可以進行命令行求值操作 .e.g./ set a b c d/ echo The last argument is $#/ The last argument is $4/ eval echo The last argument is $#/ The last argument is d9. 數(shù)學(xué)計算 :/ echo

36、 $5+4-27/ echo $5+2*311/ echo $(5+4-2)7/ echo $(5+2*3)11/ declare -i num /必須聲明 -i, 以表示整型變量 ./ num=5+5/ echo $num10/如果沒有聲明 declare -i, 則返回 5+5./ num=5 + 5-bash: + 5: command not found./ num=5 + 5/ echo $num10/ num=4*6/ echo $num24使用不同進制 (236)表示數(shù)字 ./ declare -i x=017/ echo $x15/ x=2#101/ echo $x5/ x=8

37、#17/ echo $x15/ x=16#b/ echo $x11let 專門用于數(shù)學(xué)運算的 bash 內(nèi)置命令 ./ let i=5/ let i=i+1/ echo $i6/ let i = i + 2/ echo $i8/ let i+=1/ echo $i910. 讀取用戶輸入（read）命令：/ read answeryes/ echo $answer is the right response. yes is the right reponse./ read first middle lastJon Jake Jones/ echo Hello $firstHello Jon/ r

38、ead/如果沒有變量時 , $REPLY 是缺省變量 .the Chico Nut factory/ echo I guess $REPLY keeps you busy!I guess the Chico Nut factory keeps you busy!/ read -p Enter your job titile： Enter your job title： Accountant/ echo I thought you might be an $REPLY.I thought you might be an accountant./ read -a friendsMelvin Tim

39、 Ernest/ echo Say hi to $friends2Say hi to Ernest./ echo Say hi to $friends$#friends*-1Say hi to Ernest.11. 條件結(jié)構(gòu)和流控制 :1) 條件判斷方法 : test, , , ( ), 當(dāng)$?為 0時表示成功和 true, 否則失敗和 false. / name=tom/ test $name != tom/ echo $?1 /Failure/ $name=Tom / echo $?0/ $name = Tt? / 和 test 不允許使用通配符/ echo $?1/ x=5/ y=20/

40、 $x -gt $y / echo $?1/ $x -le $y / echo $?0/ name=Tom/ friend=Joseph/ $name = Ttom / echo $?0/ $name = Ttom & $friend = Jose / echo $?1/ x=2/ y=3/ ( x 2) / echo $?1/ ( x echo $?1/ ( x = 2 & y = 3) / echo $?02）test 命令操作符 : 字符串判斷 : string1 = string2 or兩個字符串相等時返回 true. string1 = string2 string1 != stri

41、ng2 string -z string -n string 兩個字符串不等時返回 true. string 非空時返回 true. 為空時返回 true. 為非空時返回 true.邏輯判斷 :（cond1 可以包含元字符 ） string1 -a string2 or cond1 & cond2 string1 和 string2 都非空時 cond1 和 cond2 都為 true string1 -o string2 or cond1 | cond2 string1 或 string2 為非空時 cond1 或 cond2 為 true. ! string orstring 為空 !co

42、nd cond 為 false.整數(shù)判斷 : int1 -eq int2 int1等于 int2 int1 -ne int2 int1不等于 int2 int1 -gt int2 int1大于 int2 int1 -ge int2 int1大于等于 int2 int1 -lt int2 int1小于 int2 int1 -le int2 int1小于等于 int2文件判斷 file1 -nt file2 file1 -ot file2 file1 比 file2 新file1 比 file2 舊文件檢驗 : -d $file or表示判斷目錄是否存在表示判斷文件是否存在 -d $file -e $file or -e $file -f $file or -f $file 表示判斷非目錄普通文件