Linux教程課件：文本過濾和排序

文本過濾和排序本章目標(biāo)1.正則表達(dá)式的使用2.find查找命令的使用3.grep搜索命令的使用4.awk編程的使用5.sed行定位的使用6.sort排序的使用7.uniq唯一性的使用8.split分離的使用正則表達(dá)式使用-11^#只匹配行首2$#只匹配行尾3*#匹配0個(gè)或者多個(gè)單字符4[]#只匹配[]內(nèi)字符，可以是一個(gè)單字符，也可以是字符序列，可以使用*表示[]內(nèi)字符序列范圍，如用[1-5]代替[12345]5\#只用來屏蔽一個(gè)元字符的特殊含義正則表達(dá)式使用-26.#只匹配任意單字符7pattern\{n\}#匹配n次pattern8pattern\{n,\}#匹配n次以上pattern9pattern\{n,m\}#匹配n到m次pattern10...x..x..x#匹配文件或目錄權(quán)限的屬性非常有用正則表達(dá)式使用-311^只允許在一行的開始匹配字符或單詞^d篩選出以d開頭的文件屬性12^$#匹配空行13^.$#匹配包含一個(gè)字符的行14kkk$#匹配以kkk結(jié)尾的所有字符15\*\.pas#匹配以*.pas結(jié)尾的所有字符或文件正則表達(dá)式使用-416a\{2\}b#a出現(xiàn)兩次，aab17a\{4,\}b#a至少出現(xiàn)4次，aaaab,aaaaab..18a\{2,4\}#a出現(xiàn)次數(shù)范圍2-4次19[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}#匹配所有ip地址find查找命令使用-11find-name"*.txt"#在當(dāng)前目錄下找以txt結(jié)尾的文件2find.-name"*.txt"#在當(dāng)前目錄下找以txt結(jié)尾的文件3find.-name"[a-z]*"#在當(dāng)前目錄下找以所有字母開頭的文件4find/etc-name"host*"#在/etc目錄下找以host開頭的文件5find.-perm755#在當(dāng)前目錄下找屬性為755的文件find查找命令使用-26find-userroot#在當(dāng)前目錄下找屬主為root的文件7find-nouser(這些文件為系統(tǒng)垃圾文件)#在當(dāng)前目錄下找沒有屬主的文件8nohupfind/-nouser>nousers.out#把/目錄下沒有屬主的用戶重定向到nousers.out文件中9find/var-mtime-5#在/var下找時(shí)間在5天以內(nèi)的文件10find/var-mtime+3#在/var下找文件創(chuàng)建日期超過3天的文件find查找命令使用-311find-newer"a"!-newer"b"#在當(dāng)前目錄下查找比a文件新比b文件舊的所有文件12find/etc-typed#在/etc下查找文件類型為d的目錄文件13find/etc-typel#在/etc/下查找文件類型為l的鏈接文件14find.-size+1000000c#在當(dāng)前目錄下查找文件大小大于1M的文件,1M是1000000個(gè)字節(jié)15find.-size+10#在當(dāng)前目錄下查找文件大小大于10個(gè)塊的文件,一塊是100000個(gè)字節(jié)find查找命令使用-416find.-typef-execls-l{}\;#在當(dāng)前目錄下查找普通文件，并查看他們的屬性,注意{}后的那個(gè)空格17find-name"*.log"-mtime+5-okrm{}\;#在當(dāng)前目錄下查找所有的五天以內(nèi)的日志文件，并把他們刪除掉,注意{}后的那個(gè)空格18find.-perm700|xargschmod777#找出當(dāng)前目錄下的所有權(quán)限為700的文件，并把其權(quán)限重設(shè)為77719find.-typef|xargsfile#找出當(dāng)前目錄下所有的普通文件，并查看對(duì)方的file屬性20find.-typed|xargsfile#找出當(dāng)前目錄下所有的目錄文件，并查看對(duì)方的file屬性grep搜索命令使用-11grep"a"*.txt#在所有的txt文檔中查找a這個(gè)單詞2grep"liqq"*#在的有文件中查找liqq文件3grep-c"file"a#在a文件中有多少行匹配到file4grep-n"file"a#在a文件中有多少行匹配到file,同時(shí)顯示行和行號(hào)5grep-i"file"a#在a文件中查找file,并不區(qū)分大小寫grep搜索命令使用-26grep-v"file"a#在a文件中過濾掉file所在的行7grep"2004:22:5[0-9]"a#在a文件中查找時(shí)間在2004:22:50->2004:22:59的所在行8grep"^[^210]"a#在a文件中查找不包含210的行9grep"h*p"a#查找a文件中包含h和p的行10grep"[5-8][6-9][0-3]"a#查找大于560小于893的行g(shù)rep搜索命令使用-311grep"4\{2\}"a#查找包含兩個(gè)4的行12grep"4\{2,\}"a#查找大于兩個(gè)4的行13grep"4\{2,4\}"a#查找大于兩個(gè)4小于4個(gè)4的行14grep"^$"a#查找a文件中的空行15grep"/?"a#查找a文件中包含？的行g(shù)rep搜索命令使用-416grep"^d"a#查找a文件中以d開頭的行17grep"^[^d]"a#查找a文件中不是以d開頭的行18grep"php"a|wc-l#統(tǒng)計(jì)來訪問網(wǎng)站php網(wǎng)頁的流量數(shù)awk編程語言的特點(diǎn)1.使用直譯器(Interpreter)不需先行編譯2.變量無類型之分(Typeless)3.可使用文字當(dāng)數(shù)組的下標(biāo)(AssociativeArray)4.awk撰寫程序比起使用其它語言更簡(jiǎn)潔便利且節(jié)省時(shí)間5.awk還具有一些內(nèi)建變量和函數(shù)6.awk擅于處理具數(shù)據(jù)行(Record),字段(Field)型態(tài)的資料7.awk內(nèi)建有pipe的功能,可以傳送到shell進(jìn)行加工處理8.awk編程使用-11cp/var/log/httpd/access_logfile#分析一下http日志，為下面awk篩選做準(zhǔn)備2awk'{print$0}'file|teexiao#查找出file文件中的每一列3awk'{print$1"\t"$7}'file#查找出file文件中的第1列和第七列awk編程使用-24awk'BEGIN{print"IPAccess!\n"}{print$1"\t"$7}END{print"\n\n""woshixiaoqiang!"}'file|more#查找出file文件中的第一列和第7列，并美化！awk編程使用-35catfile|awk'$0!~//'|grep"php"|wc-l#~匹配的ip地址的統(tǒng)計(jì)，!~為不匹配6awk'{if($1=="")print$0}'file#如果$1字段為，則把這一行($0)打印出來！sed行定位的使用-11sed'2'pfile#打印第二行，但其實(shí)全部記錄都要打印2sed-n'2'pfile#只打印第二行，不打印其它的行3sed-n'1,4'pfile#從第一行到第四行的記錄4sed-n'/los/'pfile#打印匹配los的行5sed-n'4,/los/'pfile#打印從第四行到匹配los的之間的所有行sed行定位的使用-26sed-n'/^$/='file#打印出空行的所有的行號(hào)（^$是空行的意思）7sed-n-e'/^$/p'-e'/^$/='file#即打印出空行又打印出行號(hào)8sed-n'/chinaitlab/a\shenzhen'file#sed-n-e'/4/a\aaaa'-e'1,$'p#在文件中的chinaitlab行后加一行shenzhen,并打印出來9sed-n'/chinaitlab/i\shenzhen'file#sed-n-e'/4/i\aaaa'-e'1,$'p#在文件中的chinaitlab前面加一行shenzhen,并打印出來10sed-n'/chinaitlab/c\chinaitlabshenzhen'file#在文件中的chinaitlab與shenzhen在同一行，并一同打印出來#sed-n-e'/4/c\aaaa'-e'1,$'psed行定位的使用-311sed'1,2'dfile#把第一行和第二行全部刪除12sed's/chinaitlab/chinaitlabshenzhen/g'file#把文件中所有的chinaitlab全部替換成chinaitlabshenzhen13sed-n's/chinaitlab/&hello/g'pfile#在chinaitlab之后加一個(gè)hello單詞14sed-n's/chinaitlab/hello&/g'pfile#在chinaitlab之前加一個(gè)hello單詞15sed'/china/'qfile#匹配到china時(shí)就退出打印16sed-n'/china/'lfile#直接找到china并在后面加上$uniq行定位的使用1uniq-cfile#打印每一重復(fù)行出現(xiàn)的次數(shù)，不重復(fù)即為一行，但有時(shí)統(tǒng)計(jì)會(huì)出問題，比如沒有把相同的單詞放到臨近的幾行，而且是一個(gè)在1行，其它兩個(gè)在5、6兩行，這樣的話，統(tǒng)計(jì)時(shí)會(huì)出問題，sortfile|uniq-c就可以了。2uniq-dfile#只打印重復(fù)的行3uniq-f2file#把有兩個(gè)域（即三列）的文件打印出來4awk'{print$1}'/var/log/httpd/access_log|sort|uniq-c#把a(bǔ)pache網(wǎng)站的所有訪問ip全部統(tǒng)計(jì)出來，并打印出統(tǒng)計(jì)次數(shù)5grep"php"/var/log/httpd/access_log|awk'{print$1}'|sort|uniq-c#把訪問apache的php的ip流量統(tǒng)計(jì)的次數(shù)計(jì)載下來sort行定位的使用1catfile|sort-t:-k1-r#以:為域分割符,以第一個(gè)域名，即第一列來排序，而且是倒序.2sort-cfile#檢查文件是否排序3sort-ufile#把文件中重復(fù)的行全部合并成一行,并按字母順序排列4sort-rfile#把文件中按字母的返順序排列文章5sort-t"/"+2file#按x碼來排序(雙引號(hào)中間的即為區(qū)分域的標(biāo)記，而且第一個(gè)域?yàn)?，即第三個(gè)域?yàn)?,下面通用)6sort-t"/"+2nfile#按第三列的數(shù)字來排序split行定位的使用