正則表達(dá)式簡(jiǎn)介

1、vi替換命令簡(jiǎn)介(在最后 :) )- - 英文版原文譯者按：原文因?yàn)槟甏眠h(yuǎn)，文中很多鏈接早已過(guò)期（主要是關(guān)于vi、sed等工具的介紹和手冊(cè)），本譯文中已將此類鏈接刪除，如需檢查這些鏈接可以查看上面鏈接的原文。除此之外基本照原文直譯，括號(hào)中有“譯者按”的部分是譯者補(bǔ)充的說(shuō)明。如有內(nèi)容方面的問(wèn)題請(qǐng)直接和Steve Mansor聯(lián)系，當(dāng)然，如果你只寫中文，也可以和我聯(lián)系。目 錄什么是正則表達(dá)式 范例 簡(jiǎn)單 中級(jí)（神奇的咒語(yǔ)） 困難（不可思議的象形文字）不同工具中的正則表達(dá)式 什么是正則表達(dá)式一個(gè)正則表達(dá)式，就是用某種模式去匹配一類字符串的一個(gè)公式。很多人因?yàn)樗鼈兛瓷先ケ容^古怪而且復(fù)雜所以不敢去使用

2、很不幸，這篇文章也不能夠改變這一點(diǎn)，不過(guò)，經(jīng)過(guò)一點(diǎn)點(diǎn)練習(xí)之后我就開始覺得這些復(fù)雜的表達(dá)式其實(shí)寫起來(lái)還是相當(dāng)簡(jiǎn)單的，而且，一旦你弄懂它們，你就能把數(shù)小時(shí)辛苦而且易錯(cuò)的文本處理工作壓縮在幾分鐘（甚至幾秒鐘）內(nèi)完成。正則表達(dá)式被各種文本編輯軟件、類庫(kù)（例如Rogue Wave的tools.h+）、腳本工具（像awk/grep/sed）廣泛的支持，而且像Microsoft的Visual C+這種交互式IDE也開始支持它了。 我們將在如下的章節(jié)中利用一些例子來(lái)解釋正則表達(dá)式的用法，絕大部分的例子是基于vi中的文本替換命令和grep文件搜索命令來(lái)書寫的，不過(guò)它們都是比較典型的例子，其中的概念可以在sed、

3、awk、perl和其他支持正則表達(dá)式的編程語(yǔ)言中使用。你可以看看不同工具中的正則表達(dá)式這一節(jié)，其中有一些在別的工具中使用正則表達(dá)式的例子。還有一個(gè)關(guān)于vi中文本替換命令（s）的簡(jiǎn)單說(shuō)明附在文后供參考。正則表達(dá)式基礎(chǔ)正則表達(dá)式由一些普通字符和一些元字符（metacharacters）組成。普通字符包括大小寫的字母和數(shù)字，而元字符則具有特殊的含義，我們下面會(huì)給予解釋。 在最簡(jiǎn)單的情況下，一個(gè)正則表達(dá)式看上去就是一個(gè)普通的查找串。例如，正則表達(dá)式testing中沒有包含任何元字符，它可以匹配testing和123testing等字符串，但是不能匹配Testing。要想真正的用好正則表達(dá)式，正確的理解

4、元字符是最重要的事情。下表列出了所有的元字符和對(duì)它們的一個(gè)簡(jiǎn)短的描述。 元字符描述. 匹配任何單個(gè)字符。例如正則表達(dá)式r.t匹配這些字符串：rat、rut、r t，但是不匹配root。 $ 匹配行結(jié)束符。例如正則表達(dá)式weasel$ 能夠匹配字符串Hes a weasel的末尾，但是不能匹配字符串They are a bunch of weasels.。 匹配一行的開始。例如正則表達(dá)式When in能夠匹配字符串When in the course of human events的開始，但是不能匹配What and When in the。* 匹配0或多個(gè)正好在它之前的那個(gè)字符。例如正則表達(dá)式

5、.*意味著能夠匹配任意數(shù)量的任何字符。 這是引用府，用來(lái)將這里列出的這些元字符當(dāng)作普通的字符來(lái)進(jìn)行匹配。例如正則表達(dá)式$被用來(lái)匹配美元符號(hào)，而不是行尾，類似的，正則表達(dá)式.用來(lái)匹配點(diǎn)字符，而不是任何字符的通配符。 c1-c2 c1-c2 匹配括號(hào)中的任何一個(gè)字符。例如正則表達(dá)式raout匹配rat、rot和rut，但是不匹配ret?？梢栽诶ㄌ?hào)中使用連字符-來(lái)指定字符的區(qū)間，例如正則表達(dá)式0-9可以匹配任何數(shù)字字符；還可以制定多個(gè)區(qū)間，例如正則表達(dá)式A-Za-z可以匹配任何大小寫字母。另一個(gè)重要的用法是“排除”，要想匹配除了指定區(qū)間之外的字符也就是所謂的補(bǔ)集在左邊的括號(hào)和第一個(gè)字符之間使用字符，

6、例如正則表達(dá)式269A-Z 將匹配除了2、6、9和所有大寫字母之外的任何字符。 匹配詞（word）的開始（）。例如正則表達(dá)式能夠匹配字符串for the wise中的the，但是不能匹配字符串otherwise中的the。注意：這個(gè)元字符不是所有的軟件都支持的。( ) 將 ( 和 ) 之間的表達(dá)式定義為“組”（group），并且將匹配這個(gè)表達(dá)式的字符保存到一個(gè)臨時(shí)區(qū)域（一個(gè)正則表達(dá)式中最多可以保存9個(gè)），它們可以用 1 到9 的符號(hào)來(lái)引用。| 將兩個(gè)匹配條件進(jìn)行邏輯“或”（Or）運(yùn)算。例如正則表達(dá)式(him|her) 匹配it belongs to him和it belongs to her，

7、但是不能匹配it belongs to them.。注意：這個(gè)元字符不是所有的軟件都支持的。+ 匹配1或多個(gè)正好在它之前的那個(gè)字符。例如正則表達(dá)式9+匹配9、99、999等。注意：這個(gè)元字符不是所有的軟件都支持的。? 匹配0或1個(gè)正好在它之前的那個(gè)字符。注意：這個(gè)元字符不是所有的軟件都支持的。i i,j 匹配指定數(shù)目的字符，這些字符是在它之前的表達(dá)式定義的。例如正則表達(dá)式A0-93 能夠匹配字符A后面跟著正好3個(gè)數(shù)字字符的串，例如A123、A348等，但是不匹配A1234。而正則表達(dá)式0-94,6 匹配連續(xù)的任意4個(gè)、5個(gè)或者6個(gè)數(shù)字字符。注意：這個(gè)元字符不是所有的軟件都支持的。最簡(jiǎn)單的元字符

8、是點(diǎn)，它能夠匹配任何單個(gè)字符（注意不包括新行符）。假定有個(gè)文件test.txt包含以下幾行內(nèi)容：he is a rathe is in a rutthe food is RottenI like root beer我們可以使用grep命令來(lái)測(cè)試我們的正則表達(dá)式，grep命令使用正則表達(dá)式去嘗試匹配指定文件的每一行，并將至少有一處匹配表達(dá)式的所有行顯示出來(lái)。命令 grep r.t test.txt在test.txt文件中的每一行中搜索正則表達(dá)式r.t，并打印輸出匹配的行。正則表達(dá)式r.t匹配一個(gè)r接著任何一個(gè)字符再接著一個(gè)t。所以它將匹配文件中的rat和rut，而不能匹配Rotten中的Rot，

9、因?yàn)檎齽t表達(dá)式是大小寫敏感的。要想同時(shí)匹配大寫和小寫字母，應(yīng)該使用字符區(qū)間元字符（方括號(hào)）。正則表達(dá)式Rr能夠同時(shí)匹配R和r。所以，要想匹配一個(gè)大寫或者小寫的r接著任何一個(gè)字符再接著一個(gè)t就要使用這個(gè)表達(dá)式：Rr.t。 要想匹配行首的字符要使用抑揚(yáng)字符（）又是也被叫做插入符。例如，想找到text.txt中行首he打頭的行，你可能會(huì)先用簡(jiǎn)單表達(dá)式he，但是這會(huì)匹配第三行的the，所以要使用正則表達(dá)式he，它只匹配在行首出現(xiàn)的h。 有時(shí)候指定“除了都匹配”會(huì)比較容易達(dá)到目的，當(dāng)抑揚(yáng)字符（）出現(xiàn)在方括號(hào)中是，它表示“排除”，例如要匹配he ，但是排除前面是t or s的情性（也就是the和she），

10、可以使用：sthe。 可以使用方括號(hào)來(lái)指定多個(gè)字符區(qū)間。例如正則表達(dá)式A-Za-z匹配任何字母，包括大寫和小寫的；正則表達(dá)式A-Za-zA-Za-z* 匹配一個(gè)字母后面接著0或者多個(gè)字母（大寫或者小寫）。當(dāng)然我們也可以用元字符+做到同樣的事情，也就是：A-Za-z+ ，和A-Za-zA-Za-z*完全等價(jià)。但是要注意元字符+ 并不是所有支持正則表達(dá)式的程序都支持的。關(guān)于這一點(diǎn)可以參考后面的正則表達(dá)式語(yǔ)法支持情況。要指定特定數(shù)量的匹配，要使用大括號(hào)（注意必須使用反斜杠來(lái)轉(zhuǎn)義）。想匹配所有100和1000的實(shí)例而排除10和10000，可以使用：102,3，這個(gè)正則表達(dá)式匹配數(shù)字1后面跟著2或者3個(gè)

11、0的模式。在這個(gè)元字符的使用中一個(gè)有用的變化是忽略第二個(gè)數(shù)字，例如正則表達(dá)式03, 將匹配至少3個(gè)連續(xù)的0。簡(jiǎn)單的例子這里有一些有代表性的、比較簡(jiǎn)單的例子。 vi 命令作用:%s/ */ /g把一個(gè)或者多個(gè)空格替換為一個(gè)空格。:%s/ *$/去掉行尾的所有空格。:%s/ /在每一行頭上加入一個(gè)空格。:%s/0-90-9* /去掉行首的所有數(shù)字字符。:%s/baeiog/bug/g將所有的bag、beg、big和bog改為bug。 :%s/t(aou)g/h1t/g將所有tag、tog和tug分別改為hat、hot和hug（注意用group的用法和使用1引用前面被匹配的字符）。中級(jí)的例子（神奇的

12、咒語(yǔ)）例1將所有方法foo(a,b,c)的實(shí)例改為foo(b,a,c)。這里a、b和c可以是任何提供給方法foo()的參數(shù)。也就是說(shuō)我們要實(shí)現(xiàn)這樣的轉(zhuǎn)換： 之前之后foo(10,7,2)foo(7,10,2)foo(x+13,y-2,10)foo(y-2,x+13,10)foo( bar(8), x+y+z, 5)foo( x+y+z, bar(8), 5)下面這條替換命令能夠?qū)崿F(xiàn)這一魔法：:%s/foo(,*),(,*),()*)/foo(2,1,3)/g現(xiàn)在讓我們把它打散來(lái)加以分析。寫出這個(gè)表達(dá)式的基本思路是找出foo()和它的括號(hào)中的三個(gè)參數(shù)的位置。第一個(gè)參數(shù)是用這個(gè)表達(dá)式來(lái)識(shí)別的：(,

13、*)，我們可以從里向外來(lái)分析它： ,除了逗號(hào)之外的任何字符,*0或者多個(gè)非逗號(hào)字符(,*)將這些非逗號(hào)字符標(biāo)記為1，這樣可以在之后的替換模式表達(dá)式中引用它(,*),我們必須找到0或者多個(gè)非逗號(hào)字符后面跟著一個(gè)逗號(hào)，并且非逗號(hào)字符那部分要標(biāo)記出來(lái)以備后用?，F(xiàn)在正是指出一個(gè)使用正則表達(dá)式常見錯(cuò)誤的最佳時(shí)機(jī)。為什么我們要使用,*這樣的一個(gè)表達(dá)式，而不是更加簡(jiǎn)單直接的寫法，例如：.*，來(lái)匹配第一個(gè)參數(shù)呢？設(shè)想我們使用模式.*來(lái)匹配字符串10,7,2，它應(yīng)該匹配10,還是10,7,？為了解決這個(gè)兩義性（ambiguity），正則表達(dá)式規(guī)定一律按照最長(zhǎng)的串來(lái)，在上面的例子中就是10,7,，顯然這樣就找出了

14、兩個(gè)參數(shù)而不是我們期望的一個(gè)。所以，我們要使用,*來(lái)強(qiáng)制取出第一個(gè)逗號(hào)之前的部分。這個(gè)表達(dá)式我們已經(jīng)分析到了：foo(,*)，這一段可以簡(jiǎn)單的翻譯為“當(dāng)你找到foo(就把其后直到第一個(gè)逗號(hào)之前的部分標(biāo)記為1”。然后我們使用同樣的辦法標(biāo)記第二個(gè)參數(shù)為2。對(duì)第三個(gè)參數(shù)的標(biāo)記方法也是一樣，只是我們要搜索所有的字符直到右括號(hào)。我們并沒有必要去搜索第三個(gè)參數(shù)，因?yàn)槲覀儾恍枰{(diào)整它的位置，但是這樣的模式能夠保證我們只去替換那些有三個(gè)參數(shù)的foo()方法調(diào)用，在foo()是一個(gè)重載（overoading）方法時(shí)這種明確的模式往往是比較保險(xiǎn)的。然后，在替換部分，我們找到foo()的對(duì)應(yīng)實(shí)例，然后利用標(biāo)記好的部

15、分進(jìn)行替換，是的第一和第二個(gè)參數(shù)交換位置。例2假設(shè)有一個(gè)CSV（comma separated value）文件，里面有一些我們需要的信息，但是格式卻有問(wèn)題，目前數(shù)據(jù)的列順序是：姓名，公司名，州名縮寫，郵政編碼，現(xiàn)在我們希望講這些數(shù)據(jù)重新組織，以便在我們的某個(gè)軟件中使用，需要的格式為：姓名，州名縮寫-郵政編碼，公司名。也就是說(shuō)，我們要調(diào)整列順序，還要合并兩個(gè)列來(lái)構(gòu)成一個(gè)新列。另外，我們的軟件不能接受逗號(hào)前后面有任何空格（包括空格和制表符）所以我們還必須要去掉逗號(hào)前后的所有空格。 這里有幾行我們現(xiàn)在的數(shù)據(jù)：Bill Jones, HI-TEK Corporation , CA, 95011Sha

16、ron Lee Smith, Design Works Incorporated, CA, 95012B. Amos , Hill Street Cafe, CA, 95013Alexander Weatherworth, The Crafts Store, CA, 95014.我們希望把它變成這個(gè)樣子： Bill Jones,CA 95011,HI-TEK CorporationSharon Lee Smith,CA 95012,Design Works IncorporatedB. Amos,CA 95013,Hill Street CafeAlexander Weatherworth,C

17、A 95014,The Crafts Store.我們將用兩個(gè)正則表達(dá)式來(lái)解決這個(gè)問(wèn)題。第一個(gè)移動(dòng)列和合并列，第二個(gè)用來(lái)去掉空格。 下面就是第一個(gè)替換命令：:%s/(,*),(,*),(,*),(.*)/1,3 4,2/這里的方法跟例1基本一樣，第一個(gè)列（姓名）用這個(gè)表達(dá)式來(lái)匹配：(,*)，即第一個(gè)逗號(hào)之前的所有字符，而姓名內(nèi)容被用1標(biāo)記下來(lái)。公司名和州名縮寫字段用同樣的方法標(biāo)記為2和3，而最后一個(gè)字段用(.*)來(lái)匹配（匹配所有字符直到行末）。替換部分則引用上面標(biāo)記的那些內(nèi)容來(lái)進(jìn)行構(gòu)造。 下面這個(gè)替換命令則用來(lái)去除空格：:%s/ t*, t*/,/g我們還是分解來(lái)看： t匹配空格/制表符， t

18、* 匹配0或多個(gè)空格/制表符， t*,匹配0或多個(gè)空格/制表符后面再加一個(gè)逗號(hào)，最后， t*, t*匹配0或多個(gè)空格/制表符接著一個(gè)逗號(hào)再接著0或多個(gè)空格/制表符。在替換部分，我們簡(jiǎn)單的我們找到的所有東西替換成一個(gè)逗號(hào)。這里我們使用了結(jié)尾的可選的g參數(shù)，這表示在每行中對(duì)所有匹配的串執(zhí)行替換（而不是缺省的只替換第一個(gè)匹配串）。 例3假設(shè)有一個(gè)多字符的片斷重復(fù)出現(xiàn)，例如： Billy tried really hard Sally tried really really hard Timmy tried really really really hard Johnny tried really r

19、eally really really hard而你想把really、really really，以及任意數(shù)量連續(xù)出現(xiàn)的really字符串換成一個(gè)簡(jiǎn)單的very（simple is good!），那么以下命令： :%s/(really )(really )*/very /就會(huì)把上述的文本變成： Billy tried very hard Sally tried very hard Timmy tried very hard Johnny tried very hard表達(dá)式(really )*匹配0或多個(gè)連續(xù)的really （注意結(jié)尾有個(gè)空格），而(really )(really )* 匹配1

20、個(gè)或多個(gè)連續(xù)的really 實(shí)例。 困難的例子（不可思議的象形文字）Coming soon. 不同工具中的正則表達(dá)式OK，你已經(jīng)準(zhǔn)備使用RE（regular expressions，正則表達(dá)式），但是你并準(zhǔn)備使用vi。所以，在這里我們給出一些在其他工具中使用RE的例子。另外，我還會(huì)總結(jié)一下你在不同程序之間使用RE可能發(fā)現(xiàn)的區(qū)別。 當(dāng)然，你也可以在Visual C+編輯器中使用RE。選擇Edit-Replace，然后選擇Regular expression選擇框，F(xiàn)ind What輸入框?qū)?yīng)上面介紹的vi命令:%s/pat1/pat2/g中的pat1部分，而Replace輸入框?qū)?yīng)pat2部分。

21、但是，為了得到vi的執(zhí)行范圍和g選項(xiàng)，你要使用Replace All或者適當(dāng)?shù)氖止ind Next and Replace（譯者按：知道為啥有人罵微軟弱智了吧，雖然VC中可以選中一個(gè)范圍的文本，然后在其中執(zhí)行替換，但是總之不夠vi那么靈活和典雅）。sedSed是Stream EDitor的縮寫，是Unix下常用的基于文件和管道的編輯工具，可以在手冊(cè)中得到關(guān)于sed的詳細(xì)信息。 這里是一些有趣的sed腳本，假定我們正在處理一個(gè)叫做price.txt的文件。注意這些編輯并不會(huì)改變?cè)次募?，sed只是處理源文件的每一行并把結(jié)果顯示在標(biāo)準(zhǔn)輸出中（當(dāng)然很容易使用重定向來(lái)定制）： sed腳本描述sed s

22、/$/d price.txt刪除所有空行sed s/ t*$/d price.txt刪除所有只包含空格或者制表符的行sed s/g price.txt刪除所有引號(hào)awkawk是一種編程語(yǔ)言，可以用來(lái)對(duì)文本數(shù)據(jù)進(jìn)行復(fù)雜的分析和處理?？梢栽谑謨?cè)中得到關(guān)于awk的詳細(xì)信息。這個(gè)古怪的名字是它作者們的姓的縮寫（Aho，Weinberger和Kernighan）。 在Aho，Weinberger和Kernighan的書The AWK Programming Language中有很多很好的awk的例子，請(qǐng)不要讓下面這些微不足道的腳本例子限制你對(duì)awk強(qiáng)大能力的理解。我們同樣假定我們針對(duì)price.txt文

23、件進(jìn)行處理，跟sed一樣，awk也只是把結(jié)果顯示在終端上。 awk腳本描述awk $0 ! /$/ price.txt刪除所有空行awk NF 0 price.txtawk中一個(gè)更好的刪除所有行的辦法awk $2 /JT/ print $3 price.txt打印所有第二個(gè)字段是J或者T打頭的行中的第三個(gè)字段awk $2 ! /Mmisc/ print $3 + $4 price.txt針對(duì)所有第二個(gè)字段不包含Misc或者misc的行，打印第3和第4列的和（假定為數(shù)字）awk $3 ! /0-9+.0-9*$/ print $0 price.txt打印所有第三個(gè)字段不是數(shù)字的行，這里數(shù)字是指d

24、.d或者d這樣的形式，其中d是0到9的任何數(shù)字awk $2 /John|Fred/ print $0 price.txt如果第二個(gè)字段包含John或者Fred則打印整行g(shù)repgrep是一個(gè)用來(lái)在一個(gè)或者多個(gè)文件或者輸入流中使用RE進(jìn)行查找的程序。它的name編程語(yǔ)言可以用來(lái)針對(duì)文件和管道進(jìn)行處理?？梢栽谑謨?cè)中得到關(guān)于grep的完整信息。這個(gè)同樣古怪的名字來(lái)源于vi的一個(gè)命令，g/re/p，意思是global regular expression print。 下面的例子中我們假定在文件phone.txt中包含以下的文本，其格式是姓加一個(gè)逗號(hào)，然后是名，然后是一個(gè)制表符，然后是電話號(hào)碼：Fra

25、ncis, John 5-3871 Wong, Fred 4-4123 Jones, Thomas 1-4122 Salazar, Richard 5-2522grep命令描述grep t5-.1 phone.txt把所有電話號(hào)碼以5開頭以1結(jié)束的行打印出來(lái)，注意制表符是用t表示的grep S * R phone.txt打印所有姓以S打頭和名以R打頭的行g(shù)rep JW phone.txt打印所有姓開頭是J或者W的行g(shù)rep , .t phone.txt打印所有姓是4個(gè)字符的行，注意制表符是用t表示的grep -v JW phone.txt打印所有不以J或者W開頭的行g(shù)rep M-Z phone

26、.txt打印所有姓的開頭是M到Z之間任一字符的行g(shù)rep M-Z.*12 phone.txt打印所有姓的開頭是M到Z之間任一字符，并且點(diǎn)號(hào)號(hào)碼結(jié)尾是1或者2的行egrepegrep是grep的一個(gè)擴(kuò)展版本，它在它的正則表達(dá)式中支持更多的元字符。下面的例子中我們假定在文件phone.txt中包含以下的文本，其格式是姓加一個(gè)逗號(hào)，然后是名，然后是一個(gè)制表符，然后是電話號(hào)碼： Francis, John 5-3871Wong, Fred 4-4123Jones, Thomas 1-4122Salazar, Richard 5-2522egrep commandDescriptionegrep (Jo

27、hn|Fred) phone.txt打印所有包含名字John或者Fred的行egrep John|22$|W phone.txt打印所有包含John 或者以22結(jié)束或者以W的行egrep net(work)?s report.txt從report.txt中找到所有包含networks或者nets的行正則表達(dá)式語(yǔ)法支持情況命令或環(huán)境. $( ) ?+|( )viX X X X X Visual C+X X X X X awkX X X X X X X X sedX X X X X X TclX X X X X X X X X exX X X X X X grepX X X X X X egrep

28、X XX X X X X X X fgrepX X X X X perlXXXXXXXXXvi替換命令簡(jiǎn)介Vi的替換命令： :ranges/pat1/pat2/g其中 : 這是Vi的命令執(zhí)行界面。 range 是命令執(zhí)行范圍的指定，可以使用百分號(hào)（%）表示所有行，使用點(diǎn)（.）表示當(dāng)前行，使用美元符號(hào)（$）表示最后一行。你還可以使用行號(hào)，例如10,20表示第10到20行，.,$表示當(dāng)前行到最后一行，.+2,$-5表示當(dāng)前行后兩行直到全文的倒數(shù)第五行，等等。 s 表示其后是一個(gè)替換命令。pat1 這是要查找的一個(gè)正則表達(dá)式，這篇文章中有一大堆例子。pat2 這是希望把匹配串變成的模式的正則表達(dá)式，這篇文章中有一大堆例子。 g 可選標(biāo)志，帶這個(gè)標(biāo)志表示替換將針對(duì)行中每個(gè)匹配的串進(jìn)行，否則則只替換行中第一個(gè)匹配串。網(wǎng)上有很多vi的在線手冊(cè)，你可以訪問(wèn)他們以獲得更加完整的信息。要求:把 /var/lib/mysql/smarter_ETL 下的小于1M的表移到別的服務(wù)器上因?yàn)橐粋€(gè)表有三個(gè)文件, 如: 表Book , Book.frm Book.MYD Book.MYI 有可能Book.MYD大于1Mfind . -size -1024k -name *.MYD myd.txtmyd.txt里的內(nèi)容是:./MerEmailLog.MYD./MerCreditCard.MYD./MerCha