02-2-正則表達(dá)式在自然語言處理的基本應(yīng)用

Python基礎(chǔ)Python自然語言處理第二章CONTENT目錄

01Python開發(fā)環(huán)境的搭建02正則表達(dá)式在自然語言處理中的應(yīng)用03Numpy的詳細(xì)使用方法課前回顧

Anaconda介紹Anaconda的下載與安裝

正則表達(dá)式在自然語言處理的基本應(yīng)用02匹配字符串使用轉(zhuǎn)義符抽取文本中的數(shù)字正則表達(dá)式介紹定義：正則表達(dá)式是一種特征序列，可定義某種搜索模式，其主要的功能是按照模式進(jìn)行字符串的匹配，或者字符的模式匹配。用途：1、可以將這些電子文檔的內(nèi)容從非結(jié)構(gòu)化形式轉(zhuǎn)換為結(jié)構(gòu)化的形式，以便后續(xù)的文本挖掘等工作。2、去除“噪聲”?！霸肼暋爸傅氖窃谶M(jìn)行大批量的文本片段處理時，有非常多與最終輸出文本沒有關(guān)系的文字信息。在眾多處理自然語言的手段之中。正則表達(dá)式是最基本的，也是比較好用的手段之一，正確地學(xué)習(xí)并且熟練地掌握正則表達(dá)式在Python編程當(dāng)中的應(yīng)用，可以幫助我們在格式較為復(fù)雜的文本中抽取所需的文本信息。匹配字符串在Python程序設(shè)計當(dāng)中，正則表達(dá)式是通過re模塊來實(shí)現(xiàn)的。在各個實(shí)例當(dāng)中，會使用到re模塊當(dāng)中的一個方法—re.search（regex，string)。該方法通過檢查字符串string當(dāng)中是否存在正則表達(dá)式regex。如果存在并且成功匹配，則表達(dá)式會返回一個match對象；否則，表達(dá)式返回None。匹配字符串以下為一段文字信息，句子與句子之間均以句號分開。具體的文本信息如下所示：在自然語言處理當(dāng)中，情感分析是一段文字表達(dá)的情緒狀態(tài)。其中，一段文本可以是一個句子、一個段落或者一個文檔。情緒狀態(tài)可以是劃分為兩類，例如正面、負(fù)面，喜悅、憂傷；也可以是三類，例如積極、中性、消極等。情感分析被應(yīng)用在大量的在線服務(wù)中，例如，電子商務(wù)，像淘寶、京東；公共服務(wù)，像攜程、去哪兒網(wǎng)；以及電影評價，例如豆瓣和歐美的IMDB等。匹配字符串例1:使用正則表達(dá)式提取含有“情感”這個關(guān)鍵字所在的句子。importretext_string="在自然語言處理當(dāng)中，情感分析是一段文字表達(dá)的情緒狀態(tài)。其中，一段文本可以是一個句子、一個段落或者一個文檔。情緒狀態(tài)可以是劃分為兩類，例如正面、負(fù)面，喜悅、憂傷；也可以是三類，例如積極、中性、消極等。情感分析被應(yīng)用在大量的在線服務(wù)中，例如，電子商務(wù)，像淘寶、京東；公共服務(wù)，像攜程、去哪兒網(wǎng)；以及電影評價，例如豆瓣和歐美的IMDB等。"regex="情感"#以句號為分隔符通過spilt切分p_string=text_string.split('。')forlineinp_string:#search方法是用來查找匹配當(dāng)前行是否匹配這個regex，返回的是一個match對象ifre.search(regex,line)isnotNone:#如果匹配到，打印這行信息print(line)匹配字符串Python代碼運(yùn)行輸出的最終效果為：在自然語言處理當(dāng)中，情感分析是一段文字表達(dá)的情緒狀態(tài)情感分析被應(yīng)用在大量的在線服務(wù)中，例如，電子商務(wù)，像淘寶、京東；公共服務(wù)，像攜程、去哪兒網(wǎng)；以及電影評價，例如豆瓣和歐美的IMDB等匹配字符串例2:使用正則表達(dá)式匹配任意一個字符。符號含義.

匹配任意一個字符為了便于理解，舉以下例子進(jìn)行闡述：

正則表達(dá)式可以匹配的例子不能匹配的例子”a.c“"abc","branch""add","crash""..t""bat","oat""it","table"匹配字符串接下來是一個查找“情”字與任意一個字組成的關(guān)鍵字所在的句子的例子：importretext_string="在自然語言處理當(dāng)中，情感分析是一段文字表達(dá)的情緒狀態(tài)。其中，一段文本可以是一個句子、一個段落或者一個文檔。情緒狀態(tài)可以是劃分為兩類，例如正面、負(fù)面，喜悅、憂傷；也可以是三類，例如積極、中性、消極等。情感分析被應(yīng)用在大量的在線服務(wù)中，例如，電子商務(wù)，像淘寶、京東；公共服務(wù)，像攜程、去哪兒網(wǎng)；以及電影評價，例如豆瓣和歐美的IMDB等。"regex="情."p_string=text_string.split('。')forlineinp_string:ifre.search(regex,line)isnotNone:print(line)匹配字符串例3:使用正則表達(dá)式匹配起始字符串和結(jié)尾字符串。符號含義^匹配開始的字符串$匹配結(jié)尾的字符串為了方便理解，對上表做個解釋：符號含義^a匹配所有以字母a開頭的字符串a(chǎn)$匹配所有以字母a結(jié)尾的字符串匹配字符串接下來以上述字符串為例，具體演示如何查找以“情感”這兩個字作為開頭的句子：importretext_string="在自然語言處理當(dāng)中，情感分析是一段文字表達(dá)的情緒狀態(tài)。其中，一段文本可以是一個句子、一個段落或者一個文檔。情緒狀態(tài)可以是劃分為兩類，例如正面、負(fù)面，喜悅、憂傷；也可以是三類，例如積極、中性、消極等。情感分析被應(yīng)用在大量的在線服務(wù)中，例如，電子商務(wù)，像淘寶、京東；公共服務(wù)，像攜程、去哪兒網(wǎng)；以及電影評價，例如豆瓣和歐美的IMDB等。"regex="^情感"p_string=text_string.split('。')forlineinp_string: ifre.search(regex,line)isnotNone: print(line)匹配字符串例4:使用正則表達(dá)式匹配多個字符符號含義[]匹配多個字符為了便于理解，舉以下實(shí)例作為解釋符號含義[bcr]at匹配“bat”“cat”以及“rat”匹配字符串需要實(shí)現(xiàn)的功能是：提取以[重要的]或者[緊要的]開頭的新聞標(biāo)題。具體實(shí)現(xiàn)的Python代碼如下所示：importretext_string=["[重要的]隆重舉行慶祝第36個教師節(jié)暨表彰大會","遼寧科技學(xué)院舉行“弘揚(yáng)抗疫精神立志成才報國”主題升旗儀式。","[緊要的]各大高校召開2020年秋季教學(xué)工作會議"]regex="^\[[重緊]..\]"forlineintext_string:ifre.search(regex,line)isnotNone:print(line)else:print('notmatch')正則表達(dá)式在自然語言處理的基本應(yīng)用02匹配字符串使用轉(zhuǎn)義符抽取文本中的數(shù)字使用轉(zhuǎn)義符“\”在正則表達(dá)式中作為轉(zhuǎn)義字符假設(shè)需要對文本中的字符“\”進(jìn)行匹配，正則表達(dá)式可以使用r“\”去表示。同理，r“\d”表示的是匹配一個數(shù)字的“\d”。r”\”與”\\\\”的效果是一樣的。Python的原生字符串的存在可以解決很多問題，比如檢查是否漏寫了反斜杠以及查看反斜杠是否匹配，表達(dá)式的書寫也比較直觀。使用轉(zhuǎn)義符舉個具體的實(shí)例進(jìn)行說明，如下所示：importreifre.search(r"\\","youareb\eautiful")isnotNone: print("matchit")else: print("notmatch")使用正則表達(dá)式可以實(shí)現(xiàn)對字符串”youareb\eautiful”當(dāng)中的反斜杠進(jìn)行匹配正則表達(dá)式在自然語言處理的基本應(yīng)用02匹配字符串使用轉(zhuǎn)義符抽取文本中的數(shù)字抽取文本中的數(shù)字1.通過正則表達(dá)式匹配年份importreyear_strings=[]strings=['October2,2018','OnMay2,2020,IwasawardedtheBestIndividualAward','342studentschosetotakethepostgraduateentranceexaminationthisyear']forstringinstrings:ifre.search('[1-2][0-9]{3}',string):#字符串有英文有數(shù)字，匹配其中的數(shù)字部分，并且是在1000~2999之間，{3}代表的是重復(fù)之前的[0-9]三次，是[0-9][0-9][0-9]的簡化寫法。 year_strings.append(string)print(year_strings)結(jié)果：['October2,2018','OnMay2,2020,IwasawardedtheBestIndividualAward']抽取文本中的數(shù)字2.抽取所有的年份在Python當(dāng)中,模塊re當(dāng)中還有另外一個方法findall()，該方法的功能是返回所有與正則表達(dá)式匹配的部分字符串。舉個例子，re.findall(“[a-z]”，“ksh468”)返回的結(jié)果是[“k”，“s”，“h”]。抽取文本中的數(shù)字2.抽取所有的年份importreyears