天津大學(xué)編譯原理講義-Part3詞法分析3

Part3詞法分析授課：胡靜內(nèi)容提要詞法分析器的作用詞法分析程序的設(shè)計(jì)與實(shí)現(xiàn)——狀態(tài)圖詞法分析程序的自動(dòng)生成——有窮自動(dòng)機(jī)詞法分析器的自動(dòng)產(chǎn)生LEX工作過(guò)程首先，使用LEX語(yǔ)言寫(xiě)一個(gè)定義詞法分析器的源程序lex.l。然后利用LEX編譯器將lex.l轉(zhuǎn)換成C語(yǔ)言程序lex.yy.c。它包括從lex.l的正規(guī)表達(dá)式構(gòu)造的狀態(tài)轉(zhuǎn)換圖的表格形式以及使用該表格識(shí)別詞素的標(biāo)準(zhǔn)子程序。與lex.l中正規(guī)表達(dá)式相關(guān)聯(lián)的動(dòng)作是C代碼段，這些動(dòng)作可以直接加入到lex.yy.c中。最后，lex.yy.c通過(guò)C編譯器生成目標(biāo)程序，這個(gè)目標(biāo)程序就是把輸入流轉(zhuǎn)換成記號(hào)序列的詞法分析器。LEX工作過(guò)程LEX的實(shí)現(xiàn)單個(gè)正則表達(dá)式詞法分析器處理多樣的REs將所有的正則表達(dá)式的NFA聯(lián)合在一起，變成一個(gè)單一的有限自動(dòng)機(jī)LEX二義性的處理方法RE’s+優(yōu)先匹配原則+最長(zhǎng)匹配規(guī)則=詞法分析器的定義詞法分析器輸出端是Token流將tokens和終態(tài)聯(lián)系在一起。當(dāng)?shù)竭_(dá)一個(gè)終態(tài)時(shí)，就將相應(yīng)的token輸出。最長(zhǎng)匹配當(dāng)?shù)竭_(dá)一個(gè)終態(tài)時(shí)，要查看是否存在更進(jìn)一步的轉(zhuǎn)換。如果不存在，則返回當(dāng)前終態(tài)對(duì)應(yīng)的token優(yōu)先級(jí)規(guī)則當(dāng)終態(tài)對(duì)應(yīng)多個(gè)token的時(shí)候，有可能會(huì)有相同的最長(zhǎng)匹配的token將這個(gè)終結(jié)狀態(tài)和最高優(yōu)先級(jí)的token聯(lián)系起來(lái)。LEX舉例LEX舉例NFA確定化 給出狀態(tài)轉(zhuǎn)換表LEX程序舉例詞法分析總結(jié)DFA最小化

Thanksforyourtime!Questions&Answers人有了知識(shí)，就會(huì)具備各種分析能力，明辨是非的能力。所以我們要勤懇讀書(shū)，廣泛閱讀，古人說(shuō)“書(shū)中自有黃金屋。”通過(guò)閱讀科技書(shū)籍，我們能豐富知識(shí)，培養(yǎng)邏輯思維能力；通過(guò)閱讀文學(xué)作品，我們能提高文學(xué)鑒賞水平，培養(yǎng)文學(xué)情趣；通過(guò)閱讀報(bào)刊，我們能增長(zhǎng)見(jiàn)識(shí)，擴(kuò)大自己