編譯原理：第四章 詞法分析

1、第 4 章 詞法分析4.1 詞法分析的基本概念4.2 詞法分析程序的設(shè)計與實現(xiàn)4.3 算術(shù)常數(shù)處理機的設(shè)計【內(nèi)容提要】 詞法分析程序又稱掃描器，任務(wù)有二：(1) 識別單詞 從用戶的源程序中把單詞分離出來;(2) 翻譯單詞 把單詞轉(zhuǎn)換成機內(nèi)表示，便于后續(xù)處理。4.1.1 單詞的分類與識別 1. 單詞的分類 標識符 用戶給一些變量起的名字； 常數(shù) 以自身形態(tài)面對用戶和系統(tǒng)； 關(guān)鍵字系統(tǒng)內(nèi)部定義，具有固定的意義， 界符單字符界符 + - * / ， ； ： = 雙字符界符 := = = = /* */ 按單詞的語法功能可分為：如：算數(shù)常數(shù)，邏輯常數(shù)，字符串常數(shù)， 通常用來區(qū)分語法單元； 2. 單詞的

2、識別問題：字母開頭關(guān)鍵字或標識符；數(shù)字開頭數(shù)值型常量； 或 “ 開頭字符型常量或字符串常量；其它多數(shù)以自身形態(tài)識別之，如 + ,- , = , ;= , != ,= , 如何區(qū)別關(guān)鍵字和標識符？ 現(xiàn)在，大多數(shù)編譯程序使用“保留字”，即標識符不能用作關(guān)鍵字。系統(tǒng)預(yù)先造好關(guān)鍵字表，拼好的字符串，先查“關(guān)鍵字”表，查到了，視為關(guān)鍵字，否則，視為標識符。簡單識別方法 程序設(shè)計語言的單詞不但類別不同，而且長短不一，機內(nèi)表示可以使： 語法信息，即單詞的分類碼。語義信息，如：數(shù)組維數(shù)， 上下界，類型等；TOKEN: 目前，大多數(shù)采用如下 二元式 形式： 長短統(tǒng)一； 語法、語義信息分開。 4.1.2 單詞的機

3、內(nèi)表示 類 值i 名字 c 123k whilep 數(shù)值型。 算術(shù)常數(shù)處理機的功能： 識別器（有限自動機主機） 翻譯器（在自動機的狀態(tài)節(jié)點處，插入 算術(shù)常數(shù)的基本形式：尾數(shù) 指數(shù)ddd.ddd e(+|-)ddd；4.3.1 識別器設(shè)計 帶有翻譯功能的自動機稱為處理機；其結(jié)構(gòu)可分為兩個部分： 翻譯子程序）+dd-ddddd.e+|-整數(shù)小數(shù)e指數(shù)e 一個算數(shù)常數(shù)識別器的設(shè)計：其中 d(數(shù)字)節(jié)點，識別整數(shù)；(泛指單詞的后繼符)；，節(jié)點，識別小數(shù)；節(jié)點，識別e指數(shù)；4.3.2 翻譯器設(shè)計1. 算法設(shè)計：設(shè)置參數(shù)如下： n：拼尾數(shù)值變量； 每當讀入尾數(shù)數(shù)字d時： n:=10*n+val(d);【注

4、】 參數(shù)初值，分別為：n=p=m=t=0; e=1num = n*10e*P-m結(jié)果變量:Val(d)字符轉(zhuǎn)數(shù)值函數(shù)p：拼指數(shù)值變量； 每當讀入指數(shù)數(shù)字d時： p:=10*p+val(d); m：小數(shù)位數(shù)變量; 每當讀入小數(shù)數(shù)字d時： m:=m+1;e：指數(shù)的符號變量（+：為1，-：為-1）；t：類型變量（整型：為0，實型：為1）；【注】 val(d) 字符型轉(zhuǎn)數(shù)值型函數(shù)。 設(shè)：在狀態(tài)i結(jié)點處的語義動作為qi； q1：初始化，n:=p:=m:=t:=0；e:=1；num:=0； 2. 狀態(tài)節(jié)點處動作函數(shù)設(shè)計： q2：n:=10*n+val(d)； q3：t:=1; q4：n:=10*n+val

5、(d)； m:=m+1； q5：t:=1;q6：if - then e:=-1；q7：p:=10*p+val(d)； 開始結(jié)束state:=1getchar(ch)查變換表： (state,ch)= ? = =ok回答:noynystate:= nSemfun(state)計算：num= n*10e*P-m執(zhí)行翻譯子程序常數(shù)的轉(zhuǎn)換結(jié)果常數(shù)處理機程序框圖： 算術(shù)常數(shù)處理過程示例：例如：8.67e-12# 的翻譯過程：【結(jié)果】 num=n*10e*p-m=867*10-1*12-2=867*10-14符號變換nmpet翻譯狀態(tài)#21e76.8ok7754432867868210121000-1-1-111111111100001086720q(6)6q(4)48672q(7)78001q(3)3q(4)48672q(7)7q(2)2q(1)1-68672011q(5)5常數(shù)處理機常數(shù)識別器翻譯函數(shù)習題： 4.1 敘述詞法分析的任務(wù)； 4.2 程序設(shè)計語言單詞是怎樣分類的？ 4.3 敘述單詞的機內(nèi)表示的結(jié)構(gòu)和意義； 4.4 在單詞識別中，如何區(qū)分關(guān)鍵字和