編譯原理詞法分析器2010課程設(shè)計(jì)

1、 目錄 第1章 概述21.1 編譯原理概述21.1.1 詞法分析器概述2第2章 詞法分析器課程設(shè)計(jì)22.1課程設(shè)計(jì)目的22.2 課程設(shè)計(jì)要求及內(nèi)容2第3章 問(wèn)題分析及相關(guān)原理介紹33.1 設(shè)計(jì)思想及算法33.2 算法實(shí)現(xiàn)及模擬4第4章 設(shè)計(jì)思路及關(guān)鍵問(wèn)題的解決方法54.1 設(shè)計(jì)流程圖5第5章 運(yùn)行結(jié)果及測(cè)試分析65.1運(yùn)行結(jié)果及功能說(shuō)明6心得體會(huì)7附錄 源程序8 第1章 概述1.1 編譯原理概述編譯原理是介紹編譯器構(gòu)造的一般原理和實(shí)現(xiàn)方法的課程，其中包括詞法分析、語(yǔ)法分析、語(yǔ)義分析、中間代碼生成、目標(biāo)代碼生成優(yōu)化、獨(dú)立于機(jī)器的優(yōu)化和依賴于機(jī)器的優(yōu)化等。編譯器技術(shù)的發(fā)展，特別是計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)

2、展對(duì)編譯技術(shù)的推動(dòng)，使其成為計(jì)算機(jī)專業(yè)人士所必需具備的基礎(chǔ)知識(shí)之一。1.1.1 詞法分析器概述詞法分析器是通過(guò)詞法分析程序?qū)?gòu)成源程序的字符串從左到右的掃描，逐個(gè)字符地讀入源程序字符并按照構(gòu)詞規(guī)則切分成一個(gè)一個(gè)具有獨(dú)立意義的單詞。并確定其屬性（如保留字、標(biāo)識(shí)符、運(yùn)算符、界限符和常量等）。再把它們轉(zhuǎn)換稱長(zhǎng)度統(tǒng)一的標(biāo)準(zhǔn)形式屬性字（TOKEN）。而詞法分析器的功能是輸入源程序，輸出單詞符號(hào)，并且詞法分析器有兩種處理結(jié)構(gòu)：一種是把詞法分析器作為主程序;另一種是把詞法分析器作為語(yǔ)法分析程序調(diào)用的子程序。下面我所要介紹的詞法分析器是第一種把它作為主程序。第2章 詞法分析器課程設(shè)計(jì)2.1課程設(shè)計(jì)目的通過(guò)課程

3、設(shè)計(jì)進(jìn)一步理解高級(jí)語(yǔ)言在計(jì)算機(jī)中的執(zhí)行過(guò)程，加深對(duì)編譯原理中重點(diǎn)算法和編譯技術(shù)的理解，提高自己的編程能力，培養(yǎng)好的程序設(shè)計(jì)風(fēng)格。同時(shí)通過(guò)某種可視化編程語(yǔ)言的應(yīng)用，具備初步的Windows環(huán)境下的編程思想2.2 課程設(shè)計(jì)要求及內(nèi)容詞法分析器設(shè)計(jì)內(nèi)容及要求（1）設(shè)計(jì)內(nèi)容：運(yùn)用所學(xué)習(xí)的編程工具編寫詞法分析器，本次設(shè)計(jì)我采用C+編寫實(shí)現(xiàn)其輸入輸出功能。（2）設(shè)計(jì)要求及說(shuō)明：完成下述文法所描述的單詞符號(hào)的詞法分析程序。 -| -| -+|-|*|/|;|(|)|=|=| -a|z|A|Z -0|9 - 說(shuō)明：1 假定該語(yǔ)言對(duì)字母的大小寫不敏感，由指定文件讀入預(yù)分析的源程序，分析結(jié)果再寫入指定文件；2 語(yǔ)

4、言關(guān)鍵字為：if,else,then,for,while,do；第3章 問(wèn)題分析及相關(guān)原理介紹3.1 設(shè)計(jì)思想及算法（1）主要算法的設(shè)計(jì)：該詞法分析器首先掃描文件，識(shí)別出一系列具有獨(dú)立意義的基本語(yǔ)法單位單詞，包括關(guān)鍵字、保留字、標(biāo)識(shí)符、各種常數(shù)、各種運(yùn)算符及界符等。由于我們規(guī)定的c+語(yǔ)言程序語(yǔ)句中涉及單詞較少,所以在詞法分析階段忽略了單詞輸入錯(cuò)誤的檢查,并在掃描后輸出單詞符號(hào)。規(guī)定輸出的單詞符號(hào)格式為如下的二元式:(單詞種別,單詞自身的值)。c+ 語(yǔ)言中定義了屬于這五種類型的大量的單詞，但是由于預(yù)編譯器只識(shí)別我們自定義的注釋，因此預(yù)編譯器處理的單詞集只是c+ 語(yǔ)言中定義的單詞集的一個(gè)真子集。（

5、2）算法實(shí)現(xiàn)fopen（）打開(kāi)源文件，讀入字符，對(duì)文件進(jìn)行掃描，把讀入的字符放入緩沖區(qū)中，然后對(duì)該字符進(jìn)行判斷。若是字母開(kāi)頭，則可能是關(guān)鍵字或者標(biāo)識(shí)符，因此進(jìn)入letterprocess()進(jìn)行識(shí)別。識(shí)別的過(guò)程為：將以字母開(kāi)頭的字母數(shù)字串放入char letter30中，然后進(jìn)行識(shí)別。識(shí)別的過(guò)程是先讓它與保留關(guān)鍵字表中的所有關(guān)鍵字進(jìn)行匹配，若獲得成功則說(shuō)明它是關(guān)鍵字，則輸出其二元式；否則說(shuō)明其為標(biāo)識(shí)符，這時(shí)，將它與標(biāo)識(shí)符表char *label20中的元素進(jìn)行匹配，如沒(méi)有與之相匹配的，則為其申請(qǐng)空間，將其放入標(biāo)識(shí)符表中。并輸出其二元式。若是數(shù)字開(kāi)頭，則可能是常量，因此進(jìn)入numberproce

6、ss()進(jìn)行識(shí)別。識(shí)別的過(guò)程為：將其與常量表char num20中的元素進(jìn)行匹配，如沒(méi)有與之相匹配的，則為其申請(qǐng)空間，將其放入標(biāo)識(shí)符表中。并輸出其二元式。否則進(jìn)入otherprocess()識(shí)別當(dāng)前是其它字符。在識(shí)別關(guān)系運(yùn)算符的時(shí)候，有可能是兩個(gè)字符為一個(gè)關(guān)系運(yùn)算符，所以在識(shí)別的時(shí)候要判斷連續(xù)的兩個(gè)是否為一個(gè)關(guān)系運(yùn)算符。3.2 算法實(shí)現(xiàn)及模擬數(shù)據(jù)結(jié)構(gòu)(1)關(guān)鍵字: char*keyword6=if,else,then,for,while,do;(2)運(yùn)算符和界符char *operatornum16=+,-,*,/,=,!,=,;,(,);/運(yùn)算符和界符(3)常量表和標(biāo)識(shí)符表char *num

7、20:用于存放文件中的常量；char *label20：用于存放文件中的標(biāo)識(shí)符。3.1.2 數(shù)據(jù)模塊及功能及說(shuō)明(1) search()：查找并識(shí)別當(dāng)前單詞類別，并給定單詞類別二元式碼，決定給定字符串類別碼（即單詞種別）和記錄次序碼。(2)letterprocess()： 識(shí)別當(dāng)前是數(shù)組、保留字、標(biāo)識(shí)符。(3)numprocess()： 識(shí)別當(dāng)前是常整數(shù)、小數(shù)、負(fù)小數(shù)。(4) otherprocess()： 識(shí)別當(dāng)前是其它（標(biāo)點(diǎn)符號(hào)等）。(5) fopen()： 在默認(rèn)路徑下打開(kāi)分析程序并讀入字符串。 第4章 設(shè)計(jì)思路及關(guān)鍵問(wèn)題的解決方法4.1 設(shè)計(jì)流程圖畫出總控流程圖以及取符號(hào)、取字符、查找

8、關(guān)鍵字表等子程序的控制流圖。 第5章 運(yùn)行結(jié)果及測(cè)試分析5.1運(yùn)行結(jié)果及功能說(shuō)明 心得體會(huì) 本次課程設(shè)計(jì)初步培養(yǎng)設(shè)計(jì)者對(duì)編譯器設(shè)計(jì)的思想的了解，加深對(duì)編譯原理和應(yīng)用程序的理解。通過(guò)設(shè)計(jì)調(diào)試詞法分析程序，實(shí)現(xiàn)了從程序中分出各種單詞的方法，從而加深了對(duì)該知識(shí)的理解，提高了詞法分析的實(shí)踐能力。 程序的關(guān)鍵點(diǎn)在于對(duì)對(duì)給出一段程序中的各種單詞的分離。在每段程序中，單詞種類可以分為：關(guān)鍵字，分界符，算術(shù)運(yùn)算符，關(guān)系運(yùn)算符，標(biāo)識(shí)符和常數(shù)。關(guān)鍵字的判斷則是通過(guò)與已知數(shù)組中列出的元素進(jìn)行對(duì)比，得出該單詞是否為關(guān)鍵字；分解符，算術(shù)運(yùn)算符，關(guān)系運(yùn)算符的判斷與接受到的字符進(jìn)行比較，得出該字符是否為分解符，算術(shù)運(yùn)算符或

9、者為關(guān)系運(yùn)算符。 同時(shí)在編寫程序過(guò)程中也遇到了許多問(wèn)題，如在vc+6.0中運(yùn)行是出現(xiàn)了錯(cuò)誤或是運(yùn)行結(jié)果沒(méi)有達(dá)到預(yù)期的效果，而出現(xiàn)了中斷等其他的問(wèn)題，在不斷解決問(wèn)題和發(fā)現(xiàn)問(wèn)題的過(guò)程中，我學(xué)到了很多，我體會(huì)到實(shí)踐和理論的巨大差別，并且也有所成長(zhǎng)。 附錄 源程序源程序代碼：/ Lex.cpp : 定義控制臺(tái)應(yīng)用程序的入口點(diǎn)。/#include stdafx.h#include #include using namespace std;#define NULL 0FILE *fp;char ch;char *keyword6=if,else,then,for,while,do;/關(guān)鍵字char *op

10、eratornum16=+,-,*,/,=,!=,=,;,(,),#;/運(yùn)算符和界符bool search(char searchstr,int wordtype)/查找是否是系統(tǒng)關(guān)鍵字或運(yùn)算符或界符int i;switch(wordtype)case 1:for(i=0;i=5;i+)/判斷是否是關(guān)鍵字if(strcmp(keywordi,searchstr)=0)return true; case 2:for(i=0;i=15;i+)/判斷是否是運(yùn)算符或界符 if(strcmp(operatornumi,searchstr)=0) return true; return false;/*/

11、char letterprocess (char ch)/字母處理程序int i=-1;char letter30;/定義一個(gè)字符串最大長(zhǎng)度為30while (isalnum(ch)!=0)/判斷是否為數(shù)字或字母，從文件中獲得一個(gè)字符串 letter+i=ch; ch=fgetc(fp);letteri+1=0;/字符串結(jié)束if (search(letter,1)/調(diào)用search方法，判斷是否是系統(tǒng)關(guān)鍵字if(strcmp(keyword0,letter)=0)cout(1,keyword0)endl;else if(strcmp(keyword1,letter)=0)cout(2,keyw

12、ord1)endl;else if(strcmp(keyword2,letter)=0)cout(3,keyword2)endl;else if(strcmp(keyword3,letter)=0)cout(4,keyword3)endl;else if(strcmp(keyword4,letter)=0)cout(5,keyword4)endl;else if(strcmp(keyword5,letter)=0)cout(6,keyword5)endl;else/若不是關(guān)鍵字，則為一般字符串 cout(10,letter)endl;return(ch);/*/char numberproce

13、ss(char ch)/數(shù)字處理程序int i=-1;char num20;while (isdigit(ch)!=0) num+i=ch; ch=fgetc(fp);if(isalpha(ch)!=0)/判斷是否為字母 while(isspace(ch)=0)/判斷是否為空格之類的，如/t,/n,/r等 num+i=ch; ch=fgetc(fp); numi+1=0; cout錯(cuò)誤！非法標(biāo)識(shí)符：numendl; goto u;numi+1=0;/數(shù)字結(jié)束 cout(11,num)endl;u: return(ch);/*/char otherprocess(char ch)/運(yùn)算符和界符處

14、理程序int i=-1;char other20;if (isspace(ch)!=0)/判斷是否為空格之類的，如/t,/n,/r等 ch=fgetc(fp); goto u;/若是，就返回該字符while (isspace(ch)=0)&(isalnum(ch)=0)/判斷字符串是否結(jié)束 other+i=ch; ch=fgetc(fp);otheri+1=0;/標(biāo)示符結(jié)束if (search(other,2)/調(diào)用search方法，判斷是否是運(yùn)算符或界符if(strcmp(operatornum0,other)=0) cout(13,operatornum0)endl; else if(st

15、rcmp(operatornum1,other)=0) cout(14,operatornum1)endl; else if(strcmp(operatornum2,other)=0) cout(15,operatornum2)endl; else if(strcmp(operatornum3,other)=0) cout(16,operatornum3)endl;else if(strcmp(operatornum4,other)=0) cout(20,operatornum4)endl; else if(strcmp(operatornum5,other)=0) cout(22,opera

16、tornum5)endl;else if(strcmp(operatornum6,other)=0) cout(23,operatornum6)endl; else if(strcmp(operatornum7,other)=0) cout(24,operatornum7)endl;else if(strcmp(operatornum8,other)=0) cout(21,operatornum8)endl; else if(strcmp(operatornum9,other)=0) cout(25,operatornum9)endl;else if(strcmp(operatornum10,

17、other)=0) cout(17,operatornum10)endl; else if(strcmp(operatornum11,other)=0) cout(18,operatornum11)endl;else if(strcmp(operatornum12,other)=0) cout(26,operatornum12)endl; else if(strcmp(operatornum13,other)=0) cout(27,operatornum13)endl;else if(strcmp(operatornum14,other)=0) cout(28,operatornum14)endl; else if(strcmp(operatornum15,other)=0) cout(0,operatornum15)endl;elsecout錯(cuò)誤！非法標(biāo)示符：otherendl;u: return (ch);/*/int _tmain(int argc, _TCHAR* argv)char str;cout*n;cout* *n;cout* 詞法分析器 *n;cout* *n;cout*n;if (fp=fopen(lex.txt,r