編譯原理詞法分析器__2010課程設(shè)計(jì)

1、-作者xxxx-日期xxxx編譯原理詞法分析器_2010課程設(shè)計(jì)【精品文檔】 目錄 第1章 概述21.1 編譯原理概述21.1.1 詞法分析器概述2第2章 詞法分析器課程設(shè)計(jì)2課程設(shè)計(jì)目的22.2 課程設(shè)計(jì)要求及內(nèi)容2第3章 問題分析及相關(guān)原理介紹33.1 設(shè)計(jì)思想及算法33.2 算法實(shí)現(xiàn)及模擬4第4章 設(shè)計(jì)思路及關(guān)鍵問題的解決方法54.1 設(shè)計(jì)流程圖5第5章 運(yùn)行結(jié)果及測試分析6運(yùn)行結(jié)果及功能說明6心得體會7附錄 源程序8 第1章 概述1.1 編譯原理概述編譯原理是介紹編譯器構(gòu)造的一般原理和實(shí)現(xiàn)方法的課程，其中包括詞法分析、語法分析、語義分析、中間代碼生成、目標(biāo)代碼生成優(yōu)化、獨(dú)立于機(jī)器的優(yōu)化

2、和依賴于機(jī)器的優(yōu)化等。編譯器技術(shù)的發(fā)展，特別是計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展對編譯技術(shù)的推動，使其成為計(jì)算機(jī)專業(yè)人士所必需具備的基礎(chǔ)知識之一。1.1.1 詞法分析器概述詞法分析器是通過詞法分析程序?qū)?gòu)成源程序的字符串從左到右的掃描，逐個(gè)字符地讀入源程序字符并按照構(gòu)詞規(guī)則切分成一個(gè)一個(gè)具有獨(dú)立意義的單詞。并確定其屬性（如保留字、標(biāo)識符、運(yùn)算符、界限符和常量等）。再把它們轉(zhuǎn)換稱長度統(tǒng)一的標(biāo)準(zhǔn)形式屬性字（TOKEN）。而詞法分析器的功能是輸入源程序，輸出單詞符號，并且詞法分析器有兩種處理結(jié)構(gòu)：一種是把詞法分析器作為主程序;另一種是把詞法分析器作為語法分析程序調(diào)用的子程序。下面我所要介紹的詞法分析器是第一種把它

3、作為主程序。第2章 詞法分析器課程設(shè)計(jì)課程設(shè)計(jì)目的通過課程設(shè)計(jì)進(jìn)一步理解高級語言在計(jì)算機(jī)中的執(zhí)行過程，加深對編譯原理中重點(diǎn)算法和編譯技術(shù)的理解，提高自己的編程能力，培養(yǎng)好的程序設(shè)計(jì)風(fēng)格。同時(shí)通過某種可視化編程語言的應(yīng)用，具備初步的Windows環(huán)境下的編程思想2.2 課程設(shè)計(jì)要求及內(nèi)容詞法分析器設(shè)計(jì)內(nèi)容及要求（1）設(shè)計(jì)內(nèi)容：運(yùn)用所學(xué)習(xí)的編程工具編寫詞法分析器，本次設(shè)計(jì)我采用C+編寫實(shí)現(xiàn)其輸入輸出功能。（2）設(shè)計(jì)要求及說明：完成下述文法所描述的單詞符號的詞法分析程序。 <標(biāo)識符>-><字母>|<標(biāo)識符><字母>|<標(biāo)識符><

4、數(shù)字> <無符號整數(shù)>-><數(shù)字>|<無符號整數(shù)><數(shù)字> <分界符>->+|-|*|/|;|(|)|<|<=|=|!=|>=|>|=|<空格> <字母>->a|z|A|Z <數(shù)字>->0|9 <空格>-> 說明：1> 假定該語言對字母的大小寫不敏感，由指定文件讀入預(yù)分析的源程序，分析結(jié)果再寫入指定文件；2> 語言關(guān)鍵字為："if","else","then"

5、;,"for","while","do"；第3章 問題分析及相關(guān)原理介紹3.1 設(shè)計(jì)思想及算法（1）主要算法的設(shè)計(jì)：該詞法分析器首先掃描文件，識別出一系列具有獨(dú)立意義的基本語法單位單詞，包括關(guān)鍵字、保留字、標(biāo)識符、各種常數(shù)、各種運(yùn)算符及界符等。由于我們規(guī)定的c+語言程序語句中涉及單詞較少,所以在詞法分析階段忽略了單詞輸入錯(cuò)誤的檢查,并在掃描后輸出單詞符號。規(guī)定輸出的單詞符號格式為如下的二元式:(單詞種別,單詞自身的值)。c+ 語言中定義了屬于這五種類型的大量的單詞，但是由于預(yù)編譯器只識別我們自定義的注釋，因此預(yù)編譯器處理的單詞集只是c

6、+ 語言中定義的單詞集的一個(gè)真子集。（2）算法實(shí)現(xiàn)<1>fopen（）打開源文件，讀入字符，對文件進(jìn)行掃描，把讀入的字符放入緩沖區(qū)中，然后對該字符進(jìn)行判斷。<2>若是字母開頭，則可能是關(guān)鍵字或者標(biāo)識符，因此進(jìn)入letterprocess()進(jìn)行識別。識別的過程為：將以字母開頭的字母數(shù)字串放入char letter30中，然后進(jìn)行識別。識別的過程是先讓它與保留關(guān)鍵字表中的所有關(guān)鍵字進(jìn)行匹配，若獲得成功則說明它是關(guān)鍵字，則輸出其二元式；否則說明其為標(biāo)識符，這時(shí)，將它與標(biāo)識符表char *label20中的元素進(jìn)行匹配，如沒有與之相匹配的，則為其申請空間，將其放入標(biāo)識符表中。

7、并輸出其二元式。<3>若是數(shù)字開頭，則可能是常量，因此進(jìn)入numberprocess()進(jìn)行識別。識別的過程為：將其與常量表char num20中的元素進(jìn)行匹配，如沒有與之相匹配的，則為其申請空間，將其放入標(biāo)識符表中。并輸出其二元式。<4>否則進(jìn)入otherprocess()識別當(dāng)前是其它字符。在識別關(guān)系運(yùn)算符的時(shí)候，有可能是兩個(gè)字符為一個(gè)關(guān)系運(yùn)算符，所以在識別的時(shí)候要判斷連續(xù)的兩個(gè)是否為一個(gè)關(guān)系運(yùn)算符。3.2 算法實(shí)現(xiàn)及模擬數(shù)據(jù)結(jié)構(gòu)(1)關(guān)鍵字: char*keyword6="if","else","then"

8、;,"for","while","do"(2)運(yùn)算符和界符char *operatornum16="+","-","*","/","<","<=",">",">=","!","=","","","","(",")"/

9、運(yùn)算符和界符(3)常量表和標(biāo)識符表char *num20:用于存放文件中的常量；char *label20：用于存放文件中的標(biāo)識符。3.1.2 數(shù)據(jù)模塊及功能及說明(1) search()：查找并識別當(dāng)前單詞類別，并給定單詞類別二元式碼，決定給定字符串類別碼（即單詞種別）和記錄次序碼。(2)letterprocess()： 識別當(dāng)前是數(shù)組、保留字、標(biāo)識符。(3)numprocess()： 識別當(dāng)前是常整數(shù)、小數(shù)、負(fù)小數(shù)。(4) otherprocess()： 識別當(dāng)前是其它（標(biāo)點(diǎn)符號等）。(5) fopen()： 在默認(rèn)路徑下打開分析程序并讀入字符串。 第4章 設(shè)計(jì)思路及關(guān)鍵問題的解決方法4.

10、1 設(shè)計(jì)流程圖畫出總控流程圖以及取符號、取字符、查找關(guān)鍵字表等子程序的控制流圖。 第5章 運(yùn)行結(jié)果及測試分析 心得體會 本次課程設(shè)計(jì)初步培養(yǎng)設(shè)計(jì)者對編譯器設(shè)計(jì)的思想的了解，加深對編譯原理和應(yīng)用程序的理解。通過設(shè)計(jì)調(diào)試詞法分析程序，實(shí)現(xiàn)了從程序中分出各種單詞的方法，從而加深了對該知識的理解，提高了詞法分析的實(shí)踐能力。 程序的關(guān)鍵點(diǎn)在于對對給出一段程序中的各種單詞的分離。在每段程序中，單詞種類可以分為：關(guān)鍵字，分界符，算術(shù)運(yùn)算符，關(guān)系運(yùn)算符，標(biāo)識符和常數(shù)。關(guān)鍵字的判斷則是通過與已知數(shù)組中列出的元素進(jìn)行對比，得出該單詞是否為關(guān)鍵字；分解符，算術(shù)運(yùn)算符，關(guān)系運(yùn)算符的判斷與接受到的字符進(jìn)行比較，得出該字

11、符是否為分解符，算術(shù)運(yùn)算符或者為關(guān)系運(yùn)算符。 同時(shí)在編寫程序過程中也遇到了許多問題，如在vc+6.0中運(yùn)行是出現(xiàn)了錯(cuò)誤或是運(yùn)行結(jié)果沒有達(dá)到預(yù)期的效果，而出現(xiàn)了中斷等其他的問題，在不斷解決問題和發(fā)現(xiàn)問題的過程中，我學(xué)到了很多，我體會到實(shí)踐和理論的巨大差別，并且也有所成長。 附錄 源程序源程序代碼：/ Lex.cpp : 定義控制臺應(yīng)用程序的入口點(diǎn)。/#include "stdafx.h"#include <iostream>#include <string>using namespace std;#define NULL 0FILE *fp;char

12、ch;char *keyword6="if","else","then","for","while","do"/關(guān)鍵字char *operatornum16="+","-","*","/","<","<=",">",">=","!=","=","

13、","","","(",")","#"/運(yùn)算符和界符bool search(char searchstr,int wordtype)/查找是否是系統(tǒng)關(guān)鍵字或運(yùn)算符或界符int i;switch(wordtype)case 1:for(i=0;i<=5;i+)/判斷是否是關(guān)鍵字if(strcmp(keywordi,searchstr)=0)return true; case 2:for(i=0;i<=15;i+)/判斷是否是運(yùn)算符或界符 if(strcmp(operatorn

14、umi,searchstr)=0) return true; return false;/*/char letterprocess (char ch)/字母處理程序int i=-1;char letter30;/定義一個(gè)字符串最大長度為30while (isalnum(ch)!=0)/判斷是否為數(shù)字或字母，從文件中獲得一個(gè)字符串 letter+i=ch; ch=fgetc(fp);letteri+1='0'/字符串結(jié)束if (search(letter,1)/調(diào)用search方法，判斷是否是系統(tǒng)關(guān)鍵字if(strcmp(keyword0,letter)=0)cout<&l

15、t;"(1,"<<keyword0<<")"<<endl;else if(strcmp(keyword1,letter)=0)cout<<"(2,"<<keyword1<<")"<<endl;else if(strcmp(keyword2,letter)=0)cout<<"(3,"<<keyword2<<")"<<endl;else if(str

16、cmp(keyword3,letter)=0)cout<<"(4,"<<keyword3<<")"<<endl;else if(strcmp(keyword4,letter)=0)cout<<"(5,"<<keyword4<<")"<<endl;else if(strcmp(keyword5,letter)=0)cout<<"(6,"<<keyword5<<&quo

17、t;)"<<endl;else/若不是關(guān)鍵字，則為一般字符串 cout<<"(10,'"<<letter<<"')"<<endl;return(ch);/*/char numberprocess(char ch)/數(shù)字處理程序int i=-1;char num20;while (isdigit(ch)!=0) num+i=ch; ch=fgetc(fp);if(isalpha(ch)!=0)/判斷是否為字母 while(isspace(ch)=0)/判斷是否為空格之類的

18、，如/t,/n,/r等 num+i=ch; ch=fgetc(fp); numi+1='0' cout<<"錯(cuò)誤！非法標(biāo)識符："<<num<<endl; goto u;numi+1='0'/數(shù)字結(jié)束 cout<<"(11,"<<num<<")"<<endl;u: return(ch);/*/char otherprocess(char ch)/運(yùn)算符和界符處理程序int i=-1;char other20;if (iss

19、pace(ch)!=0)/判斷是否為空格之類的，如/t,/n,/r等 ch=fgetc(fp); goto u;/若是，就返回該字符while (isspace(ch)=0)&&(isalnum(ch)=0)/判斷字符串是否結(jié)束 other+i=ch; ch=fgetc(fp);otheri+1='0'/標(biāo)示符結(jié)束if (search(other,2)/調(diào)用search方法，判斷是否是運(yùn)算符或界符if(strcmp(operatornum0,other)=0) cout<<"(13,"<<operatornum0<

20、;<")"<<endl; else if(strcmp(operatornum1,other)=0) cout<<"(14,"<<operatornum1<<")"<<endl; else if(strcmp(operatornum2,other)=0) cout<<"(15,"<<operatornum2<<")"<<endl; else if(strcmp(operatornum

21、3,other)=0) cout<<"(16,"<<operatornum3<<")"<<endl;else if(strcmp(operatornum4,other)=0) cout<<"(20,"<<operatornum4<<")"<<endl; else if(strcmp(operatornum5,other)=0) cout<<"(22,"<<operatornum

22、5<<")"<<endl;else if(strcmp(operatornum6,other)=0) cout<<"(23,"<<operatornum6<<")"<<endl; else if(strcmp(operatornum7,other)=0) cout<<"(24,"<<operatornum7<<")"<<endl;else if(strcmp(operatorn

23、um8,other)=0) cout<<"(21,"<<operatornum8<<")"<<endl; else if(strcmp(operatornum9,other)=0) cout<<"(25,"<<operatornum9<<")"<<endl;else if(strcmp(operatornum10,other)=0) cout<<"(17,"<<operator

24、num10<<")"<<endl; else if(strcmp(operatornum11,other)=0) cout<<"(18,"<<operatornum11<<")"<<endl;else if(strcmp(operatornum12,other)=0) cout<<"(26,"<<operatornum12<<")"<<endl; else if(strcmp(operatornum13,other)=0) cout<<"(27,"<<operatornum13<<")"<<endl;else if(strcmp(operatornum14,other)=0) cout<<"(28,"<<operatornum14&l