(完整版)詞法分析器實(shí)驗(yàn)報(bào)告

1、詞法分析器實(shí)驗(yàn)報(bào)告詞法分析器設(shè)計(jì)一、實(shí)驗(yàn)?zāi)康模簩語言的一個子集設(shè)計(jì)并實(shí)現(xiàn)一個簡單的詞法分析器，掌握利用狀態(tài)轉(zhuǎn)換圖設(shè)計(jì)詞法分析器的基本方法。利用該詞法分析器完成對源程序字符串的詞法分析。輸出形式是源程序的單詞符號二元式的代碼，并保存到文件中。二、實(shí)驗(yàn)內(nèi)容：1. 設(shè)計(jì)原理詞法分析的任務(wù)：從左至右逐個字符地對源程序進(jìn)行掃描，產(chǎn)生一個個單詞符號。理論基礎(chǔ)：有限自動機(jī)、正規(guī)文法、正規(guī)式詞法分析器(LexicalAnalyzer)又稱掃描器(Scanner)：執(zhí)行詞法分析的程序2. 詞法分析器的功能和輸出形式功能:輸入源程序、輸出單詞符號程序語言的單詞符號一般分為以下五種：關(guān)鍵字、標(biāo)識符、常數(shù)、運(yùn)算符,

2、界符3. 輸出的單詞符號的表示形式:單詞種別用整數(shù)編碼，關(guān)鍵字一字一種，標(biāo)識符統(tǒng)歸為一種，常數(shù)一種，各種符號各一種。4. 詞法分析器的結(jié)構(gòu)單詞符號5.狀態(tài)轉(zhuǎn)換圖實(shí)現(xiàn)三、程序設(shè)計(jì)1總體模塊設(shè)計(jì)/*用來存儲目標(biāo)文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*獲得一個單詞符號,從位置i開始查找。并且有一個引用參數(shù)j,用來返回這個單詞最后一個字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*這個函數(shù)用來除去字符串中連續(xù)的空格和換行intDeleteNull(stringstr,inti

3、);/*判斷i當(dāng)前所指的字符是否為一個分界符，是的話返回真，反之假*/boolIsBoundary(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個運(yùn)算符，是的話返回真，反之假*/boolIsOperation(stringstr,inti);/*此函數(shù)將一個pair數(shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>v);/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(vector<str

4、ing>vec);/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/boolIsKey(stringstr);2各模塊設(shè)計(jì)(1) .首先根據(jù)上面單詞符號表及ID和NUM的正規(guī)定義式，構(gòu)造出狀態(tài)轉(zhuǎn)換圖；(2) .定義相關(guān)的變量和數(shù)據(jù)結(jié)構(gòu)。關(guān)鍵字作為特殊標(biāo)識符處理，把它們預(yù)先安排在一張表格中(稱為關(guān)鍵字表)，當(dāng)掃描程序識別出標(biāo)識符時，查關(guān)鍵字表。如能查到匹配的單詞，則該單詞為關(guān)鍵字，否則為一般標(biāo)識符。關(guān)鍵字表為一個字符串?dāng)?shù)組，其描述如下：charKEY_W0RDS7=main7,int，char7,if,else7,for,while"；用以存放單詞符號二元式的數(shù)

5、據(jù)結(jié)構(gòu)可如下定義：classWord_Analyzerpublic:charContentMAXLENGTH;intval;voidprint();(3) .按照編譯程序一遍掃描的要求，把詞法分析器Scaner作為一個獨(dú)立的子程序來設(shè)計(jì)，通過對Scaner的反復(fù)調(diào)用識別出所有的單詞符號；(4) .當(dāng)Scaner識別出一個單詞符號時，則將該單詞符號的二元式寫入到輸出文件中。若Scaner無法識別出一個單詞符號時，則調(diào)用錯誤處理程序PrintError,顯示當(dāng)前掃描到的字符及其所在行、列位置，并跳過該字符重新開始識別單詞符號。四、程序代碼#include<iostream>#inclu

6、de<vector>#include<string>#include<fstream>usingnamespacestd;/*用來存儲目標(biāo)文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*獲得一個單詞符號,從位置i開始查找。/并且有一個引用參數(shù)j，用來返回這個單詞最后一個字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*這個函數(shù)用來除去字符串中連續(xù)的空格和換行/第一個參數(shù)為目標(biāo)字符串，第二個參數(shù)為開始位置/返回值為連續(xù)的空格和換行后的第一個有效

7、字符在字符串的位置*/intDeleteNull(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個分界符，是的話返回真，反之假*/boolIsBoundary(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個運(yùn)算符，是的話返回真，反之假*/boolIsOperation(stringstr,inti);/*此函數(shù)將一個pair數(shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>v);/*次函數(shù)將參數(shù)str,digit添加到temp中*/voidadd(stringstr,intdigit,v

8、ector<pair<int,string>>temp);/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(vector<string>vec);/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/boolIsKey(stringstr);intmain()cout<<'k'k'k'k'k'k'k'k'k'kn"“*cout<

9、<"*編譯原理課程設(shè)計(jì)-詞法編譯器ver1.0*n"cout<<"*n"cout<<endl;stringcom1=""stringcom2="n"stringfileline=GetText();intbegin=0,end=0;vector<string>array;dobegin=DeleteNull(fileline,begin);stringnowString;nowString=GetWord(fileline,begin,end);if(end=-1)brea

10、k;if(nowSpare(com1)&&nowSpare(com2)array.push_back(nowString);begin=end+1;while(true);vector<pair<int,string>>mid_result;mid_result=analyst(array);OutFile(mid_result);cout<<"*n"cout<<"程序已完成詞法分析，分析結(jié)果已經(jīng)存儲在文件"<<file_name<<"中！*n"“

11、*n"cout<<"感謝使用，謝謝再見！"<<endl;system("pause");return0;/*提取文本文件中的信息*/stringGetText()stringfile_name1;cout<<"青輸入源文件名(包括路徑和后綴名)："；cin>>file_name1;ifstreaminfile(file_name1.c_str(),ios:in);if(!infile)cerr<<無法打開文件！"<<file_name1.c_s

12、tr()<<"!"<<endl;exit(-1);cout<<endl;charf1000;infile.getline(f,1000,EOF);infile.close();printf(f);cout<<endl;returnf;/*獲得一個單詞符號,從位置i開始查找。/并且有一個引用參數(shù)j,用來返回這個單詞最后一個字符在原字符串的位置。*/stringGetWord(stringstr,inti,int&j)stringno_use("(),;n+=*/-<>"");j=

13、str.find_first_of(no_use,i);if(j=-1)return""if(i!=j)j-;returnstr.substr(i,j-i+1);/*這個函數(shù)用來除去字符串中連續(xù)的空格和換行/第一個參數(shù)為目標(biāo)字符串，第二個參數(shù)為開始位置/返回值為連續(xù)的空格和換行后的第一個有效字符在字符串的位置*/intDeleteNull(stringstr,inti)for(;i+)if(stri!=''&&stri!='n')returni;/*判斷i當(dāng)前所指的字符是否為一個分界符，是的話返回真，反之假*/boolIsBo

14、undary(stringstr,inti)intt;chararr7=',','','','','(',')',':'for(t=0;t<7;t+)if(stri=arrt)returntrue;returnfalse;/*判斷i當(dāng)前所指的字符是否為一個運(yùn)算符，是的話返回真，反之假*/boolIsOperation(stringstr,inti)intt;chararr8='+','-','*','/','

15、;=','<','>','&'for(t=0;t<8;t+)if(stri=arrt)returntrue;returnfalse;/*此函數(shù)將一個個字符串?dāng)?shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>v)cout<<"青輸入目標(biāo)文件名(包括路徑和后綴名)："；cin>>file_name;ofstreamoutfile(file_name.c_str(),ios:out);if(!outfile

16、)cerr<<無法打開文件！"<<file_name.c_str()<<"!"<<endl;exit(-1);cout<<endl;inti;for(i=0;i<v.size();i+)outfile<<"<"<<vi.first<<",""<<vi.second<<"">"<<endl;cout<<"<&qu

17、ot;<<vi.first<<",""<<vi.second<<"">"<<endl;outfile<<"nn'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k

18、9;k'k'k'k'koutfile.close();return;/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/boolIsKey(stringstr)stringp7="main","int","char","if","else","for","while"vector<string>ppp(p,p+7);intu;for(u=0;u<ppp.size();u+)if(！pare(

19、pppu)returntrue;returnfalse;/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(vector<string>vec)vector<pair<int,string>>temp;inti;for(i=0;i<vec.size();i+)if(veci.size()=1)if(veci=">"&&veci+1="=")stringjk=veci;jk.appen

20、d(vec+i,0,1);pair<int,string>pp(37,jk);temp.push_back(pp);continue;if(veci="<"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(38,jk);temp.push_back(pp);continue;if(veci="="&&veci+1="=")stringjk=veci;jk.append(v

21、ec+i,0,1);pair<int,string>pp(39,jk);temp.push_back(pp);continue;if(veci="!"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(40,jk);temp.push_back(pp);continue;if(veci="&"&&veci+1="&")stringjk=veci;jk.append

22、(vec+i,0,1);pair<int,string>pp(42,jk);temp.push_back(pp);continue;if(veci="|"&&veci+1="|")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(43,jk);temp.push_back(pp);continue;if(IsBoundary(veci,0)if(veci=",")pair<int,string>pp1(32,veci);tem

23、p.push_back(pp1);if(veci="")pair<int,string>pp2(34,veci);temp.push_back(pp2);if(veci="")pair<int,string>pp3(30,veci);temp.push_back(pp3);if(veci="")pair<int,string>pp4(31,veci);temp.push_back(pp4);if(veci="(")pair<int,string>pp5(26,veci

24、);temp.push_back(pp5);if(veci=")")pair<int,string>pp6(27,veci);temp.push_back(pp6);if(veci=":")pair<int,string>pp7(33,veci);temp.push_back(pp7);elseif(IsOperation(veci,0)if(veci="+")pair<int,string>pp8(22,veci);temp.push_back(pp8);if(veci="-"

25、)pair<int,string>pp9(23,veci);temp.push_back(pp9);if(veci="*")pair<int,string>pp10(24,veci);temp.push_back(pp10);if(veci="/")pair<int,string>pp11(25,veci);temp.push_back(pp11);if(veci="=")pair<int,string>pp12(21,veci);temp.push_back(pp12);if(veci

26、=">")pair<int,string>pp13(35,veci);temp.push_back(pp13);if(veci="<")pair<int,string>pp14(36,veci);temp.push_back(pp14);if(veci="&")pair<int,string>pp26(41,veci);temp.push_back(pp26);elseif(veci0<='9'&&veci0>='0')

27、pair<int,string>pp24(10,veci);temp.push_back(pp24);elsepair<int,string>pp25(10,veci);temp.push_back(pp25);elseif(veci0<='9'&&veci0>='0')pair<int,string>pp23(3,veci);temp.push_back(pp23);elseif(IsKey(veci)if(veci="main")pair<int,string>pp15(1,veci);temp.push_back(pp15);if(veci="int")pair<int,string>pp16(2,ve