詞法分析器實驗報告

1、精品詞法分析器實驗報告詞法分析器設(shè)計一、實驗?zāi)康模簩語言的一個子集設(shè)計并實現(xiàn)一個簡單的詞法分析器，掌握利用狀態(tài)轉(zhuǎn)換圖設(shè)計詞法分析器的基本方法。利用該詞法分析器完成對源程序字符串的詞法分析。輸出形式是源程序的單詞符號二元式的代碼，并保存到文件中。二、實驗內(nèi)容：1. 設(shè)計原理詞法分析的任務(wù)：從左至右逐個字符地對源程序進行掃描，產(chǎn)生一個個單詞符號。理論基礎(chǔ)：有限自動機、正規(guī)文法、正規(guī)式詞法分析器(LexicalAnalyzer)又稱掃描器(Scanner)：執(zhí)行詞法分析的程序2. 詞法分析器的功能和輸出形式功能:輸入源程序、輸出單詞符號程序語言的單詞符號一般分為以下五種：關(guān)鍵字、標(biāo)識符、常數(shù)、運算

2、符界符3. 輸出的單詞符號的表示形式:單詞種別用整數(shù)編碼，關(guān)鍵字一字一種，標(biāo)識符統(tǒng)歸為一種，常數(shù)一種，各種符號各一種。4. 詞法分析器的結(jié)構(gòu)感謝下載載單詞符號5.狀態(tài)轉(zhuǎn)換圖實現(xiàn)字符/數(shù)字三、程序設(shè)計1.總體模塊設(shè)計/*用來存儲目標(biāo)文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*獲得一個單詞符號,從位置i開始查找。并且有一個引用參數(shù)j，用來返回這個單詞最后一個字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*這個函數(shù)用來除去字符串中連續(xù)的空格和換行intDeleteNull(st

3、ringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個分界符，是的話返回真，反之假*/boolIsBoundary(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個運算符，是的話返回真，反之假*/boolIsOperation(stringstr,inti);/*此函數(shù)將一個pair數(shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>v);/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(v

4、ector<string>vec);/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/boolIsKey(stringstr);2各模塊設(shè)計（ 1).首先根據(jù)上面單詞符號表及ID和NUM的正規(guī)定義式，構(gòu)造出狀態(tài)轉(zhuǎn)換圖；（ 2).定義相關(guān)的變量和數(shù)據(jù)結(jié)構(gòu)。關(guān)鍵字作為特殊標(biāo)識符處理，把它們預(yù)先安排在一張表格中(稱為關(guān)鍵字表)，當(dāng)掃描程序識別出標(biāo)識符時，查關(guān)鍵字表。如能查到匹配的單詞，則該單詞為關(guān)鍵字，否則為一般標(biāo)識符。關(guān)鍵字表為一個字符串?dāng)?shù)組，其描述如下：charKEY_WORDS7="main","int"char"

5、,"if"else"for"while"；用以存放單詞符號二元式的數(shù)據(jù)結(jié)構(gòu)可如下定義：classWord_Analyzerpublic:charContentMAXLENGTH;intval;voidprint();（ 3）.按照編譯程序一遍掃描的要求，把詞法分析器Scaner作為一個獨立的子程序來設(shè)計，通過對Scaner的反復(fù)調(diào)用識別出所有的單詞符號；（ 4）.當(dāng)Scaner識別出一個單詞符號時，則將該單詞符號的二元式寫入到輸出文件中。若Scaner無法識別出一個單詞符號時，則調(diào)用錯誤處理程序PrintError，顯示當(dāng)前掃描到的字符及其所在

6、行、列位置，并跳過該字符重新開始識別單詞符號。四、程序代碼#include<iostream>#include<vector>#include<string>#include<fstream>usingnamespacestd;/*用來存儲目標(biāo)文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText（）;/*獲得一個單詞符號,從位置i開始查找。/并且有一個引用參數(shù)j，用來返回這個單詞最后一個字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*這個函數(shù)

7、用來除去字符串中連續(xù)的空格和換行/第一個參數(shù)為目標(biāo)字符串，第二個參數(shù)為開始位置/返回值為連續(xù)的空格和換行后的第一個有效字符在字符串的位置*/intDeleteNull(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個分界符，是的話返回真，反之假*/boolIsBoundary(stringstr,inti);/*判斷i當(dāng)前所指的字符是否為一個運算符，是的話返回真，反之假*/boolIsOperation(stringstr,inti);/*此函數(shù)將一個pair數(shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>

8、;v);/*次函數(shù)將參數(shù)str,digit添加到temp中*/voidadd(stringstr,intdigit,vector<pair<int,string>>temp);/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(vector<string>vec);*/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假boolIsKey(stringstr);intmain()cout<<"*n"cout&

9、lt;<"*編譯原理課程設(shè)計-詞法編譯器ver1.0*n"cout<<"*n"cout<<endl;stringcom1=""stringcom2="n"stringfileline=GetText();intbegin=0,end=0;vector<string>array;dobegin=DeleteNull(fileline,begin);stringnowString;nowString=GetWord(fileline,begin,end);if(end=-1)b

10、reak;if(nowSpare(com1)&&nowSpare(com2)array.push_back(nowString);begin=end+1;while(true);vector<pair<int,string>>mid_result;mid_result=analyst(array);OutFile(mid_result);cout<<"*n"cout<<"*程序已完成詞法分析，分析結(jié)果已經(jīng)存儲在文件"<<file_name<<"中！*n&qu

11、ot;cout<<"*n"cout<<"感謝使用，謝謝再見！"<<endl;system("pause");return0;/*提取文本文件中的信息*/stringGetText()stringfile_name1;cout<<"請輸入源文件名(包括路徑和后綴名)："cin>>file_name1;ifstreaminfile(file_name1.c_str(),ios:in);if(!infile)cerr<<"無法打開文件!&q

12、uot;<<file_name1.c_str()<<"!"<<endl;exit(-1);cout<<endl;charf1000;infile.getline(f,1000,EOF);infile.close();printf(f);cout<<endl;returnf;/*獲得一個單詞符號,從位置i開始查找。/并且有一個引用參數(shù)j，用來返回這個單詞最后一個字符在原字符串的位置。*/stringGetWord(stringstr,inti,int&j)stringno_use("(),;n+=*

13、/-<>"");j=str.find_first_of(no_use,i);if(j=-1)return""if(i!=j)j-;returnstr.substr(i,j-i+1);/*這個函數(shù)用來除去字符串中連續(xù)的空格和換行/第一個參數(shù)為目標(biāo)字符串，第二個參數(shù)為開始位置/返回值為連續(xù)的空格和換行后的第一個有效字符在字符串的位置*/intDeleteNull(stringstr,inti)for(;i+)if(stri!=''&&stri!='n')returni;/*判斷i當(dāng)前所指的字符是否為

14、一個分界符，是的話返回真，反之假boolIsBoundary(stringstr,inti)intt;chararr7=',','','','','(',')',':'for(t=0;t<7;t+)if(stri=arrt)returntrue;returnfalse;/*判斷i當(dāng)前所指的字符是否為一個運算符，是的話返回真，反之假boolIsOperation(stringstr,inti)intt;chararr8='+','-','*

15、','/','=','<','>','&'for(t=0;t<8;t+)if(stri=arrt)returntrue;returnfalse;*/*/*此函數(shù)將一個個字符串?dāng)?shù)組輸出到一個文件中*/voidOutFile(vector<pair<int,string>>v)cout<<"請輸入目標(biāo)文件名（包括路徑和后綴名）：”;cin>>file_name;ofstreamoufile(file_name.c_str(),i

16、os二out);if(!outfile)cerr<<"無法打開文件！"<<file_name.c_str()<<"!”<<endl;exit(-1);cout<<endl;inti;for(i=0;i<v.size();i+)outfile<<"<"<<vi.first<<",""<<vi.second<<"">"<<endl;cout&

17、lt;<"<"<<vi.first<<",""<<vi.second<<"">"<<endl;oufile<<"nn*n”;outfile.close();return;/*此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/boolIsKey(stringstr)stringp7="main","int","char","if&quo

18、t;,"else","for","while"vector<string>ppp(p,p+7);intu;for(u=0;u<ppp.size();u+)if(!pare(pppu)returntrue;returnfalse;/*此函數(shù)接受一個字符串?dāng)?shù)組，對它進行詞法分析，返回一個pair型數(shù)組*/vector<pair<int,string>>analyst(vector<string>vec)vector<pair<int,string>>temp;i

19、nti;for(i=0;i<vec.size();i+)if(veci.size()=1)精品if(veci=">"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(37,jk);temp.push_back(pp);continue;if(veci="<"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<in

20、t,string>pp(38,jk);temp.push_back(pp);continue;if(veci="="&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(39,jk);temp.push_back(pp);continue;if(veci="!"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,stri

21、ng>pp(40,jk);temp.push_back(pp);continue;if(veci="&"&&veci+1="&")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(42,jk);temp.push_back(pp);continue;if(veci="|"&&veci+1="|")stringjk=veci;jk.append(vec+i,0,1);pair<int,st

22、ring>pp(43,jk);temp.push_back(pp);continue;if(IsBoundary(veci,0)if(veci=",")pair<int,string>pp1(32,veci);temp.push_back(pp1);if(veci="")pair<int,string>pp2(34,veci);temp.push_back(pp2);if(veci="")pair<int,string>pp3(30,veci);temp.push_back(pp3);if(v

23、eci="")感謝下載載精品pair<int,string>pp4(31,veci);temp.push_back(pp4);if(veci="(")pair<int,string>pp5(26,veci);temp.push_back(pp5);if(veci=")")pair<int,string>pp6(27,veci);temp.push_back(pp6);if(veci=":")pair<int,string>pp7(33,veci);temp.push_

24、back(pp7);elseif(IsOperation(veci,0)if(veci="+")pair<int,string>pp8(22,veci);temp.push_back(pp8);if(veci="-")pair<int,string>pp9(23,veci);temp.push_back(pp9);if(veci="*")pair<int,string>pp10(24,veci);temp.push_back(pp10);if(veci="/")pair<i

25、nt,string>pp11(25,veci);temp.push_back(pp11);if(veci="=")pair<int,string>pp12(21,veci);temp.push_back(pp12);if(veci=">")pair<int,string>pp13(35,veci);temp.push_back(pp13);if(veci="<")pair<int,string>pp14(36,veci);temp.push_back(pp14);if(veci=&

26、quot;&")pair<int,string>pp26(41,veci);temp.push_back(pp26);elseif(veci0<='9'&&veci0>='0')pair<int,string>pp24(10,veci);temp.push_back(pp24);elsepair<int,string>pp25(10,veci);temp.push_back(pp25);elseif(veci0<='9'&&veci0>='0')pair<int,string>pp23(3,veci);temp.push_back(pp23);elseif(IsKey(veci)if(veci="main")pair<int,string>pp15(1,veci);temp.push_back(pp15);if(veci="int")pair<int,string>pp16(2,veci);temp.push_back(pp16);if(veci="char