基于MATLAB的圖片中文字的提取及識(shí)別要點(diǎn)

1、數(shù)字圖象處理Digital Image Progress ing1基于MATLAB勺圖片中文字的提取及識(shí)別鄒浩，余龍，鄒勇博，劉宇童，和振喬，李少梅(西安電子科技大學(xué) 電子工程學(xué)院，西安，710126)摘要隨著現(xiàn)代社會(huì)的發(fā)展，信息的形式和數(shù)量正在迅猛增長(zhǎng)。其中很大一部分是圖像，圖 像可以把事物生動(dòng)地呈現(xiàn)在我們面前，讓我們更直觀地接受信息。同時(shí)，計(jì)算機(jī)已經(jīng)作為 一種人們普遍使用的工具為人們的生產(chǎn)生活服務(wù)。從圖像中提取文字屬于信息智能化處理 的前沿課題，是當(dāng)前人工智能與模式識(shí)別領(lǐng)域中的研究熱點(diǎn)。由于文字具有高級(jí)語義特征， 對(duì)圖片內(nèi)容的理解、索引、檢索具有重要作用，因此，研究圖片文字提取具有重要的實(shí)

2、際 意義。又由于靜態(tài)圖像文字提取是動(dòng)態(tài)圖像文字提取的基礎(chǔ)，故著重介紹了靜態(tài)圖像文字 提取技術(shù)。關(guān)鍵詞：MATLAB圖像處理文字提取文字識(shí)別Text Extractio n and Recog niti on in Images Based on MATLABZOU Hao, YU long, ZOU Yo ngbo, LIU Yuto ng, HE Zhe nq iao, LI Shaomei(Xidia n Uni versity Electro nic Engin eeri ng College,Xia n,710126)AbstractWith the development of so

3、ciety,the form and quantity of imformation are increasing quickly.A large part of them are images,which can make things vividly prese nted in front of us,let us more in tuitive to accept in formatio n.At the same time, the computer has bee n as a widely used tool for peoples producti on and livi ng

4、services.Extract ing text from image bel ongs to the fron tier of intelligent information processing, and it is the current hot research topic in the field of artificial intelligenee and pattern recognition.As the text with high-level semantic feature and plays an important role on understanding,ind

5、exing and retrieval image content.Therefore,the study on extract ing texts from images have importa nt actual mea nin gs. And because extract ing texts from still images is the basis for extracting texts from dynamic images, the article emphatically in troduces the tech no logy of extract ing texts

6、from still images.Key Words： MATLAB image process ing word extract ion word recog niti on數(shù)字圖象處理Digital Image Progress ing2亠引言隨著計(jì)算機(jī)科學(xué)的飛速發(fā)展，以圖像為主的多媒體信息迅速成為重要的信息傳遞媒介， 在圖像中，文字信息(如新聞標(biāo)題等字幕)包含了豐富的高層語義信息，提取出這些文字， 對(duì)于圖像高層語義的理解、索引和檢索非常有幫助。圖像文字提取又分為動(dòng)態(tài)圖像文字提 取和靜態(tài)圖像文字提取兩種，其中，靜態(tài)圖像文字提取是動(dòng)態(tài)圖像文字提取的基礎(chǔ)，其應(yīng) 用范圍更為廣泛，對(duì)它的研究具有

7、基礎(chǔ)性， 所以本文主要討論靜態(tài)圖像的文字提取技 術(shù)。靜態(tài)圖像中的文字可分成兩大類：一種 是圖像中場(chǎng)景本身包含的文字，稱為場(chǎng)景 文字；另一種是圖像后期制作中加入的文 字，稱為人工文字，如右圖所示。場(chǎng)景文字 由于其出現(xiàn)的位置、小、顏色和形態(tài)的隨機(jī) 性，一般難于檢測(cè)和提??；而人工文字則字 體較規(guī)范、大小有一定的限度且易辨認(rèn)，顏 色為單色，相對(duì)與前者更易被檢測(cè)和提取， 又因其對(duì)圖像內(nèi)容起到說明總結(jié)的作用，故適合用來做圖像的索引和檢索關(guān)鍵字。對(duì)圖像中 場(chǎng)景文字的研究難度大，目前這方面的研究成果與文獻(xiàn)也不是很豐富，本文主要討論圖像 中人工文字提取技術(shù)。】靜態(tài)圖像中文字的特點(diǎn)靜態(tài)圖像中文字(本文特指人工文字

8、，下同)具有以下主要特征：(1) 文字位于前端，且不會(huì)被遮擋；(2) 文字一般是單色的；(3) 文字大小在一幅圖片中固定，并且寬度和高度大體相同，從滿足人眼視覺感受的角度 來說，圖像中文字的尺寸既不會(huì)過大也不會(huì)過??；(4) 文字的分布比較集中；(5) 文字的排列一般為水平方向或垂直方向；(6) 多行文字之間，以及單行內(nèi)各個(gè)字之間存在不同于文字區(qū)域的空隙。在靜態(tài)圖片文字 的檢測(cè)與提取過程中，一般情況下都是依據(jù)上述特征進(jìn)行處理的。數(shù)字圖象處理Digital Image Progress ing3三文字提取、識(shí)別的一般流程靜態(tài)圖像文字提取一般分為以下步驟：文字區(qū)域檢測(cè)與定位、文字分割與文字提取、 文

9、字后處理。其流程如圖1所示。（圖1）四文字提取、識(shí)別的詳細(xì)步驟1.在Matlab中調(diào)用i仁imread（字符.jpg），可得到原始圖像，如圖2所示:由于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正。（圖2）2.調(diào)用i2=rgb2gray（i1），則得到了灰度圖像，如圖3所示：由于作者水平有限，書中難免存左缺點(diǎn)和疏漏之處，懇請(qǐng)瀆者批評(píng)指正電(圖3)調(diào)用a=size(i1);b=size(i2);可得到：a=3,b=2即三維圖像變成了二維灰度圖像0,i2 thresh3.調(diào)用i3=(i2=thresh); 其中thresh 為門限，在 i30，255之間1,i2 thresh這里，i

10、2_max=double(max(max(i2); % 獲取亮度最大值i2_mi n=double(mi n(min (i2); %獲取亮度最小值thresh=r oun d(i2_max-(i2_max-i2_m in)/3);數(shù)字圖象處理Digital Image Progress ing4得到二值圖像，如圖4所示：數(shù)字圖象處理Digital Image Progress ing5于作于作二 IE （St*由于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正。（圖4）4.把二值圖像放大觀察，可看到離散的黑點(diǎn)對(duì)其采用腐蝕膨脹處理，得到處理后的圖像，如圖5所示缶伊水平有限.書中難免存

11、在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正者水平有限.書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正。（圖5）可見，腐蝕膨脹處理后的圖像質(zhì)量有了很大的改觀。橫向、縱向分別的腐蝕膨脹運(yùn)算比橫向、縱向同時(shí)的腐蝕膨脹運(yùn)算好上很多，圖6可看出差別：由F作疔水 M眼 祐屮鞅和同魚已和缶W(wǎng)上處連常泱擰批評(píng)站（圖6）5.對(duì)腐蝕膨脹后的圖像進(jìn)行Y方向上的區(qū)域選定，限定區(qū)域后的圖像如圖 7所示: 掃描方法：中間往兩邊掃的區(qū) f邏1由于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處.懇請(qǐng)讀者批評(píng)指正創(chuàng)13）7耳r數(shù)字圖象處理Digital Image Progress ing6難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正。I 2（圖

12、9）（圖7）縱向掃描后的圖像與原圖像的對(duì)照，如圖8所示:丫方向上字符所在區(qū)域得到了限定卜-!丫萬冏査夠曹HCiRk； t由于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處*懇請(qǐng)讀者批評(píng)指正、t（圖8）6. 對(duì)腐蝕膨脹后的圖像進(jìn)行X方向上的區(qū)域選定，限定區(qū)域后的圖像如圖 9所示: 掃描方法：兩邊往中間掃7.調(diào)用i8=（iiXY=1），使背景為黑色（0）,字符為白色（1），便于后期處理 背景交換后的圖像如圖11所示：Y/i由于作者水平有限.書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正?？v向掃描后的圖像與原圖像的對(duì)照，如圖10所示:（圖 10）數(shù)字圖象處理Digital Image Progress in

13、g7者水平有限，書中難免存在缺點(diǎn)和疏漏Z處,水平有限.書中難免存在缺點(diǎn)和疏漏之處,于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指庇（圖 11）8.調(diào)用自定義函數(shù)(字符獲取函數(shù))i9=getchar(i8)，得到圖像如圖12所示:由于作者水平有限*書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正乜(圖9)9. 調(diào)用自定義的字符獲取函數(shù)對(duì)圖像進(jìn)行字符切割，并把切割的字符裝入一維陣列，切割 過程如圖12所示：第四玄切割后的國(guó)償難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)i(圖 12)10. 調(diào)用以下代碼，可將陣列word中的字符顯示出來，如圖13所示:for j=1:cnum%c num為統(tǒng)計(jì)的字符個(gè)數(shù)su

14、bplot(5,8,j),imshow(wordj),title(i nt2str(j);%顯示字符end數(shù)字圖象處理Digital Image Progress ing810en11191321可以看到，字符寬度不一致11. 調(diào)用以下代碼，將字符規(guī)格化，便于識(shí)別：for j=1:c num wordj=imresize(wordj,40 40);%字符規(guī)格化成 40 40的end得到規(guī)格化之后的字符如圖14所示：（圖 14）12.調(diào)用以下代碼創(chuàng)建字符集： code=char(由于作者水平有限書中難免存在缺點(diǎn)和疏漏之處懇請(qǐng)讀批評(píng)指正，。);將創(chuàng)建的字符集保存在一個(gè)文件夾里面，以供匹配時(shí)候調(diào)用，

15、如圖15所示：（圖 13）171263816數(shù)字圖象處理Digital Image Progress ing9坤EE J*Hhi-J豈51色到呂中- 艾舉 StJEkhifcT弊亡.FA-4 T1；K i.H:-蘭咗二桂益A SkyDrrve血嚀5.口. PPTVIEEAS -sngmi. lEsTJEJ科 MM氐 XltSLt iQj1假設(shè)：字符A 00100100100110，模板字符T10110101100110011，模板字符T010102 01011001101001T2）(圖 15)13. 字符匹配采用模板匹配算法：將現(xiàn)有字符逐個(gè)與模板字符相減，認(rèn)為相減誤差最小的現(xiàn)有字符與該模板字

16、符匹配sum(sum(abs(A TJ)8, sum(sum(abs(A也就是說，字符A與模板字符T1更相似，我們可以認(rèn)為字符集中的字符 T2就是字符A經(jīng)模板匹配，可得字符信息如下：由于讀者書評(píng)有限書中難免存在缺點(diǎn)和紕漏之處，懇請(qǐng)讀者批評(píng)指正 效果如圖16所示：文字信息：由于作者水平有限.書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正”（圖 16）14. 調(diào)用以下代碼，將字符放入newtxt.txt文本：f宮字汩U尋.-T；U -知乙和F-jpg-J = 3-.T電.juyEvJ茵.j旳I 9SJP9.i本tt吐“r- 3JI渥直 IF:JF :數(shù)字圖象處理Digital Image Progr

17、ess ing10n ew= newtxt,.txt;c=fope n(n ew,a+);fprin tf(c,%sn,Code(1:c nu m);fclose(c);newtxt.txt文本內(nèi)容如圖17所示:newtxt txt -辟本文件舊輛舊怡式（O曙助由于作者水平有限，書中難免存在缺點(diǎn)和疏漏之處，懇請(qǐng)讀者批評(píng)指正。:* 1忖(圖 17)五反思與體會(huì)1. 算法具有局限性。對(duì)于左右結(jié)構(gòu)的字符（如：川）容易造成誤識(shí)別，“川”字將會(huì)被識(shí)別成三部分。當(dāng)圖片中文字有一定傾斜角度時(shí)，這將造成識(shí)別困難。2. 模板匹配效率低。對(duì)于處理大小為 mx m勺字符，假設(shè)有n個(gè)模板字符，則識(shí)別一個(gè)字符至 少需要

18、mx mx n x 2次運(yùn)算，由于漢字有近萬個(gè)，這將使得運(yùn)算量十分巨大！此次字符識(shí) 別一共花了 2.838秒。3伸縮范圍比較小。對(duì)于受污染的圖片，轉(zhuǎn)換成二值圖像將使字符與污染源混合在一起。 對(duì)于具體的圖片，需反復(fù)選擇合適的thresh進(jìn)行二值化處理，甚至在處理之前必須進(jìn)行 各種濾波。4.通過這次數(shù)字圖象處理的學(xué)習(xí)和報(bào)告的撰寫，我們小組發(fā)揮了團(tuán)結(jié)友愛的協(xié)作精神，大 量的資料查閱豐富了我們的視野，同時(shí)使我們對(duì)這么課更加感興趣。參考文獻(xiàn)1樊旳， 王潤(rùn)生從圖像中提取文字J.國(guó)防科技大學(xué)學(xué)報(bào)，2002,24 （1） :59-62.2王健，王晨.基于靜態(tài)圖片的文本提取技術(shù)的研究J.延邊大學(xué)學(xué)報(bào)（自然科學(xué)版

19、）,2007,33:124-128.3夏瑩，馬少平，孫茂松等.計(jì)算機(jī)語言學(xué)方法在中文文字識(shí)別后處理中的應(yīng)用J.中文信息，1996,:50-51.4鄭阿奇，曹戈，趙陽.MATLAB實(shí)用教程M.北京：電子工業(yè)出版社 程衛(wèi)國(guó)，馮峰，姚東，徐聽.MATLAB5.3應(yīng)用指南M.北京：人民郵電出版社 陳楊.MATLAB 6.X圖像編程與圖像處理M.西安：西安電子科技大學(xué)出版社7阮秋琦.數(shù)字圖像處理M.電子工業(yè)出版社，2001年.數(shù)字圖象處理Digital Image Progress ing118徐建華.圖像處理與分析M.科學(xué)出版社，1999年.附錄主程序源代碼：% % 數(shù)字圖象處理大作業(yè) % % %-圖

20、片中文字的提取及識(shí)別-% %ticI=imread(字符.jpg);%打開圖片%figure(1);imshow(l);title(原始圖像,color,b);匸rgb2gray(l); %RGB圖片轉(zhuǎn)化成灰度圖像%figure(2);imshow(l);title(灰度圖像,color,b);i_max=double(max(max(l); %獲取亮度最大值i_mi n=double(mi n(mi n(l); %獲取亮度最小值thresh=rou nd(i_max-(i_max-i_mi n) /3); %計(jì)算灰度圖像轉(zhuǎn)化成二值圖像的門限 thresh l=(l=thresh); %l 為

21、二值圖像%figure(3);imshow(l);title(二值圖像,color,b);seY=1;1;1;%構(gòu)造結(jié)構(gòu)元素I=imdilate(I,seY);%腐蝕圖像I=imerode(I,seY); %膨脹圖像seX=1 1 1;I=imdilate(I,seX);I=imerode(I,seX);%figure(4);imshow(I);title(腐蝕膨脹后的圖像,color,b);ii=double(l);m, n=size(ii);%獲取圖像大小信息%確定文字區(qū)域%縱向掃描coun tY=zeros(m,1);for i=1:mfor j=1: nif ii(i,j)=0數(shù)字圖象

22、處理Digital Image Progress ing12cou ntY(i,1)=cou ntY(i,1)+1;endendendmaxY in dexY=max(co un tY);tempY1=i ndexY;while (cou ntY(tempY1,1)3) & (tempY11) tempY 仁 tempY1-1;endtempY2=in dexY;while (cou ntY(tempY2,1)3) & (tempY2m)tempY2=tempY2+1;endtempY 仁 tempY1-1;tempY2=tempY2+1;iiY=l(tempY1:tempY2,:);%確定了

23、 Y方向上的文字區(qū)域%figure(5);imshow(iiY);title(Y 方向區(qū)域大致確定后的圖像,color,b);%橫向掃描coun tX=zeros(1, n);for j=1: nfor i=tempY1:tempY2if ii(i,j)=0cou ntX(1,j)=cou ntX(1,j)+1;endendendtempX 仁1;while (cou ntX(1,tempX1)3) & (tempX1 n)tempX 仁 tempX1+1;endtempX2=n;while (cou ntX(1,tempX2)1) tempX2=tempX2-1;endtempX 仁 tem

24、pX1-1;tempX2=tempX2+1;iiXY=iiY(:,tempX1:tempX2);%確定了整體的文字區(qū)域%figure(6);imshow(iiXY);title(X、Y方向區(qū)域都大致確定后的圖像,color,b);ii=(iiXY=1); %黑色背景，白色字體%figure(7);imshow(ii);title(背景和文字交換顏色的圖像,color,b);ii=bwareaopen(ii,200);%刪除面積小于200的雜質(zhì)圖像數(shù)字圖象處理Digital Image Progress ing13%figure(8);imshow(ii);title(刪除雜質(zhì)干擾的圖像,col

25、or,b);myl=charslice(ii); % 限定文字區(qū)域%figure(9);imshow(ii);title(限定文字區(qū)域的圖像,color,b);y1=10;y2=0.25;flag=0;max num=40;k=1; %max num為字符個(gè)數(shù)限定值，k用于統(tǒng)計(jì)實(shí)際字符個(gè)數(shù) word=cell(1,max num); %建立單元陣列，用于儲(chǔ)存字符figure(10)while size(myl,2)10 %當(dāng)myl的長(zhǎng)度小等于10,可確定沒有字符了 wordk,myl=getword(myl);%獲取字符k=k+1;% %if k=2subplot(5,1,1);imshow(

26、myl);title(第一次切割后的圖像,color ,b);endif k=3subplot(5,1,2);imshow(myl);title(第二次切割后的圖像,color ,b);endif k=5subplot(5,1,3);imshow(myl);title(第四次切割后的圖像,color ,b);endif k=16subplot(5,1,4);imshow(myl);title(第十五次切割后的圖像,color,b);endendsubplot(5,1,5);imshow(myl);title(最后一次切割后的圖像,color,b);% %cnum=k-1; %實(shí)際字符總個(gè)數(shù)%

27、%figure(11);for j=1:c numsubplot(5,8,j),imshow(wordj),title(i nt2str(j);%顯示字符end% 數(shù)字圖象處理Digital Image Progress ing14%for j=1:c num wordj=imresize(wordj,40 40);%字符規(guī)格化成 40 40的endfigure(12);for j=1:c numsubplot(5,8,j),imshow(wordj),title(i nt2str(j); %顯示字符endfor j=1:c numimwrite(wordj,int2str(j), .jpg)

28、;%保存字符enddefx=40;defy=40;code=char(由于作者水平有限書中難免存在缺點(diǎn)和疏漏之處懇請(qǐng)讀批評(píng)指正，。);創(chuàng)建字符集codenum=size(code,2); %獲取字符集中字符個(gè)數(shù)for i=1:c numch=i nt2str(i); %數(shù)字轉(zhuǎn)化為字符tempbw=imread(ch .jpg);%打開預(yù)匹配字符for k=1:code numfname=strcat(數(shù)字圖像處理大作業(yè) 字符匹配庫(kù),code(k),.jpg); %字符匹配庫(kù)中的字符sample=imread(fname);subsam=abs(tempbw-sample); % 作比較count=sum(sum(subsam); %匹配誤差統(tǒng)計(jì)err(k)=co unt;enderro=err(1:code nu m);mi nerror=mi n(erro); %找出誤差最小的模板字符fin dc=fi nd(erro=mi nerror); % 獲取模板字符序號(hào)Code(i)=code(findc); %將字符裝入 Codeendfigure(13);i