深度學(xué)習(xí)應(yīng)用與實踐 -教案 項目12基于CRNN的商品信息圖片文字識別

《計算機應(yīng)用開發(fā)》教案授課題目基于CRNN的商品信息圖片文字識別授課類型新授課授課時長12節(jié)課教學(xué)內(nèi)容教學(xué)目標(biāo)知識目標(biāo)了解文字識別的基本過程能力目標(biāo)能利用CRNN實現(xiàn)文字識別情感目標(biāo)使學(xué)生了解文字識別的基本過程、優(yōu)秀模型，樹立職業(yè)理想。教學(xué)重點（1）文字識別的基本過程（2）典型的深度學(xué)習(xí)文字識別算法——CRNN教學(xué)難點典型的深度學(xué)習(xí)文字識別算法——CRNN教法學(xué)法講授法、討論法特色學(xué)習(xí)資源分析、技術(shù)手段應(yīng)用說明學(xué)習(xí)場所：實訓(xùn)室教學(xué)資源：PPT教學(xué)設(shè)備：電子白板學(xué)情分析同學(xué)們文字識別的基本過程和典型的深度學(xué)習(xí)文字識別算法——CRNN了解不深入。板書設(shè)計（教學(xué)結(jié)構(gòu)圖）基于CRNN的商品信息圖片文字識別教學(xué)環(huán)節(jié)（時間分配）教學(xué)內(nèi)容及教師活動學(xué)生活動設(shè)計意圖及實施效果【情境導(dǎo)入】【課堂新授】【項目實操】【課堂總結(jié)】案例導(dǎo)入當(dāng)前，各類網(wǎng)絡(luò)平臺上不乏靠夸大其詞促銷者。2021年，某公司發(fā)布了“治療癌癥、增強人體抗病免疫功能、調(diào)節(jié)身體健康、提高人體免疫力、抑制腫瘤、抗衰老”等宣傳內(nèi)容，并在宣傳海報欄中利用國家機關(guān)工作人員的名義和形象進(jìn)行宣傳。上述行為違反了《中華人民共和國廣告法》第九條的規(guī)定，因此有關(guān)部門作出了行政處罰。雖然已有相關(guān)法律法規(guī)對廣告進(jìn)行管控，但是網(wǎng)絡(luò)平臺上依然存在著大量違規(guī)的廣告圖文，但是人工逐張進(jìn)行審核工作量大，效率低。因此智能審核系統(tǒng)應(yīng)運而生，其能夠自動識別商品圖片中的文字信息，根據(jù)識別結(jié)果判斷是否包含敏感詞，從而提示工作人員，及時采取有效措施，提升圖片審核效率及準(zhǔn)確性，針對違反廣告法、虛假宣傳、“三無產(chǎn)品”等行為進(jìn)行專項整治。任務(wù)描述本次任務(wù)要求，從網(wǎng)上爬取照片（如圖12-1），然后使用市面上已有的成熟模型，對我們爬取到的照片進(jìn)行商品文字識別操作，并對識別到的文字進(jìn)行敏感詞語判斷，最后對識別后的照片（如圖12-2）以及存在敏感詞語的圖片進(jìn)行保存。處理前：處理后：三、知識準(zhǔn)備（1）文字識別的基本過程1.文本檢測定位文本定位是指在圖像中定位文本區(qū)域的操作。作為圖像文本識別的第一步，文本檢測與定位的準(zhǔn)確性直接決定了最終的識別結(jié)果。一般來說，圖像中文本的檢測和定位方法可以分為如下四類：基于邊緣特征的方法，基于紋理特征的方法，基于連通區(qū)域的方法，基于深度模型和機器學(xué)習(xí)的方法。2.字符切分利用字符切割算法獲得精確的字符區(qū)域，是文本識別算法在將已定位圖像轉(zhuǎn)換成可由計算機處理字符串的前提。近年來，在針對文字識別的研究中，一直統(tǒng)一把文本分割和識別放在識別問題上進(jìn)行處理。不過在實際操作過程中，字符內(nèi)部的切割也是不容忽視的步驟。如果實驗中發(fā)生字符切割和拼接錯誤并且部分字符區(qū)域丟失，例如，如果"8”在切割過程中丟失一半，大多數(shù)識別算法都會將其識別為“3”。3.字符識別檢測到文本、將其定位并分割后就到了識別階段。一般來說，傳統(tǒng)的字符識別方法主要包括以下四個獨立的環(huán)節(jié)：數(shù)據(jù)預(yù)處理、特征提取、特征降維和分類模型設(shè)計。傳統(tǒng)的研究方法中，提高分類系統(tǒng)整體性能的常用手段是對以上四個模塊進(jìn)行優(yōu)化，但是由于上述模塊互相獨立，無法進(jìn)行優(yōu)勢互補，而且手工設(shè)計和提取特征很容易丟失有用的信息。因此，近年來許多研究者在對字符圖像進(jìn)行分類時逐漸開始采用深度學(xué)習(xí)的方法。（2）典型的深度學(xué)習(xí)文字識別算法——CRNN主要用于端到端地對不定長的文本序列進(jìn)行識別，不用先對單個文字進(jìn)行切割，而是將文本識別轉(zhuǎn)化為時序依賴的序列學(xué)習(xí)問題，就是基于圖像的序列識別。整個CRNN網(wǎng)絡(luò)結(jié)構(gòu)包含三部分，從下到上依次為：CNN（卷積層），使用深度CNN，對輸入圖像提取特征，得到特征圖；RNN（循環(huán)層），使用雙向RNN（BLSTM）對特征序列進(jìn)行預(yù)測，對序列中的每個特征向量進(jìn)行學(xué)習(xí)，并輸出預(yù)測標(biāo)簽（真實值）分布；CTCloss（轉(zhuǎn)錄層），使用CTC損失，把從循環(huán)層獲取的一系列標(biāo)簽分布轉(zhuǎn)換成最終的標(biāo)簽序列。數(shù)據(jù)爬蟲（1）導(dǎo)入所需的庫（2）獲取頁面（3）頁面解析（4）寫入文件或者數(shù)據(jù)庫（5）爬蟲調(diào)度（6）編寫主函數(shù)處理數(shù)據(jù)導(dǎo)入庫數(shù)據(jù)導(dǎo)入與預(yù)處理結(jié)果展示：教師檢查學(xué)生的完成情況三、文字識別四、敏感詞判斷(1)創(chuàng)建敏感詞列表(2)篩選出存在敏詞語的圖片，并將這些圖片復(fù)制到mg_result文件夾下當(dāng)一條語句存在敏感詞時，會對應(yīng)的輸出存在的敏感詞語，并將這張存在敏感詞的照片復(fù)制到mg_result里。text:銷量遙遙領(lǐng)先confidence:0.9987784028053284text_box_position:[[16,903],[488,900],[488,971],[16,975]]存在敏感詞語：領(lǐng)先進(jìn)入mg_result文件夾里，我們可以查看檢測到敏感詞的照片,可以看到圖片中確實存在敏感詞“領(lǐng)先”?！緦W(xué)生談收獲】讓學(xué)生分享在本次課上的所學(xué)所得，【總結(jié)】教師總結(jié)本次課內(nèi)容。學(xué)生回憶并思考學(xué)生聆聽并思考學(xué)生思考并聆聽學(xué)生按要求導(dǎo)入庫學(xué)生按要求獲取頁面學(xué)生按要求解析頁面寫入文件或者數(shù)據(jù)庫爬蟲調(diào)度編寫主函數(shù)導(dǎo)入庫數(shù)據(jù)導(dǎo)入與預(yù)處理學(xué)生將結(jié)果進(jìn)行展示學(xué)生加載模型，實現(xiàn)文字識別學(xué)生創(chuàng)建敏感詞列表學(xué)生聆聽并思考查看檢測到敏感詞的照片分享自己在本項目中的收獲聆聽并思考激發(fā)學(xué)生興趣，聯(lián)系學(xué)生已有的關(guān)于經(jīng)驗，引入新課。使學(xué)生明晰本項目的目標(biāo)文字識別的過程較為復(fù)雜，教師用流程圖的形式進(jìn)行梳理，有利于學(xué)生構(gòu)建自己的知識體系。培養(yǎng)學(xué)生抽象建模能力，深度解讀CRNN，有助于學(xué)生理解為什么項目選用該模型，理解模型的精妙，培養(yǎng)學(xué)生對科學(xué)的向往之情。教師帶領(lǐng)學(xué)生實現(xiàn)一個較為困難的任務(wù)，故先分析流程，明晰步驟。學(xué)生進(jìn)行此類項目，較為復(fù)雜，教師下發(fā)操作手冊不至于使基礎(chǔ)弱的學(xué)生迷失方向教師演示，部分學(xué)生可順利完成，對基礎(chǔ)薄弱的學(xué)生下發(fā)操作手冊，確保90%的學(xué)生不掉隊。教師查看是對結(jié)果的