TwinCAT Vision 光學字符(OCR)識別

第6頁TwinCATVision光學字符(OCR)識別TwinCATVision光學字符(OCR)識別作者：何丹莉職務：數據工程師公司：BECKHOFF中國郵箱：dl.he@日期：2024-04-25摘要：光學字符識別（OCR）技術實現從圖像中高效提取文字，極大減輕了人工錄入負擔。本文介紹的OCR功能可識別圖像中的字符，并以字符串形式返回識別到的字符序列，專用于識別數字0-9、特殊字符/-:=和大寫字母A-Z。（OCR）功能在研發(fā)過程中使用了經典機器學習算法來構建模型，模型已經過預訓練，用戶在使用OCR功能時無需進行額外的設置或自定義訓練。附件：序號文件名備注1TF7xxx_OCR.tnzip例程2TF7xxx_OCR示例圖片示例圖片歷史版本：免責聲明：我們已對本文檔描述的內容做測試。但是差錯在所難免，無法保證絕對正確并完全滿足您的使用需求。本文檔的內容可能隨時更新，如有改動，恕不事先通知，也歡迎您提出改進建議。參考信息：目錄1. 軟硬件版本 41.1. 倍福Beckhoff 42. 準備工作 42.1. 軟件安裝 43. 代碼使用以及講解 43.1. 圖像采集 43.2. 代碼講解 43.3. 具體操作步驟與結果圖 63.4. 對字符的要求 73.5. 對圖像的一般要求 73.6. 對字體的要求 7

軟硬件版本倍福Beckhoff測試操作系統：Win11；軟件版本：TwinCAT3FULL版本V3.1.4024.50；TF7xxx插件版本：Ver.。測試本樣例時可以使用附件中的離線圖像文件對算法進行驗證，因此不需要連接相機即可測試。準備工作軟件安裝在Windows操作系統上安裝TwinCATVisionFULL版本V3.1.4024.50，同時需要安裝TwinCATVision的插件TF7xxx，本測試中安裝的是Ver.。TF7xxx版本下載鏈接：/zh-cn/products/automation/twincat/tfxxxx-twincat-3-functions/tf7xxx-vision/tf7800.html?代碼使用以及講解圖像采集本例中使用TwinCATVision的離線仿真功能，通過算法對Filesource（offline）圖像進行處理。文件圖像采集通過從文件系統中加載到TwinCAT實時系統中，具體操作方法：VISION節(jié)點>FileSource>FileSourceControl。如上圖所示，將文件夾images中的圖片加載到FileSourceControl中。代碼講解首先是main程序中，開始部分為條件語句，用于初始化OCR模型。如果初始化成功，則將bInitialized標志設置為TRUE。下面實現對OCR模型的初始化狀態(tài)進行檢查，以便釋放資源或進行重新初始化。以下代碼會獲取當前圖像，并進行一系列預處理操作，如轉換顏色空間、設置ROI、形態(tài)學處理等。其中，在設置ROI區(qū)域時，調用F_GetROI功能塊，功能塊主要作用根據文件名（sFileName）設置了不同的感興趣區(qū)域（ROI）和相關參數，不同的圖像進行靈活的圖像處理和OCR識別。例如，圖片名為OCR01.png，設置感興趣區(qū)域（ROI）的左上角坐標為(86,34)，寬度為263像素，高度為102像素，二值化閾值為150，sPattern參數指定了字符的期望格式，例如"dd#dd#dd"表示數字與特殊符號交替出現的格式，可以與圖片中日期格式"12.11.20"對應。然后是調用OCR函數的部分。根據是否使用高級功能（bUseExpFunction），調用不同的OCR函數進行字符識別。F_VN_OCR和F_VN_OCRExp函數傳遞給ipSrcImage參數的輸入圖像必須是一個單通道的二值圖像，白色字符、黑色背景。ETcVnOcrModelType是一個枚舉類型，提供了不同的OCR模型類型。TCVN_OMT_NUMBERS：用于識別數字。TCVN_OMT_NUMBERS_SC：用于識別數字和特殊字符。TCVN_OMT_UCLETTERS：用于識別大寫字母。TCVN_OMT_NUMBERS_SC_UCLETTERS：用于識別數字、特殊字符和大寫字母。具體操作步驟與結果圖將示例圖像添加到FileSource1控件；根據自己提供的圖片更改F_GetROI中參數，如文件名，ROI區(qū)域以及二值化閾值等。激活配置->啟動TwinCAT系統和PLC運行->在ADSImageWatch中觀察結果；bUseExpFunction在OCR標準和專家功能之間切換以圖片OCR_01.png為例，將圖像加載到FileSource之后，激活配置直接下載程序。在這段代碼中，已經設置好了F_GetROI函數的參數，不需要進行更改。因此，將bUseExpFunction設置為TRUE，然后觀察ADSImageWatch處理結果。下圖展示了對ROI區(qū)域進行二值化處理后的結果，并去除了與圖像邊界相連的亮物體。這一步驟的目的是確保只保留圖像中的有效信息，從而更精確地進行字符識別。二值化處理后邊緣高亮區(qū)域結果為：最終識別的OCR結果圖為：對字符的要求字符高度至少為20像素；筆畫寬度至少為3像素；點的最小尺寸為3x3像素；線條的最小尺寸為3x6像素；字符間距至少為4像素；字符不能重疊；字符的水平排列最大偏轉角度為±6°；字符的線條不能斷開；對圖像的一般要求ROI（感興趣區(qū)域）僅包含文本及其周圍沒有干擾的區(qū)域字符和背景之間有良好的對比度背景應為均勻的、沒有噪點或干擾的、不透明的背景對字體的要求僅允許使用等寬字體，字符間距和字符寬度相等較大的間距只會被識別為一個空格僅允許使用無襯線字體，如（Arial，Tahoma，Courier，Univers，Frutiger，Verdana，OCR-B）不允許混合字體不允許使用點式打?。c式字體）或斜體字

上海（中國區(qū)總部）中國上海市靜安區(qū)汶水路299弄9號（市北智匯園）電話 北京分公司北京市西城區(qū)新街口北大街3號新街高和大廈407室電話 郵箱:beijing@ 廣州分公司廣州市天河區(qū)珠江新城珠江東路32號利通廣場1303室電話1/2 郵箱:guangzhou@ 成都分公司成都市錦江區(qū)東御街18號百