圖像中的文本檢測(cè)與定位.

1、圖像中的文本檢測(cè)與圖像中的文本檢測(cè)與定位定位 應(yīng)用 應(yīng)用 網(wǎng)絡(luò)過(guò) 濾 智能交 通 數(shù)字圖 書(shū)館 圖像、 視頻檢 索 文本定位主要方法 基于區(qū)域（同一行字符顏色相似，不適用于字符含多種 顏色） 基于邊緣（文本與背景對(duì)比度較大，筆畫(huà)邊緣突出，背 景邊緣少） 基于紋理（可檢測(cè)字符與背景對(duì)比度較小、背景復(fù)雜的 文本，但計(jì)算量大，算法比較耗時(shí)） 基于學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)，SVM，Adaboost等） 文本定位流程 圖像文本分割方法 直方圖閾值法：通常是對(duì)每個(gè)區(qū)域色彩空間的各個(gè)分量 計(jì)算閾值，將各個(gè)分量與閾值比較，得到圖像分割結(jié)果。 （1）基于RGB 用88大小的均勻網(wǎng)格將圖像分成互不相交的子圖 像，在每個(gè)子圖

2、像中分別求R、G、B的局部閾值。公式如 下： 圖像文本分割方法 圖像文本分割方法 （2）基于HSV HSV顏色空間示意圖中，H 參數(shù)表示色彩信息，該參數(shù)用角 度量表示；S參數(shù)為飽和度，它 表示色彩的純度，數(shù)值大小為0 到1，數(shù)值越高表示色彩越純；V 參數(shù)表示色彩的明亮程度，范圍 從0到1。 圖像文本分割方法 基于HSV比基于RGB效果好些，因?yàn)镠SV的色彩空間更 符合人眼的視覺(jué)特性。 圖像文本分割方法 K均值聚類(lèi)圖像分割 （1）輸入要分類(lèi)的數(shù)據(jù)集合，設(shè)置類(lèi)別數(shù)K （2）隨機(jī)選取K個(gè)數(shù)據(jù)作為初始聚類(lèi)中心 （3）逐個(gè)將需分類(lèi)的數(shù)據(jù)樣本按最小距離準(zhǔn)則分配給K個(gè)聚 類(lèi)中心的某一個(gè) （4）各個(gè)聚類(lèi)中心重

3、新計(jì)算 （5）聚類(lèi)中心再次移動(dòng)到它所在的類(lèi)別中心 （6）重復(fù)步驟（3）-（5），直到收斂 圖像文本分割方法 圖像文本分割方法 基于均值漂移圖像分割算法 （1）邊緣保持平滑 （2）彩色邊緣檢測(cè) （3）RGB顏色空間的二次采樣 （4）RGB空間轉(zhuǎn)換為L(zhǎng)UV空間 （5）均值漂移過(guò)程 （6）將分類(lèi)后的數(shù)據(jù)還原為圖像 圖像文本分割方法 文本候選區(qū)域生成 圖像分層，分割后的圖像被分成若干層，將每層顏色提 取出來(lái)，并進(jìn)行二值化。 對(duì)分層后的各子圖進(jìn)行連通區(qū)域提取 采用深度優(yōu)先搜索思想提取連通區(qū)域，獲得每個(gè)子圖像 中連通區(qū)域的位置、面積。結(jié)合文本本身的一些幾何特征、 角點(diǎn)信息以及其他一些規(guī)則剔除一些很明顯的非

4、文本區(qū)域。 角點(diǎn)檢測(cè) 連通區(qū)域分析 連通區(qū)域鑒定 （1）圖像中文本的寬和高不會(huì)太小，也不會(huì)太大，并且 高度比通常在一定范圍內(nèi)。 （2）文本區(qū)域的面積一般呈現(xiàn)某種規(guī)則。 （3）利用文本區(qū)域角點(diǎn)信息剔除一些非文本區(qū)域。 （4）文本區(qū)域向X軸的投影曲線特性與非文本區(qū)域向X軸 的投影曲線特性相差較大。 （5）通常情況下，文本圖像中的文本不會(huì)出現(xiàn)在圖像的 邊界區(qū)域。 連通區(qū)域分析 連通區(qū)域合并 生成候選文本區(qū)域 AdaBoost算法 AdaBoost算法 AdaBoost舉例 Adaboost舉例 第一步，根據(jù)分類(lèi)的正確率，得到一個(gè)新的樣本分布D2， 一個(gè)子分類(lèi)器h1。 第二步，根據(jù)分類(lèi)的正確率，得到一

5、個(gè)新的樣本分布D3， 一個(gè)子分類(lèi)器h2。 Adaboost舉例 第三步，得到一個(gè)子分類(lèi)器h3。 整合所有子分類(lèi)器： 特征提取 HOG特征 LBP特征 其他紋理特征（均值、方差、熵等） HOG特征 生成過(guò)程： HOG特征 HOG特征 HOG特征 HOG特征 （4）基于基于梯度幅值的方向權(quán)重投影梯度幅值的方向權(quán)重投影 HOG結(jié)構(gòu):通常使用的HOG結(jié)構(gòu)大致有三種：矩形HOG（簡(jiǎn) 稱(chēng)為R-HOG），圓形HOG和中心環(huán)繞HOG。它們的單位都是 Block（即塊）。Dalal的試驗(yàn)證明矩形HOG和圓形HOG的檢測(cè) 效果基本一致，而環(huán)繞形HOG效果相對(duì)差一些。 HOG特征 矩形HOG塊的劃分：一般一個(gè)塊（B

6、lock）都由若干單元 （Cell）組成，一個(gè)單元都有若干個(gè)像素點(diǎn)組成。 HOG特征 （5）HOGHOG特征向量特征向量歸一化歸一化:對(duì)block塊內(nèi)的HOG特征向量進(jìn)行 歸一化。對(duì)block塊內(nèi)特征向量的歸一化主要是為了使特征 向量空間對(duì)光照，陰影和邊緣變化具有魯棒性。還有歸一化 是針對(duì)每一個(gè)block進(jìn)行的，一般采用的歸一化函數(shù)有以下 四種： LBP特征 原始的LBP算子定義為在3*3的窗口內(nèi)，以窗口中心像素 為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周 圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1， 否則為0。這樣，3*3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二 進(jìn)制數(shù)（通常轉(zhuǎn)換為十

7、進(jìn)制數(shù)即LBP碼），即得到該窗口 中心像素點(diǎn)的LBP值，并用這個(gè)值來(lái)反映該區(qū)域的紋理信 息。如下圖所示： 改進(jìn)的改進(jìn)的LBPLBP（一）（一） 基本的 LBP算子只覆蓋了一個(gè)固定半徑范圍內(nèi)的小區(qū)域， 為了適應(yīng)不同尺度的紋理特征，并達(dá)到灰度和旋轉(zhuǎn)不變 性的要求，Ojala等對(duì) LBP 算子進(jìn)行了改進(jìn)。 圓形LBP算子：將 33鄰域擴(kuò)展到任意鄰域，并用圓形 鄰域代替了正方形鄰域，改進(jìn)后的 LBP 算子允許在半徑 為 R 的圓形鄰域內(nèi)有任意多個(gè)像素點(diǎn)。從而得到了半徑 為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子。 改進(jìn)的改進(jìn)的LBPLBP（二）（二） LBP旋轉(zhuǎn)不變模式：從 LBP 的定義可以看出，L

8、BP 算子 是灰度不變的，但卻不是旋轉(zhuǎn)不變的。圖像的旋轉(zhuǎn)就會(huì) 得到不同的 LBP值。Maenpaa等人又將 LBP算子進(jìn)行了擴(kuò) 展，提出了具有旋轉(zhuǎn)不變性的 LBP 算子，即不斷旋轉(zhuǎn)圓 形鄰域得到一系列 初始定義的 LBP值， 取其最小值作為該 鄰域的 LBP 值。 改進(jìn)的改進(jìn)的LBPLBP（三）（三） 一個(gè)LBP算子可以產(chǎn)生不同的二進(jìn)制模式，對(duì)于半徑為R 的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子將會(huì)產(chǎn)生P2種模式。 很顯然，隨著鄰域集內(nèi)采樣點(diǎn)數(shù)的增加，二進(jìn)制模式的 種類(lèi)是急劇增加的。為了解決二進(jìn)制模式過(guò)多的問(wèn)題， 提高統(tǒng)計(jì)性，Ojala提出了采用一種“等價(jià)模式”來(lái)對(duì) LBP算子的模式種類(lèi)進(jìn)行降維。Ojala將“等價(jià)模式”定 義為：當(dāng)某個(gè)LBP所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0到1或從1到0 最多有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱(chēng)為一個(gè)等 價(jià)模式類(lèi)。 通過(guò)這樣的改進(jìn)，二進(jìn)制模式的種類(lèi)大大減少，而不會(huì) 丟失任何信息。模式數(shù)量由原來(lái)的