計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：CTC

CTCCTC概述01任務(wù)CTC使用方法02任務(wù)學(xué)習(xí)目標(biāo)了解CTC的基本概念了解CTC的使用方法1CTC概述1CTC概述CTC（ConnectionistTemporalClassifier）聯(lián)結(jié)時(shí)間分類器，是一種改進(jìn)的RNN模型。它主要解決的是時(shí)序模型中，輸入數(shù)大于輸出數(shù)，輸入輸出如何對齊的問題。它由AlexGraves于2006年提出。由于文字的不同間隔或變形等問題，導(dǎo)致相同文字有不同的表現(xiàn)形式，但實(shí)際上都是同一個(gè)文字。比如圖中，在識別時(shí)會將輸入圖像分塊后再去識別，得出每塊屬于某個(gè)字符的概率（無法識別的標(biāo)記為特殊字符“-”）。1CTC概述由于字符變形等原因，導(dǎo)致對輸入圖像分塊識別時(shí)，相鄰塊可能會識別為相同結(jié)果，字符重復(fù)出現(xiàn)。因此，通過CTC來解決對齊問題。模型訓(xùn)練后，對結(jié)果中去掉間隔字符、去掉重復(fù)字符（如果相同字符連續(xù)出現(xiàn)，則表示只有1個(gè)字符，如果中間有間隔字符，則表示該字符出現(xiàn)多次）?？梢园袰TC理解為一種end-to-end（端到端）計(jì)算損失函數(shù)的方法，可以避開輸入與輸出手動對齊的一種方式，是非常適合語音識別或者OCR這種應(yīng)用的。1CTC概述CTC本身是不需要對齊的，但是我們需要知道X

的輸出路徑和最終輸出結(jié)果的對應(yīng)關(guān)系，因?yàn)樵贑TC中，多個(gè)輸出路徑可能對應(yīng)一個(gè)輸出結(jié)果，舉例來理解。例如在OCR的任務(wù)中，輸入X是含有“CAT”的圖片，輸出Y是文本[C,A,T]。將X分割成若干個(gè)時(shí)間片，每個(gè)時(shí)間片得到一個(gè)輸出，一個(gè)最簡答的解決方案是合并連續(xù)重復(fù)出現(xiàn)的字母，如圖：1CTC概述這個(gè)問題有兩個(gè)缺點(diǎn)：（1）幾乎不可能將X的每個(gè)時(shí)間片都和輸出Y對應(yīng)上，例如OCR中字符的間隔，語音識別中的停頓;（2）不能處理有連續(xù)重復(fù)字符出現(xiàn)的情況，例如單詞“HELLO”，按照上面的算法，輸出的是“HELO”而非“HELLO”。為了解決上面的問題，CTC引入了空白字符，例如OCR中的字符間距，語音識別中的停頓均表示為。所以，CTC的對齊涉及去除重復(fù)字母和去除兩部分。

1CTC概述這種對齊方式有三個(gè)特征：（1）X與Y之間的時(shí)間片映射是單調(diào)的，即如果X向前移動一個(gè)時(shí)間片，Y保持不動或者也向前移動一個(gè)時(shí)間片；（2）X與Y之間的映射是多對一的，即多個(gè)輸出可能對應(yīng)一個(gè)映射，反之則不成立，所以也有了特征3；（3）X的長度大于等于Y的長度。2CTC使用方法2CTC使用方法在Keras中，通過以下函數(shù)計(jì)算ctc損失：importkeras.backendasKde