計(jì)算機(jī)視覺應(yīng)用開發(fā)課件：特征融合

特征融合特征融合的概念01任務(wù)特征融合的方法02任務(wù)學(xué)習(xí)目標(biāo)認(rèn)識什么是特征融合掌握常見的特征融合方法1特征融合的概念1特征融合的概念特征融合，即融合不同尺度（低層和高層）的特征。在很多工作中，融合不同尺度的特征是提高分割性能的一個重要手段。如何將低層特征和高層特征高效融合，取其長處，棄之糟泊，是改善分割模型的關(guān)鍵。特征融合是為了提高網(wǎng)絡(luò)對特征的表達(dá)能力，進(jìn)而使得網(wǎng)絡(luò)可以得到更準(zhǔn)確的分割結(jié)果。不同的特征融合方法有著不同的效果，如何尋求更有效的特征方法對網(wǎng)絡(luò)性能有著進(jìn)一步的提升，是目前語義分割研究的一個熱點(diǎn)問題。2特征融合的方法2特征融合的方法按照融合與預(yù)測的先后順序，分為早融合（Earlyfusion）與晚融合（Latefusion）。早融合早融合（Earlyfusion）：就是在特征上進(jìn)行融合，進(jìn)行不同特征的連接，輸入到一個模型中進(jìn)行訓(xùn)練。先融合多層的特征，然后在融合后的特征上訓(xùn)練預(yù)測器，只有在完全融合之后，才進(jìn)行檢測。這類方法也被稱為skipconnection，即采用concat、add操作。這一思路的代表是Inside-OutsideNet(ION)和HyperNet。兩個經(jīng)典的特征融合的方法：（1）concat：系列特征融合，直接將兩個特征進(jìn)行連接。兩個輸入特征x和y的維數(shù)若為p和q，輸出特征z的維數(shù)為p+q。（2）add：并行策略，將這兩個特征向量組合成復(fù)合向量，對于輸入特征x和y，z=x+iy，其中i是虛數(shù)單位。2特征融合的方法2特征融合的方法（1）concat是通道數(shù)的增加;（2）add是特征圖相加，通道數(shù)不變add是描述圖像的特征下的信息量增多了，但是描述圖像的維度本身并沒有增加，只是每一維下的信息量在增加，這顯然是對最終的圖像的分類是有益的。而concatenate是通道數(shù)的合并，也就是說描述圖像本身的特征數(shù)（通道數(shù)）增加了，而每一特征下的信息是沒有增加。concat每個通道對應(yīng)著對應(yīng)的卷積核。而add形式則將對應(yīng)的特征圖相加，再進(jìn)行下一步卷積操作，相當(dāng)于加了一個先驗(yàn)：對應(yīng)通道的特征圖語義類似，從而對應(yīng)的特征圖共享一個卷積核（對于兩路輸入來說，如果是通道數(shù)相同且后面帶卷積的話，add等價(jià)于concat之后對應(yīng)通道共享同一個卷積核）。因此add可以認(rèn)為是特殊的concat形式。但是add的計(jì)算量要比concat的計(jì)算量小得多。2特征融合的方法2.晚融合晚融合（Latefusion）：指的是在預(yù)測分?jǐn)?shù)上進(jìn)行融合，做法就是訓(xùn)練多個模型，每個模型都會有一個預(yù)測分?jǐn)?shù)，對所有模型的結(jié)果進(jìn)行融合，得到最后的預(yù)測結(jié)果。通過結(jié)合不同層的檢測結(jié)果改進(jìn)檢測性能，尚未完成最終融合之前，在部分融合的層上就開始檢測，會有多層的檢測，最終將多個檢測結(jié)果進(jìn)行融合。FPN（FeaturePyramidNetwork）算法同時(shí)利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達(dá)到預(yù)測的效果。并且預(yù)測是在每個融合后的特征層上單獨(dú)進(jìn)行的，這和常規(guī)的特征融合方式不同。2特征融合的方法（1）自下而上：最左側(cè)為普通的卷積網(wǎng)絡(luò)，默認(rèn)使用ResNet結(jié)構(gòu)，用作提取語義信息。C1代表了ResNet的前幾個卷積與池化層，而C2至C5分別為不同的ResNet卷積組，這些卷積組包含了多個Bottleneck結(jié)構(gòu)，組內(nèi)的特征圖大小相同，組間大小遞減。（2）自上而下：首先對C5進(jìn)行1×1卷積降低通道數(shù)得到P5，然后依次進(jìn)行上采樣得到P4、P3和P2，目的是得到與C4、C3與C2長寬相同的特征，以方便下一步進(jìn)行逐元素相加。這里采用2倍最鄰近上采樣，即直接對臨近元素進(jìn)行復(fù)制，而非線性插值。（3）橫向連接（LateralConnection）：目的是為了將上采樣后的高語義特征與淺層的定位細(xì)節(jié)特征進(jìn)行融合。高語義特征經(jīng)過上采樣后，其長寬與對應(yīng)的淺層特征相同，而通道數(shù)固定為256，因此需要對底層特征C2至C4進(jìn)行1×1卷積使得其通道數(shù)變?yōu)?56，然后兩者進(jìn)行逐元素相加得到P4、P3與P2。由于C1的特征圖尺寸較大且語義信息不足，因此沒有把C1放到橫向連接中。2特征融合的方法（4）卷積融合：在得到相加后的特征后，利用3×3卷積對生成的P2至P4再進(jìn)行融合，目的是消除上采樣過程帶來的重疊效應(yīng)，以生成最終的特征