組會(huì)-CBAM-transformer-ViT-DETR注意力機(jī)制

注意力

Attention目錄CV中的Attention機(jī)制——簡單而有效的CBAM模塊NLP中的self-Attention&transformer將NLP的結(jié)構(gòu)應(yīng)用到CV中的ViT&DETRCV中的Attention機(jī)制——簡單而有效的CBAM模塊1.什么是注意力機(jī)制？注意力機(jī)制（AttentionMechanism）是機(jī)器學(xué)習(xí)中的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語言處理、圖像識(shí)別及語音識(shí)別等各種不同類型的機(jī)器學(xué)習(xí)任務(wù)中。從實(shí)現(xiàn)的角度來講：注意力機(jī)制通過神經(jīng)網(wǎng)絡(luò)的操作生成一個(gè)掩碼mask,mask上的值一個(gè)打分，評(píng)價(jià)當(dāng)前需要關(guān)注的點(diǎn)的評(píng)分注意力機(jī)制可以分為：通道注意力機(jī)制：對(duì)通道生成掩碼mask，進(jìn)行打分，代表是SEnet,ChannelAttentionModule空間注意力機(jī)制：對(duì)空間進(jìn)行掩碼的生成，進(jìn)行打分，代表是SpatialAttentionModule混合域注意力機(jī)制：同時(shí)對(duì)通道注意力和空間注意力進(jìn)行評(píng)價(jià)打分，代表的有BAM,CBAM2.CBAM模塊的實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)也很簡單，一個(gè)是通道注意力模塊，另一個(gè)是空間注意力模塊，CBAM就是先后集成了通道注意力模塊和空間注意力模塊。2.1通道注意力機(jī)制2.2空間注意力機(jī)制2.3Convolutionalbottleneckattentionmodule3.在什么情況下可以使用？CBAMintegratedwithaResBlockinResNet消融實(shí)驗(yàn)如何更有效地計(jì)算channelattention?2.如何更有效地計(jì)算spatialattention?3.如何組織這兩個(gè)部分？在MSCOCO數(shù)據(jù)及使用了ResNet50,ResNet101為backbone,FasterRCNN為檢測(cè)器的模型進(jìn)行目標(biāo)檢測(cè)目標(biāo)檢測(cè)結(jié)果在VOC2007數(shù)據(jù)集中采用了StairNet進(jìn)行了測(cè)試目標(biāo)檢測(cè)結(jié)果NLP中的self-Attention&transformerSequenceHardtoparallel!

PreviouslayerNextlayer

UsingCNNtoreplaceRNN………………SequenceHardtoparallel

PreviouslayerNextlayer

(CNNcanparallel)……

FiltersinhigherlayercanconsiderlongersequenceUsingCNNtoreplaceRNNSelf-Attention

Self-AttentionLayer

YoucantrytoreplaceanythingthathasbeendonebyRNNwithself-attention.

Self-attention

/abs/1706.03762Attentionisallyouneed.

ScaledDot-ProductAttention:Self-attention

dotproduct

拿每個(gè)

queryq去對(duì)每個(gè)

keyk做attention

Self-attention

Soft-max

Self-attention

Consideringthewholesequence

Self-attention

拿每個(gè)queryq去對(duì)每個(gè)keyk做attention

Self-attention

Self-AttentionLayer

Multi-headSelf-attention

(2headsasexample)

Multi-headSelf-attention

(2headsasexample)

Multi-headSelf-attention

(2headsasexample)

=

PositionalEncoding

+

100…………i-thdim

+=

sourceofimage:http://jalammar.github.io/illustrated-transformer/

+=

-11Seq2seqwithAttention

Encoder

Decoder

Review:/watch?v=ZjfjPzXw6og&feature=youtu.be

Self-AttentionLayerSelf-AttentionLayerTransformerEncoderDecoderUsingChinesetoEnglishtranslationasexample機(jī)器學(xué)

習(xí)<BOS>machinemachinelearning…Transformer

+

Masked:attendonthegeneratedsequenceattendontheinputsequence/abs/1607.06450BatchSize

/watch?v=BZh1ltr5RkgLayerNorm:BatchNorm:LayerNormLayerBatchAttentionVisualization/abs/1706.03762AttentionVisualizationTheencoderself-attentiondistributionfortheword“it”fromthe5thtothe6thlayerofaTransformertrainedonEnglishtoFrenchtranslation(oneofeightattentionheads)./2017/08/transformer-novel-neural-network.htmlMulti-headAttention將NLP的結(jié)構(gòu)應(yīng)用到CV中的ViT&DETRViT結(jié)構(gòu)：相比fasterrcnn等做法，DETR最大特點(diǎn)是將目標(biāo)檢測(cè)問題轉(zhuǎn)化為無序集合預(yù)測(cè)問題。論文中特意指出fasterrcnn這種設(shè)置一大堆a(bǔ)nchor，然后基于anchor進(jìn)行分類和回歸其實(shí)屬于代理做法即不是最直接做法，目標(biāo)檢測(cè)任務(wù)就是輸出無序集合，而fasterrcnn等算法通過各種操作，并結(jié)合復(fù)雜后處理最終才得到無序集合屬于繞路了，而DETR就比較純粹了。將transformer引入目標(biāo)檢測(cè)領(lǐng)域可以避免上述各種問題。其兩個(gè)核心操作：無序集合輸出的loss計(jì)算針對(duì)目標(biāo)檢測(cè)的transformer改進(jìn)

DETR核心思想分析：DETR結(jié)構(gòu)關(guān)鍵部分一：設(shè)計(jì)了bipartitematchingloss，基于預(yù)測(cè)的boxex和groundtruthboxes的二分圖匹配計(jì)算loss的大小，從而使得預(yù)測(cè)的box的位置和類別更接近于groundtruth。關(guān)鍵部分二：是用transformer的encoder-decoder架構(gòu)一次性生成N個(gè)boxprediction。其中N是一個(gè)事先設(shè)定的、比遠(yuǎn)遠(yuǎn)大于image中