自然語(yǔ)言處理中的attention機(jī)制

NLP中的Attention機(jī)制介紹李世杰復(fù)習(xí)Attention機(jī)制通用定義Attention

score的計(jì)算變體更多attention種類總結(jié)內(nèi)容利用點(diǎn)積dot得到attentionscore利用softmax函數(shù)：attentionscores轉(zhuǎn)化為概率分布按照上一步概率分布：計(jì)算encoder的hiddenstates的加權(quán)求和復(fù)習(xí)Attention機(jī)制通用定義Attention

score的計(jì)算變體更多attention種類總結(jié)內(nèi)容Attention機(jī)制的一個(gè)更加通用的定義（課程里面的定義）給定一組向量集合values，以及一個(gè)向量query，attention機(jī)制是一種根據(jù)該query計(jì)算values的加權(quán)求和的機(jī)制。attention的重點(diǎn)就是這個(gè)集合values中的每個(gè)value的“權(quán)值”的計(jì)算方法。有時(shí)候也把這種attention的機(jī)制叫做query的輸出關(guān)注了（或者說(shuō)叫考慮到了）原文的不同部分。（Queryattendstothe

values）舉例：seq2seq中，哪個(gè)是query，哪個(gè)是values？從定義來(lái)看Attention的感性認(rèn)識(shí)The weightedsum

is

aselective

summaryoftheinformationcontainedinthevalues,wherethequery

determines

whichvalues

to

focuson.換句話說(shuō)，attention機(jī)制也是一種根據(jù)一些其他向量表達(dá)（query）從向量表達(dá)集合（values）中獲得特定向量表達(dá)（attention）的方法復(fù)習(xí)Attention機(jī)制通用定義Attention

score的計(jì)算變體更多attention種類總結(jié)內(nèi)容針對(duì)attention向量計(jì)算方式變體SoftattentionHardattention“半軟半硬”的attention（localattention）動(dòng)態(tài)attention靜態(tài)attention強(qiáng)制前向attentionSoftattentionSoftattention就是我們上面講過(guò)的那種最常見(jiàn)的attention，是在求注意力分配概率分布的時(shí)候，對(duì)于輸入句子X(jué)中任意一個(gè)單詞都給出個(gè)概率，是個(gè)概率分布

Hardattention

Soft是給每個(gè)單詞都賦予一個(gè)單詞match概率，那么如果不這樣做，直接從輸入句子里面找到某個(gè)特定的單詞，然后把目標(biāo)句子單詞和這個(gè)單詞對(duì)齊，而其它輸入句子中的單詞硬性地認(rèn)為對(duì)齊概率為0，這就是HardAttentionModel的思想。localattention（半軟半硬attention）

在這個(gè)模型中，對(duì)于是時(shí)刻t的每一個(gè)目標(biāo)詞匯，模型首先產(chǎn)生一個(gè)對(duì)齊的位置pt（alignedposition），context

vector由編碼器中一個(gè)集合的隱藏層狀態(tài)計(jì)算得到，編碼器中的隱藏層包含在窗口[pt-D,pt+D]中，D的大小通過(guò)經(jīng)驗(yàn)選擇。尋找pt并計(jì)算alpha的方式又大致分為兩種：Local–m:假設(shè)對(duì)齊位置就是pt=t（線性對(duì)齊）然后計(jì)算窗口內(nèi)的softmax，窗口外的alpha可以取0

Local–p:先通過(guò)一個(gè)函數(shù)預(yù)測(cè)pt在[0,S]之間，然后取一個(gè)類高斯分布乘以softmax。動(dòng)態(tài)attention、靜態(tài)attention、強(qiáng)制前向attention動(dòng)態(tài)attention：就是softmaxattention靜態(tài)attention：對(duì)輸出句子共用一個(gè)St的attention就夠了，一般用在Bilstm的首位hiddenstate輸出拼接起來(lái)作為St（如圖所示中的u）強(qiáng)制前向attention：要求在生成目標(biāo)句子單詞時(shí)，如果某個(gè)輸入句子單詞已經(jīng)和輸出單詞對(duì)齊了，那么后面基本不太考慮再用它了針對(duì)Attention

score的計(jì)算方式變體已有的情況下，計(jì)算query的attention向量a（很多時(shí)候也稱作上下文向量，contextvector）使用的公式為：點(diǎn)積attentionscore

（Basicdot-productattention）：這個(gè)就是我們常見(jiàn)的attentionscore計(jì)算方式乘法attentionscore

（Multiplicativeattention）：加法attentionscore（Additive

attention:復(fù)習(xí)Attention機(jī)制通用定義Attention

score的計(jì)算變體更多attention種類總結(jié)內(nèi)容Selfattention思想：Selfattention也叫做intra-attention在沒(méi)有任何額外信息的情況下，我們?nèi)匀豢梢酝ㄟ^(guò)允許句子使用selfattention機(jī)制來(lái)處理自己，從句子中提取關(guān)注信息。它在很多任務(wù)上都有十分出色的表現(xiàn)，比如閱讀理解(Chengetal.,2016)、文本繼承(textualentailment/Parikhetal.,2016)、自動(dòng)文本摘要(Paulusetal.,2017)。特殊的attentionscore計(jì)算方式Selfattention計(jì)算方式1.以當(dāng)前的隱藏狀態(tài)去計(jì)算和前面的隱藏狀態(tài)的得分2.以當(dāng)前狀態(tài)本身去計(jì)算得分，這種方式更常見(jiàn)，也更簡(jiǎn)單Selfattention計(jì)算方式針對(duì)第二種計(jì)算方式，其又有矩陣的變形，令矩陣H=[h1，h2，h3，h4……h(huán)n]∈nx2u表示句子的隱藏狀態(tài)矩陣，每個(gè)隱藏狀態(tài)為2u維。那么上面的公式矩陣化之后就是：Key-valueattentionKey-valueattention是將hi拆分成了兩部分[key_i;value_i]，然后使用的時(shí)候只針對(duì)key部分計(jì)算attention權(quán)重，然后加權(quán)求和的時(shí)候只使用value部分進(jìn)行加權(quán)求和。公式如下，權(quán)重計(jì)算：另一種特殊的attentionscore計(jì)算方式Attentionisallyouneed中的multi-headattention部分不妨從一個(gè)向量出發(fā)Scaleddot-productattentionAttentionisallyouneed中的multi-headattent