2023中文BERT選擇手冊

中文BERT眾所周知，像T這樣的大型預(yù)訓(xùn)練模型通常會有上億個參數(shù)，受累于龐大的模型大小和高延遲時間，使得這些龐大的模型無法部署到移動設(shè)備之上。而T則是經(jīng)過壓縮和加速的T模型。像一樣，與任務(wù)無關(guān)，也就是說，可以通過簡單的微調(diào)將其通用地應(yīng)用于各種下游任務(wù)。是的精簡版本，同時具有精心設(shè)計的自注意力與前饋網(wǎng)絡(luò)之間的平衡。為了訓(xùn)練，首先訓(xùn)練一個專門設(shè)計的教師模型，該模型是模型。然后，實現(xiàn)從該老師模型到的知識遷移。經(jīng)驗研究表明，比小倍，快倍，同時在基準(zhǔn)測試中獲得了有相當(dāng)競爭力的結(jié)果。在的自然語言推理任務(wù)上，T的得分為（比s低），在xl手機上的延遲為毫秒。在Dv1v問題解答任務(wù)上，的v得分為0（比高5）。1自監(jiān)督模型為自然語言處理技術(shù)帶來了新的革命的同時，也帶來了許多問題：像BERT模時間，BERT模型往往無法部署到資源有限的移動設(shè)備之上，實現(xiàn)機器翻譯，對話建模等在實現(xiàn)過程中，首先將BERT進行與任務(wù)無關(guān)的壓縮，然后再進行與任務(wù)相關(guān)的壓縮，將BERT模型微調(diào)為特定任務(wù)的教師（Teacher）模型，然后再進行數(shù)據(jù)蒸餾，這一過程比獲得與任務(wù)無關(guān)的緊湊型似乎并不難，只需要采用較窄或更淺的版本，并通訓(xùn)練難度會更大。圖1三種模型架構(gòu)比較（a）BERT(bIB-BERTc)低0.6），在Pixel4手機上的延遲為62毫秒。在SQuADv1.1/v2.0問題解答任務(wù)上，MobileBERT的devF1得分為90.0/79.2（比BERTBASE高1.5/2.1）。2MobileBERTMobileBERT的設(shè)計架構(gòu)和參數(shù)設(shè)置如下表所示，表中的設(shè)置是在大量實驗的基礎(chǔ)上獲得表11.的體系結(jié)構(gòu)如圖（c）所示。它的深度與一樣深，但是每個構(gòu)件都變得更小。如表變換，以將其輸入和輸出尺寸調(diào)整為，將這種架構(gòu)稱為瓶頸。行訓(xùn)練，然后再從該教師網(wǎng)絡(luò)向進行知識轉(zhuǎn)移。這比直接從頭訓(xùn)練更好。教師網(wǎng)絡(luò)的體系結(jié)構(gòu)設(shè)計，如圖（）所示。實際上，教師網(wǎng)絡(luò)只是。在此，將教師網(wǎng)絡(luò)稱為。注意，和具有相同的要素特征映射大小，即。因此，可以對和之間的分層輸出差異直接進行比較。1.1.刪除層歸一化用元素線性變換替換n通道隱含狀態(tài)hNoNorm（h）=γ?h+β其中γ，β∈和〇表示Hadamard積。注意，即使在測試模式下，NoNorm采用relurelu激活代替了gelu激活。1.BERT模型中的嵌入表占模型大小的很大比例。如表5-251.其中A是注意力的頭數(shù)（多頭注意力機制）其中，α為0~13IB-BERT老師的中級知識（即注意力映射和特征映射）可能不是圖2圖2三種訓(xùn)練策略的方框圖（a）輔助知識傳遞(AKT(b聯(lián)合知識傳遞(JKT)(c)漸進知識按照表1的配置進行實驗，將MobileBERT的實驗結(jié)果和其它模型訓(xùn)練結(jié)果進行比對。通過大量的實驗，找出了最優(yōu)的模型設(shè)置，以SQuADvl.ldevFI得分作為模型設(shè)置的性能指標(biāo)。在這里，僅以2048個批次的大小訓(xùn)練模型125,000BERT的訓(xùn)練設(shè)置基礎(chǔ)4表2IB-BERTLARGEteacherF1MobileBERT5.5.4.5和一樣，使用kss和英文維基百科（shk）作為預(yù)訓(xùn)練數(shù)據(jù)。為了使老師達到與原始相同的精度，在個Uv芯片上訓(xùn)練了，步長為k，批量大小為，并使用了優(yōu)化器。為了與進行比較，沒有在其他變體中使用訓(xùn)練技巧。對于，在預(yù)訓(xùn)練蒸餾階段使用相同的設(shè)置。此外，當(dāng)使用漸進式知識傳遞來訓(xùn)練時，在層上需要額外增加萬步。為