版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
中文BERT眾所周知,像T這樣的大型預(yù)訓(xùn)練模型通常會(huì)有上億個(gè)參數(shù),受累于龐大的模型大小和高延遲時(shí)間,使得這些龐大的模型無法部署到移動(dòng)設(shè)備之上。而T則是經(jīng)過壓縮和加速的T模型。像一樣,與任務(wù)無關(guān),也就是說,可以通過簡(jiǎn)單的微調(diào)將其通用地應(yīng)用于各種下游任務(wù)。是的精簡(jiǎn)版本,同時(shí)具有精心設(shè)計(jì)的自注意力與前饋網(wǎng)絡(luò)之間的平衡。為了訓(xùn)練,首先訓(xùn)練一個(gè)專門設(shè)計(jì)的教師模型,該模型是模型。然后,實(shí)現(xiàn)從該老師模型到的知識(shí)遷移。經(jīng)驗(yàn)研究表明,比小倍,快倍,同時(shí)在基準(zhǔn)測(cè)試中獲得了有相當(dāng)競(jìng)爭(zhēng)力的結(jié)果。在的自然語言推理任務(wù)上,T的得分為(比s低),在xl手機(jī)上的延遲為毫秒。在Dv1v問題解答任務(wù)上,的v得分為0(比高5)。1自監(jiān)督模型為自然語言處理技術(shù)帶來了新的革命的同時(shí),也帶來了許多問題:像BERT模時(shí)間,BERT模型往往無法部署到資源有限的移動(dòng)設(shè)備之上,實(shí)現(xiàn)機(jī)器翻譯,對(duì)話建模等在實(shí)現(xiàn)過程中,首先將BERT進(jìn)行與任務(wù)無關(guān)的壓縮,然后再進(jìn)行與任務(wù)相關(guān)的壓縮,將BERT模型微調(diào)為特定任務(wù)的教師(Teacher)模型,然后再進(jìn)行數(shù)據(jù)蒸餾,這一過程比獲得與任務(wù)無關(guān)的緊湊型似乎并不難,只需要采用較窄或更淺的版本,并通訓(xùn)練難度會(huì)更大。圖1三種模型架構(gòu)比較(a)BERT(bIB-BERTc)低0.6),在Pixel4手機(jī)上的延遲為62毫秒。在SQuADv1.1/v2.0問題解答任務(wù)上,MobileBERT的devF1得分為90.0/79.2(比BERTBASE高1.5/2.1)。2MobileBERTMobileBERT的設(shè)計(jì)架構(gòu)和參數(shù)設(shè)置如下表所示,表中的設(shè)置是在大量實(shí)驗(yàn)的基礎(chǔ)上獲得表11.的體系結(jié)構(gòu)如圖(c)所示。它的深度與一樣深,但是每個(gè)構(gòu)件都變得更小。如表變換,以將其輸入和輸出尺寸調(diào)整為,將這種架構(gòu)稱為瓶頸。行訓(xùn)練,然后再?gòu)脑摻處熅W(wǎng)絡(luò)向進(jìn)行知識(shí)轉(zhuǎn)移。這比直接從頭訓(xùn)練更好。教師網(wǎng)絡(luò)的體系結(jié)構(gòu)設(shè)計(jì),如圖()所示。實(shí)際上,教師網(wǎng)絡(luò)只是。在此,將教師網(wǎng)絡(luò)稱為。注意,和具有相同的要素特征映射大小,即。因此,可以對(duì)和之間的分層輸出差異直接進(jìn)行比較。1.1.刪除層歸一化用元素線性變換替換n通道隱含狀態(tài)hNoNorm(h)=γ?h+β其中γ,β∈和〇表示Hadamard積。注意,即使在測(cè)試模式下,NoNorm采用relurelu激活代替了gelu激活。1.BERT模型中的嵌入表占模型大小的很大比例。如表5-251.其中A是注意力的頭數(shù)(多頭注意力機(jī)制)其中,α為0~13IB-BERT老師的中級(jí)知識(shí)(即注意力映射和特征映射)可能不是圖2圖2三種訓(xùn)練策略的方框圖(a)輔助知識(shí)傳遞(AKT(b聯(lián)合知識(shí)傳遞(JKT)(c)漸進(jìn)知識(shí)按照表1的配置進(jìn)行實(shí)驗(yàn),將MobileBERT的實(shí)驗(yàn)結(jié)果和其它模型訓(xùn)練結(jié)果進(jìn)行比對(duì)。通過大量的實(shí)驗(yàn),找出了最優(yōu)的模型設(shè)置,以SQuADvl.ldevFI得分作為模型設(shè)置的性能指標(biāo)。在這里,僅以2048個(gè)批次的大小訓(xùn)練模型125,000BERT的訓(xùn)練設(shè)置基礎(chǔ)4表2IB-BERTLARGEteacherF1MobileBERT5.5.4.5和一樣,使用kss和英文維基百科(shk)作為預(yù)訓(xùn)練數(shù)據(jù)。為了使老師達(dá)到與原始相同的精度,在個(gè)Uv芯片上訓(xùn)練了,步長(zhǎng)為k,批量大小為,并使用了優(yōu)化器。為了與進(jìn)行比較,沒有在其他變體中使用訓(xùn)練技巧。對(duì)于,在預(yù)訓(xùn)練蒸餾階段使用相同的設(shè)置。此外,當(dāng)使用漸進(jìn)式知識(shí)傳遞來訓(xùn)練時(shí),在層上需要額外增加萬步。為
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 在線地理教育行業(yè)市場(chǎng)發(fā)展趨勢(shì)及投資咨詢報(bào)告
- 核心素養(yǎng)導(dǎo)向下的高中語文閱讀教學(xué)策略研究
- 云計(jì)算財(cái)務(wù)行業(yè)市場(chǎng)突圍建議書
- 個(gè)人養(yǎng)老保險(xiǎn)險(xiǎn)行業(yè)市場(chǎng)機(jī)遇分析
- 物聯(lián)網(wǎng)智能自動(dòng)化倉(cāng)庫(kù)行業(yè)經(jīng)營(yíng)模式分析
- 云計(jì)算財(cái)務(wù)行業(yè)三年發(fā)展洞察報(bào)告
- DB3310∕T 109-2023 產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)指南
- 建筑施工實(shí)習(xí)日記十篇
- 新學(xué)期個(gè)人計(jì)劃(7篇)
- 第十一章簡(jiǎn)單機(jī)械和功 提優(yōu)訓(xùn)練 2024-2025學(xué)年蘇科版九年級(jí)上冊(cè)物理
- 獸醫(yī)臨床常用藥物配伍表
- 數(shù)獨(dú)骨灰級(jí)100題
- 四大管道基礎(chǔ)知識(shí)
- 古城墻保護(hù)修繕二期工程施工組織設(shè)計(jì)
- 洛陽華榮生物技術(shù)有限公司生物催化技術(shù)研發(fā)、中試及產(chǎn)業(yè)化試驗(yàn)基地項(xiàng)目環(huán)境影響報(bào)告書
- 六十仙命配二十四山吉兇選擇一覽表
- 小夾板外固定技術(shù)幻燈片
- 在重陽節(jié)離退休教師座談會(huì)上的講話
- 湘教版小學(xué)音樂二年級(jí)上冊(cè)全冊(cè)教案.doc
- 全國(guó)農(nóng)產(chǎn)品質(zhì)量安全考試題庫(kù)
- 安防監(jiān)控工程施工計(jì)劃進(jìn)度表(完整版)
評(píng)論
0/150
提交評(píng)論