黃武偉:小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力_第1頁(yè)
黃武偉:小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力_第2頁(yè)
黃武偉:小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力_第3頁(yè)
黃武偉:小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力_第4頁(yè)
黃武偉:小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力_第5頁(yè)
已閱讀5頁(yè),還剩60頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

小米大模型端側(cè)部署落地探索小米/大模型算法工程師 02LLM端側(cè)部署的挑戰(zhàn) 03 03相關(guān)技術(shù)探索 04總結(jié)與展望在終端設(shè)備上直接運(yùn)行和處理人工智能算法隱私和安全:所有數(shù)據(jù)的存儲(chǔ)和計(jì)隱私和安全:所有數(shù)據(jù)的存儲(chǔ)和計(jì)算都在本地完成,避免了數(shù)據(jù)傳輸?shù)皆贫丝赡軒?lái)的安全風(fēng)險(xiǎn)??煽啃裕憾藗?cè)AI減少了對(duì)網(wǎng)絡(luò)連接的依賴(lài),即使在網(wǎng)絡(luò)不穩(wěn)定或斷開(kāi)的情況下也能正常工作,提高了系統(tǒng)的魯棒成本效益:端側(cè)A成本效益:端側(cè)AI減少了對(duì)云端計(jì)算資源的需求,有助于降低成本,特別是在大規(guī)模部署時(shí)更為明顯。個(gè)性化服務(wù):端側(cè)AI可以根據(jù)用戶(hù)的具體使用習(xí)慣和偏好提供更加個(gè)性化的服務(wù),增強(qiáng)用戶(hù)體驗(yàn)。小米為什么做端側(cè)AIl輕量化、本地部署是小米大模型技術(shù)主力突破方向l小米的端側(cè)設(shè)備數(shù)量大LLM端側(cè)部署的挑戰(zhàn)存儲(chǔ)差異存儲(chǔ)差異服務(wù)器GPU手機(jī)計(jì)算能力數(shù)百TFLOPS的算力(如相對(duì)較低大容量顯存有限的內(nèi)存和存儲(chǔ)(通常幾個(gè)GB到十幾GB)功耗設(shè)計(jì)用于高功耗環(huán)境,散熱要求高低功耗設(shè)計(jì),優(yōu)化能效帶寬A100顯存帶寬接近1.6TB/sNPU約70G/s6B模型6B模型模型分片?推理速度對(duì)于母語(yǔ)讀者,平均閱讀速度通常在300至500個(gè)字每分鐘。(50+字/s)快速閱讀者或經(jīng)過(guò)訓(xùn)練的讀者可以達(dá)到500至700字每分鐘,甚至更高。(100+字/s)相關(guān)技術(shù)探索大模型推理時(shí)延減少計(jì)算量減小數(shù)據(jù)搬運(yùn)?投機(jī)推理移除神經(jīng)網(wǎng)絡(luò)中不重要的權(quán)重,或者完全移除這些權(quán)重對(duì)應(yīng)的神經(jīng)元連接。非結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝半結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝目前硬件支持最友好剪層剪Head剪枝校準(zhǔn)目標(biāo):加mask訓(xùn)練模型,優(yōu)化一般的Sheared-Llama會(huì)剪深度和?損失較大?KVcache壓縮不足l剪枝+少量恢復(fù)訓(xùn)練超越相同大小的預(yù)訓(xùn)練模型l簡(jiǎn)單但很重要,這個(gè)結(jié)論讓剪枝有了意義我們的結(jié)構(gòu)設(shè)計(jì)有以下特點(diǎn):3)參數(shù)量相近時(shí),KVcache顯著減小剪枝效果結(jié)構(gòu)搜索?在深度學(xué)習(xí)領(lǐng)域,量化是將浮點(diǎn)數(shù)值轉(zhuǎn)化為定點(diǎn)數(shù)值的方法。優(yōu)點(diǎn)存儲(chǔ)開(kāi)銷(xiāo)帶寬開(kāi)銷(xiāo)(顯存->SRAM)計(jì)算開(kāi)銷(xiāo)量化反量化量化反量化?z)·s影響量化精度的幾個(gè)因素?量化位寬?量化粒度?量化范圍量化中權(quán)重的Outlier對(duì)于精度影響較大[0.1,0.2,3.6]->[0,0,4]消除權(quán)重中的異常值![0.1,0.2,0.6]->[0,0.2,0.6]消除權(quán)重中的異常值!數(shù)值分布范圍縮小,量化相對(duì)容易!參數(shù)彌補(bǔ)?逐行量化參數(shù),適當(dāng)調(diào)整未量化的權(quán)重來(lái)彌補(bǔ)造成已經(jīng)量化參數(shù)的損失量化方法選擇上注意的問(wèn)題結(jié)合硬件特性額外計(jì)算和存儲(chǔ)開(kāi)銷(xiāo)?對(duì)于每個(gè)通道的minmax進(jìn)行放縮?使用MSEloss獲得最優(yōu)的放縮系數(shù)?將權(quán)重和激活中難量化的值進(jìn)行等價(jià)轉(zhuǎn)移操作大模型推理的兩個(gè)階段預(yù)填充KVcache自回歸1)每次前向計(jì)算只生成一個(gè)詞2)LLM前向需要大量的數(shù)據(jù)訪(fǎng)問(wèn)和搬運(yùn)解決方案:投機(jī)推理?充分利用算力?減少帶寬壓力?一次前向生成多個(gè)tokens投機(jī)推理的流程解碼候選采用原LLM對(duì)解碼候選做并行驗(yàn)證,保留符合輸出條件的部分生成投機(jī)詞通過(guò):Attentionmask?采樣和驗(yàn)證融合

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論