黃武偉：小米大模型端側(cè)部署落地探索-2024-10-新勢(shì)力

小米大模型端側(cè)部署落地探索小米/大模型算法工程師 02LLM端側(cè)部署的挑戰(zhàn) 03 03相關(guān)技術(shù)探索 04總結(jié)與展望在終端設(shè)備上直接運(yùn)行和處理人工智能算法隱私和安全：所有數(shù)據(jù)的存儲(chǔ)和計(jì)隱私和安全：所有數(shù)據(jù)的存儲(chǔ)和計(jì)算都在本地完成，避免了數(shù)據(jù)傳輸?shù)皆贫丝赡軒淼陌踩L(fēng)險(xiǎn)?？煽啃裕憾藗?cè)AI減少了對(duì)網(wǎng)絡(luò)連接的依賴，即使在網(wǎng)絡(luò)不穩(wěn)定或斷開的情況下也能正常工作，提高了系統(tǒng)的魯棒成本效益：端側(cè)A成本效益：端側(cè)AI減少了對(duì)云端計(jì)算資源的需求，有助于降低成本，特別是在大規(guī)模部署時(shí)更為明顯。個(gè)性化服務(wù)：端側(cè)AI可以根據(jù)用戶的具體使用習(xí)慣和偏好提供更加個(gè)性化的服務(wù)，增強(qiáng)用戶體驗(yàn)。小米為什么做端側(cè)AIl輕量化、本地部署是小米大模型技術(shù)主力突破方向l小米的端側(cè)設(shè)備數(shù)量大LLM端側(cè)部署的挑戰(zhàn)存儲(chǔ)差異存儲(chǔ)差異服務(wù)器GPU手機(jī)計(jì)算能力數(shù)百TFLOPS的算力（如相對(duì)較低大容量顯存有限的內(nèi)存和存儲(chǔ)（通常幾個(gè)GB到十幾GB）功耗設(shè)計(jì)用于高功耗環(huán)境，散熱要求高低功耗設(shè)計(jì)，優(yōu)化能效帶寬A100顯存帶寬接近1.6TB/sNPU約70G/s6B模型6B模型模型分片？推理速度對(duì)于母語讀者，平均閱讀速度通常在300至500個(gè)字每分鐘。（50+字/s）快速閱讀者或經(jīng)過訓(xùn)練的讀者可以達(dá)到500至700字每分鐘，甚至更高。（100+字/s）相關(guān)技術(shù)探索大模型推理時(shí)延減少計(jì)算量減小數(shù)據(jù)搬運(yùn)?投機(jī)推理移除神經(jīng)網(wǎng)絡(luò)中不重要的權(quán)重，或者完全移除這些權(quán)重對(duì)應(yīng)的神經(jīng)元連接。非結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝半結(jié)構(gòu)化剪枝結(jié)構(gòu)化剪枝目前硬件支持最友好剪層剪Head剪枝校準(zhǔn)目標(biāo)：加mask訓(xùn)練模型，優(yōu)化一般的Sheared-Llama會(huì)剪深度和?損失較大?KVcache壓縮不足l剪枝+少量恢復(fù)訓(xùn)練超越相同大小的預(yù)訓(xùn)練模型l簡單但很重要，這個(gè)結(jié)論讓剪枝有了意義我們的結(jié)構(gòu)設(shè)計(jì)有以下特點(diǎn)：3）參數(shù)量相近時(shí)，KVcache顯著減小剪枝效果結(jié)構(gòu)搜索?在深度學(xué)習(xí)領(lǐng)域，量化是將浮點(diǎn)數(shù)值轉(zhuǎn)化為定點(diǎn)數(shù)值的方法。優(yōu)點(diǎn)存儲(chǔ)開銷帶寬開銷（顯存->SRAM）計(jì)算開銷量化反量化量化反量化?z)·s影響量化精度的幾個(gè)因素?量化位寬?量化粒度?量化范圍量化中權(quán)重的Outlier對(duì)于精度影響較大[0.1,0.2,3.6]->[0,0,4]消除權(quán)重中的異常值！[0.1,0.2,0.6]->[0,0.2,0.6]消除權(quán)重中的異常值！數(shù)值分布范圍縮小，量化相對(duì)容易!參數(shù)彌補(bǔ)?逐行量化參數(shù)，適當(dāng)調(diào)整未量化的權(quán)重來彌補(bǔ)造成已經(jīng)量化參數(shù)的損失量化方法選擇上注意的問題結(jié)合硬件特性額外計(jì)算和存儲(chǔ)開銷?對(duì)于每個(gè)通道的minmax進(jìn)行放縮?使用MSEloss獲得最優(yōu)的放縮系數(shù)?將權(quán)重和激活中難量化的值進(jìn)行等價(jià)轉(zhuǎn)移操作大模型推理的兩個(gè)階段預(yù)填充KVcache自回歸1）每次前向計(jì)算只生成一個(gè)詞2）LLM前向需要大量的數(shù)據(jù)訪問和搬運(yùn)解決方案：投機(jī)推理?充分利用算力?減少帶寬壓力?一次前向生成多個(gè)tokens投機(jī)推理的流程解碼候選采用原LLM對(duì)解碼候選做并行驗(yàn)證，保留符合輸出條件的部分生成投機(jī)詞通過：Attentionmask?采樣和驗(yàn)證融合