騰訊大模型發(fā)展與應(yīng)用分享

騰訊大模型發(fā)展與應(yīng)用目錄一、混元大模型整體能力概述二、混元大模型的實(shí)踐與應(yīng)用三、混元大模型生態(tài)及社會(huì)價(jià)值探索2一、混元大模型能力概述42023.02混元生成式大

模型啟動(dòng)研發(fā)2021-2022發(fā)布萬億混元

NLP大模型登頂各大權(quán)威榜單，始終處于模

型算法探索的最

前沿2020-2022推出百億/千億廣告推薦大模型2024.9混元新一代旗艦大

語言模型turbo模型發(fā)布效率大幅提升，成本大幅下降2023.09混元大模型對(duì)外發(fā)布混元一站式面向業(yè)務(wù)全面開放2023.05廣告

、

會(huì)議

、

文檔

等

頭

部

業(yè)務(wù)接入混

元初代大語

言模型2024.05混元開源業(yè)界首個(gè)中文DIT文生圖模型

2024.05.30混元全面加持的原生大模型產(chǎn)品騰訊元寶發(fā)布2024.11混元開源Hunyuan-large模型2024.12混元開源Hunyuan-Video模型業(yè)內(nèi)最大最強(qiáng)大的開源視頻模型，彌補(bǔ)社區(qū)空白業(yè)界參數(shù)規(guī)模最大、效果最好的開源MoE大語言模型混元開源Hunyuan-3D模型業(yè)界生成最快效果最好的開源

3D生成模型2024.1混元升級(jí)高性能MOE

模型突破規(guī)模和性能的天

花板，應(yīng)對(duì)資源緊張

成本高企等挑戰(zhàn)2024.6混元多模態(tài)

MOE模型發(fā)布混元圍繞需求持續(xù)迭代，實(shí)現(xiàn)了能力全面突破、應(yīng)用廣泛落地全鏈路自研

--

驚艷的模型效果，離不開底層算法和平臺(tái)的支持自

主研

發(fā)自

主研

發(fā)自主研發(fā)框架

平臺(tái)模型

算法算力

集群騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)針對(duì)低端卡算力低、顯存小的不足自研訓(xùn)練/推理框架，高效利用數(shù)萬張低端卡GPULAlGPULAGPULAGPULA8gropu……Block:1024

GPU構(gòu)建自主可控的國產(chǎn)大模型全棧技術(shù)64…GPULCGPULC…GPULC………GPULCGPULCGPULCGPULC…2024年將達(dá)到單集群10萬卡規(guī)模

低端卡也能訓(xùn)練萬億參數(shù)大模型單模型升級(jí)為MoE混合專家模型

統(tǒng)一的文本和多模態(tài)大模型結(jié)構(gòu)GPULAGPULAGPULA8gropu…64groupGPU

Server1

GPU

Server128

…自研AI框架高效利用低端卡低端卡+自研高速網(wǎng)絡(luò)互聯(lián)Pod

nPod2研發(fā)MoE大模型基礎(chǔ)結(jié)構(gòu)萬卡線性加速模型量化并行推理4D并行Angel

機(jī)器學(xué)習(xí)框架MoE

混合專家模型Block：

1024

GPUPod：64K

GPU單個(gè)模型GPU

Server1GPU

Server128SGLCSGLCSGLCSGLCGPULAGPULAGPULAGPULAGPULAGPULCGPULCGPULCGPULCGPULC16gropu………單節(jié)點(diǎn)3.2T帶寬，通信性能提升30%成本比國外IB網(wǎng)絡(luò)下降70%交換機(jī)、光模塊、網(wǎng)卡全鏈路自研大規(guī)模算力需要高速互聯(lián)互通，InfiniBand網(wǎng)絡(luò)設(shè)備價(jià)格昂貴，是自研的3倍以上，且有被禁風(fēng)險(xiǎn)突破一：自研硬件、路由算法，構(gòu)建星脈高速網(wǎng)絡(luò)400G

400G自研硅光模塊

自研算力網(wǎng)卡3

層網(wǎng)絡(luò)架構(gòu)可支持單集群

12.8

萬卡51.2T

400G自研交換機(jī)星脈RDMA網(wǎng)絡(luò)突破二：自研Angel大模型訓(xùn)練和推理平臺(tái)，高效調(diào)度異構(gòu)卡集群針對(duì)低端卡算力低、顯存小的不足，自研訓(xùn)練/推理框架，高效利用萬張低端卡集群?拓?fù)涓兄档屯ㄐ耪急?，多機(jī)多卡線性加速?顯存+主存統(tǒng)一編址，增加單機(jī)容量?性能比微軟開源DeepSpeed提升2.6倍?混合精度、模型量化和壓縮算法?批處理優(yōu)化計(jì)算和顯存效率?萬億大模型的推理成本比開源下降70%70%2.6倍GPU國產(chǎn)AI芯片模型推理模型訓(xùn)練量化剪枝蒸餾異構(gòu)硬件適配大模型壓縮→→旗艦?zāi)Ｐ鸵褦U(kuò)展至萬億混合專家模型（MoE）1B

、3B

、7B

、13B等不同參數(shù)量下的Dense和MoE模型均有布局

【感知能力】

混元多模態(tài)理解模型

【思考能力】

混元文生文模型混元大模型的能力建設(shè)

【創(chuàng)造能力】

混元文生視頻模型混元文生3D模型混元文生圖模型!A：A：

在這種情況下，

人行橫道

信號(hào)顯示行人過街信號(hào)為綠色

時(shí)，

可以安全過街。根據(jù)信號(hào)

燈，

行人可以繼續(xù)前進(jìn)，繼續(xù)

進(jìn)行日?；顒?dòng)或前往下一個(gè)目

的地。重要的是要注意，即使

此時(shí)綠燈亮著，在人行橫道上

行走也必須保持謹(jǐn)慎，因?yàn)樾?/p>

人和機(jī)動(dòng)車駕駛員都必須遵守

交通規(guī)則?；煸母兄芰Α煸嗄B(tài)理解模

型A：

這件格子外套，既是一件保暖的夾克，又是一件時(shí)尚的襯衫。它由藍(lán)色、棕色和白色制成，擁有格子圖案和連帽設(shè)計(jì)。它的剪裁流暢而舒適，適合各種場(chǎng)合穿著。在白色的背景上，這件外套顯得格外醒目，讓人不禁想要擁有它。?支持多圖&視頻生文：一個(gè)模型處理文本、單圖、多

圖、短視頻和長視頻生文任務(wù)?支持更大分辨率Adapter：目前自適應(yīng)分辨率視覺編碼：

目前支持單圖、最大7K分辨率Q：

這種情況下我可以步行嗎？LLM語言模型:目前MoE架構(gòu)?LLM基座支持更大參數(shù)量、更先進(jìn)架構(gòu)?更高的推理效率、更低成本?更大規(guī)模圖文對(duì)、視頻對(duì)?更豐富的長寬比、任意分辨率Q：

請(qǐng)把圖片轉(zhuǎn)為文本表格Q：

這是什么商品圖表分析分析推理基礎(chǔ)理解①【長窗口】無損256K～百萬級(jí)長窗口輸入；②【長文理解&記憶】上下文理解和長文記憶，流暢支持多輪對(duì)話；③【意圖識(shí)別】準(zhǔn)確識(shí)別用戶意圖、進(jìn)行理解、分析的邏輯推理能力，內(nèi)嵌安全識(shí)別能力，更精準(zhǔn)判斷是否存在潛在安全風(fēng)險(xiǎn)④【知識(shí)增強(qiáng)】有效增強(qiáng)事實(shí)性、時(shí)效性、無害性、提升內(nèi)容生成效果；⑤【文本創(chuàng)作】支持文學(xué)創(chuàng)作、文本摘要的內(nèi)容創(chuàng)作；⑥【AI搜索】整合騰訊優(yōu)質(zhì)內(nèi)容生態(tài)（如微信公眾號(hào)、視頻號(hào)等）

和全網(wǎng)搜索能力⑦【多尺寸】提供多種尺寸Dense和MoE模型

，覆蓋不同場(chǎng)景。?訓(xùn)練效率提升108%，

推理效率提升

100%，推理成

本降低

50%，解碼速度提升

20%?除支持通用大模型能力外，也支持角色扮演、FunctionCall、代碼生成和AI聯(lián)網(wǎng)搜索等領(lǐng)域能力混元Turbo的核心能力混元的思考能力——混元文生文模型①Dit

架構(gòu)，具備Scale

up

能力；②雙向注意力

Refiner，文本理解更全

局；③Scaling

Laws，

計(jì)算資源利用更高效；④16通道編碼隱空間，

細(xì)節(jié)編碼能力強(qiáng)；①混合多粒度特征提取,

提升細(xì)節(jié)和相似度

。②自適應(yīng)特征投影

、融合不同粒度的特征，

適配模型?；煸膭?chuàng)造能力——混元文生圖模型文生圖模型圖生圖模型prompt：空中飛翔的自由女神prompt：一只貓，騎自行車①超大規(guī)模數(shù)據(jù)處理系統(tǒng)；②適配MLLM

為文本編碼器，強(qiáng)大的語意遵從能力，安全意圖識(shí)別更精準(zhǔn)③基于自研Scaling

Law的全注意力

DIT——更大參數(shù)、更高性能；④自研3D

VAE，更強(qiáng)大的圖像視頻重

建能力⑤基于多模態(tài)理解的視頻安全大模型，融合視頻與標(biāo)簽進(jìn)行安全對(duì)齊混元的創(chuàng)造能力——混元文生視頻模型全面升級(jí)寫實(shí)畫質(zhì)高質(zhì)感畫面、細(xì)節(jié)描述豐富語義遵從語意表現(xiàn)精準(zhǔn)、

多主體交互合理動(dòng)態(tài)流暢動(dòng)作表達(dá)完整、動(dòng)態(tài)內(nèi)容迅捷原生轉(zhuǎn)場(chǎng)主體保持直出多鏡頭切換混元的創(chuàng)造能力——混元文生視頻模型全面升級(jí)視頻鏈接?

幾何與紋理解耦，兼容3D設(shè)計(jì)師建模流程?

速度跨進(jìn)30s內(nèi)，生成質(zhì)量位于業(yè)界第一梯隊(duì)?

自研3D-DiT幾何大模型，業(yè)界最早之一，白模生成精細(xì)?

自研3D-Paint紋理大模型，紋理生成更豐富混元3D功能矩陣混元3D大模型混元的創(chuàng)造能力——混元文生3D模型?

已建設(shè)AI

3D功能18項(xiàng)，完備性高?全覆蓋3D制作管線，讓3D制作AI化，低門檻、一站式3D-DiT幾何大模型3D-Paint紋理大模型3D白模

3D模型一位白發(fā)藍(lán)衣東方道士Prompt混元3D創(chuàng)作引擎生成效果混元的創(chuàng)造能力——混元文生3D模型通過3D

AI生成資產(chǎn)，輕游戲的搭建耗時(shí)從1月縮短到2天視頻鏈接視頻鏈接中文大模型基準(zhǔn)測(cè)評(píng)2024年8月報(bào)告騰訊混元Turbo在理科、文科均居于第一名多模態(tài)生成以太坊創(chuàng)始人稱贊混元視頻生成模型千題盲測(cè)國內(nèi)領(lǐng)先特定場(chǎng)景表現(xiàn)更優(yōu)3D生成混元3D模型生成素材，高效搭建小游戲提前布局，率先發(fā)布已應(yīng)用于游戲管線多模態(tài)理解國內(nèi)大模型排名第一

穩(wěn)居卓越領(lǐng)導(dǎo)者象限能力全面突破：各模態(tài)模型穩(wěn)居第一梯隊(duì)混元的創(chuàng)造能力——多模態(tài)大模型SuperCLUE-V基準(zhǔn)8月榜單大語言模型業(yè)界參數(shù)規(guī)模最大的開源MoE

大語言模型擁有3890億總參數(shù)和520億激

活參數(shù)，能夠處理高達(dá)256k的文本序列采用領(lǐng)先架構(gòu)，四大升級(jí)；

一線閉源模型水準(zhǔn)，最優(yōu)的開源視頻生成底模業(yè)內(nèi)參數(shù)量最大的開源視頻生成模型130

億參數(shù)通過技術(shù)共建、賦能行業(yè)、人才培訓(xùn)等方式全面擁抱開源、深度改變行業(yè)生態(tài)！業(yè)界首個(gè)同時(shí)支持文字、圖

像生成的3D大模型

包含輕量版和標(biāo)準(zhǔn)版，輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn)業(yè)界首個(gè)中文原生DiT架構(gòu)文

生圖大模型DiT

的通用性、擴(kuò)展性強(qiáng)，是最廣泛使用的文生圖基座24年12月3日開源Hunyuan-Video24年11月5日開源Hunyuan-Large混元大模型全面擁抱開源24年5月12日開源Hunyuan-DiT24年11月5日開源Hunyuan-3D二、混元大模型實(shí)踐與應(yīng)用工蜂Copilot微信支付騰訊客服公眾號(hào)微?？头?/p>

信安內(nèi)容審核%,騰訊招聘騰訊廣告

騰訊招聘微信讀書騰訊會(huì)議米騰訊游戲騰訊文檔微信搜一搜FIT金融QQ瀏覽器

QQ智能體搜狗輸入法

騰訊視頻AI搜索AI寫作分析提煉角色扮演代碼

客服內(nèi)容審核

工具調(diào)用廣告翻譯標(biāo)簽/內(nèi)容理解產(chǎn)品創(chuàng)新業(yè)務(wù)提效騰訊混元已接入700+業(yè)務(wù)場(chǎng)景，用大模型助力產(chǎn)業(yè)創(chuàng)新業(yè)務(wù)舉例混元能力AI廣告：助力騰訊廣告多場(chǎng)景提效，帶來廣告轉(zhuǎn)化率的顯著提升支持文生圖、圖生圖和商品生圖等能力，服務(wù)妙思工作臺(tái)和妙思衍生，秒級(jí)出圖立等即可投放，提升創(chuàng)意生成效率并且可延續(xù)爆量素材廣告理解廣告創(chuàng)作廣告客服IDE編程場(chǎng)景：工蜂Copilot小程序編程場(chǎng)景：

小程序教育版AI助手代碼補(bǔ)全5大語言生成率35%，

采納率27%代碼補(bǔ)全：基于注釋和

代碼的上下文智能補(bǔ)全代碼代碼Chat：

支持自然語言提問和生成代碼內(nèi)容小程序教育版上線AI編程助手，面向師生推廣小程序開發(fā)

教育，累計(jì)650+所試用學(xué)校，

~200所已認(rèn)證學(xué)校AI生成代碼+

實(shí)時(shí)預(yù)覽的交互形式，

適合面向教育場(chǎng)景AI工具：

代碼場(chǎng)景支持客服多輪對(duì)話，相關(guān)能力也通過騰訊云對(duì)外輸出，率先落地場(chǎng)景，

總量已切換52.97%已接業(yè)務(wù)喊人工率從27.3%降至20.2%值得信賴的幫手，為人工客服提供

推薦話術(shù)、歷史工單摘要等支持AI話術(shù)采納率

90%智能客服體驗(yàn)升級(jí)%。騰訊廣告AI客服：體驗(yàn)效率雙升級(jí)客服助手 QQ瀏覽器微信讀書AI問書功能拓寬用戶的閱讀半徑AI精讀：

提升學(xué)習(xí)深度廣度QQ網(wǎng)頁閱讀助手：

速讀/摘要/提問AI閱讀：

深度閱讀能力持續(xù)升級(jí)，使得創(chuàng)新閱讀體驗(yàn)成為可能

搜狗輸入法AI幫寫 騰訊文檔智能助手

瀏覽器AI作文輔導(dǎo)覆蓋多個(gè)寫作場(chǎng)景種草筆記支持搜索增強(qiáng)的寫作能力AI作文入口寫作輔導(dǎo)AI寫作：支持復(fù)雜場(chǎng)景、復(fù)雜指令的專業(yè)寫作

?

覆蓋30+任務(wù)：

PPT、思維導(dǎo)圖、待辦

清單等，

支持時(shí)新類和知識(shí)類的搜索增

強(qiáng)寫作?

寫作輔導(dǎo)：審題立意、寫作大綱?

范文生成：覆蓋小/初/高學(xué)段?

AI幫寫覆蓋21個(gè)寫作場(chǎng)景，覆蓋

130多種使用場(chǎng)景?

元寶AI角色支持《長相思2》等劇集的角色對(duì)話功能，成為騰訊視頻劇集宣發(fā)新亮點(diǎn)，

其中長相思AI角

色對(duì)話總熱度近2億，“相柳”

單角色熱度1.2億?合作獲新華社、21財(cái)經(jīng)等主流媒體高度評(píng)價(jià)和官方權(quán)威報(bào)道AI智能體：騰訊視頻IP角色對(duì)話，打造影視劇交互新玩法

劇情推進(jìn)和角色對(duì)話《三角洲行動(dòng)

》-

G.T.I.

AI《元夢(mèng)之星》-好好鴨騰訊QQ-智能體?以PGC和PUGC為核心，

打造沉浸擬人的陪

伴式智能體平臺(tái)?提供智能體對(duì)話、空間互動(dòng)、UGC智能體、

安全能力接入等IEG游戲業(yè)務(wù)?

支持《三角洲行動(dòng)》，《英雄聯(lián)盟》，《元

夢(mèng)之星》等業(yè)務(wù)AI智能體：

混元一站式角色扮演管線已支持司內(nèi)多個(gè)業(yè)務(wù)智能體設(shè)定一鍵生成

騰訊視頻QQ瀏覽器

瀏覽器搜索大微信搜一搜

微信搜一搜微信輸入法-問AI?

需求：

用戶輸入query后即可通過AI搜索/大模型獲取答案10%+?

需求：

用大模型來提升復(fù)雜問題、代碼、數(shù)學(xué)、創(chuàng)作等生成類

query的AI問答效果元寶AI搜索調(diào)用量百萬級(jí)?

需求：

用大模型來提高

問答類query的回答效

果和覆蓋率搜索整體日均QV

增長量百萬級(jí)?需求：

解決模糊的、口語化、場(chǎng)景化的用戶找片需求，如“老

莫我想吃魚了是什么劇

”搜索結(jié)果

合格率85%+AI搜索：大模型加持問答體驗(yàn)，還可滿足模糊搜索、復(fù)雜推理等需求MAU滲

透率三、混元大模型生態(tài)及

社會(huì)價(jià)值探索生文能力共建生圖能力共建通過騰訊云對(duì)外輸出混元能力及場(chǎng)景能力共建多通路多場(chǎng)景的外部產(chǎn)品運(yùn)營活動(dòng)

協(xié)同合作，突破重點(diǎn)頭部客戶，建設(shè)快速POC鏈路混元大模型的外部生態(tài)建設(shè)

上架多尺寸文生文、代碼和領(lǐng)域模型、多模態(tài)理解、以及生圖、視頻風(fēng)格化和轉(zhuǎn)譯品

牌

智

能

體文本摘要代碼助手游戲NPC內(nèi)容糾錯(cuò)AI搜索文案生成圖像風(fēng)格化百變頭像AI

寫真少兒編程百變換裝口語訓(xùn)練疾病推斷圖片跳舞圖片唱演視頻風(fēng)格化內(nèi)容打標(biāo)文本翻譯人臉融合視頻轉(zhuǎn)譯運(yùn)動(dòng)筆刷線稿生圖背景生成情感陪聊

騰訊與中國信息通信技術(shù)研究院(CAICT)的合作已經(jīng)在人工智能領(lǐng)域取得了實(shí)

質(zhì)性的共同成果，混元模型在“模型開發(fā)”和“模型能