書生萬象大模型的技術(shù)演進(jìn)與應(yīng)用探索

書生·萬象多模態(tài)大模型的

技術(shù)演進(jìn)與應(yīng)用探索演講人：

王文海目錄1

多模態(tài)大模型研究背景

2

大規(guī)模視覺語言模型對齊

3

強多模態(tài)模型構(gòu)建4

不止于語言輸出：通專融合研究背景：大語言模型&多模態(tài)大模型歷史:“特定任務(wù)+大數(shù)據(jù)”取得巨大成功

一個模型解決一個問題德州撲克首次在多人復(fù)雜對局中超越人類深度學(xué)習(xí)理論突破深度置信網(wǎng)絡(luò)1000類，

100萬數(shù)據(jù)人臉識別LFW識別率99%,超過人類以視覺為核心的多模態(tài)大模型有望在眾多領(lǐng)域帶來AI生產(chǎn)力革命大規(guī)模語音識別

Switchboard錯誤降低9%

AlphaGo4:1李世乭未來:“通用性”一個模型多種任務(wù)多種模態(tài)/OpenGVLab/InternVL201120142019AlphaFoldImageNet競賽圍棋比賽蛋白質(zhì)結(jié)構(gòu)預(yù)測準(zhǔn)確率新高2006202120122016研究背景：大語言模型&多模態(tài)大模型DeepSeekBaichuanInternLMChatGLMdec-onlyenc-onlyQwenenc-decli研究背景：大語言模型&多模態(tài)大模型/OpenGVLab/InternVLInternVLMiniCPMCogVLM研究背景：大語言模型&多模態(tài)大模型[1]LiJ,LiD,Savarese

S,etal.Blip-2:Bootstrappinglanguage-imagepre-training

with

frozenimageencodersandlargelanguagemodels[C]//Internationalconferenceonmachinelearning.

PMLR,2023:19730-19742.[2]

LiuH,LiC,

WuQ,etal.

Visualinstruction

tuning[J].

Advancesinneuralinformationprocessing

systems,2024,36.[3]

Wang

W,LvQ,

Yu

W,etal.Cogvlm:

Visualexpert

forpretrainedlanguagemodels[J].arXiv

preprint

arXiv:2311.03079,2023./OpenGVLab/InternVL1.QFormer[1]3.MoE

[3]2.

MLP[2]目錄1

多模態(tài)大模型研究背景

2

大規(guī)模視覺語言模型對齊

3

強多模態(tài)模型構(gòu)建4

不止于語言輸出：通專融合InternVL：大規(guī)模視覺語言模型對齊傳統(tǒng)視覺/視覺-語言基礎(chǔ)模型范式已落后于大語言模型的發(fā)展，亟需新的范式來推動其發(fā)展20122021?

與LLM參數(shù)量差距過大?

與LLM表征不一致?訓(xùn)練數(shù)據(jù)單一、數(shù)據(jù)量小visionencodervisionencodertextencoder判別式預(yù)訓(xùn)練AlexNet、

ResNet對比式預(yù)訓(xùn)練CLIP、ALIGNimagetextcontrastiveclassesimagevisionencodervisionencodertextencoder漸進(jìn)式對齊訓(xùn)練書生圖文大模型-InternVL?60億參數(shù)視覺模型+1000億參數(shù)語言模型?漸進(jìn)式對齊視覺基礎(chǔ)模型和語言模型表征?大規(guī)模、多來源圖文多模態(tài)訓(xùn)練數(shù)據(jù)傳統(tǒng)視覺/視覺-語言基礎(chǔ)模型范式已落后于大語言模型的發(fā)展，亟需新的范式來推動其發(fā)展20122021

2023大模型時代InternVL：大規(guī)模視覺語言模型對齊largelanguagemodel>100Bscaling

upvisionencoderto6B#params?

與LLM參數(shù)量差距過大?

與LLM表征不一致?訓(xùn)練數(shù)據(jù)單一、數(shù)據(jù)量小判別式預(yù)訓(xùn)練AlexNet、

ResNetimage

textprompt對比式預(yù)訓(xùn)練CLIP、ALIGNimagetextlanguage

modelfeaturealigningcontrastivegenerativeclassesimage<10B設(shè)計1：擴大視覺模型至6B參數(shù)步驟1：固定

60億參數(shù)，網(wǎng)格搜索模型寬度、深度

、

MLP

Ratio和Attention

Head維度步驟2：使用CLIP作為代理任務(wù)，找到在速度、準(zhǔn)

確性和穩(wěn)定性之間取得平衡的模型InternVL：大規(guī)模視覺語言模型對齊核心思想：擴大視覺基礎(chǔ)模型并為通用視覺語言任務(wù)進(jìn)行對齊/OpenGVLab/InternVL設(shè)計1：擴大視覺模型至6B參數(shù)基于原始ViT結(jié)構(gòu)，通過搜索模型深度{32,48,64,80}，注意力頭維度{64,

128}

，

以及MLP比率{4,8}，將視覺模型擴大至6B參數(shù)，找到速度、精度、穩(wěn)定性平衡的模型InternVL：大規(guī)模視覺語言模型對齊/OpenGVLab/InternVLInternVL：大規(guī)模視覺語言模型對齊設(shè)計2：漸進(jìn)式的圖像-文本對齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練（~5B圖像）核心思想：擴大視覺基礎(chǔ)模型并為通用視覺語言任務(wù)進(jìn)行對齊/OpenGVLab/InternVL設(shè)計2：漸進(jìn)式的圖像-文本對齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練（~5B圖像）階段2：利用過濾后的高質(zhì)量圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)和生成式聯(lián)合訓(xùn)練（~1B圖像）InternVL：大規(guī)模視覺語言模型對齊核心思想：擴大視覺基礎(chǔ)模型并為通用視覺語言任務(wù)進(jìn)行對齊/OpenGVLab/InternVL設(shè)計2：漸進(jìn)式的圖像-文本對齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練（~5B圖像）階段2：

利用過濾后的高質(zhì)量圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)和生成式聯(lián)合訓(xùn)練（~1B圖像）InternVL：大規(guī)模視覺語言模型對齊篩選指標(biāo)：CLIP相似度,水印概率,

unsafe概率,美學(xué)指標(biāo),圖片分辨率,caption長度等/OpenGVLab/InternVL設(shè)計2：漸進(jìn)式的圖像-文本對齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)預(yù)訓(xùn)練（~5B圖像）階段2：利用過濾后的高質(zhì)量圖文數(shù)據(jù)進(jìn)行對比學(xué)習(xí)和生成式聯(lián)合訓(xùn)練（~1B圖像）階段3：利用高質(zhì)量Caption/VQA/多輪對話數(shù)據(jù)進(jìn)行SFT訓(xùn)練（~4M圖像）InternVL：大規(guī)模視覺語言模型對齊核心思想：擴大視覺基礎(chǔ)模型并為通用視覺語言任務(wù)進(jìn)行對齊/OpenGVLab/InternVL多模態(tài)對話數(shù)據(jù)收集包含圖像描述、物體檢測、

OCR、科學(xué)、

圖表、數(shù)學(xué)、常識、文檔、多輪對話、文本對話...InternVL：大規(guī)模視覺語言模型對齊/OpenGVLab/InternVLInternVL：大規(guī)模視覺語言模型對齊從適配視覺感知任務(wù)，到適配通用視覺語言任務(wù)，極大地擴寬了模型的適用范圍LikeViT-22BLike

CLIPLike

GPT-4VImage-Text

RetrievalZero-Shot

ImageCLS.ImageVisualQuestionAnsweringImageClassification…Semantic

SegmentationMulti-Round

Dialogue…Object

DetectionInstanceSegmentationSemanticSegmentationImageClassificationGenericVision-LanguageTasks/OpenGVLab/InternVLVisual

PerceptionTasksCaptioning在多種通用視覺語言任務(wù)上的取得了最好的性能，包括：1）視覺任務(wù)：圖像/視頻分類，語義分割；2）視覺-語言任務(wù)：圖像/視頻-文本檢索，零樣本圖像分類；3）通用視覺問答：圖像描述，視覺問答，多輪對話InternVL：大規(guī)模視覺語言模型對齊/OpenGVLab/InternVLInternVL：大規(guī)模視覺語言模型對齊ImageI

∈

RH×W×3InternViT-6BF

∈

R

×

×C對于視覺任務(wù),

InternVL的視覺編碼器，即InternViT-6B，可以直接用作視覺主干網(wǎng)絡(luò)僅用不到不到三分之一參數(shù)量，實現(xiàn)了與ViT-22B相當(dāng)?shù)男阅?OpenGVLab/InternVLImage-LevelTasksPixel-LevelTasks多語言的零樣本圖文檢索評測檢索性能優(yōu)于CLIP、

OpenCLIP、

CoCa等模型InternVL：大規(guī)模視覺語言模型對齊-C對于視覺語言任務(wù),

有兩種變體：

InternVL-Cand

InternVL-G-GInternVL：大規(guī)模視覺語言模型對齊強零樣本圖像、視頻分類能力/OpenGVLab/InternVL/OpenGVLab/InternVL零樣本視頻分類能力評測零樣本圖像分類能力評測?即插即用的為現(xiàn)有擴散模型增加多語言能力?只需要英文數(shù)據(jù)訓(xùn)練，即可泛化到其他語言?支持多種語言的混合輸入，甚至是

emoji?無需額外訓(xùn)練，即可兼容社區(qū)模型，如ControlNet

，

LCM

，

LoRA

等InternVL

+

Language

Adapter

->Zeroshot多語言內(nèi)容生成(UNet,Transformer)(1)

OverallArchitecturehttps://githu/mulanai/MuLanDenoisingModelLanguage

Adapter

InternVL

Text

Encoder/OpenGVLab/InternVLTextEncoder/sNoisyLatentOutputInternVL

+

Language

Adapter

->Zeroshot多語言內(nèi)容生成只需要英文數(shù)據(jù)，即可支持超多語言

https://github.com/mulanai/MuLan/OpenGVLab/InternVL加泰羅尼亞語阿爾巴尼亞語斯洛伐克語阿塞拜疆語簡體中文繁體中文烏克蘭語匈牙利語土耳其語阿拉伯語中英混合捷克語荷蘭語希臘語越南語波斯語印尼語Emoji俄語德語韓語英文法語日語InternVL

+

Language

Adapter

->Zeroshot多語言內(nèi)容生成即插即用，無需對Diffusion

Model做額外訓(xùn)練https://githu/mulanai/MuLan/OpenGVLab/InternVLDreamshaperRealisticVisionSDXL

LightningLoRA

(Lego)3DAnimationAnimateDiffSDXLTurboCartoonmixControlNetMVDreamLCM目錄1

多模態(tài)大模型研究背景

2

大規(guī)模視覺語言模型對齊

3

強多模態(tài)模型構(gòu)建4

不止于語言輸出：通專融合增強圖文多模態(tài)對話能力

3個關(guān)鍵點主體（強基礎(chǔ)模型）：更大的視覺模型可以包含更廣

的視覺domain，抽取更強的視覺表征，更強的語言模型有更強的語言能力、世界知識和推理能力動態(tài)分辨率（火箭頭）：模型需要根據(jù)任務(wù)調(diào)整不同的分辨率。對于一些圖像細(xì)節(jié)的理解任務(wù)，如：文檔理解，高分辨率非常重要。但是對于一些常見的問答任務(wù)又不需要大分辨率。燃料（高質(zhì)量數(shù)據(jù)集）：多語言、多來源、精細(xì)標(biāo)注InternVL

1.5：接近商用性能的開源多模態(tài)大模型/OpenGVLab/InternVLGrok-1.5VGPT-4VClaude-3OpusGemini

Pro

1.553.6%56.8%59.4%58.5%52.8%49.9%50.5%52.1%88.3%78.2%88.1%80.3%78.1%78.0%-73.5%76.1%78.5%80.8%81.3%85.6%88.4%89.3%86.5%68.7%61.4%49.8%67.5%MMMUMulti-disciplineAI2DDiagramsRealWorldQAReal-worldunderstandingChartQAChartsInternVL

1.545.2%53.5%80.7%80.6%83.8%90.9%66.0%InternVL

1.5：接近GPT-4V的開源多模態(tài)對話模型和頭部商用模型對比/OpenGVLab/InternVLTextVQAText

readingMathVistaMathDocVQADocumentsBenchmarkInternVL

1.5：接近GPT-4V的開源多模態(tài)對話模型分辨率對性能的影響/OpenGVLab/InternVL在MMMU，

MMBench等評測上比肩GPT-4o和Gemini

Pro

1.5加速Scaling

Law曲線，僅需原有的1/5的算力

即可取得同等的效果算力漸進(jìn)式對齊訓(xùn)練，通過模型"從小到大"、數(shù)據(jù)"從粗到精"的漸進(jìn)式的訓(xùn)練策略，以較低的成本完成了大模型的訓(xùn)練，在有限資源下展現(xiàn)出卓越的性能表現(xiàn)書生·萬象

InternVL2.0：全方面提升篩選數(shù)據(jù)擴大模型損失函數(shù)小模型+大數(shù)據(jù)

僅需20%算力資源，比肩頂級閉源多模態(tài)大模型/OpenGVLab/InternVL大模型

+小數(shù)據(jù)

高效對齊傳統(tǒng)scaling

Law高質(zhì)量精選數(shù)據(jù)海量帶噪數(shù)據(jù)百億參數(shù)模型千億參數(shù)模型高效

預(yù)訓(xùn)練大模型

+和頭部商用模型對比書生·萬象

InternVL2.0：全方面提升更強的OCR能力：毛筆字+豎排+繁體/OpenGVLab/InternVL更強的圖表理解能力/OpenGVLab/InternVL細(xì)節(jié)文字理解+文字深層含義/OpenGVLab/InternVL細(xì)節(jié)文字理解+文字深層含義/OpenGVLab/InternVL結(jié)合專業(yè)知識問答/OpenGVLab/InternVL理解人工布置的巧妙之處/OpenGVLab/InternVL圖-文-動作結(jié)合回答/OpenGVLab/InternVLhttps://github圖像細(xì)節(jié)理解+精確定位Model

NameVision

PartLanguage

PartHF

LinkMS

LinkDocumentInternVL2-1BInternViT-300M-448

pxQwen2-0.5B-Instruct

link

link

docInternVL2-2BInternViT-300M-448

pxinternlm2-chat-1-8b

link

link

docInternVL2-4BInternViT-300M-448

pxPhi-3-mini-128k-inst

ruct

link

link

docInternVL2-8BInternViT-300M-448

pxinternlm2_5-7b-chat

link

link

docInternVL2-26BInternViT-6B-448px-

V1-5internlm2-chat-20b

link

link

docInternVL2-40BInternViT-6B-448px-

V1-5Nous-Hermes-2-Yi-

34B

link

link

docInternVL2-Llama3

-

76BInternViT-6B-448px-

V1-5Hermes-2-Theta-

Llama-3