殷述康：多模態(tài)大語(yǔ)言模型領(lǐng)域進(jìn)展分享

多模態(tài)大語(yǔ)言模型領(lǐng)域進(jìn)展分享殷述康/博士在讀D背景介紹D多模態(tài)大語(yǔ)言模型介紹D團(tuán)隊(duì)相關(guān)工作介紹D未來(lái)展望·可以解決各種傳統(tǒng)NLP任務(wù)，如文本分類、命名實(shí)體識(shí)別等·作為聊天機(jī)器人，按照要求扮演某個(gè)角色(強(qiáng)大的指令遵循能力)·做高階的推理任務(wù)，如寫(xiě)代碼、解數(shù)學(xué)問(wèn)題等(強(qiáng)大的推理能力，CoT進(jìn)一步增強(qiáng))·無(wú)法處理多模態(tài)的輸入，導(dǎo)致有些任務(wù)無(wú)法做或者很難做，如根據(jù)網(wǎng)站截圖給出源代碼、理解一張表情包的含義·無(wú)法獲取更多的多模態(tài)的世界知識(shí)，如名畫(huà)、名人等ImageBind-LLMDreamMMICL●XcomposerOOLaVINMult男x◎◎◎O黑O黑◎◎AAAA在短短的兩年間，已有上百個(gè)模型涌現(xiàn)，包括大企業(yè)的閉源模型和學(xué)術(shù)社區(qū)的開(kāi)源模型探索。BLIP-2HuggingGPTLTU2022MYin,Shukang,etal."Asurveyonmultimodallargelanguagemodels."arXiv:2306.13549·能做傳統(tǒng)視覺(jué)/多模態(tài)任務(wù)Prompt:Prompt:描述這張圖片這張圖片是一隻小貓?jiān)诓莸厣献呗返目雌饋?lái)很可愛(ài)。它的身體很小，四肢畿細(xì),正在小心翼翼地在草地上行Caption任務(wù)計(jì)數(shù)任務(wù)定位任務(wù)64NUR2NLVk2圖表推理根據(jù)圖表寫(xiě)代碼·由于大企業(yè)的模型是閉源的，學(xué)術(shù)界正積極研究探索開(kāi)源的模型。模型評(píng)估·常用的架構(gòu)一般包含三個(gè)部分：KKVVVYin,Shukang,etal."Asurveyonmultimodallargelanguage·不改變視覺(jué)token的數(shù)量，使用線性層或者多層感知機(jī)做投影?！嚎s圖片token至固定的數(shù)量，提高運(yùn)算效率·Q指query,使用一組可學(xué)習(xí)的query向量從視覺(jué)token中抽取更緊湊的表征信息LanguageResponseXafromarXiv:2305.06500·將視覺(jué)的語(yǔ)義空間與文本空間對(duì)齊·一種做法是凍結(jié)LLM,訓(xùn)練視覺(jué)編Pre-trainedLLMVisualVisualAbstractor·通常使用大量的圖文配對(duì)數(shù)據(jù)訓(xùn)練，如caption數(shù)據(jù)。輸入圖片，預(yù)測(cè)圖片的文本描述·第二階段：指令微調(diào)訓(xùn)練格式(多輪對(duì)話形式)圖中是比爾蓋茨，微軟的創(chuàng)始人之一圖中是比爾蓋茨，微軟的創(chuàng)始人之一。毛衣，看起來(lái)比較休閑。右邊的男人是誰(shuí)?右邊的男人是誰(shuí)?·一般聚焦某個(gè)具體的特定任務(wù)，關(guān)注特定指標(biāo)·VQA任務(wù)：要求模型基于圖片內(nèi)容進(jìn)行回答，常關(guān)注淺層元素如物體類別、屬性，有時(shí)涉及淺層推理，回答一般比較簡(jiǎn)單。print(b)紹興加飯(花雕)紹興加飯(花雕)酒青草沙構(gòu)杞酒三i份有限公司W(wǎng)hatistheshelflifeoftheWhatisthenetweightof784_Resolution:250ml學(xué)EmbsFigure3:ThetrainingpipelTable8:TraininghyperparamMulti-taskPre-trainingQwen-7BQwen-VL2nd-stage·思路二：將大分辨率的圖片切成多塊，每塊依然是原來(lái)的分辨率MixedVisualEncodersletrsseta=21andThemostlikelyuseofthisvideoisasanadvertisemeasthepreparationofacoffeedrink,theinteractionbetweencustomersandbaristlogo,arecharacteristicofapromotionalpiecethecoffee-makingprocess,theuseoftheStarbucksapp,andthefriendlyinteractionsbetocreateapositiveimageofthebrand.Additionally,thefinalshotoftheStarbuckslogowithtYOU"suggestsacalltoactionforviewerstoengagewiththeadvertisementaimedatattractingne·輸出圖文交錯(cuò)的內(nèi)容，給文字配上圖，使內(nèi)容更生動(dòng)請(qǐng)根據(jù)給定標(biāo)題：“熊貓：自然界的溫柔使者”,寫(xiě)一篇長(zhǎng)文章。首先，詳細(xì)介紹熊貓的基本特征，如請(qǐng)根據(jù)給定標(biāo)題：“熊貓：自然界的溫柔使者”,寫(xiě)一篇長(zhǎng)文章。首先，詳細(xì)介紹熊貓的基本特征，如之后，詳細(xì)討論熊貓的保護(hù)工作現(xiàn)狀，包括建立自然保護(hù)區(qū)，大熊貓的人工熊貓：自然界的溫柔使者大熊貓，熊科哺乳動(dòng)物，體肥頭大、圓臉圓耳，幼年體色為灰白色，因其獨(dú)立特征和憨態(tài)可掬的樣子被人們譽(yù)為“活化石”和“中國(guó)國(guó)寶”。從外表來(lái)看，大熊貓似乎是自然界最“溫柔”的生物：黑白相間的花紋讓它的外形看起來(lái)更像是一種卡通形象；圓滾滾的身軀和大大的頭部讓人忍不住想要抱一抱，即使不熟悉的人也會(huì)因?yàn)槠浜B(tài)可掬的外表而心生好感……但就是這樣一種溫順的生物，卻也正面臨著種種危機(jī)——棲息地喪失、氣候變化等因素都對(duì)其生存構(gòu)成威脅。此外，氣候變暖也是大熊貓目前所面臨的重要問(wèn)題之一。據(jù)研究，自20世紀(jì)70年代以來(lái)，我國(guó)東部沿海地區(qū)出現(xiàn)了持續(xù)增溫現(xiàn)象，這種趨勢(shì)仍在繼續(xù)發(fā)展。高溫會(huì)導(dǎo)致竹林生長(zhǎng)緩慢，從而降低了竹子作為大熊貓主要食物的供應(yīng)量。除此之外，夏季降雨量增多還會(huì)造成泥石流、滑坡等災(zāi)害，進(jìn)一步破壞大熊貓的棲息地。這些因素共同作用，使得大熊貓的種群數(shù)量日益減少。熊貓的保護(hù)現(xiàn)狀如何?針對(duì)上述問(wèn)題，政府和企業(yè)相繼采取了一系列措施保護(hù)大熊貓及其棲息地。例如，建立自然保護(hù)區(qū)和森林公園，限制人類活動(dòng)范圍，改善大熊貓的食物來(lái)源等。同時(shí)，還通過(guò)科學(xué)管理、合理開(kāi)發(fā)利用等方式推動(dòng)了當(dāng)?shù)亟?jīng)濟(jì)發(fā)展。盡管如此，由于歷史原因和自然環(huán)境的惡化等原因，野生大熊貓仍處于瀕危狀態(tài)。根據(jù)國(guó)際自然保護(hù)聯(lián)盟最新發(fā)布的紅色名錄，目前全球現(xiàn)存的大熊貓約有1864只，其中約90%以上為中國(guó)境內(nèi)的大熊貓。學(xué)模態(tài)的信息。LLM-basedSemanticInstruction-foUnderstandingAlignmentMultimodalOutput模型的詞表，將連續(xù)信號(hào)離散化轉(zhuǎn)化為離散token進(jìn)行預(yù)測(cè)·推理時(shí)統(tǒng)一預(yù)測(cè)多模態(tài)token,化為圖片輸出CitedfromarXiv:24團(tuán)隊(duì)相關(guān)工作介紹相關(guān)工作-幻覺(jué)緩解象數(shù)量等方面不準(zhǔn)確的現(xiàn)象。樣例如下圖所示?！p少模型輸出的幻覺(jué)，提升準(zhǔn)確性和用戶體驗(yàn)：Woodpecker請(qǐng)描述這張圖片。這張圖中出現(xiàn)了一只紅色的狗，它在草坪上奔跑。在這只狗的周圍，還可以看見(jiàn)其它幾只狗。有幾只離這只紅色的狗更近，其它的距離更遠(yuǎn)一些。Yin,Shukang,etal."Woodpecker:Hallucina相關(guān)工作-幻覺(jué)緩解·利用外部反饋獲取更準(zhǔn)確的認(rèn)知，從而增強(qiáng)模型，減少幻覺(jué)·基礎(chǔ)的感知能力：object類別與數(shù)量、object的屬性信息(顏色、位置等)相關(guān)工作-幻覺(jué)緩解·實(shí)現(xiàn)：使用傳統(tǒng)視覺(jué)模型提升感知能力·視覺(jué)基礎(chǔ)模型具有強(qiáng)大的感知能力。因此，我們利用預(yù)訓(xùn)練的視覺(jué)基礎(chǔ)模型從圖片中提取可靠的視覺(jué)信息。這些視覺(jué)信息為幻覺(jué)修正提供了參考?！な褂媚繕?biāo)檢測(cè)模型從圖片中提取目標(biāo)的數(shù)量信息，使用VQA(視覺(jué)問(wèn)答)模型提取目標(biāo)的屬相關(guān)工作-幻覺(jué)緩解·大語(yǔ)言模型具有強(qiáng)大的推理能力與豐富的語(yǔ)言學(xué)知識(shí)。因此，大語(yǔ)言模型能夠基于已知信·使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺(jué)知識(shí)組織起來(lái)，送入大語(yǔ)言模型中。大語(yǔ)言模型基于視覺(jué)知識(shí)、文本語(yǔ)義進(jìn)行推理，將描述中帶有幻覺(jué)的部分進(jìn)行修正。帶有幻覺(jué)的描述大語(yǔ)言模型修正后的描述提取的視覺(jué)知識(shí)相關(guān)工作-幻覺(jué)緩解·大語(yǔ)言模型具有強(qiáng)大的推理能力與豐富的語(yǔ)言學(xué)知識(shí)。因此，大語(yǔ)言模型能夠基于已知信·使用設(shè)計(jì)好的Prompt(提示)模板將原描述、視覺(jué)知識(shí)組織起來(lái)，送入大語(yǔ)言模型中。大語(yǔ)言模型基于視覺(jué)知識(shí)、文本語(yǔ)義進(jìn)行推理，將描述中帶有幻覺(jué)的部分進(jìn)行修正。帶有幻覺(jué)的描述大語(yǔ)言模型修正后的描述提取的視覺(jué)知識(shí)相關(guān)工作-幻覺(jué)緩解√這張圖中出現(xiàn)了一這張圖中出現(xiàn)了一只棕色的狗，它在草坪這張圖中出現(xiàn)了一只紅色的狗，它看見(jiàn)其它幾只狗。有幾只離這只紅色的狗更近，其它的距離更遠(yuǎn)一些。案例：大語(yǔ)言模型基于提取的視覺(jué)信息進(jìn)行推理，修正了其相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)容的能力·【通用模態(tài)理解】現(xiàn)存評(píng)測(cè)所提供的模態(tài)信息(如文本、音頻)均不豐富 11.215.311.9AXXXXXX√√√XX√√XxxX56.014.6M xXXXxx√√vXvXFu,Chaoyou,etal."Video-MME:TheFirst-EverCo相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)·人工采集三種長(zhǎng)度的視頻各300條，每條人工標(biāo)注3個(gè)問(wèn)答對(duì)，提供字幕以及音頻·問(wèn)題設(shè)計(jì)均考慮視覺(jué)相關(guān)性，并且具有足夠高的有效時(shí)長(zhǎng)(38%)·需要更充分地利用前后視頻信息，對(duì)視頻建立更深入的全局理解選項(xiàng)在視頻中均出現(xiàn)選項(xiàng)在視頻中均出現(xiàn)模型做出正確選擇需對(duì)問(wèn)題和視頻有全局理解視頻中，那個(gè)戴著繃帶、拿著信封的男人是如何受傷的?A.他在放煙花時(shí)，一只手被煙花擊中了。B.他在試圖撲滅一棟著火的房子時(shí)，手臂受傷了。C.他在追趕Wayne的摩托車時(shí)，從地上摔下來(lái)，手受傷了。D.他在侮辱Wayne的父親時(shí)，被Wayne用食物引誘的狗拖下了一只胳膊。被狗拖下1戴著繃帶的男人追趕Wayne的摩托車拿著一個(gè)信封[選項(xiàng)G一棟著火的房子230…230……風(fēng)中、長(zhǎng)視頻hFod短、中視頻注重感知長(zhǎng)視頻相關(guān)工作-長(zhǎng)視頻理解測(cè)評(píng)·對(duì)現(xiàn)存的開(kāi)源與商業(yè)大模型進(jìn)行了綜合評(píng)測(cè)w/osubs_w/subsw/osubs___上表中為多模態(tài)大模型在Video-MME中短、中、長(zhǎng)三種視頻上的表現(xiàn)其中w/subs代表使用字幕信息，w/osubs代表不使用字幕信息實(shí)體感知問(wèn)題仍是現(xiàn)存多模態(tài)大模型的共同瓶頸字幕對(duì)多模態(tài)大模型的視頻理解具有正向作用開(kāi)源模型最優(yōu)結(jié)果<閉源模型最差結(jié)果開(kāi)源模型仍具有較大提升空間模型在12種任務(wù)類型上的表現(xiàn)雷達(dá)圖動(dòng)作識(shí)別空間感知光學(xué)字符空間感知時(shí)間推理信息概要?jiǎng)幼魍评怼狪nternVL-Chat-V1.5—GPT-40的發(fā)布展現(xiàn)了多模態(tài)實(shí)時(shí)對(duì)話交互體驗(yàn)的新可能·可以隨時(shí)打斷模型的輸出，而不需要等待輸出完再進(jìn)行下一輪交互/提問(wèn)·實(shí)時(shí)響應(yīng)速度，模型及時(shí)回復(fù)，而不需要等待幾秒鐘的延遲·模型能夠捕捉人類情緒(如說(shuō)話人是失落/興奮的),也能夠以不同