視頻大模型奇點時刻加速到來2024

證券研究報告|行業(yè)專題行業(yè)投資評級|優(yōu)于大市（維持）證券分析師姓名：陳涵泊資格編號：S0120524040004郵箱：chenhb3＠研究助理姓名：王思郵箱：wangsi＠客觀對比：與Sora差距縮小，搶占用戶或為未來主線。國內(nèi)外之間的差距正在逐步縮小，視頻時長、分辨率制性，未來競爭或向搶占用戶、提升粘性等方向遷移，從而需要保障生成質(zhì)量更高的可用視頻，使得視頻一致性更主觀對比：視頻質(zhì)量提升顯著，離物理世界模擬器仍有距離。文生視頻領(lǐng)域，視頻畫面方面差異較大，我國Vidu、清影或已處于視頻生成大模型第一梯隊，生成時間相對其他模型倍數(shù)減少原度等復(fù)雜任務(wù)完成性較好；圖生視頻領(lǐng)域，整體效果優(yōu)于文生視頻，國算力：以Sora為例，一定條件下測算，Sora訓(xùn)練算力需求是GPT-4的4投資建議：建議關(guān)注（1）視頻大模型廠商：科大訊飛、商湯、云從金山辦公、萬興科技、福昕軟件、虹軟科技、風(fēng)險提示：商業(yè)化落地不及預(yù)期；國內(nèi)大模型在缺乏算力支持的情況下迭代速度放請務(wù)必閱讀正文之后的信息披露及法律聲明。1目錄視頻的大模型迎來Sora時刻，算法、算力、數(shù)據(jù)三要素，請務(wù)必閱讀正文之后的信息披露及法律聲明。2視頻大模型迎來Sora時刻，生產(chǎn)力工具蓄勢待發(fā)請務(wù)必閱讀正文之后的信息披露及法律聲明。3根據(jù)APPSO微信公眾號，自Sora發(fā)布以來，國內(nèi)外已有不少于十家公司發(fā)布或更新視頻生成模型。以7月為例：7月31日，Runway宣布Gen-3可支持圖生視頻。用戶可以使用任何圖片作為視頻生成的首幀，上傳的圖片既可以單獨使用，也可以使用文本提示進行額外指導(dǎo)。7月26日，智譜AI版Sora清影發(fā)布，人人可用、半分鐘快速創(chuàng)作視頻的時代已來。清影理論上僅需30秒即可完成6秒1440×960清晰度高精度視頻的生成，展現(xiàn)出亮眼的推理速度，不僅具備高效的指令遵循能力，還具有內(nèi)容的連貫性和調(diào)度靈活性。7月24日，愛詩科技將視頻生成模型更新至PixVerseV2，支持一鍵生成至多5段連續(xù)的視頻內(nèi)容，且片段之間會自動保持主體形象、畫面風(fēng)格和場景元素的一致性，視頻效果再次提升。7月17日，英國AI創(chuàng)企HaiperAI宣布Haiper升級至v1.5，時長延長到8秒，且提供視頻延長、畫質(zhì)增強等功能。7月6日，智象未來在WAIC上發(fā)布了智象大模型2.0，提供5、10、15秒三種視頻生成時長，并增加文字嵌入生成、劇本多鏡頭視頻生成、IP連貫一致性等能力。此外，智象支持視頻增強至4K畫質(zhì)。圖表：清影AI視頻效果展示圖表：PixVerseV2一次性生成多個一致性視頻圖表：智象大模型2.0可增強生成4K畫質(zhì)視頻請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：智象未來官網(wǎng)，愛詩科技Alsphere微信公眾號，智譜清言官網(wǎng)等，德邦研究所4生成類型：主流大模型大多具有文生視頻、圖生視頻功能。國分辨率：之前的產(chǎn)品分辨率大多在1024*576左右，目前主流大模型以標清720p模型2.0可通過畫質(zhì)增強達到4K級別，趕超Sora的1080幀率：部分廠商未公布幀率數(shù)據(jù)，目前以24或30fps為主，而其他功能：大部分模型已具備鏡頭運動、風(fēng)格切換、畫面比例切換請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：各公司官網(wǎng)，上?？萍嘉⑿殴娞?，智東西微信公眾號，APPSO微信公眾號等，德邦研究所5圖表：國內(nèi)外主流視頻生成大模型性能對比RunwayMachine2月16日2月21日7月17日2/4/8s24fps比例24fps視頻延長-鏡頭運動、比例切換、風(fēng)格選擇、導(dǎo)演模式24fps比例-23.99/51.99/79.99/399.99美元否否是是是是否是是是是是是EtnaViduVimi4月27日7月24日4/8s（理論3/6/9/12s5/10s（理論5/10/15s（商1280*720------24fps24fps-視頻延長（一鍵生成至多5段連續(xù)的視頻內(nèi)容）、鏡--9.99/29.99/99.99元，年付費8折659/1899/5199元免費可用，月付費版：66/266/66-月付費版：9.9/39.9/129.9視頻生視頻未開放請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：各公司官網(wǎng)，上?？萍嘉⑿殴娞枺菛|西微信公眾號，APPSO微信公眾號等，德邦研究所6的Dreamina即夢（75.80）在高難度任務(wù)中表現(xiàn)優(yōu)異，分別位列國內(nèi)圖表：SuperCLUE中文專用的多層次文生視頻基準測評AIGVBench-T2V測評結(jié)果Gen-3Runway79.279.0387.0871.575.0892.79可靈網(wǎng)頁版快手75.0273.0489.7562.28即夢字節(jié)跳動72.9980.3178.8160.21LumaLumaAI70.8975.1668.7569.45WHEE美圖66.9282.764.32PikaArtPika63.9571.7563.1656.3363.95星火繪鏡星火繪鏡科大訊飛61.5572.0757.856.73Gen-2Runway5865.3356.28VegaAI右腦科技VegaAI右腦科技57.2268.5749.3853.0757.22請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：SuperCLUE，CLUE中文語言理解測評基準微信公眾號，德邦研究所圖表：Sora視頻結(jié)果（20s）圖表：Vidu視頻結(jié)果（4s）圖表：Gen-3視頻結(jié)果（10s）圖表：可靈視頻結(jié)果（5s）圖表：DreamMachine視頻結(jié)果（5s）圖表：PixverseV2視頻結(jié)果（9s）圖表：Haiperv1.5視頻結(jié)果（4s）圖表：清影視頻結(jié)果（6s）注：中文prompt：“鏡頭跟隨一輛帶有黑色車頂行李架的白色老式SUV，它在陡峭的山坡上一條被松樹環(huán)繞的陡峭土路上加速行駛，輪胎揚起灰塵，陽光照射在SUV上行駛土路，給整個場景投射出溫暖的光芒。土路緩緩地蜿蜒延伸至遠方，看不到其他汽車或車輛。道路兩旁都是紅杉樹，零星散落著一片片綠意。從后面看，這輛車輕松地沿著曲線行駛，看起來就像是在崎嶇的地形上行駛。土路周圍是陡峭的丘陵和山脈，上面是清澈的藍天和縷縷云彩?！庇⑽膒rompt：“ThecamerafollowsbehindawhitevintageSUVwithablackroofrackasitspeedsupasteepdirtroadsurroundedbypinetreesonasteepmountainslope,dustkicksupfromit’stires,thesunlightshinesontheSUVasitspeedsalongthedirtroad,castingawarmglowoverthescene.Thedirtroadcurvesgentlyintothedistance,withnoothercarsorvehiclesinsight.Thetreesoneithersideoftheroadareredwoods,withpatchesofgreeneryscatteredthroughout.Thecarisseenfromtherearfollowingthecurvewithease,makingitseemasifitisonaruggeddrivethroughtheruggedterrain.Thedirtroaditselfissurroundedbysteephillsandmountains,withaclearblueskyabovewithwispyclouds.”資料來源：各公司官網(wǎng)，德邦研究所整理（注：除Sora外，以上測試結(jié)果均為我們在各公司官網(wǎng)的未進行抽卡；國內(nèi)模型采用中文prompt，國外模型采用英文prompt，其中PixV8縱向來看，Sora發(fā)布之后幾個月，國內(nèi)外視頻大模型生成效果提升顯著，表現(xiàn)為：1）得益于分辨率的提升，視頻畫面清晰度普遍提升；2）模型語義理解和一致性表現(xiàn)較好，視頻能較好地理解prompt內(nèi)容，并能記住畫面中出現(xiàn)的內(nèi)容，前后保持連貫與一致。然而，生成視頻依然存在不足：1）實測時間差異較大，存在排隊行為從而導(dǎo)致等待時間較長，DreamMachine生成時間接近半小時，影響用戶體驗；2）動作幅度依然存在提升空間，生成的視頻的策略偏向于小幅度運動，復(fù)雜動作較少，從而導(dǎo)致視頻的穩(wěn)定性和流暢度可能存在問題；3）生成視頻部分未能很好還原實際物理世界，運動狀態(tài)、光影灰塵等效果表現(xiàn)不佳。橫向來看，我國Vidu、清影或已處于視頻生成大模型第一梯隊，生成時間相對其他模型倍數(shù)減少，且在動作幅度、物理還原度等復(fù)雜任務(wù)完成性上與Sora的差距進一步縮小。圖表：主流視頻大模型文生視頻評價生成時間分辨率可控性動作幅度說明輸入提示后得到結(jié)果的時間清晰與否運鏡幅度視頻畫面前后變化大小、動作幅度大小Sora-高Gen31m54s低低DreamMachine26m高Haiperv1.53m37s低低Vidu30s高清影可靈PixverseV2清影5m14s低低6m高1m25s高中1m25s高中高語意理解提示詞是否能被完整準確地理解和表達高中高中高中中高一致性視頻內(nèi)容的前后連貫性和一致性，場景轉(zhuǎn)換是否平滑，各元素之間是否協(xié)調(diào)統(tǒng)一高中中低高中中高穩(wěn)定性是否會出現(xiàn)畫面變形、撕裂或其他異?，F(xiàn)象高中低低高中低高流暢度動作是否自然連貫，整體觀感是否順暢高低高低高低低高物理還原度光影效果、液體流動是否自然，交互行為是否符合物理規(guī)律高中低低高中低中整體對語義及物理現(xiàn)實生成速度較快、畫質(zhì)較還原度高，視頻在較大幅度變化依然可以保持綜合評價-高，然而整體動作幅度整體對語義及物理現(xiàn)實生成速度較快、畫質(zhì)較還原度高，視頻在較大幅度變化依然可以保持和流暢度較低。畫面一致性與流暢性。整體動作幅度較大、流暢度較高，然而生成時間較長，并且存在畫面變形、非物理現(xiàn)實現(xiàn)象出現(xiàn)。整體動作幅度較小、流暢度穩(wěn)定性較低，存在變形與非物理畫面。生成速度最快，在較短優(yōu)點是畫面質(zhì)量較的視頻長度下依然可以高；缺點是生成時達到Sora級別的動作幅間較長、動作幅度度與流暢度，語義理解較小、流暢度欠缺和物理還原度均較高。等。優(yōu)點是動作幅度大，視頻前后畫面差異大，但在一致性物理還原度等方面存在不足。整體語言理解較強，畫面一致性和穩(wěn)定性高，然而動作幅度適中，存在一些非物理現(xiàn)象。注：以上是根據(jù)前文prompt生成結(jié)果的對比，不同prompt結(jié)果或有差異。資料來源：各公司官網(wǎng)，德邦研究所整理（注：在不同時間點調(diào)用模型用戶擁擠度存在差果僅作參考；低中高效果遞進變好；以上結(jié)果為研究員根9圖表：Sora視頻結(jié)果（8s）圖表：Vidu視頻結(jié)果（4s）圖表：Gen-3視頻結(jié)果（10s）圖表：可靈視頻結(jié)果（5s）圖表：DreamMachine視頻結(jié)果（5s）圖表：PixverseV2視頻結(jié)果（9s）圖表：Haiperv1.5視頻結(jié)果（4s）圖表：清影視頻結(jié)果（6s）注：中文prompt：“平面設(shè)計風(fēng)格的怪物插圖，描繪了一個多樣化的怪物家族。這個群體包括一只毛茸茸的棕色怪物、一只長著觸角的黑色光滑的怪物、一只斑點的綠色怪物和一只小小的有波爾卡圓點的怪物，它們都在一個有趣的環(huán)境中互動。”英文prompt：“MonsterIllustrationinflatdesignstyleofadiversefamilyofmonsters.Thegroupincludesafurrybrownmonster,asleekblackmonsterwithantennas,aspottedgreenmonster,andatinypolka-dottedmonster,allinteractinginaplayfulenvironment.”資料來源：各公司官網(wǎng)，德邦研究所整理（注：除Sora外，以上測試結(jié)果均為我們在個公司官網(wǎng)的未進行抽卡；國內(nèi)模型采用中文prompt，國外模型采用英文prompt，其中PixV圖表：主流視頻大模型圖生視頻評價說明說明SoraGen3DreamMachineHaiperv1.5生成時間輸入提示后得到結(jié)果的時間-1m54s1h+高高高高高高高高高中高中高語義/圖意理解提示詞是否能被完整準確地理中高高中高中高高素之間是否協(xié)調(diào)統(tǒng)一高高中高中高高高高中高中中高高高低高中中中-“交流”語義理解，其他方面整部分形象動作幅度較小整體不夠連貫，流其他方面整體較好。暢性不足。注：以上是根據(jù)前文prompt+單一圖片生成結(jié)果的對比，不同prompt與圖片的組合結(jié)果或有差異；以上結(jié)果為研究員根據(jù)實際使用體驗得到的評價；生成時間是研究員的個人計時。資料來源：各公司官網(wǎng)，德邦研究所整理（注：在不同時間點調(diào)用模型用戶擁擠度存在差異，以上生成時高效果遞進變好；清影文生視頻與圖生視頻生成時間由前文推斷，我們認為，主流視頻大模型已經(jīng)實現(xiàn)了不錯的時長和穩(wěn)定一致性，“翻車”現(xiàn)象大幅減少，生成的視頻不再是簡單的動圖和“PPT式”變化，下一步迭代的重點方向是動作幅度和物理模擬能力。視頻大模型的成熟奠定了AIGC應(yīng)用普及的基礎(chǔ)，在垂直領(lǐng)域具有廣闊的應(yīng)用場景和市場價值，向用戶開放正在初步驗證商用潛力。未來隨著用戶習(xí)慣的培育以及算力基礎(chǔ)設(shè)施的完善，視頻大模型或在辦公、廣告、電影、游戲等多領(lǐng)域具有廣闊的前景。4月15日，全球多媒體巨頭Adobe在官網(wǎng)宣布，將Sora、Pika、Runway等集成在視頻剪輯軟件PremierePro中。在發(fā)布短片中，PR展現(xiàn)出在視頻中添加物體、消除物體以及生成視頻片段等能力。通過AI驅(qū)動的音頻功能已普遍可用，可使音頻的編輯更快、更輕松、更直觀。視頻大模型在短劇市場潛力已被驗證。據(jù)智東西微信公眾號，截至7月底至少有8部AI短劇可以成為產(chǎn)業(yè)發(fā)展的關(guān)鍵節(jié)點。當(dāng)月，國內(nèi)首部AIGC奇觀劇《山海奇鏡之劈波斬浪》短劇播出，十余人的創(chuàng)作團隊取代傳統(tǒng)百人規(guī)模，制作周期從通常的3-6個月縮短到了2個月，成本達到傳統(tǒng)制作流程的1/4以下，大大縮短制作周期和成本，驗證視頻大模型在短劇的商用潛力。圖表：Adobe的PR實現(xiàn)在視頻中添加物體、消除物體以及生成視頻片段圖表：2024年引起關(guān)注的已播或待播AI短劇情況《愛永無終止》倫理央視《奇幻專賣店》《三星堆：未來啟示錄》《覺醒》《山海奇鏡之劈波斬浪》7月13日《因AI求真》公益7月23日請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：Adobe官網(wǎng)，智東西微信公眾號，德邦研究所12算法、算力、數(shù)據(jù)三要素，視頻大模型通過AGI的必經(jīng)之路請務(wù)必閱讀正文之后的信息披露及法律聲明。13架構(gòu)以U-Net為主，模型代表為StableVideoDiffusion；后者則是從Patches生成的架構(gòu)，訓(xùn)練成本更高，但是生成視頻的長度與一致性圖表：主流視頻生成模型架構(gòu)優(yōu)劣勢對比模型架構(gòu)DiTU-ViT模型名稱MagicVideo-V2等模型優(yōu)點模型缺點圖表：MagicVideo-V2SD模型范式：采用插幀的方式利用U-Net架構(gòu)圖表：Sora模型范式猜想：基于時空Patches，利用Transformer架構(gòu)資料來源：BytedanceInc.《MagicVideo-V2:Multi-StageHigh-AestheticVideoGenModelScope社區(qū)微信公眾號等，德邦研究所相比于文字等單模態(tài)，圖片、視頻等多模態(tài)所包含的信息更多，計算復(fù)雜度顯著提高，訓(xùn)練該類大模型所需算力需求更高。以Sora為例，一定條件下測算，Sora訓(xùn)練算力需求是GPT-4的4.5倍，而推理算力需求達到了GPT-4的390.5多倍。Sora此類大模型可一次性生成1分鐘視頻，并具備較高的穩(wěn)定性、文字理解能力等，已成為實用生產(chǎn)力工具，有望掀起新一輪的內(nèi)容創(chuàng)作革命，對后續(xù)的推理算力要求更高。訓(xùn)練側(cè)：Sora算力規(guī)?；蜻_到9.8萬ZFLOPS，為GPT-4的4.5倍，大致需要9096張H100卡訓(xùn)練180天，系訓(xùn)練90天GPT-4的2倍多。GPT-4：根據(jù)semianalysis的測算，GPT-4總共包含了1.8萬億參數(shù)，采用了13萬億token的訓(xùn)練數(shù)據(jù)集。Sora：大約具有30億參數(shù)規(guī)模，訓(xùn)練數(shù)據(jù)或達到百萬億級patches。在訓(xùn)練過程中，Sora通過將視頻壓縮到低維潛在空間，并借鑒了LLM中將文本信息轉(zhuǎn)化為token的思路，針對視頻訓(xùn)練視覺patch。DiT論文為Sora基礎(chǔ)之一，根據(jù)其第一作者謝賽寧推算，Sora參數(shù)量約30億。就訓(xùn)練數(shù)據(jù)而言，為方便計算，我們假設(shè)Sora采用了Runway發(fā)布的文生視頻模型Gen-2數(shù)據(jù)集的十倍，即24億張圖片和6400萬視頻片段（假設(shè)單片段長度為1分鐘）。圖片和視頻分辨率假設(shè)為高清圖像（1920*1080），借鑒谷歌論文，假設(shè)壓縮到16*16（像素）潛在空間；視頻長度假設(shè)為1分鐘，幀率為30FPS；同時視頻幀率被壓縮到潛在空間中，借鑒DiT論文，假設(shè)壓縮系數(shù)為8。經(jīng)過測算，Sora的訓(xùn)練數(shù)據(jù)規(guī)?；蜻_到136.08萬億patches。圖表：Sora將視頻數(shù)據(jù)轉(zhuǎn)化為patch的過程 圖表：Sora訓(xùn)練數(shù)據(jù)規(guī)模測算分辨率1920*1080壓縮空間830375patch數(shù)量（Ttoken）19.44注：假設(shè)一個視頻片段為60s；Sora訓(xùn)練數(shù)據(jù)集規(guī)模與視頻片段時長為研究資料來源：OpenAI官網(wǎng)，Runway《StructureandContent-GuidedVideoSynthesiswithDiffusiIMAGEISWORTH16X16WORDS:訓(xùn)練側(cè)：Sora算力規(guī)?；蜻_到9.8萬ZFLOPS，為GPT-4的4.5倍，大致需要9096張H100卡訓(xùn)練1迭代次數(shù)假設(shè)：由于擴散模型在去噪降噪過程中需要多次迭代，參考StableDiffusion30~50次的步數(shù)，我們假設(shè)40次；算力利用率假設(shè)：根據(jù)semianalysis，由于大量的故障導(dǎo)致訓(xùn)練需要重新啟動的原因，GPT-4的算力利用率大概為32%~36%，我們假設(shè)Sora和GPT-4算力利用率均為35%；訓(xùn)練時間假設(shè)：根據(jù)semianalysis，GPT-4訓(xùn)練了9模型計算更為復(fù)雜，我們假設(shè)GPT-4和Sora分別訓(xùn)GPT-4的4.5倍；Sora需要9096張H100加速卡訓(xùn)練180天，系訓(xùn)練90天的圖表：Sora和GPT-4訓(xùn)練算力需求對比32802449.421840.0197977.621840.01909640551注：假設(shè)Sora和GPT-4訓(xùn)練時間分別是180、90天；該假設(shè)為研究員自行假設(shè)，此處僅為示意各公司公布的數(shù)據(jù)為準）資料來源：semianalysis官網(wǎng)，騰訊技術(shù)工程微信公眾號，英偉達官網(wǎng)，OpenAI《ScalingModels》等，德邦研究所測算推理側(cè)：Sora生成1分鐘視頻算力規(guī)模達到437.4PFLOPS，系生成2ktokenGPT-4的390輸出token假設(shè)：假設(shè)Sora和GPT-4分別生成1分鐘視頻/2ktoken，1分鐘視頻大致為182萬token；算力利Sora和GPT-4算力利用率均為35%；推理響應(yīng)時間假設(shè)：我們假設(shè)Sora生成一分鐘視頻需要響應(yīng)60s，而GPT-4生響應(yīng)10s。經(jīng)過測算，我們發(fā)現(xiàn)Sora生成1分鐘視頻算力達到437.4PFLOPS，系生成2ktokenGPT-4的39Sora需要10.5張H100加速卡響應(yīng)60s，圖表：Sora和GPT-4推理算力需求對比參數(shù)規(guī)模（N，B）33280輸出token數(shù)（D，K）21437.4390.511注：假設(shè)一次推理Sora輸入1分鐘視頻，而GPT-4一次對話是輸出1500-2000個字，假設(shè)是2000tokens；假設(shè)Sora生成一分鐘視頻需要響成2ktoken需要響應(yīng)10s；該假設(shè)為研究員自行假設(shè)，此處僅為示意性測算，可能與實際情況存在一定程度的差異，具體數(shù)據(jù)以各公司資料來源：semianalysis官網(wǎng)，騰訊技術(shù)工程微信公眾號，英偉達官網(wǎng)，OpenAI《ScalingLawsf一方面，互聯(lián)網(wǎng)數(shù)據(jù)是訓(xùn)練數(shù)據(jù)的重要來源，然而互聯(lián)網(wǎng)視頻圖表：Midjourney迭代提升生成效果覺訓(xùn)練數(shù)據(jù)生成高度描述性的字幕，使得模型具有強大的語言理解成的數(shù)據(jù)與反饋能夠更有效地轉(zhuǎn)化為高質(zhì)量數(shù)據(jù)，用來調(diào)整模型的升級方用戶需求的模型，再通過吸引更多的用戶開啟模型迭代的“數(shù)據(jù)飛輪”。以Midjou圖表：Sora根據(jù)文本說明生成高質(zhì)量視頻請務(wù)必閱讀正文之后的信息披露及法律聲明。資料來源：量子位微信公眾號，OpenAI官網(wǎng)，自象限微信公眾號，德邦研究所18請務(wù)必閱讀正文之后的信息披露及法律聲明。19請務(wù)必閱讀正文之后的信息披露及法律聲明。20建議關(guān)注（1）視頻大模型廠商：科大訊飛、商湯、云用標的：金山辦公、萬興科技、福昕軟件、虹軟科請務(wù)必閱讀正文之后的信息披露及法律聲明。21請務(wù)必閱讀正文之后的信息披露及法律聲明。22的情況下，大模型迭代速度可能放緩;請務(wù)必閱讀正文之后的信息披露及法律聲明。