人工智能行業(yè)AI文生視頻市場分析

人工智能行業(yè)AI文生視頻市場分析1文生視頻，多模態(tài)AIGC圣杯文生視頻當前處于起步階段，隨著文生圖、圖片對話技術(shù)的成熟，文生視頻成為多模態(tài)大模型下一步發(fā)展的重點。目前國內(nèi)亦有文生視頻功能，但主要停留在圖片組合階段。我們認為，多模態(tài)，尤其是文生視頻的發(fā)展將為應用的爆發(fā)提供更立體的基礎(chǔ)設(shè)施，同時對算力的需求也將指數(shù)級增長，對AI下階段的發(fā)展至關(guān)重要。本文所介紹的文生視頻是指內(nèi)容之間有關(guān)聯(lián)性與協(xié)同性，能生成有連續(xù)邏輯的視頻模型。1.1相較于文字和圖片，視頻能承載的信息量更大相較于文字和圖片，視頻在多維信息表達、畫面豐富性及動態(tài)性方面有更大優(yōu)勢。視頻可以結(jié)合文本、圖像、聲音及視覺效果，在單一媒體中融合多種信息形式。從視頻生視頻到文生視頻、圖生視頻，多模態(tài)的發(fā)展重視用更少的用戶輸入信息量實現(xiàn)更豐富的AI生成結(jié)果。自Runway推出Gen-1視頻生視頻工具后，AI處理視頻、圖片功能在社交平臺爆火，其背后即是多模態(tài)大模型發(fā)展的表現(xiàn)之一。在多模態(tài)應用方面，當前可應用的模態(tài)轉(zhuǎn)化主要集中在文字、圖片、視頻的轉(zhuǎn)化。1.2當前公測的文生視頻應用數(shù)量較少文生圖領(lǐng)域，2021年1月5日，OpenAI發(fā)布其首個基于Clip模型的文生圖模型DALL·E，但并未開源，自此眾多公司爭先研發(fā)文生圖模型；2022年3月13日，Midjourney發(fā)布可公測的文生圖模型，其效果優(yōu)越，引發(fā)了公眾關(guān)于AI藝術(shù)的討論。目前已積累較多用戶、可穩(wěn)定使用的文生圖模型主要有Midjourney、StableDiffusion、DALL·E等。文生視頻領(lǐng)域，目前公眾可使用的主要有RunwayGen-1、RunwayGen-2、ZeroScope、PikaLabs。其中，除Runway收費外，ZeroScope、PikaLabs均可免費使用。文生視頻發(fā)展速度慢于文生視頻，在視頻質(zhì)量、視頻時長等方面突破較為困難，相比于文生圖的快速優(yōu)化迭代，文生視頻的進展較慢。即便是Meta和Google這樣的硅谷人工智能巨頭，在文生視頻方面也進展緩慢。她們分別推出的Make-A-Video和Phenaki均尚未公測，從官方公布的Demo看，Phenaki雖然可生成任意長度視頻，但其質(zhì)量較差且欠缺真實性；Make-A-Video無需“文本-視頻”配對數(shù)據(jù)集，視頻質(zhì)量相對較好，但時長短。1.3文生視頻，難在哪里？文生視頻更困難。技術(shù)實現(xiàn)本身更困難。從本質(zhì)看，視頻是連續(xù)的多幀圖像，然而文生圖到文生視頻并非簡單的圖片組合，而文生視頻在文生圖的基礎(chǔ)上增加了時間維度。文生視頻需突破瓶頸多。可用的文生視頻需具備一定的時長，優(yōu)良的畫面質(zhì)量，一定的創(chuàng)意邏輯性及還原指令要求能力。計算難度大計算成本高。通過文本生成高質(zhì)量圖片對算力的要求已經(jīng)達到了一定程度，由于生成視頻模型復雜度提升及其時長、分辨率提高等因素，文生視頻對算力的需求進一步加大。計算復雜性提升。文生視頻需要進行高維特征融合，模型復雜度顯著提升。數(shù)據(jù)要求高缺乏高質(zhì)量配對數(shù)據(jù)集。視頻的合理性及連貫性體現(xiàn)模型的架構(gòu)能力、創(chuàng)造力、理解能力。例如，當用戶輸入“一只大象在廚房做飯”這類文字指令時，模型需理解文字指令內(nèi)容，并根據(jù)訓練數(shù)據(jù)庫選取畫面及對象組合，過程中可能出現(xiàn)缺乏相應素材、難以合理組合人物、難以合理架構(gòu)場景等問題。文生視頻需要大量的文本-視頻配對數(shù)據(jù)，但當前缺乏相應數(shù)據(jù)集，數(shù)據(jù)標注工作量極高。缺乏具備多樣性的數(shù)據(jù)集。由于用戶的文本指令要求各異，缺乏多樣數(shù)據(jù)集使得模型無法生成預期效果。技術(shù)融合難度大多領(lǐng)域融合技術(shù)復雜性提升。文生視頻涉及自然語言處理、視覺處理、畫面合成等領(lǐng)域，跨學科多領(lǐng)域使其需攻克的技術(shù)難點增加。2技術(shù)路線沿革：文生視頻，哪種技術(shù)更強？同文生圖及大語言模型的發(fā)展類似，文生視頻也在不斷探索中尋找更為高效且效果更佳的基礎(chǔ)模型。目前主流的文生視頻模型主要依托Transformer模型和擴散模型。目前阿里ModelScope社區(qū)中提供了可用的、基于擴散模型的開源文生視頻模型，促進了如ZeroScope高質(zhì)量文生視頻模型的發(fā)展，有利于后續(xù)文生視頻的技術(shù)迭代優(yōu)化。2.1階段一：基于GAN和VAE，以Text2Filter為代表原理：文生視頻發(fā)展早期主要基于GAN（GenerativeAdversarialNets，生成式對抗網(wǎng)絡(luò)）和VAE（Variationalautoencoder，變分自編碼器）進行視頻生成。GAN由生成器和判別器構(gòu)成，生成器類似于小偷，生成器生成圖片；判別器類似于警察，負責判斷是生成器生成圖片還是真實圖片。VAE由編碼器及解碼器構(gòu)成，其使得圖片能夠編碼成易于表示的形態(tài)，并且這一形態(tài)能夠盡可能無損地解碼回原真實圖像。生成過程分為兩步：首先，利用條件VAE模型從文本中提取出要點，即靜態(tài)和通用的特征，生成視頻的基本背景；再借助GAN框架中的神經(jīng)網(wǎng)絡(luò)生成視頻細節(jié)。問題：應用范圍窄；僅適用靜態(tài)、單一畫面；分辨率低。代表：Text2Filter。2.2階段二：基于Transformer，以Phenaki為代表原理：Transformer模型在文本及圖像生成中均得到了廣泛應用，因此也成為文生視頻使用較多的框架之一，但各模型在具體應用上仍有差別。主要思路即輸入文本后利用Transformer模型編碼，將文本轉(zhuǎn)化為視頻令牌，進行特征融合后輸出視頻。問題：訓練成本高；對配對數(shù)據(jù)集需求大。代表：Phenaki、CogVideo、VideoGPT。Phenaki是基于Transformer框架進行文生視頻的代表之一，其突破了文生視頻的時長限制進行任意時長視頻生成。Phenaki模型基于1.4s左右的短視頻進行訓練，通過連續(xù)的文字指令生成連續(xù)的較短時長的視頻并串聯(lián)成1分鐘左右的長視頻。例如，通過輸入一段類似故事的文字指令，從而實現(xiàn)逐個短視頻的銜接成為長視頻。2.3階段三：基于擴散模型，以Make-A-Video和阿里通義為代表原理：當前擴散模型是文生視頻領(lǐng)域使用更廣的架構(gòu)之一。通過預訓練模型進行文本特征提取后，再進行文本到圖片，圖片到視頻的生成，過程中需基于擴散模型進行。簡單來說，擴散模型即在圖片上逐漸添加高斯噪聲再進行反向操作。以擴散模型為基礎(chǔ)的文生視頻模型，一般是在文生圖基礎(chǔ)上增加時間維度實現(xiàn)視頻生成。擴散模型在語義理解、內(nèi)容豐富性上更有優(yōu)勢。問題：耗時長。代表：Make-A-Video、VideoLDM、Text2Video-Zero、Runway-Gen1、RunwayGen2以及NUWA-XL。2.3.1Meta：Make-A-VideoMake-A-Video是基于擴散模型的代表之一，其重點在于提升視頻品質(zhì)。其模型訓練時間較短，無需“文本-視頻”配對數(shù)據(jù)即可生成視頻。Make-A-Video生成視頻主要思路為首先接受文字指令，后利用CLIP文字解碼將其轉(zhuǎn)化為向量；接著先驗網(wǎng)絡(luò)將CLIP文本向量“翻譯”到對應的CLIP圖像向量；后利用BaseDiffusionModel（一種文生圖的模型）生成視頻的基本框架；此處得到額外的卷積層和注意力層到時間維度；后利用TemporalSuper-Resolution（TSR）進行幀插值以補充關(guān)鍵細節(jié)，最后利用兩個空間超分辨率模型升級各個幀的分辨率。2.3.2阿里達摩院：通義文生視頻大模型通義-文本生成視頻大模型-英文-通用領(lǐng)域-v1.0是由阿里達摩院提供的、發(fā)布在阿里ModelScope平臺上的開源文生視頻大模型，目前仍在集成中，暫未開放公測。通義文本生成視頻大模型僅支持英文輸入，基于多階段文本到視頻生成擴散模型。根據(jù)ModelScope官網(wǎng)，該模型整體參數(shù)約60億，由五個子網(wǎng)格構(gòu)成：文本特征提?。豪脠D文預訓練模型CLIPViT-L/14@336px的textencoder來提取文本特征。文本到圖像特征擴散模型：Diffusionprior部分，以CLIPtextembedding為條件，輸出CLIPimageembedding。圖像特征到64x64視頻生成模型：同樣采用diffusionmodel，以GLIDE模型中UNet結(jié)構(gòu)為基礎(chǔ)改造UNet3D結(jié)構(gòu)，采用crossattention實現(xiàn)imageembedding嵌入，輸出16x64x64視頻。視頻插幀擴散模型（16X64x64到64X64x64）：diffusion視頻插幀模型，輸入包括16x64x64視頻、imageembedding，輸出64X64x64視頻，其中16x64x64視頻復制4次到64X64x64以concat形式輸入、imageembedding同樣以crossattention形式嵌入。視頻超分擴散模型（64X64x64到64X256x256）：diffusion視頻超分模型，同樣為UNet3D結(jié)構(gòu)，推理過程輸入64X64x64視頻，輸出64X256x256視頻。2.3.3Zeroscope：由阿里達摩院Modelscope文生視頻模型優(yōu)化得出在我們找到的三個文生視頻模型（RunwayGen-2、PikaLabs和Zeroscope）中，Zeroscope明確提出其由開源模型優(yōu)化而來。我們認為，這在一定程度上代表了一種新的技術(shù)路線——基于開源，開枝散葉。ZeroScope所依托的文本生成視頻大模型是阿里達摩院vilab“modelscope-damo-textto-video-synthesis”，后者由文本特征提取、文本特征到視頻隱空間擴散模型、視頻隱空間到視頻視覺空間這3個子網(wǎng)絡(luò)組成，整體模型參數(shù)約17億。ZeroScope由兩個組件構(gòu)成：Zerscope_v2567w（用于以較低分辨率快速創(chuàng)建內(nèi)容）和Zeroscope_v2XL（用于將內(nèi)容升級到高清分辨率）。ZeroScopeV3目前在Discord服務器內(nèi)測試，即將推出。3實測：文生視頻模型當前風格各異，總體質(zhì)量較低對于文生視頻應用，用戶主要關(guān)注視頻生成質(zhì)量、是否可定制化生成特定內(nèi)容（如風格、可對生成內(nèi)容調(diào)整細節(jié)等）、使用簡易程度等。盡管當前已有可公測的應用，但由于生成結(jié)果粗糙等問題，文生視頻并未在實際的媒體內(nèi)容生成、創(chuàng)意制作領(lǐng)域得到廣泛應用。具體來看，當前可測試的產(chǎn)品風格各異、總體質(zhì)量較低：RunwayGen-1、Gen-2：是當前文生視頻領(lǐng)域?qū)嶋H應用最“出圈”的模型，具有較好的畫面質(zhì)感，其功能眾多，可在文字、圖片、視頻中自由轉(zhuǎn)化。ZeroScope：是目前文生視頻領(lǐng)域高質(zhì)量的開源大模型之一。ZeroScope在ModelScope的模型基礎(chǔ)上優(yōu)化而來，能提供更高的分辨率。ZeroScope可供用戶免費使用，盡管視頻分辨率、生成質(zhì)量與RunwayGen-2有一定差距，但其后續(xù)潛力大。PikaLabs：為近期發(fā)布的文生視頻平臺，該模型一經(jīng)發(fā)布便因其真實感、動作連續(xù)性效果好引發(fā)關(guān)注。從生成時間看，當前的文生視頻結(jié)果時間短，目前RunwayGen-2最長可生成18秒視頻內(nèi)容，一般其他可公測使用文生視頻模型生成結(jié)果均在4s左右，且無法融合音頻。從生成平臺看，與Runway、ZeroScope不同，PikaLabs采取了與Midjourney相同的應用平臺，當前可通過申請在Discord端試用（Discord是一款可進行社群交流的數(shù)字發(fā)行平臺，用戶可發(fā)布文字、圖片、視頻、音頻等內(nèi)容）。3.1復雜人物動作生成幀連續(xù)效果較差復雜人物動作的視頻生成考驗文生視頻模型的幀連續(xù)效果及動作理解能力。從測試效果看：RunwayGen2：基本完成文字指令要求，突出“一個女孩”人物主題，跳舞動作有一定流暢性，但后續(xù)出現(xiàn)身體器官重疊問題；PikaLabs：未理解文字指令主題“一個女孩”，出現(xiàn)多個人物，但其舞蹈動作連續(xù)流暢性相對較好；ZeroScope：人物模糊，但身體部位變化自然，且未出現(xiàn)變型、消失等問題。3.2非日常場景的視頻架構(gòu)能力連續(xù)能力一般非日常場景的視頻生成考驗文生視頻模型的指令理解及架構(gòu)能力。從“貓拿遙控器看電視”這一虛構(gòu)場景文字指令的要求生成效果看：RunwayGen-2：整體仍然最為出色，但后續(xù)動作變化不自然且幅度小，出現(xiàn)臉部變形等情況；PikaLabs：對文字指令的理解有一定問題，并未體現(xiàn)“拿遙控器”的動作，但其視頻畫面細節(jié)如毛發(fā)、飄動動作更為連貫順暢；ZeroScope：真實性較強，但動作僵硬且幅度較小。3.3多主體視頻生成缺乏邏輯連續(xù)性多主體的視頻生成考驗文生視頻模型的復雜場景處理能力及細微語言理解能力。當前文生視頻模型出現(xiàn)直接忽略文字指令中的如“手牽手”，“一個男孩和一個女孩”等細微要求問題。RunwayGen-2：對畫面及人物動作細節(jié)及雙人互動如“牽手”指令的處理較好，生成人物符合邏輯但人物動作幅度不明顯；PikaLabs：未體現(xiàn)雙人“牽手“細節(jié)，但跑步動作自然連貫；ZeroScope：在多人物互動及跑步動作上處理較好，但畫面粗糙?？傮w來看，三個文生視頻模型的不同生成效果體現(xiàn)其背后模型及訓練數(shù)據(jù)特點。RunwayGen-2：畫面精細度、清晰度及藝術(shù)美感均較強，視頻動作幅度均較小，視頻動感主要體現(xiàn)在如頭發(fā)的飄動上；PikaLabs：擅于生成連貫動作；ZeroScope：表現(xiàn)較為平均。4從圖片生成看文生視頻的商業(yè)前景4.1為什么選擇圖片生成作為對標對象？4.1.1圖片生成相對成熟圖片生成類在多模態(tài)大模型中的商業(yè)程度較高，可為視頻生成的商業(yè)化前景可提供一定參考。以相對成熟的美國市場為例，據(jù)七麥數(shù)據(jù)8月13日IOS應用榜單，以“AI”作為搜索關(guān)鍵詞，榜內(nèi)共計247個應用，其中“攝影與錄像”、“圖形與設(shè)計”類的圖像生成類應用占比31.6%；而“音樂”類應用僅占比2.8%；“效率”類語言生成或?qū)υ捠綉谜急?0.2%?？梢妶D片生成類的商業(yè)化程度最高，且從實際案例來看，目前已有圖片生成類應用表現(xiàn)出較強的收費能力。4.1.2已經(jīng)收費的視頻生成應用，商業(yè)模式與圖片生成趨同目前，從類別上看，圖片生成類為現(xiàn)階段多模態(tài)大模型相對成熟的商業(yè)化場景，視頻生成類的商業(yè)前景可參考圖片生成類的商業(yè)化發(fā)展歷程。整體來看，圖片生成類的商業(yè)模式較為單一，收費模式和收費依據(jù)較為趨同，即按照人工智能生成產(chǎn)品的生成量、生成速度計算收費，現(xiàn)已出現(xiàn)的視頻生成模型的收費依據(jù)也與其類似。另外，市場上已出現(xiàn)個別破圈現(xiàn)象級圖片生成類應用，以及與其原有業(yè)務協(xié)同的AI增強功能產(chǎn)品，也可為未來視頻生成類應用的發(fā)展提供一定參考。RunwayGen-2是文生視頻領(lǐng)域最先形成商業(yè)模式的多模態(tài)大模型案例，其收費標準為文生視頻領(lǐng)域大模型及應用端樹立了標桿，與廣泛的圖片生成類模型及應用的商業(yè)模式類似，RunwayGen-2也按照生成量、附加權(quán)益等區(qū)分不同套餐定價。自發(fā)布以來，RunwayGen-2引起關(guān)注度很高，由于是為數(shù)不多的開放公測的文生視頻大模型，很多玩家前往其官網(wǎng)進行文生視頻的嘗試，2023年9月其網(wǎng)站總訪問人次為760萬，平均停留時長為3分37秒。4.2細分領(lǐng)域：看好人像生成，短期內(nèi)變現(xiàn)較快4.2.1LensaAI：人像生成功能推出后用戶付費意愿高LensaAI切入人像生成領(lǐng)域，新功能推出后收入可觀，但是否可若想形成持續(xù)性付費收入仍需探索。LensaAIApp于2018年上線，原本的主要用途是圖片編輯和美化。2022年11月21日，LensaAI上線的新功能“魔法頭像”（MagicAvatars）讓其在全球人氣迅速飆升。用戶上傳人像圖，可通過“魔法頭像”自動生成各種不同風格的人臉照，包括搖滾風格、時尚風、科幻風、動漫風等。11月30日至12月14日，連續(xù)兩周位列美國AppStore免費榜榜首，還拿下十多個國家的免費榜Top1。從商業(yè)模式上看，該應用提供三種不同的購買方案，主要的區(qū)別是生成的照片的數(shù)量差異。用戶可以選50、100、200張照片，分別對應3.99、5.99、7.99美元。根據(jù)分析公司SensorTower的數(shù)據(jù)，該應用程序在12月的前12天在全球范圍內(nèi)安裝了約1350萬次，是11月200萬次的六倍多。這12天消費者在App上花費了大約2930萬美元（日流水超百萬美元）。根據(jù)SensorTower的最新數(shù)據(jù)，LensaAI在今年7月的全球下載量僅為40萬人次，同月全球收入僅為100萬美元?？梢娙讼裆深悜萌粝刖S持熱度、形成長期穩(wěn)定的收費能力，市場玩家仍需繼續(xù)探索。4.2.2妙鴨相機：國內(nèi)首個“破圈”應用，寫真生成引起社交裂變?nèi)讼裆蓪懻鎽妹铠喯鄼C上架即火爆，迅速爬升社交類應用第一名。妙鴨相機是國內(nèi)第一個出圈的圖片生成類應用。用戶通過上傳一張正面照以及不少于20張的補充照片，就能利用妙鴨相機生成各式寫真。妙鴨相機收費9.9元，可以解鎖現(xiàn)有模板，包括證件照、古裝寫真、晚禮服寫真等。妙鴨相機上線后非?；鸨?，生成圖片的等待時長一路走高，7月20日晚間高峰期有4000-5000人排隊，需等待十幾個小時才能生成圖片。據(jù)七麥數(shù)據(jù)，妙鴨相機近自發(fā)布以來，熱度高漲，截至8月13日，妙鴨相機在iPhone社交類應用中排名第一。妙鴨相機現(xiàn)階段收入規(guī)?？捎^，但市場對其復購及持續(xù)收費能力存疑，后續(xù)須不停上線新模板、開創(chuàng)新玩法。據(jù)七麥數(shù)據(jù)，妙鴨相機近自上線以來，半個月時間收入預估總計超過29萬美元，近七日日均收入超過3萬美元，在國內(nèi)圖像生成領(lǐng)域的應用中遙遙領(lǐng)先，可以算作破圈的現(xiàn)象級產(chǎn)品。但目前還處于拉新階段，后期用戶的復購收入持續(xù)增長的能力亟待驗證。4.3競爭優(yōu)勢：看好有算力儲備的公司目前，國內(nèi)外圖像生成類模型及模應用大多按照生成量、生成速度等來區(qū)分定價，但不同點是國外產(chǎn)品的付費套餐中多有“無限量”套餐，而國內(nèi)產(chǎn)品未出現(xiàn)“無限量”套餐，可看出國內(nèi)算力仍為瓶頸，因此，具有算力儲備的云服務廠商在發(fā)展視頻生成類應用時具有天然優(yōu)勢。4.3.1Midjourney：“無限量”套餐攏獲用戶，映射市場對算力的高需求Midjourney作為文生圖領(lǐng)域的代表性多模態(tài)大模型，相比于大多數(shù)有限生成量的圖片生成類模型及應用，Midjourney的“無限量”套餐具有天然優(yōu)勢，其用戶規(guī)模和營收已建立起一定壁壘。據(jù)SimilarWeb數(shù)據(jù)，Midjourney官網(wǎng)在2023年8月網(wǎng)站訪問量為2850萬人次，平均停留時長達到6分30秒。且從市場公開信息得知，Midjourney的日活用戶已達到1500萬，超過開源模型StableDiffusion的1000萬日活，其年營收也超過1億美元。4.3.2騰訊云：云服務廠商加緊多模態(tài)生成布局反過來看，由于本身具有算力能力優(yōu)勢，云服務大廠也開始注重多模態(tài)生成的能力建設(shè)，上線圖像生成類產(chǎn)品。以騰訊為例，騰訊的AI繪畫產(chǎn)品作為功能模塊，集成在騰訊云解決方案平臺上，客戶可選擇開通AI繪畫服務，便可使用此項功能。目前，用戶可在騰訊云上體驗“智能文生圖”及“智能圖生圖”功能，兩種功能每月共提供20次體驗額度，正式服務需接入API使用。騰訊云AI繪畫功能分為PaaS和SaaS兩種產(chǎn)品形態(tài)，PaaS需要二次開發(fā)，SaaS版開箱即用。4.3.3無界AI：“按時長付費”和“潮汐生成模式”彰顯算力底座特性無界AI于2022年5月入局AI繪畫，為國內(nèi)較早起步的AI作畫工具平臺之一。用戶可通過直接開通會員享受基本權(quán)益，價格為100元/月、1000元/年，能實現(xiàn)文生圖，選擇畫面大小、主題、風格等元素，還享有潮汐模式免費無限創(chuàng)作、解鎖全部專用模型、存儲無限擴容、精繪折扣、選擇更多參數(shù)等會員權(quán)益。其中，潮汐模式下會員可以免費無限創(chuàng)作?！俺毕Ｊ健庇梢归g生成更便宜的“夜間生成模式”發(fā)展而來，旨在利用算力資源空閑時段作畫，實現(xiàn)“以時間換價格”。用戶還可開通權(quán)益卡或購買時長。其中，1）開通權(quán)益卡能獲得更多積分，適用于對普通文生圖有更多需求（如更多超分辨次數(shù)、更多單張加速次數(shù)）的用戶。2）購買時長適用于需要更多生成類型（如圖生圖、條件生圖）和功能（如局部重繪、多區(qū)域控制繪圖等）的用戶，即專業(yè)版用戶。按時長付費也是阿里云、騰訊云等AI云算力服務商常用的收費方式，我們認為，這在一定程度上，反映出AI圖片生成應用與底層算力服務的高度相關(guān)性。4.4業(yè)務協(xié)同：看好多模態(tài)生成與原有業(yè)務有協(xié)同的公司4.4.1Adobe：AI生成工具有望帶來增量付費用戶Adobe上線AI創(chuàng)意生成工具Firefly（螢火蟲），或為Adobe帶來增量付費用戶。Photoshop于2023年3月發(fā)布AI創(chuàng)意生成