易觀智庫-人工智能行業(yè)AIGC產(chǎn)業(yè)研究報告2023：圖像生成篇

AIGC產(chǎn)業(yè)研究報告2023—圖像生成篇confidentialandprotectedbycopyrightLawsl序言圖像作為人工智能內容生成的一種模態(tài),一直在AlGC領域中扮演著重要角色,由于圖像生成應用的廣泛性和實用性,使其受到學術界和產(chǎn)業(yè)界相當多的關注。近年來,圖像生成技術也取得了很多關鍵性突破,從經(jīng)典的GAN技術到目前主流的擴散模型,以及在此基礎效果更好的算法和模型,極大拓展了圖像生成技術的應用領域和發(fā)展前景。而在進行商業(yè)化落地時,生成速度和穩(wěn)定性的提升、可控性和多樣性的增強,以及數(shù)據(jù)隱私和知識產(chǎn)權等問題,也需要在圖像本報告將聚焦于圖像生成的技術發(fā)展和產(chǎn)業(yè)應用情況,提出影響模型應用能力的關鍵因素、商業(yè)化過程中的落地挑戰(zhàn),并展望未來的發(fā)展方向,以期為AlGC領域的應用開發(fā)者和使用者提供參考和易觀分析:E-mail:ygfx@ 12主要類型和應用領域 13技術發(fā)展的關鍵階段 14主流模型實現(xiàn)原理及優(yōu)缺點 3 3 45影響模型應用能力的關鍵因素 46典型產(chǎn)業(yè)應用場景 57商業(yè)化過程中面臨的挑戰(zhàn) 7 7 88前沿探索與趨勢展望 易觀分析版權聲明2023 關于易觀分析 易觀分析:E-mail:ygfx@lll圖2-1:圖像構成的主要類型 1圖3-1:圖像生成技術發(fā)展的關鍵階段 2圖4-1:國內外圖像生成代表模型 4圖5-1:影響模型應用能力的關鍵因素 4圖6-1:圖像生成典型產(chǎn)業(yè)應用場景 6圖7-1:圖像生成商業(yè)化落地挑戰(zhàn) 8易觀分析:E-mail:ygfx@1圖像生成是指運用人工智能技術,根據(jù)給定的數(shù)據(jù)進行單模態(tài)或跨模態(tài)生成圖像的過程。根據(jù)任務目標和輸入模態(tài)的不同,圖像生成主要包括圖像合成（imagecomposition),根據(jù)現(xiàn)有的圖片生成新圖像（image-to-image),以及根據(jù)文本描述生成符合語義的圖像（text-to-image)等。2主要類型和應用領域根據(jù)圖像構成的類型,圖像按照顏色和灰度的多少可以分為二值圖、灰度圖、索引圖和RGB圖,在實際應用中,模型的效果表現(xiàn)主要體現(xiàn)在生成圖像的質量和圖像的多樣性,其在平面設計、游戲制作、動畫制作等領域均有廣泛的應用,另外,在醫(yī)學影像合成與分析,化合物合成和藥物發(fā)現(xiàn)等方面,圖像生成也具有很大的應用潛力。3技術發(fā)展的關鍵階段作為計算機視覺領域的重要組成部分,圖像生成的技術發(fā)展大致經(jīng)歷了三個關鍵階段:易觀分析:E-mail:ygfx@2.GAN生成階段生成對抗網(wǎng)絡（GAN)是上一代主流圖像生成模型,GAN通過生成器和判別器進行博棄訓練來不斷提升生成能力和鑒別能力,使生成式網(wǎng)絡的數(shù)據(jù)愈發(fā)趨近真實數(shù)據(jù),從而達到生成逼真圖像的目的。.自回歸生成階段自回歸模型進行圖像生成的靈感得益于NLp預訓練方式的成功經(jīng)驗,利用Transformer結構中的自注意力機制能夠優(yōu)化GAN的訓練方式,提高了模型的穩(wěn)定性和生成圖像的合理性,但基于自回歸模型的圖像生成在推理速度和訓練成本方面的問題,使其實際應用受限。.擴散模型生成階段對于前代模型在性能方面的局限性,擴散模型（DiffusionModel)已經(jīng)使這些問題得到解決,其跨模態(tài)圖像生成需求,則需要結合CLlp進行,CLlp基于文本-圖像對的訓練方式能夠建立跨模態(tài)的連接,顯著提升生成圖像的速度和質量。目前,業(yè)內主流且生成效果優(yōu)秀的圖像生成產(chǎn)品主要是基于擴散模型和CLlp實現(xiàn)的。易觀分析:E-mail:ygfx@34主流模型實現(xiàn)原理及優(yōu)缺點4.1主流模型解析.擴散模型（DiffusionModel)1)實現(xiàn)原理擴散模型是通過定義一個擴散步驟的馬爾可夫鏈,通過連續(xù)向數(shù)據(jù)添加隨機噪聲,直到得到一個純高斯噪聲數(shù)據(jù),然后再學習逆擴散的過程,經(jīng)過反向降噪推斷來生成圖像。擴散模型通過系統(tǒng)地擾動數(shù)據(jù)中的分布,再恢復數(shù)據(jù)分布,使整個過程呈現(xiàn)一種逐步優(yōu)化的性質,確保了模型的穩(wěn)定性和可2)模型優(yōu)缺點擴散模型的優(yōu)點在于其基于馬爾可夫鏈的正向及反向擴散過程能夠更加準確地還原真實數(shù)據(jù),對圖像細節(jié)的保持能力更強,因此生成圖像的寫實性更好。特別是在圖像補全修復、分子圖生成等應用上擴散模型都能取得很好的效果。但由于計算步驟的繁雜,相應地,擴散模型也存在采樣速度較慢的問題,以及對數(shù)據(jù)類型的泛化能力較弱。.CLlp（ContrastiveLanguage-imagepre-training)1)實現(xiàn)原理CLIP是基于對比學習的文本-圖像跨模態(tài)預訓練模型,其訓練原理是通過編碼器分別對文本和圖像進行特征提取,將文本和圖像映射到同一表示空間,通過文本-圖像對的相似度和差異度計算來訓練模型,從而能夠根據(jù)給定的文本生成符合描述的圖像。2)模型優(yōu)缺點:CLIP模型的優(yōu)點在于其基于多模態(tài)的對比學習和預訓練的過程,能夠將文本特征和圖像特征進行對齊,因此無需事先標注數(shù)據(jù),使其在零樣本圖像文本分類任務中表現(xiàn)出色；同時對文本描述和圖像風格的把握更加準確,并能夠在不改變準確性的同時對圖像的非必要細節(jié)進行變化,因此在生成圖像由于CLIP本質上屬于一種圖像分類模型,因此對于復雜和抽象場景的表現(xiàn)存在局限性,例如可能在包含時間序列數(shù)據(jù)和需要推理計算的任務中生成圖像的效果不佳。另外,CLIP的訓練效果依賴大規(guī)模的文本-圖像對數(shù)據(jù)集,對訓練資源的消耗比較大。易觀分析:E-mail:ygfx@44.2國內外代表模型5影響模型應用能力的關鍵因素從實際應用視角來看,圖像生成模型的關鍵能力包括圖像質量、圖像多樣性,以及圖像穩(wěn)定性和可控性,這些能力決定了模型在應用表現(xiàn)上的差異。易觀分析:E-mail:ygfx@5.圖像質量圖像質量包括生成圖像的像素值,精細化程度,是否能夠充分展現(xiàn)優(yōu)秀的畫質和細節(jié)信息的豐富程度,例如物體的細節(jié)、紋理和色彩,以及圖像的真實程度,也就是在基于真實場景圖像生成任務中,圖像的整體表達能夠符合現(xiàn)實世界的基本邏輯。例如在產(chǎn)品包裝設計、海報設計等行業(yè)客戶需求中,通常對于圖像的尺寸、分辨率、噪聲、亮度、深度等有著具體要求,需要結合應用場景對圖像精.圖像多樣性在圖像多樣性的應用上,主要取決于模型對于像素生成過程的控制能力,以及通過對數(shù)據(jù)分布的預測探索更加多樣化的圖像表達,從而能夠更好地進行圖像細節(jié)的控制,滿足多種風格化生成的要求。其中,個人用戶看重構圖、顏色、主題和實體的細節(jié)表現(xiàn)力和風格的表達,以及圖像的幻想程度、藝術性等。行業(yè)用戶則在此基礎上,更加強調在生成多張圖像或是不同風格圖像時,對語義一致性的把握,因此在滿足圖像多樣性要求的同時能夠保持核心元素表達的統(tǒng)一,將更有利于實現(xiàn)商用。.圖像穩(wěn)定性實際應用中,原始圖像可能會存在光線不足、模糊抖動,因此需要圖像生成模型對于輸入數(shù)據(jù)的噪聲具有一定的魯棒性,例如扭曲、失真、異常描述等,能夠在存在干擾的情況下仍然生成高質量的.圖像可控性圖像可控性是使用者能夠對生成圖像進行細節(jié)控制和后續(xù)調整,例如圖像的顏色、形狀、紋理以個人用戶的實際需求主要在能否通過調整文本描述來修改局部細節(jié),進行二次圖像生成。行業(yè)用戶對圖像可控性的要求更高,包括能否進行全景控制、精確區(qū)域控制、任意細節(jié)控制等,因此需要考6典型產(chǎn)業(yè)應用場景圖像生成是計算機視覺領域的重要組成部分,與圖像生成相關的典型應用場景包括圖像分類、圖像分割、圖像生成、圖像風格轉換、圖像修復、圖像超分辨率等,結合數(shù)字信號處理技術、傳感技術、虛擬現(xiàn)實技術的快速發(fā)展,目前已經(jīng)廣泛應用在各行各業(yè)的場景中。易觀分析:E-mail:ygfx@6.圖像分類、圖像分割可以在工業(yè)、工程設計等領域輔助進行目標識別、圖像相似度檢索,輔助CAD設計等;在醫(yī)學領域可以幫助進行醫(yī)學影像標注、解剖、病理結構變化分析等。另外,圖像生成模型在零樣本分類任務中的良好表現(xiàn),可以在不需要進行額外訓練的情況下快速創(chuàng)建項目,有效提升了模型的工程化能力,降低了對數(shù)據(jù)標注的要求和訓練成本。.圖像生成和圖像風格轉換在藝術設計、產(chǎn)品設計、動畫與游戲制作等方面均有充分的商業(yè)化潛力,可以將其大量應用于創(chuàng)作藝術作品,根據(jù)設計者的草稿圖、創(chuàng)意概念來生成圖像,以及圖像合成、圖像編輯、增強圖像藝術性等,從而能夠幫助設計師、建模師進行動漫人物、游戲場景的制作,幫助完成海報、產(chǎn)品LOGO和產(chǎn)品包裝設計等工作。在電商的應用方面,圖像生成可以在虛擬試衣.圖像修復能夠根據(jù)已有圖像的上下文信息修復缺失部分,例如上色、去除噪聲或填充缺失部分,對圖像對比度、銳度或色彩鮮艷度等圖像要素的增強等,可以應用于數(shù)字化歷史文獻的修復、圖像修補等。在攝影與影視制作方面,對老照片、老電影的修復和畫質提升都具有很強的應用價值。.圖像超分辨率能夠從低分辨率圖像恢復和重建高分辨率圖像,在醫(yī)學影像處理場景中,結合模型的數(shù)據(jù)合成和預測能力進行圖像識別、特征提取和圖像重建,能夠幫助醫(yī)生創(chuàng)建逼真的病例和解剖結構,生成CT掃描圖像,輔助進行病情的分析診斷。另外,在天文觀測和衛(wèi)星遙感觀測等方面,利用圖像超分辨率能夠提升成像設備的性能,并克服時間差異、氣象變化等因素引起的圖像場景變化,為天文探索發(fā)現(xiàn)增加了更多可能性。未來,隨著圖像生成技術的發(fā)展,其與3維生成的強相關性將會更多在視頻、教育、建筑以及虛擬空間建模等方向形成縱深探索。模型的穩(wěn)定可控能力是影響未來發(fā)展的核心要素,目前圖像生成內容仍然存在較大的不確定性,對于藝術創(chuàng)作有助于激發(fā)靈感,但對圖像本身可控性要求極高的領域來易觀分析:E-mail:ygfx@7說,生成圖像是否與預期目標相符,以及對圖像精度的精準控制十分關鍵,這將有利于拓展其在生物7商業(yè)化過程中面臨的挑戰(zhàn)7.1國內外主流圖像生成產(chǎn)品及商業(yè)模式從國內外市場需求和規(guī)模來看,目前圖像生成在AlGc領域中總體的商業(yè)化進展較快。國外主流的圖像生成平臺以MidjourMidjourney采用閉源付費模式,在對DiffusionModel精調后部署在Discord上,用戶通過與bot的交互來獲得圖片,從生成效果來說其對藝術風格的把握獨樹一幟。Midjourney通過早期開放公測積累了大量用戶群,在Discord頻道中形成了高活躍度的社群,以saas付費訂閱模式提供通用或定制化服務,構建起了較為成熟的商業(yè)模式。而stableDiffusion則完全開源,因此模型的優(yōu)化選代速度非常快,形成了較好的開發(fā)者生態(tài),其盈利手段主要通過Apl收費和面向專業(yè)領域的B端用戶提供定制化模型服務;此外,stableDiffusion可以作為插件應用嵌入photoshop,支持直接在ps上生成圖像并保存,能夠為專業(yè)設計DALL-E2通過百億級大規(guī)模參數(shù)集進行訓練,能夠形成穩(wěn)定和高質量的圖像,生成效果更接近真實照片,目前DALL-E2采取閉源付費模式,而依托OpenAl與微軟的深度合作關系,搭載chatGpT能力并將產(chǎn)品嵌入微軟的辦公生態(tài),將使DALL-E2建立起核心競爭優(yōu)勢。另外,Adobe也推出了圖像生成模型集Firefly,并融入到Adobe工作流,Adobe還強調其訓練數(shù)據(jù)來自Adobestock素材庫、公開許可內容和版權已過期的公共領域內容,可以生成專為商業(yè)使用的高質量圖像,并計劃和photoshop、lllustrator、premiere等系列產(chǎn)品深度整合,這些手段將有利于建立面向專業(yè)設計領域的客戶優(yōu)勢,提升用戶粘性。對于國內市場而言,隨著我國自主研發(fā)模型的技術進展,文心一格、cogview、ZMO等Al圖像生成產(chǎn)品通過模型調優(yōu)和知識增強訓練,對中文提示詞具備更強的理解能力,在美術創(chuàng)作、廣告設計等領域已經(jīng)形成了一定的用戶基礎。其中,文心一格提供面向c端用戶的免費和付費模式,依托文心大模型的能力,文心一格在多模態(tài)交互方面具有明顯優(yōu)勢;cogview通過Apl開放能力,支持與企業(yè)Al底座的能力對接和模型微調,并提供面向B端用戶的定制訓練和私有化部署服務;ZMO則將商業(yè)化重點聚焦在圖生圖任務中,進行產(chǎn)品圖到營銷海報等真實場景的圖像生成,積累了一定規(guī)模且有付費意愿的小B端用戶。可以預見,國內圖像生成領域的商業(yè)化進程速度將加快并迎來用戶的快速增易觀分析:E-mail:ygfx@8長期,但仍然需要結合技術能力和產(chǎn)品能力進行深度打磨,通過構建數(shù)據(jù)層、模型層、應用層的生態(tài)7.2圖像生成商業(yè)化落地挑戰(zhàn)結合國外主流平臺的成功經(jīng)驗與國內市場情況,打造成熟的商業(yè)模式需要關注來自三個方面的挑.數(shù)據(jù)能力挑戰(zhàn)圖像生成的效果很大程度依賴于訓練數(shù)據(jù)的規(guī)模和數(shù)據(jù)質量,圖像生成產(chǎn)品在向更多專業(yè)領域和行業(yè)深入時,需要考慮行業(yè)存在的數(shù)據(jù)壁壘、數(shù)據(jù)量不足、數(shù)據(jù)質量不高等問題。另外,針對不同行業(yè)的特定場景的圖像生成要求,需要結合行業(yè)知識進行增量訓練,但目前圖像生成模型仍然存在對復在模型訓練階段,可以通過數(shù)據(jù)增強策略、利用合成數(shù)據(jù)預訓練等方式進行優(yōu)化,提升下游任務的性能。但在商業(yè)化過程中,還需要考慮資源、性能、成本的平衡。因此,針對不同類型的用戶群體,構建數(shù)據(jù)資產(chǎn)經(jīng)營的閉環(huán)將起到?jīng)Q定作用。對于c端用戶,通過結合用戶所輸入的提示詞（prompt)、生成圖像選擇等進行交互行為和偏好分析,利用這些沉淀的數(shù)據(jù)形成可靠的數(shù)據(jù)資產(chǎn),以此提升數(shù)據(jù)篩選、標注和分類能力,以及模型的中文語義理解能力和圖像風格化能力,更有針對性地進行模型選代；同時引導用戶形成中文生成內容社區(qū),來優(yōu)化內容分發(fā)方式,針對不同的用戶圈層和付費意愿打造差異化的服務模式。Midjourney的一個關鍵成功因素就是基于Discord建立內容社區(qū)形成用戶共創(chuàng)的格局,從而不斷沉淀數(shù)據(jù)資產(chǎn),提升用戶粘性。易觀分析:E-mail:ygfx@9對于B端用戶,可以借鑒stabilityAI的商業(yè)模式,通過建立適用性良好的框架積累不同行業(yè)客群,沉淀內容和行業(yè)經(jīng)驗,以此提供面向用戶特定需求的定制模型,例如能夠對動畫制作、影視制作、建筑設計等行業(yè)高質量的藝術效果圖的需求進行模型調優(yōu)和二次開發(fā),形成具有行業(yè)屬性的圖像生成產(chǎn)品,將是國內圖像生成下階段商業(yè)化的成功關鍵。.產(chǎn)品化能力挑戰(zhàn)圖像生成模型落地應用的過程中,需要解決模型訓練階段和下游任務實現(xiàn)之間的差距,滿足產(chǎn)業(yè)場景下對圖像生成的實際需求。例如在實際應用時,用戶所輸入的提示詞直接決定了圖像生成的實際效果,因此模型對于prompt的理解和運用非常關鍵。如果能在文生圖過程中,減少文本描述量和復雜度的情況下保持對語義的準確把握,將明顯降低用戶的使用門欖；在此基礎上,在用戶意圖的基礎上進行擴展,生成超越預期的高質量圖像,將有效提升用戶體驗,提升產(chǎn)品化能力。而影響圖像生成的產(chǎn)品化能力的因素,一是模型本身的性能能否直接滿足應用要求,二是能否在產(chǎn)品中引入附加工具來解決模型局限性問題,而可控性是產(chǎn)品化的核心挑戰(zhàn)。其中一個實現(xiàn)方式是通過擴大參數(shù)集和數(shù)據(jù)集規(guī)模來提升模型性能,并提高對圖像編輯、圖像風格轉化、圖像超分辨率等多種下游任務融合應用的能力,從而支持多種個性化需求和控制生成圖像的細節(jié),相應地,也需要更強的模型部署能力、環(huán)境和配套資源。另外,還可以通過引入ControlNet等微調模型來生成指定要求的圖像,實現(xiàn)對畫面中的物體位置、人物姿勢等精確控制,優(yōu)化圖像生成模型不可控的問題,并能夠進行視角調整、光影調整、細節(jié)添加等,以滿足B端用戶對于產(chǎn)品可控性的更高要求,同時也有利于在控制訓練成本的前提下實現(xiàn)產(chǎn).監(jiān)管合規(guī)挑戰(zhàn)生成式AI的發(fā)展不可避免引發(fā)來自人工智能技術應用風險的問題,商業(yè)化的一大前提是需要滿足監(jiān)管的合規(guī)性要求,近日網(wǎng)信辦已經(jīng)下發(fā)了《生成式人工智能服務管理辦法》的征求意見稿,也將加速AIGC對于數(shù)據(jù)使用和行業(yè)發(fā)展的規(guī)范化。對于圖像生成類產(chǎn)品,合規(guī)性考量主要包括隱私保隱私保護方面,由于使用圖像生成工具進行內容創(chuàng)作的成本低、操作簡單、逼真程度高,在一定程度上造成了信息濫用問題,可能導致隱私泄露、偽造欺詐引發(fā)的信息安全和財產(chǎn)損失,例如將深度合成的人臉圖像用于金融領域的身份識別欺詐,利用含有欺騙性或者其他有害的圖像內容進行傳播和其他不當行為等。因此需要提升圖像在生成、流轉、存儲等過程中的數(shù)據(jù)安全,以及加強對偽造圖像版權保護方面,圖像生成模型基于網(wǎng)絡公開數(shù)據(jù)進行訓練,將可能會產(chǎn)生涉及圖像知識產(chǎn)權的風險,例如有研究指出生成模型可能存在從訓練數(shù)據(jù)中復制圖像而不是生成新圖像。目前,一些行業(yè)和易觀分析:E-mail:ygfx@相關機構已經(jīng)要求所有生成式Al內容必須注明來源,或是直接禁用生成式Al的使用。圖像生成作品是否應該受到版權保護,原創(chuàng)內容與生成內容的比例應該如何界定等,都是圖像生成在實際應用中需人工智能治理方面,一是公平性問題,由于圖像生成模型的訓練數(shù)據(jù)包含大量未經(jīng)過清洗的數(shù)據(jù)集,使圖像生成模型中可能隱藏的如性別、種族、文化等數(shù)據(jù)偏見。二是模型可解釋性問題,大模型在深度神經(jīng)網(wǎng)絡結構層級越來越復雜的情況下,存在對底層數(shù)據(jù)的淹沒問題,導致模型的可解釋性變弱,解析生成模型內部表征的難度變得越來越高。圖像生成模型可以創(chuàng)建逼真場景或人物圖像,其可解釋性也與實際商用的可能性強相關。因此建立可信可控的人工智能需要納入從模型8前沿探索與趨勢展望目前,圖像生成技術的前沿探索主要聚焦在如何加強對圖像實體關系的深度理解、提升多模態(tài)間轉換生成效果、提高采樣速度和樣本質量的研究等方面,從而提升模型對復雜和抽象任務的圖像生成效果,以及形成更強的跨模態(tài)能力和實用性。其中,openAl提出的全新圖像生成模型consistencyModels,不僅能夠解決擴散模型選代步驟多、采樣速度慢的問題,并且無需對抗訓練可以直接生成高質量樣本,可以快速完成圖像修復、圖像超分辨率等多種圖像任務,表現(xiàn)出了更強的應用潛力。另外,對于傳統(tǒng)的GAN結構在增加架構容量導致的不穩(wěn)定問題,已經(jīng)有研究提出了全新的生成對抗網(wǎng)絡架構,在推理速度和圖像生成效果方面展現(xiàn)了更好的性能,可以看到GAN在圖像編輯、圖像轉換等場景的應用潛力仍然存在。從產(chǎn)業(yè)應用層面來看,隨著用戶規(guī)?；@現(xiàn)和治理規(guī)范的落地,下一階段圖像生成將向更加標準、細分的市場需求方向發(fā)展。在面向類型不同的使用者時,對生成效果的要求也存在不同的視角加看重圖像生成的產(chǎn)品能力、服務模式,行業(yè)應用場景的豐富程度,以及與自有產(chǎn)品和系統(tǒng)結合的適用性、本地化部署要求等,用戶的定制化需