AI安全系列：以子之矛攻子之盾-從deepfakes深度偽造技術(shù)看AI安全 20230626 -浙商證券

AI安全系列：以子之矛，攻子之盾——從deepfakes深度偽造技術(shù)看AI安全分析師分析師書編號蜀ecomcnS2研究助理一kecomcn3提示1、AIGC監(jiān)管以及識別技術(shù)研發(fā)以及相關(guān)產(chǎn)品落地不及預(yù)期2、報告中對各類模型的介紹與總結(jié)基于對于相關(guān)論文內(nèi)容的理解，具有一定主觀性3、報告中對于反AI生成的市場空間測算存在主觀判斷及口徑差異4、由AI安全需求帶來的市場競爭加劇5、板塊政策發(fā)生重大變化4CONTENTS01Deepfakes演進與發(fā)展歷程0502生成式AI模型梳理0603以視覺為例：人臉偽造技術(shù)分類0704以視覺為例：生成式圖像檢測手段08AIGC監(jiān)管及反生成AI市場空提示56AI究所1)Deepfakes：基于深度學(xué)習(xí)的AI換臉技術(shù)Deepfakes定義可分為廣義和狹義兩個層次：?廣義：Deepfakes指使用機器學(xué)習(xí)(ML)技術(shù)創(chuàng)建的偽造品，即利用了以生成對抗網(wǎng)絡(luò)技術(shù)(GAN)為主體的深度學(xué)習(xí)技術(shù)生動地模仿原來的表情，以假亂真。2)Deepfakes的產(chǎn)生與飛躍添加標(biāo)題?2014年是Deepfake的誕生元年，Goodfellow與同事發(fā)表的科學(xué)論文標(biāo)志著GANAI的誕生，催生出我們?nèi)缃袼熘腄eepfakes。在2014年，就有跡象表明GAN有望生成仿真度極高的人臉。深度偽造技術(shù)開始進入大眾視野。在Deepfakes產(chǎn)生初期，生成代理往往傾向于產(chǎn)出分辨率較低而模糊不清的圖像是檢查代理難以判斷內(nèi)容的真?zhèn)?，深度偽造技術(shù)一定階段內(nèi)存在著輸出內(nèi)容像素過低，生成結(jié)果難以令人信服的問題。?2017年英偉達推動質(zhì)量飛躍，利用分階段訓(xùn)練網(wǎng)絡(luò)解決了生成代理產(chǎn)出分辨率過低的問題，GAN開始產(chǎn)出質(zhì)量空前的偽造人像，深度偽造技術(shù)開始被推向市場主流。自此，Deepfakes一詞成為AI生成圖像和視頻的代名詞。?2019年Deepfake正式成為市場主流，專注于Deepfakes的YouTUbe頻道擁有數(shù)百萬關(guān)注者，產(chǎn)出質(zhì)量遠(yuǎn)高于其他AI模型。7AI究所?2014：Goodfellow與同事發(fā)表了全球首篇介紹GAN的科學(xué)論文，代表著GANAI的誕生，催生出如今為人熟知的Deepfakes。?2015：研究人員開始將GAN與經(jīng)過圖像識別優(yōu)化的多層卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合，這一組合取代了以往較為簡單的GAN代理驅(qū)動網(wǎng)絡(luò)，提高了處理數(shù)據(jù)的速度和顯卡運行效率，也讓生成結(jié)果的可信度邁上新的臺階。?。使其能夠?qū)θ讼裰械摹昂诎l(fā)”和“微笑”等圖像單一特征作出調(diào)整，將訓(xùn)練圖像中的特征?2019：三星公司的研究人員公布了一種能夠深度偽造人類和藝術(shù)品的GAN，只需參考少數(shù)照片就能利用DeepfakesAI達成出色的偽造效果；以色列研究人員又推出了換臉GAN(FSGAN)，能夠?qū)磿r視頻中的人臉進行實時交換。無需任何預(yù)先訓(xùn)練。?2020：微軟推出FaceShifter，該軟件能夠利用模糊的原始圖片，依賴于分別負(fù)責(zé)偽造人臉和照片比對的兩套網(wǎng)絡(luò)，生成高度可信的Deepfakes圖像；深度偽造技術(shù)有望成為迪士尼電影制作開發(fā)的主流技術(shù)。?2021：社交媒體中出現(xiàn)Deepfakes巡演、直播與人臉租賃活動，在市場上獲得極高熱度。?2022：GAN的改進接連出現(xiàn)，包括能夠在短視頻片段中輕易操縱人臉的StyleGAN2變體和既能以高度匹配的3D形式生成統(tǒng)一圖像，也能利用一張真人圖像還原出3D模型的3DGAN，大力推動力AI深度偽造技術(shù)的發(fā)展。添添加標(biāo)題1)海外應(yīng)用?FaceShifter：2020年由北京大學(xué)和微軟亞洲研究院研究團隊聯(lián)合發(fā)表，是一種高保真、能夠感知遮擋的AI換臉工具，采用兩層框架結(jié)構(gòu)實現(xiàn)高精度和遮擋條件下的換臉。其優(yōu)于以往同類技術(shù)，在生成逼真的人臉圖像方面表現(xiàn)優(yōu)異，被譽為機器學(xué)習(xí)圖?DeepFaceLive：由DeepFaceLab的締造者在2021年首次展示，能夠在經(jīng)過適當(dāng)訓(xùn)練、或者接收到預(yù)訓(xùn)練AI模型之后，在2)國內(nèi)應(yīng)用?Zao：于2019年首次公測，是中國國內(nèi)利用深度偽造技術(shù)制作的一個應(yīng)用程序，用戶可以利用這個程序?qū)⒆约旱哪樚鎿Q成電影里某個角色的臉；用戶還可以在Zao里面大量的視頻和圖片庫中進行選擇，在上傳視頻后就可以在幾分鐘之內(nèi)生成深度偽造的角色。然而，從2019年9月1日，Zao就由于疑侵犯用戶肖像權(quán)而被用戶投訴，以及對用戶生物識別信息的采集存在的信息安全性問題帶來的安全風(fēng)險而遭遇下架。?FaceX-Ray：2020年由北京大學(xué)和微軟亞洲研究院研究團隊聯(lián)合發(fā)表，是一種針對偽造人臉圖像的通用檢測工具，不需要依賴于與特定人臉操作技術(shù)相關(guān)的偽影知識，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓(xùn)練。這種工具合區(qū)域，在市場上獲得很高的評價，被譽為機器學(xué)習(xí)圖像識別領(lǐng)域的“堅盾”。究所8《FaceShifter:TowardsHighFidelityAndOcclusionAwareFaceSwapping》、《FaceX-rayforMoreGeneralFaceForgeryDetection》、品牌觀察報公表：國內(nèi)外表：國內(nèi)外deepfakes相關(guān)應(yīng)用梳理名稱類別(開源與否)開發(fā)地區(qū)開發(fā)時間使用狀況FakeApp2018已下架Faceswap已開源201未下架DeepFaceLab已開源2018未下架DeepFaceLive已開源2019未下架Faceswap-GAN2019未下架ZAO已開源2019已下架DFaker2020未下架Deepface2015未下架FaceShifter2020未下架WomboAI2021未下架Avatarify已開源2020未下架AI生成式AI是深度學(xué)習(xí)的一個分支，可以根據(jù)已經(jīng)學(xué)習(xí)的內(nèi)容生成新的內(nèi)容。生成式AI的訓(xùn)練和推理階段：?推理：當(dāng)用戶給出提示詞，生成式AI將會使用統(tǒng)計模型去預(yù)測答案，生成新的文本來回答問題。AI歷程變分自編碼器(VAE)被提出，生成式AI誕生生成式預(yù)訓(xùn)練模型(GenerativePre-trainedModels)開始興起，nAIGPT在GPT-3.5的基礎(chǔ)上推出ChatGPT讓生成式AI火爆全球生成式對抗網(wǎng)絡(luò)(GAN)擴散模型(DiffusionModel)生成式對抗網(wǎng)絡(luò)(GAN)OpenAIAutoEncodingVariationalBayesGenerativeAdversarialNetworksAI深度學(xué)習(xí)的一個分支《DenoisingDiffusionProbabilisticModels》、浙商證券研究所表：判別模型與生成模型對比模型模型模對象直接對條件概率進行建模對聯(lián)合概率分布進行建模容輸入和輸出之間的關(guān)系數(shù)據(jù)的分布和特征之間的關(guān)系，以及生成輸入數(shù)據(jù)務(wù)類別表：判別模型與生成模型對比模型模型模對象直接對條件概率進行建模對聯(lián)合概率分布進行建模容輸入和輸出之間的關(guān)系數(shù)據(jù)的分布和特征之間的關(guān)系，以及生成輸入數(shù)據(jù)務(wù)類別通過最大化或最小化某種損失函數(shù)來尋找最優(yōu)的參數(shù)配置，以實現(xiàn)準(zhǔn)確的預(yù)測和分類生成新的圖像、語言模型和數(shù)據(jù)增強等任務(wù)特點直接學(xué)習(xí)輸入特征和輸出標(biāo)簽之間的關(guān)系，具有較低的計算復(fù)雜度，并且適特定任務(wù)生成新的樣本數(shù)據(jù)，并且有助于理解數(shù)據(jù)的統(tǒng)計特性和生成機制深度神經(jīng)網(wǎng)絡(luò)高斯混合模型(GMM)、生成對抗網(wǎng)絡(luò)(GAN)學(xué)習(xí)數(shù)據(jù)和標(biāo)簽的關(guān)系，最大化條件概率似然函數(shù)息判別模型(DiscriminativeModel)和生成模型(Generative對數(shù)據(jù)的建模方式和應(yīng)用領(lǐng)域。Model)是機器學(xué)習(xí)中兩種不同類型的模型，它們的主要區(qū)別在于其架型習(xí)非結(jié)構(gòu)化根據(jù)生成內(nèi)容的類別，生成式AI模型可進一步被分為生成式語言模型和生成式圖片模型：?生成式語言模型：基于自然語言處理的技術(shù)，通過學(xué)習(xí)語言規(guī)律和模式生成新的文本。通過訓(xùn)練大規(guī)模文本數(shù)據(jù)，如新聞、小說、網(wǎng)頁內(nèi)容等，生成式語言模型可以自動生成邏輯和語法正確的文本，如文章、對話、詩歌等，被廣泛應(yīng)用于機器翻譯、文本摘要、對話生成、故事生成等任務(wù)。?生成式圖片模型：基于計算機視覺的技術(shù)，通過學(xué)習(xí)圖像的特征和結(jié)構(gòu)生成新的圖像。通過訓(xùn)練大規(guī)模的圖像數(shù)據(jù)集，學(xué)習(xí)圖像的特征表示和統(tǒng)計規(guī)律，生成式圖片模型可以生成具有視覺真實感或藝術(shù)風(fēng)格的圖像，如自然風(fēng)景、人像或抽象藝術(shù)作品。被應(yīng)用于圖像生成、圖像標(biāo)注、圖像編輯等領(lǐng)域。隨著多模態(tài)模型的應(yīng)用逐步深入，生成式模型也開始向多模態(tài)方向發(fā)展：隨著多模態(tài)模型的應(yīng)用逐步深入，生成式模型也開始向多模態(tài)方向發(fā)展：?輸入內(nèi)容為文本：輸出內(nèi)容可以為文本、圖片、音頻、決策等內(nèi)容?輸入內(nèi)容為圖片：輸出內(nèi)容可以為文本、圖片和視頻等內(nèi)容。圖：輸入為圖片時生成式模型的輸出可選項時生成式模型的輸出可選項圖：輸入為圖片時生成式模型的輸出可選項型條件生成模型AlignDRACVAEW模型型條件生成模型AlignDRACVAEW模型DiscoDiffusionStableDiffusionGANGAN-INT-CLSStackGANelto (GAN)模型 StackGAN++CycleGANStyleGAN3ViTGANIPStyleGANVQGANStyleGAN編碼器(VAE)wGlow-TTSwFFJORDFFJORD-GANFFJORD框架，我們以其中主要或最新參考的模型作為劃分依據(jù)14資料來源：相關(guān)領(lǐng)域已發(fā)表學(xué)術(shù)論文(論文名稱參考報告末尾附錄頁)、浙商證券研究所率建模VAE用變分推斷建模潛在變量分布，最大提供概率建模和不確率建模VAE用變分推斷建模潛在變量分布，最大提供概率建模和不確困難VAE的訓(xùn)練需要平衡重構(gòu)誤差和KL散度的監(jiān)控訓(xùn)練過程相對復(fù) (VariationalInference)的思想，于2013年由Kingma和Welling提出。其目標(biāo)是學(xué)習(xí)數(shù)據(jù)的潛在表示，并能夠生成新的樣本。VAE結(jié)合自動編碼器和變分推斷的思想，通過學(xué)習(xí)數(shù)據(jù)的潛在表示和生成新樣本。它假設(shè)潛在變量服從先驗分布，編碼器將輸入映射為均值和方差參數(shù)，通過重參數(shù)化技巧采樣潛在變量。解碼器接收采樣的潛在變量解碼為樣本，通過最大化邊際似然和KL散度來訓(xùn)練VAE，學(xué)習(xí)數(shù)據(jù)的潛在分布并生成新樣本。成操作潛在變量控制生離散數(shù)據(jù)處理離散數(shù)據(jù)處理VAE基于連續(xù)分布假設(shè)，對于離散數(shù)據(jù)處理可能有困難，需要適當(dāng)修改或使用離散在表示GAN的生成器學(xué)習(xí)數(shù)在表示GAN的生成器學(xué)習(xí)數(shù)于特征學(xué)習(xí)和數(shù)據(jù)降操作的潛在空間。模式崩潰和塌陷生成器可能只能生成樣性和創(chuàng)造性。生成式對抗網(wǎng)絡(luò)(GAN)由Goodfellow等人于2014年提出，采用對抗訓(xùn)練策略，通過對抗訓(xùn)練的方式改變了生成模型的思路。GAN包括生成器和判別器兩個對抗的模型，生成器試圖生成逼真樣本，判別器試圖區(qū)分生成和真實樣本。通過對抗過程，生成器逐漸提高樣本質(zhì)量，判別器提高鑒別能力。GAN通過讓生成器和判別器相互博弈，逐漸達到動態(tài)平衡，使生成器學(xué)習(xí)真實樣本的分布。質(zhì)量樣本生成GAN生成逼真的圖像、質(zhì)量和多樣性較傳統(tǒng)生成模型更好。難以評估生難以評估生成質(zhì)量缺乏明確的似然函數(shù)，生成質(zhì)量難以定量評評價。逼近復(fù)雜分布擴散模型有效建模復(fù)逼近復(fù)雜分布擴散模型有效建模復(fù)捉非線性關(guān)系和復(fù)雜構(gòu)。程圖算復(fù)雜度高訓(xùn)練和推斷過程需要大量計算資源和時間，對大規(guī)模高維數(shù)據(jù)集求較高Diffusion是一種用于建模數(shù)據(jù)分布的生成模型，通過迭代模擬數(shù)據(jù)在潛在空間中的擴散過程，使得樣本在潛在空間中逐漸接近真實數(shù)據(jù)分布，從而由初始噪聲樣本逐步生成高質(zhì)量樣本。Diffusion模型通過動力學(xué)系統(tǒng)學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)和生成機制，克服了傳統(tǒng)生成模型的限制，適用于復(fù)雜高維數(shù)據(jù)。它在圖像生成、數(shù)據(jù)插值等任務(wù)中表現(xiàn)出優(yōu)異性能，為生成模型提供了一種新的建模方式。無無需顯式似然函數(shù)不需要定義似然函數(shù)，通過擴散逼近真實數(shù)據(jù)和高維度更有效。超超參數(shù)敏感性性能和質(zhì)量受超參數(shù)選擇影響，不當(dāng)選擇可能導(dǎo)致不穩(wěn)定或下sSpeech2Face03人臉偽造技術(shù)分類梳理Speech2FaceFaceswapDeepFaceLab視身份偽造有目標(biāo)身份偽造方法通常在視視身份偽造有目標(biāo)身份偽造方法通常在視頻或圖像偽造過程中,將偽造目標(biāo)的身份或性信息輸入到模型中,實現(xiàn)特定目標(biāo)身份的視頻或圖像偽造。該偽造形式可能被用于進行特定身份的偽裝與假CycleGANFace2Face人臉表情重演術(shù)跨模態(tài)人臉編輯無目標(biāo)身份偽造方法通常成現(xiàn)實世界中不存在的虛假人臉圖像,生成過程中沒有特定》、浙商證券研究所1)有目標(biāo)可視身份偽造?DeepFaceLab：主要用于視頻換臉，使用者將兩張不同的照片導(dǎo)入模型實現(xiàn)臉部的交換。DeepFaceLab提供力從數(shù)據(jù)收集和篩選，到模型訓(xùn)練和最終視頻輸出的一站式解決方案，屬于有目標(biāo)可視身份偽造類別的人臉替換系列。DeepFaceLab擁有面部更換、面部老化、頭部更換、操縱嘴部等功能，可用于短視頻平臺的娛樂項目以及電影的后期制作等。DeepFaceLab沒有收費或捐贈機制，任何人都可以在GitHub上下載和使用。?Facelet-Bank：騰訊優(yōu)圖團隊提出的一種通用且靈活的高質(zhì)量人臉屬性編輯網(wǎng)絡(luò)，進而與香港中文大學(xué)、Adobe研究院、字節(jié)跳動人工智能實驗室合作提出一種基于語義部件分解的人臉屬性編輯方法。Facelet-Bank可以快速處理各種表情、配飾和化妝效果，并產(chǎn)生高分辨率和高質(zhì)量的圖像。Facelet-Bank可以用于視頻網(wǎng)站的快速人像操作。 類梳理2)無目標(biāo)可視身份偽造?icons8：icons8是一個提供高質(zhì)量免費圖標(biāo)和設(shè)計工具的網(wǎng)站，網(wǎng)站創(chuàng)始人IvanBraun等利用StyleGAN模型生成大量偽造人臉圖像并按照性別、年齡、種族、頭發(fā)顏色、表情等屬性分類在網(wǎng)站上進行展示，現(xiàn)有客戶包含大學(xué)、約會軟件和人力資源規(guī)劃公司。icons8(FaceSwapper)可以在3天內(nèi)免費試用，付費內(nèi)容包括優(yōu)先處理、電子郵件支持和60天存儲空間。?“ThisPersonDoesNotExist”(此人不存在)：一個生成虛擬人物頭像的網(wǎng)站，由StyleGAN提供支持，以1024x1024像素的分辨率生成不存在的人的照片。網(wǎng)站使用人工智能技術(shù)生成照片，可自定義生成人臉的性別、年齡、以及種族，每次刷新頁面都會生成一個全新、獨特的虛擬人物頭像。該網(wǎng)站旨在展示人工智能技術(shù)的能力，并提供免費的虛擬人物頭像給用戶使用。 深度偽造在俄烏沖突中的案例分析》、浙商證券研究所應(yīng)用有目標(biāo)可視身份偽造在俄烏沖突中已有所應(yīng)用：1)對烏克蘭最高領(lǐng)導(dǎo)人澤連斯基的虛假模擬2022年3月15日，烏克蘭廣播新聞媒體Ukraine24遭到黑客攻擊。黑客通過文字滾動新聞在電視直播中發(fā)送了有關(guān)澤連斯基的虛假消息，并在其網(wǎng)站上發(fā)布了澤連斯基呼吁士兵“放下武器投降”的深度偽造視頻，該視頻隨即在Twitter等社交媒體上廣為傳播。對澤連斯基的深度偽造視頻屬于有目標(biāo)可視身份偽造中的人臉編輯類，偽造視頻中存在畫質(zhì)不清晰、場景單一、人物面部與頸部的膚色存在差異、人物頭肩比不協(xié)調(diào)、人物上半身無肢體動作、眼神始終注視鏡頭等問題。網(wǎng)絡(luò)攻擊者利用Pix2Pix、Face2Face和Speech2Face等算法技術(shù)，以宣布停戰(zhàn)為博弈主題，試圖達到影響對方國家的目的。2)對俄羅斯最高領(lǐng)導(dǎo)人普京的虛假模擬2022年3月16日，Twitter用戶@SerhiiSternenko發(fā)布了“普京宣布停戰(zhàn)”的深度偽造視頻。對普京的深度偽造視頻同樣屬于有目標(biāo)可視身份偽造中的人臉編輯類，但深度偽造普京的視頻制作更為精良，通過多景別切換、人物動作、微表情等方法使得視頻仿真性更高，迷惑性更強。.特征分析對提取的特征進行分析，例如統(tǒng)計特征、頻譜特征、局.特征分析對提取的特征進行分析，例如統(tǒng)計特征、頻譜特征、局入出檢測GAN模型生成的圖像：GAN圖檢測通常使用預(yù)先訓(xùn)練好的GAN模型來生成假圖像，并將這些假圖像與真實圖像混合在一起形成一個混合的數(shù)據(jù)集。然后，將該數(shù)據(jù)集送入分類器中進行訓(xùn)練，以區(qū)分真實圖像和虛假圖像。分類器通常采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進行訓(xùn)練，并基于圖像的梯度、頻率特征等進行判斷，從而有效檢測出虛假圖像。使用計算機視覺技術(shù)從待檢測的圖像中提取特征，如顏色分布、紋理特征、局部結(jié)構(gòu)等是或否是或否待檢測圖像比較將待檢測圖像的特征與真實圖像和GAN生成圖像的特征進行比較，可以使用相似性度量或分類器進行判斷法類方法GAN生成的圖像通常具有一些特殊的視覺特征，如顏色塊、紋理不自然、邊緣不清晰等。可以使用深度學(xué)習(xí)模型來訓(xùn)練一個分類器，將GAN生成的圖像和真實圖像分別作為正例 和反例，然后使用測試數(shù)據(jù)集來測試分類器的準(zhǔn)確率和性能。頻率特征方法GAN生成的圖像通常具有一些頻率特征，如頻率分布不均勻、頻率分布不連續(xù)等?？梢允褂每焖俑道锶~變換(FFT)梯度特征方法GAN生成的圖像通常具有一些梯度特征，如梯度分布不均勻、梯度變化不連續(xù)等。可以使用Sobel算子、Laplacian算子等邊緣檢測算法來計算圖像的梯度，然后使用一些統(tǒng)計方法來分析梯度特征，如梯度分布、梯度變化、梯度方向分布等。GANgeneratedFacesDetectionASurveyandNewPerspectives，XinWang等著的論文整理、浙商證券研究所一：檢測圖片是否由生成式AI模型生成檢測Diffusion模型生成的圖像：生成式AI模型通常具有一些獨特的統(tǒng)計特征，例如紋理、顏色分布、物體形狀等，DM圖在某些統(tǒng)計特征上可能與自然圖像有所不同，這可以用于區(qū)分它們，通過分析圖像的統(tǒng)計特征并與已知的視頻一致性檢測。現(xiàn)有模型在DM圖上的泛化性能仍然有限，并且DM圖的識別比GAN圖更具挑戰(zhàn)性。雖然已經(jīng)有一些研究成果和原型系統(tǒng)，但目前仍然沒有一個普適性和完全可靠的DM圖檢測方法：?直接將GAN上的模型用于DM圖的檢測效果較差，但可經(jīng)過微調(diào)后恢復(fù)一定性能；?二次處理(如壓縮)會使生成圖更難以判斷；?DM圖可以被擴散模型重建，而真實圖片不行。通過計算重建圖像與原圖之間的擴散重建差(DIRE)作為特征進行二分類訓(xùn)練，可以提高判斷的泛化性能。 DM檢測流程Onthedetectionofsyntheticimagesgeneratedbydiffusionmodels，RiccardoCorvi等著的論文整理、浙商證券研究所差異通過對抗手段生成更的圖片，以增強模型異差異通過對抗手段生成更的圖片，以增強模型異方法使用不同的特征進行訓(xùn)練，包括純視覺信息(如偽合邊界、全局紋理一致性)、圖像頻率信息以及重建emble生成模型可能采用多個子模型的Ensemble方法生成圖片,這會增加檢測難度。檢測模型需要考慮不同子模型的特征,而不是單一模型的特征。生成惡意的生成模型可能專門生成那些難以檢測的圖片,以躲避檢測。這需要檢測模型有足夠的泛化能力,不易被針對性生成的欺騙。異不同的方法采用不同的模型來差跨模型檢測的泛化性較差。當(dāng)訓(xùn)練集中的生成圖由特定的生成器產(chǎn)生時，檢測器在對同一生成器生成的圖片進行檢測時表現(xiàn)良好，但對于新的生成器生成的圖片檢測性能會較差?；阅苎芯空呖梢蕴剿魈嵘缒Ｐ蜋z測的泛化性能的方法，使得檢測器對于任何生成器生成的圖能有效。多樣性通過使用更多不同生成器生成的數(shù)據(jù)來訓(xùn)練檢測器，以增強成器的適應(yīng)能力多種特征可以考慮結(jié)合不同方法使用的特征，構(gòu)建更綜合的特征表示，從而提高判斷的準(zhǔn)確性和泛化。DetectingGANgeneratedFakeImagesusingCooccurrenceMatricesLakshmananNataraj等著的論文整理、浙商證券研究所04檢測方向二：偽造人臉檢測能夠檢測GAN模型生成的人臉圖像的方法分為四類1.基于深度學(xué)習(xí)的方法是最常用的方法之一，它使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來提取特征并進行分類。盡管這些方法在準(zhǔn)確性方面表現(xiàn)出色，但它們的圖片識別(分類)可解釋性相對較差。即使當(dāng)人類無法察覺到圖像的細(xì)微差別時，深度學(xué)習(xí)模型可以識別出來，但無法提供解釋判斷的原因，這2.基于物理的方法通過尋找人工信息或面部與物理世界之間的不一致來檢測GAN生成的人臉圖像。例如，透視中的照明和反射等物理特征可以用于識別GAN生成的人臉。這些方法不需要大量標(biāo)記數(shù)據(jù)，但在準(zhǔn)確性方面可能會受到噪聲和其他因素的影響。于生理的方法使用生理特征來檢測GAN生成的人臉圖像。這些生理特征包括對稱性、虹膜顏色、瞳孔形狀等線索。通過研究這些生理特征，可GAN標(biāo)記數(shù)據(jù)，但可能會受到個體差異和其他因素的影響。4.評估和比較人類視覺性能的方法使用人類參與者來評估GAN生成的人臉圖像是否真實。這些方法可以提供有關(guān)GAN生成圖像質(zhì)量和真實性的有用GAN的人臉，而是用于評估和比較人類和AI的視覺性能。GANgeneratedFacesDetectionASurveyandNewPerspectivesXinWang等、浙商證券研究所04檢測方向二：偽造人臉檢測利用生成人臉仍不夠逼真的漏洞基于DS的假視頻檢測：從1秒視聽片段中提取的特征輸入到MDS網(wǎng)絡(luò)(包括音頻和視覺子網(wǎng)絡(luò))。視頻和音頻子網(wǎng)絡(luò)學(xué)習(xí)的描述符通過交叉熵?fù)p失進行調(diào)整，而對比損失用于增強音頻之間的更高差異性-假視頻產(chǎn)生的視覺塊。MDS被計算為視頻長度上的聚合視聽不和諧，并用作將視頻標(biāo)記為真/假的品質(zhì)因數(shù)。DS視頻檢測流程圖NotmadeforeachotherAudioVisualDissonancebasedDeepfakeDetectionandLocalization，KomalChugh等、浙商證券研究所29資料來源：《LipsDon'tLie:AGeneralisableandRobustApproachtoFaceForgeryDetection》，AlexandrosHaliassos等、浙商證券研究所04檢測方向二：偽造人臉檢測利用生成人臉仍不夠逼真的漏洞人臉偽造檢測微調(diào)階段：網(wǎng)絡(luò)的輸入包含25個灰度、對齊的唇部(我們僅顯示四個用于說明目的)。它們通過凍結(jié)特征提取器(具有初始3-D卷積層的ResNet-18)，該特征提取器已經(jīng)過唇讀預(yù)訓(xùn)練，因此輸出對嘴部運動敏感的嵌入。一個多尺度時間卷積網(wǎng)絡(luò)(MS-TCN)，也在唇讀上進行了預(yù)訓(xùn)練，被微調(diào)以檢測基于嘴部運動中語義高級不規(guī)則性的假視頻。偽造人臉檢測流程圖04檢測方向二：偽造人臉檢測N和C表示圖像和通道的數(shù)量。在偽Deepfake檢測模型旨在關(guān)注圖像的局部表示以指示人臉偽造。MFS述MFS以全局交換和部分交換兩種方式對成具有工件區(qū)域真實值的新假圖像。合成器網(wǎng)絡(luò)(即生成器)輸出三個偽造配置，進一步用于合成新的偽造，這些合成器網(wǎng)絡(luò)(即生成器)輸出三個偽造配置，進一步用于合成新的偽造，這些偽造配置也用作標(biāo)簽來指導(dǎo)檢測器網(wǎng)絡(luò) (即鑒別器)，以對抗的方式訓(xùn)練生成利用模型自身的能力GD?合成器：生成配置參數(shù)，用來合成更豐富的自監(jiān)督樣本數(shù)據(jù)(注意是生成配置的參數(shù))2.原生真圖：不增廣的真圖不進入合成器，直接訓(xùn)判別器；3.合成假圖：有一定概率與一個隨機圖(Reference)進行增廣，形成局部虛假的假圖；?圖片合成：合成器G會生成配置方案(區(qū)域選擇10個；混合blending類型選擇；以及合成比例選擇ratio)，基于此進行合成 (即數(shù)據(jù)增廣)自監(jiān)督學(xué)習(xí)模型概述圖SelfsupervisedLearningofAdversarialExampleTowardsGoodGeneralizationsforDeepfakeDetection》，JueWang等、浙商證券研究所05生成式AI1、數(shù)據(jù)：可供訓(xùn)練的數(shù)據(jù)集規(guī)模擴大，帶來模型效果的大幅提升2009年發(fā)布的ImageNet數(shù)據(jù)集有1400多萬幅圖片，涵蓋2萬多個類別，其中有超過百萬的圖片有明確的類別標(biāo)注和圖像中物體位置的標(biāo)注；而2022年3月開放的LAION-5B數(shù)據(jù)集包含58.5億個圖片-文本對，訓(xùn)練數(shù)據(jù)集規(guī)模的擴大可提升模型精度。2、算法：算法框架的迭代與組合，使得模型訓(xùn)練更加高效、穩(wěn)定VAE模型由于在訓(xùn)練過程中調(diào)整參數(shù)只能得到平均的結(jié)果，所以生成圖片較為模糊；GAN模型通過生成器和判別器相互對抗，可以生成高分變率的圖像，但由于需要同時訓(xùn)練生成器和判別器兩個模型，訓(xùn)練難度大、不穩(wěn)定，結(jié)果不容易收斂；Diffusion模型在上述兩個模型的基礎(chǔ)上，在圖片質(zhì)量和模型訓(xùn)練難度上取得了較好的效果，在其基礎(chǔ)上進一步迭代的StableDiffusion又進一步解決了傳統(tǒng)Diffusion模型的采樣速度慢的缺點。3、算力：算力水平的提升，助力更加高效的復(fù)雜模型訓(xùn)練算力水平的提升使得訓(xùn)練更大規(guī)模參數(shù)的模型成為可能，且可通過多張Tesla架構(gòu)的V100訓(xùn)練包含1746億參數(shù)的GPT3.0需要288年的時間，而用1024張A100GPU上預(yù)估需要34天，而多臺的H100甚至可以將GPT的模型訓(xùn)練時間縮短到幾天。模型精度性模型精度性能隨訓(xùn)練集規(guī)模增大提升各類生成式模型的優(yōu)缺點05AIGC的識別難度增大，潛在風(fēng)險提升AIGCAIGC監(jiān)管及AI國內(nèi)2019.11網(wǎng)信辦、文旅部、廣電總局《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》：“不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。”9.12網(wǎng)信辦《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》明確網(wǎng)絡(luò)信息內(nèi)容服務(wù)使用者和生產(chǎn)者、平臺不得開展包括深度偽造在內(nèi)的2.01網(wǎng)信辦、工信部、公安部、市場監(jiān)督管理總局《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》將生成合成類算法列入收到監(jiān)管的五大類應(yīng)用算法推薦技術(shù)之一，并要求對AI生成圖片、視《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確強化深度合成服務(wù)提供者和技術(shù)支持者的主體2023.04網(wǎng)信辦《生成式人工智能服務(wù)管理辦法(征求意見稿)》強化AI生成內(nèi)容治理、優(yōu)化技術(shù)監(jiān)管、強化個人權(quán)利保國外2018.05歐盟《通用數(shù)據(jù)保護條例》將包括可能被用于制作深8.09歐盟《反虛假信息行為準(zhǔn)則》加強互聯(lián)網(wǎng)企業(yè)對平臺。罪和侵權(quán)的個人、明知內(nèi)容的深偽性質(zhì)仍進行分發(fā)的社媒平臺的作者必須用“不可刪除的數(shù)字水印以及文本描述“標(biāo)明該內(nèi)0.05澳大利亞戰(zhàn)略政策研究所《深度偽造技術(shù)武器化》詳細(xì)介紹了七個常見的深度造假工具：換臉、重新投射、口型同0.08美國會研究服務(wù)處《深度偽造與國家安全》、《人工tGPT3.06歐洲議會通過了關(guān)于《人工智能法案》的談判授權(quán)草案，針對生成式AI設(shè)立專門監(jiān)管制度，并要求AI公司對其算法36法律研究中心公眾號、信息安全與通信保密雜志社公眾號、財聯(lián)社公眾號、新華網(wǎng)、每經(jīng)網(wǎng).10.10.10.10.10.858市場?潛在需求場景：AI偽造圖片/音頻識別?潛在需求方：企業(yè)及個人用戶?互聯(lián)網(wǎng)用戶數(shù)量(截至2022年6月)：10.5億?售價假設(shè)：325元/月(每天4萬次調(diào)用請求) (對標(biāo)海外產(chǎn)品售價)?空間測算(純軟件部分)：3900元/年×10.5億互聯(lián)網(wǎng)用戶×20次調(diào)用/天*365÷1460萬次調(diào)用/年=20億元企業(yè)側(cè)市場規(guī)模敏感性分析(單位：億元)每月訂閱價格(元/月)每人每天調(diào)用次數(shù) (次)0.955?潛在需求場景：司法鑒定與鑒別場景?潛在需求方：公檢法司?售價假設(shè)：42萬/套(對標(biāo)美亞柏科電子取證產(chǎn)品)?空間測算：42萬/套×(3500公安局+3588檢察院+3508法院)=44億元于官方未披露最新公檢法司數(shù)量情況，我們參考最高法司法案例研究院行估算表：監(jiān)管側(cè)市場規(guī)模敏感性分析(單位：億元)單套設(shè)備售價(萬元)透率20202530354042506014.8318.5422.2525.9629.6731.1537.0844.5016.9521.1925.4329.6733.9035.6042.3850.86438.1440.0547.6842.3844.5052.987946.6248.9558.275050.8653.4063.57說明：基本假設(shè)為每個機構(gòu)需要采購一臺設(shè)備，則在100%滲透率的情況下，每個監(jiān)均需采購一臺設(shè)備；若部分機構(gòu)未采購設(shè)備，則對應(yīng)滲透率低于100%；若部分機構(gòu)采購超過1臺設(shè)備，則對應(yīng)的滲透率超過100%Detector浙商證券研究所07美亞柏科美亞柏科是國內(nèi)領(lǐng)先的電子數(shù)據(jù)取證行業(yè)龍頭和公安大數(shù)據(jù)領(lǐng)先企業(yè)、網(wǎng)絡(luò)空間安全和社會治理領(lǐng)域國家隊，持續(xù)深耕“大數(shù)據(jù)智能化”與“網(wǎng)絡(luò)空間安全”兩個主要賽道；公司于2017年成立AI研發(fā)中心，深度開展人工智能技術(shù)研究，并于2019年針對深度合成技術(shù)成立專項研究團隊，現(xiàn)已具備自主研發(fā)深度偽造視頻圖像鑒定的核心引擎的能力；2023年3月20日，公司作為編寫單位，參與編制國內(nèi)首個生成式人工智能標(biāo)準(zhǔn)體系。公司自主研發(fā)的AI-3300“慧眼”視頻圖像鑒真工作站具備智能鑒定和專業(yè)鑒定兩種模式，涵蓋40余種視頻圖像真?zhèn)舞b定算法、近10種深偽鑒定算法，能夠全方位多視角地識別利用深度偽造手段進行的換臉、美顏、生成人臉、同圖或異圖復(fù)制篡改的影像，識別效果處于國際領(lǐng)先水平，能夠為公安、司法行業(yè)及相關(guān)領(lǐng)域提供一站式影像真?zhèn)螜z測鑒定解決方案。 主營業(yè)務(wù)研究所 究所方通AIGC方通AIGC案東方通作為國內(nèi)領(lǐng)先的大安全及行業(yè)信息化解決方案提供商，持續(xù)深耕網(wǎng)絡(luò)信息安全領(lǐng)域，其產(chǎn)品服務(wù)覆蓋至政務(wù)、金融、企事業(yè)單位等多個行業(yè)，面對新一輪的AIGC識別產(chǎn)品的市場競爭，公司在技術(shù)轉(zhuǎn)化落地方面具有深厚的實戰(zhàn)經(jīng)驗優(yōu)勢；公司于2023年3月正式立項課題《AIGC算法安全性檢測方法研究》，率先展開針對ChatGPT等AIGC算法的安全性評估測試方法和工具開發(fā)。公司現(xiàn)有“深度合成內(nèi)容監(jiān)測”產(chǎn)品，采用軟硬件協(xié)同的解決方案，具備對常見AIGC算法生成的圖片、音視頻內(nèi)容的檢測能力，支持深偽檢測、特定人物偽造檢測、偽造溯源等，并已通過部分客戶實現(xiàn)應(yīng)用；其中音頻類檢測準(zhǔn)確率可達特定人86%、非特定人76%；同時，公司將推出TongGPT多模態(tài)智能交互模型，預(yù)計年底前實現(xiàn)針對AI生成語音詐騙的自動化提醒功能。深度合成內(nèi)容監(jiān)測系統(tǒng)的產(chǎn)品優(yōu)勢瑞萊智慧(RealAI)作為人工智能基礎(chǔ)設(shè)施和解決方案提供商，于2018年依托清華大學(xué)人工智能研究院發(fā)起成立，致力于以第三代人工智能技術(shù)為高價值場景智能化升級提供一站式賦能方案；公司為政務(wù)、金融、能源、制造、互聯(lián)網(wǎng)等領(lǐng)域合作伙伴提供包括人臉識別系統(tǒng)安全、深度合成和偽造檢測等產(chǎn)品和解決方案，具備深厚的技術(shù)和實踐經(jīng)驗積累。公司推出的基于第三代人工智能技術(shù)(知識+數(shù)據(jù)驅(qū)動；安全、可靠、可信)的深度偽造檢測平臺DeepReal，通過辨識偽造內(nèi)容和真實內(nèi)容的表征差異性、挖掘不同生成途徑的深度偽造內(nèi)容一致性特征，能夠快速、精準(zhǔn)地對圖像、視頻、音頻內(nèi)容進行真?zhèn)舞b別，在第三屆中國人工智能大賽中斬獲深度偽造視頻檢測A級證書；同時，DeepReal在學(xué)術(shù)數(shù)據(jù)集與主流網(wǎng)絡(luò)數(shù)據(jù)集檢測準(zhǔn)確率達99%、在產(chǎn)業(yè)實踐檢測準(zhǔn)確率達業(yè)內(nèi)較高水平。第三屆中國人工智能大賽中斬獲的獎項RealAI能大賽官網(wǎng)、浙商證券研究所 DeepReal構(gòu)圖研究所業(yè)基礎(chǔ)大模型框架成智能檢測平臺業(yè)基礎(chǔ)大模型框架成智能檢測平臺中科睿鑒成立于2020年3月，核心團隊源于中科院計算技術(shù)研究所，致力于運用AI技術(shù)賦能數(shù)字內(nèi)容安全，深耕虛假信息識別、深度合成內(nèi)容檢測、深度偽造溯源等技術(shù)研發(fā)，在國家公共安全監(jiān)管、媒體內(nèi)容審核、金融風(fēng)控管理、保險理賠欺詐等關(guān)鍵業(yè)務(wù)場景中，率先實現(xiàn)偽造監(jiān)測、偽造溯源、AI攻防對抗三大基礎(chǔ)設(shè)施的全技術(shù)棧布局。公司積累了分行業(yè)、分場景的偽造檢測能力，擁有參數(shù)量達60億的行業(yè)基礎(chǔ)大模型體系化能力底座，能夠在此基礎(chǔ)上微調(diào)，針對新的偽造生成技術(shù)迅速分化出不同檢測模型；軟件方面，目前已有音視頻生成內(nèi)容檢測工具“睿安”、圖像生成內(nèi)容檢測工具“睿圖”、文本生成內(nèi)容檢測工具“睿鑒圖靈”，全方位覆蓋AIGC文本、圖像、音視頻的檢測能力；硬件方面，已有“睿安深偽檢測專用設(shè)備“，為國內(nèi)首款軟硬一體的深偽檢測專用設(shè)備，破解”敏感任務(wù)安全可控處理”和“現(xiàn)網(wǎng)流量大規(guī)模部署”兩大瓶頸，并實現(xiàn)全國產(chǎn)化硬件生態(tài)適配，支持主流國產(chǎn)芯片。檢測專用設(shè)備中科睿鑒已通過“睿鑒AI”小程序，整合新聞可信度分析、圖像偽造檢測、視頻偽造檢測、AI生成文本檢測等功能并面向公眾開放，每項功能可每日免費使用15次。AI面，經(jīng)隨機測試，“睿鑒AI”能夠準(zhǔn)確識別偽造圖像和視頻，同時分類標(biāo)注深度合成/PS篡改/AI生成的區(qū)域；而AI生成的文本經(jīng)測試有概率被識別為人工生成，文本識別準(zhǔn)確率仍存在進步空間。 AI面 鑒AI”偽造圖片和視頻檢測結(jié)果 睿鑒AI”AI文本檢測結(jié)果AI程序、浙商證券研究所Illuminarty是一個在線的AI生成內(nèi)容檢測網(wǎng)站，提供免費的在線AI檢測基礎(chǔ)服務(wù)，能夠檢測用戶上傳的圖片和文本是否由AI生成；同時提供“基礎(chǔ)”、“專業(yè)”、“企業(yè)”三種按月訂閱套餐，為有進階需求的個人和企業(yè)用戶提供更專業(yè)的AI內(nèi)容檢測服務(wù)；平臺于2022年10月活躍于互聯(lián)網(wǎng)，目前正在開發(fā)瀏覽器擴展程序以提供更便捷的AI內(nèi)容檢測服務(wù)。Illuminarty的圖片檢測采用計算機視覺算法，檢測上傳的圖片是否由AI生成以及其使用的AI模型，并給出圖片的AI生成概率；目前已具備檢測主流生成式AI模型的能力，但功能尚存限制：1.基礎(chǔ)設(shè)施受限，無法處理>3MB的圖片；2.樣本受限，檢測高分辨率圖片、特定藝術(shù)風(fēng)格圖片、攝影作品、動漫/游戲截圖時存在偏差；同時，新加入的檢測AI生成文本的功能，可通過NLP算法輸出上傳文本為AI生成的概率，并標(biāo)出最有可能為AI生成內(nèi)容的段落，但現(xiàn)階段的識別準(zhǔn)確率存在較大提升空間。AIVoiceDetector是一個在線的AI生成音頻檢測網(wǎng)站，支持上傳多種音視頻文件格式并檢測用戶上傳的音頻是否由AI生成，可應(yīng)用于法律訴訟、媒體報道、客服交互等場景的音頻真實性識別；其工作原理為通過處理和分析聲音信號以提取頻率、時域、能量等特征，使用機器學(xué)習(xí)算法進行分類和識別，輸出音頻為AI生成的可能性；平臺于2023年2月開始活躍于互聯(lián)網(wǎng)。據(jù)網(wǎng)站公開信息，AIVoiceDetector能夠準(zhǔn)確識別特定音頻樣本是否由AI