基于AI 技術(shù)的電影修復(fù)探索與研究

基于AI技術(shù)的電影修復(fù)探索與研究孫天宇，胡偉屹

（1.洛陽(yáng)師范學(xué)院文學(xué)院，河南洛陽(yáng)471934；2.學(xué)習(xí)強(qiáng)國(guó)學(xué)習(xí)平臺(tái)有限責(zé)任公司，北京100000）

0引言

早期電影大多以膠片作為載體。隨著時(shí)間的推移，膠片難免會(huì)出現(xiàn)劃痕、褪色、收縮、拼接不良或被霉菌弄臟等問題。數(shù)碼時(shí)代的影片修復(fù)技術(shù)利用人工智能（ArtificialIntelligence，AI）深度學(xué)習(xí)等技術(shù)將原本存放于膠片中的信息重新傳遞到數(shù)字媒體上，利用降噪、著色、插幀等技術(shù)手段，能夠最大程度地對(duì)原有電影的畫質(zhì)和音質(zhì)進(jìn)行優(yōu)化和改善。

1AI修復(fù)技術(shù)對(duì)于經(jīng)典電影的影響

AI人工智能已經(jīng)在出行、安防、文物修復(fù)等現(xiàn)實(shí)場(chǎng)景中實(shí)現(xiàn)落地。在電影修復(fù)領(lǐng)域，AI人工智能已經(jīng)嶄露頭角。AI修復(fù)技術(shù)大幅提升電影幀數(shù)的同時(shí)，也提高了電影的清晰度和著色效果。

百年來留存下來的膠片電影記錄著歷史和時(shí)代的變遷，承載著民族的歷史記憶[1]。國(guó)產(chǎn)經(jīng)典影片《八千里路云和月》《十字街頭》等既承載著我國(guó)一代乃至幾代人的集體記憶，也寄托了人類理想和情感。這些優(yōu)秀國(guó)產(chǎn)電影的重映，可以激發(fā)觀眾欣賞懷舊影片的浪潮。國(guó)內(nèi)外電影節(jié)也相繼推出電影修復(fù)單元，凸顯出老舊影片修復(fù)版獨(dú)特的市場(chǎng)價(jià)值。經(jīng)典影片的修復(fù)版不是完全照搬，只單純對(duì)分辨率和畫質(zhì)進(jìn)行修復(fù)提升，更是對(duì)經(jīng)典電影的再創(chuàng)作并對(duì)蘊(yùn)含導(dǎo)演思想的新思考。

2AI重構(gòu)低分辨率電影

分辨率是圖像的精密程度，是指圖像所能顯示的像素的多少，像素越多，畫面就越精細(xì)。超分辨率是指經(jīng)過銳化和縮放來改善電影細(xì)節(jié)，利用AI來分析低分辨率圖形和高分辨率圖像之間的關(guān)聯(lián)，并對(duì)低分辨率圖形進(jìn)行重構(gòu)的過程。早期攝影機(jī)錄制視頻格式只能達(dá)到標(biāo)清，無法達(dá)到更高畫質(zhì)。如今AI處理軟件實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)判讀影片中的內(nèi)容，然后對(duì)這些內(nèi)容進(jìn)行重新繪制。

2.1AI連續(xù)性著色

AI電影處理軟件對(duì)影片鏡頭像素進(jìn)行分析，以AI+大數(shù)據(jù)的算法進(jìn)行研判，從而實(shí)現(xiàn)對(duì)像素的修復(fù)。這并非簡(jiǎn)單地對(duì)像素進(jìn)行銳化，而是先分析像素再進(jìn)行系統(tǒng)的、連貫性且前后幀連續(xù)性的著色。早期電影除了畫質(zhì)不好問題外，有的鏡頭甚至因?yàn)槭Ы苟a(chǎn)生畫面模糊，或是由于快門速度過慢導(dǎo)致人物或者物體運(yùn)動(dòng)產(chǎn)生動(dòng)態(tài)模糊，現(xiàn)在可以通過AI深度學(xué)習(xí)技術(shù)讓老舊電影獲得一定程度上的改善。

2.2AI交錯(cuò)式掃瞄條紋修復(fù)

AI可以通過去條紋功能進(jìn)一步提升畫質(zhì)。軟件采用交錯(cuò)式掃描來去除條紋所導(dǎo)致的畫面割裂，這個(gè)功能在早期低分辨率電影上有良好效果。影片渲染并輸出后會(huì)產(chǎn)生輕微的色彩偏移，因此需要與剪輯、特效、調(diào)色等軟件結(jié)合使用來調(diào)整修復(fù)后的影片色彩，當(dāng)然工作量也會(huì)大幅提升，但相比人工每一幀、每一幅畫面都需要修補(bǔ)而言，AI算法的運(yùn)用則顯得更加便利。雖然電影可以通過AI算法獲得畫質(zhì)提升，但AI運(yùn)算要耗費(fèi)更多的效能，會(huì)對(duì)設(shè)備的處理器和顯卡造成較大壓力。

3AI插幀讓老電影更加流暢

電影是由一張張連貫的圖片構(gòu)成，24幀（每秒）是人眼所感到畫面流暢的下限。60幀、120幀的高幀率電影，其視覺效果相比大部分24幀電影提升非常明顯[3]。AI技術(shù)采用分析前后幀畫面來計(jì)算出中間幀的方法來進(jìn)行插幀，將30幀插幀到60幀甚至120幀，從而獲得更流暢的體驗(yàn)。

視頻插幀是基于深度學(xué)習(xí)算法的技術(shù)生成的，比如目前有對(duì)播放視頻進(jìn)行實(shí)時(shí)補(bǔ)幀的插件。軟件在原始視頻中前后不同的兩個(gè)幀之間插入一個(gè)由算法模擬兩個(gè)幀之間畫面內(nèi)容的運(yùn)動(dòng)過程生成的中間幀，并對(duì)每一個(gè)像素進(jìn)行計(jì)算，同時(shí)判斷場(chǎng)景中目標(biāo)有無運(yùn)動(dòng)，如果有運(yùn)動(dòng)則需要按其運(yùn)動(dòng)向量做插補(bǔ)，如果沒有運(yùn)動(dòng)卻進(jìn)行插補(bǔ)，反而會(huì)增加整體的模糊程度[2]。

插幀多采用幀采樣、幀混合、光流三種插幀方式。假如電影中出現(xiàn)幀缺失或者速度變化效果不明顯，可以選擇幀采樣的視頻處理方式，這樣對(duì)電影整體的影響不明顯。對(duì)修復(fù)效果要求高、時(shí)間短、特效多的電影進(jìn)行處理時(shí)可以選擇光流法來獲得最大限度的效果提升。如果要處理較長(zhǎng)、鏡頭切換頻繁、視覺元素復(fù)雜的電影，可以選擇幀混合方式來產(chǎn)出視頻，這樣得到的畫面不僅流暢，而且對(duì)電腦渲染速度更加友好。此外，有些手機(jī)、電視為了獲得更好的觀感，會(huì)主動(dòng)對(duì)幀率不足的電影通過運(yùn)動(dòng)補(bǔ)償?shù)人惴▉聿鍘?，讓原本不夠流暢的電影變得更加順滑，部分?jì)算機(jī)上的播放器軟件也能夠通過SVP等視頻插件實(shí)現(xiàn)類似的效果。

4AI著色讓老電影更逼真

隨著現(xiàn)代AI圖像處理技術(shù)的高速發(fā)展，人們不僅可以為圖像著色，還可以為黑白老電影進(jìn)行著色。同時(shí)，AI深度學(xué)習(xí)技術(shù)為老舊電影的音頻修復(fù)技術(shù)發(fā)展提供了契機(jī)。AI技術(shù)可以消除幾乎任何類型的背景噪聲，如犬吠聲、廚房噪音、音樂、嬰兒啼哭聲、交通以及戶外聲音等。

4.1AI基于深度學(xué)習(xí)技術(shù)的視頻著色技術(shù)

電影彩色化的第一步是先將圖像中的各種內(nèi)含物加以區(qū)分，這樣在對(duì)電影進(jìn)行彩色化時(shí)才不至于發(fā)生錯(cuò)誤，再找出黑白圖像與顏色之間的相對(duì)關(guān)系就可以著色了。老照片彩色化最經(jīng)典的模型是視頻圖像處理工具運(yùn)用大量基于AI深度學(xué)習(xí)的技術(shù)來為圖像和視頻著色。它借助新型的、高效的圖像到圖像的網(wǎng)絡(luò)對(duì)抗訓(xùn)練方式復(fù)原影片色彩，同時(shí)不會(huì)出現(xiàn)電影閃爍等問題。

圖像修復(fù)迭代技術(shù)則主要通過使用期望最大化算法來使修復(fù)圖象的似然性最優(yōu)化。這種AI算法，必須對(duì)電影資料退化的過程做出客觀評(píng)價(jià)，才能進(jìn)行精確修正。人工智能除了能夠提高修復(fù)后電影的穩(wěn)定性，還能夠?qū)θ藗兛芍筒豢芍氖挛镞M(jìn)行著色，如衣服的顏色和汽車的顏色，甚至是擁有特殊效果的色彩。

4.2AI建構(gòu)聲音數(shù)據(jù)增強(qiáng)音頻質(zhì)量

電影是一種視聽藝術(shù)，因此聲音修復(fù)也十分重要。由于早期電影大多是單聲道音響，原膠片保留的單聲道聲音與4K超高清畫質(zhì)顯得格格不入。

電影修復(fù)者根據(jù)電影專門制作5.1聲道甚至7.1聲道的環(huán)繞立體聲，為每一個(gè)影片增加一系列的效果聲，比如風(fēng)聲、汽笛聲、腳步聲等，盡可能還原鏡頭內(nèi)容所展示的生活狀態(tài)。通過建構(gòu)足夠強(qiáng)大的數(shù)據(jù)庫(kù)來處理聲音的失真和退化。雖然AI語(yǔ)音增強(qiáng)擁有較強(qiáng)的降噪能力，但處理后的語(yǔ)音往往會(huì)有音質(zhì)下降的問題。更多的研究集中在如何通過改進(jìn)數(shù)據(jù)生成和增強(qiáng)、探索優(yōu)化目標(biāo)和改進(jìn)網(wǎng)絡(luò)模型來提高語(yǔ)音質(zhì)量。

5AI修復(fù)電影的局限性

對(duì)于黑白電影，若想看清它所記錄的原有社會(huì)風(fēng)貌，通常需要用畫筆和顏料為黑白片進(jìn)行上色。而現(xiàn)在，AI算法能夠讓每個(gè)人都可以快速對(duì)電影著色。但是AI對(duì)老舊電影的著色也存在一定的局限性。

AI算法著色之所以會(huì)出現(xiàn)偏差，是因?yàn)楝F(xiàn)有的彩色圖像需要轉(zhuǎn)換為具有一定灰度的圖像并采用算法對(duì)其進(jìn)行重新繪制，而重新著色的圖像與原圖相比會(huì)顯得十分暗淡。著色對(duì)AI而言更難，這意味著在給定灰度等級(jí)的情況下，AI很難分辨應(yīng)該為景物添加何種顏色。比如說女人的衣服可能是藍(lán)色的，但也可能是紅色或者其他顏色，灰度像素中沒有信息表明缺少何種顏色。但現(xiàn)有軟件沒有龐大的選色邏輯系統(tǒng)，而是在AI深度學(xué)習(xí)中從最有可能出現(xiàn)的顏色數(shù)據(jù)庫(kù)中去挑選AI認(rèn)為正確的色彩。此外，影片修復(fù)還需考慮電影發(fā)生的地點(diǎn)和時(shí)間，人工調(diào)色能夠知道哪種配色方案對(duì)照片和視頻更有意義。

國(guó)內(nèi)也有針對(duì)老舊電影修復(fù)和處理的程序，愛奇藝方面也把AI技術(shù)大規(guī)模、多方面地應(yīng)用在視頻畫質(zhì)的修復(fù)和增強(qiáng)上[4]。愛奇藝視頻增強(qiáng)技術(shù)ZoomAI提供了一個(gè)相對(duì)完善的老影片增強(qiáng)解決方案，將AI深度學(xué)習(xí)技術(shù)用于圖片和視頻修復(fù)，從而達(dá)到提升和改善畫質(zhì)的效果。人工修復(fù)電影會(huì)耗時(shí)一周甚至幾個(gè)月的時(shí)間，而利用算法來進(jìn)行自動(dòng)修復(fù)，可以大幅縮減人力成本并節(jié)省時(shí)間。該技術(shù)可以通過銳化處理來突出電影中人物或者物體的紋理和細(xì)節(jié)，此外，還可以通過色彩增強(qiáng)的手段讓鏡頭中的視覺元素色彩對(duì)比更加強(qiáng)烈，讓整體的畫面變得十分干凈整潔；借助超分辨率，則可以把老舊視頻的畫質(zhì)從標(biāo)清提升到高清甚至超清，讓影片的觀感得到整體上的飛躍[5]。

6結(jié)語(yǔ)

電影修復(fù)需要技術(shù)和藝術(shù)相融合。在對(duì)老舊電影的修復(fù)時(shí)，工作人員要充分考慮到影片歷史的藝術(shù)性。電影降噪時(shí)要把握降噪的度，保留影片畫面原有的顆粒質(zhì)感的同時(shí)也要突出影片的藝術(shù)性。影片調(diào)色過程中也應(yīng)尊重老舊影片本身的色彩特點(diǎn)。改善圖像的色彩、層次感和褪色等問題時(shí)，需要