【浙江大學(xué)】2025科藝AI融合的新探索發(fā)展報(bào)告

《攆茶圖》局部｜

劉松年（南宋）|絹本設(shè)色

｜

44.2*61.9厘米

｜

臺北故宮博物院WhereArtmeetsAI科藝融合的前沿探索主講人：唐談?wù)憬髮W(xué)藝術(shù)與考古學(xué)院2025/4/21Partof

the“TeaGrind”｜

Liu

Songnian（SongDynasty）｜

Inkandcoloron

silk｜44.2*61.9

cm｜

Taipei

Palace

Museum中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江處理畫芯

揭命紙

托命紙

補(bǔ)洞

帖斷紋

全色接筆中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

古畫修復(fù)流程浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江接筆處理畫芯

揭命紙

托命紙

補(bǔ)洞

帖斷紋

全色中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

古畫修復(fù)流程浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江《江堤晚景大風(fēng)堂臨本》張大千（1946）《江亭晚景圖》董源（五代）中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

色彩復(fù)原效果浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江《菩薩焚香圖》復(fù)原臨摹文晢

繪《菩薩焚香圖》

原作現(xiàn)狀照片中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心《菩薩焚香圖》

早期黑白照片人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

色彩復(fù)原效果浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江收集畫作還原色彩推測配色中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

色彩復(fù)原流程原始圖像浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江修復(fù)圖像《洞庭東山圖》趙孟頫（元代）洞庭波兮山崨嶪,川可濟(jì)兮不可以涉。木蘭為舟兮桂為楫,渺余懷兮風(fēng)一葉。中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江

色彩推理圖搜圖考證色彩直方圖色彩空間洞庭波兮山崨嶪中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江

色彩推理…洞庭波兮山蜓橐，ThewavesrippleontheDongting

Lake,withmountainspoisedlike

dragonfliesrestingonthewater.川可濟(jì)兮不可以涉。Therivercanbecrossedbyboats,

butcannotbewadedthrough.木蘭為舟兮桂為楫A

boatmadeof

magnoliawood,with

paddlesmadeof

cassiawood.渺余懷兮風(fēng)一葉。AsIdriftalong,my

thoughts

are

as

fleetingasa

leaf

inthewind.意象意境,中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江

色彩推理《書鄢陵王主簿所畫折枝二首》蘇軾（北宋）賦詩必此詩，定非知詩人。詩畫本一律，天工與清新。中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

“詩畫一律

”浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江吳昌碩（近代）秋菊燦然白，入門無點(diǎn)塵。蒼黃能不染，骨相本來真。近海生明月，清談接晉人。漫持酤酒去，看到歲朝春?！肚锞諣N然圖》中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

“詩畫一律

”浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江0.422

0.515蒼黃能不染，骨相本來真。蒼紅能不染，骨相本來真。0.577

0.4840.0002

0.0003中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)“詩畫一律

”：

跨模態(tài)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江CLIP

Sim既有隱逸名，何須寄籬下？

慣受風(fēng)雨欺，秋來摘盈把。0.422

0.3620.0002

0.125中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心0.5770.511人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)“詩畫一律

”：

跨模態(tài)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江CLIP

Sim秋菊燦然白入門無點(diǎn)塵。蒼黃能不染骨相本來真。《秋菊燦然圖》,既有隱逸名，

何須寄籬下？

慣受風(fēng)雨欺，

秋來摘盈把。,中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)“詩畫一律

”：

跨模態(tài)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江詩畫融合

大模型山勢舒坦靜若盼，礬頭云卷煙霞間。樹木蔥蘢爭蔭濃，江畔風(fēng)吹枝葉飄。燈籠樹梢點(diǎn)綴處，彩旗飄揚(yáng)兩舟前。春雨沐草滋人生，祥龍喜兆降瑞年。中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

詩畫融合大模型浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江模型規(guī)模參數(shù)量視覺側(cè)骨架視覺側(cè)參數(shù)量文本側(cè)骨架文本側(cè)參數(shù)量Top1召回Top5召回Top10召回CN-CLIP

RN5077MResNet5038MRBT339M3.65.817.3CN-CLIPViT-

B/16188MViT-B/1686MRoBERTa-wwm-Base102M6.512.218.7CN-CLIPViT-

L/14406MViT-L/14304MRoBERTa-wwm-Base102M2.214.423.0CN-CLIPViT-

L/14@336px407MViT-L/14304MRoBERTa-wwm-Base102M4.315.125.9CN-CLIPViT-

H/14958MViT-H/14632MRoBERTa-wwm-

Large326M5.015.120.1詩畫融合

大模型958MViT-H/14632MRoBERTa-wwm-

Large326M65.584.288.5中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

ChineseCliphttps://g/OFA-Sys/Chinese-CLIP浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)0.10.090.080.070.06

0.050.040.030.020.010

色彩一致

意境一致

圖像召回試驗(yàn)相似度分?jǐn)?shù)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江綜合排序（Top

10）洞庭東山圖色彩一致

意境一致中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

圖像召回試驗(yàn)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江

圖像召回試驗(yàn)《千里江山圖》王希孟（北宋）《洞庭漁隱圖》吳鎮(zhèn)（元）中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江木蘭為舟兮桂為楫,渺余懷兮風(fēng)一葉?！断婢愤x自《九歌》美要眇兮宜修，沛吾乘兮桂舟?！断娣蛉恕穻枊栙馇镲L(fēng)，洞庭波兮木葉下。中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心圖像召回試驗(yàn)《洞庭東山圖》

趙孟頫（元）人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江《山居圖》錢選（元）中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)

圖像召回試驗(yàn)浙江大學(xué)人工智能教育教學(xué)研究中心浙江大學(xué)人工智能教育教學(xué)研究中心浙江中心