計(jì)算機(jī)圖形學(xué)發(fā)展報(bào)告

1、計(jì)算機(jī)圖形學(xué)發(fā)展報(bào)告計(jì)算機(jī)圖形學(xué)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc26823155 1.計(jì)算機(jī)圖形學(xué) PAGEREF _Toc26823155 h 3 HYPERLINK l _Toc26823156 1.1.計(jì)算機(jī)圖形學(xué)概念 PAGEREF _Toc26823156 h 3 HYPERLINK l _Toc26823157 1.2.計(jì)算機(jī)圖形學(xué)發(fā)展歷史 PAGEREF _Toc26823157 h 3 HYPERLINK l _Toc26823158 1.3.人才概況 PAGEREF _Toc26823158 h 7 HYPERLINK l _Toc26

2、823159 1.4.論文解讀 PAGEREF _Toc26823159 h 10 HYPERLINK l _Toc26823160 1.5.計(jì)算機(jī)圖形學(xué)進(jìn)展 PAGEREF _Toc26823160 h 194計(jì)算機(jī)圖形學(xué)計(jì)算機(jī)圖形學(xué)概念國際標(biāo)準(zhǔn)化組織 ISO 將計(jì)算機(jī)圖形學(xué)定義為：計(jì)算機(jī)圖形學(xué)是一門研究通過計(jì)算機(jī)將數(shù)據(jù)轉(zhuǎn)換成圖形，并在專門顯示設(shè)備上顯示的原理方法和技術(shù)的學(xué)科。它是建立在傳統(tǒng)的圖形學(xué)理論、應(yīng)用數(shù)學(xué)及計(jì)算機(jī)科學(xué)基礎(chǔ)上的一門邊緣學(xué)科。這里的圖形是指三維圖形的處理。簡單來講，它的主要研究內(nèi)容是研究如何在計(jì) 算機(jī)中表示圖形，以及利用計(jì)算機(jī)進(jìn)行圖形的計(jì)算處理和顯示的相關(guān)原理和算法。在計(jì)

3、算機(jī)圖形學(xué)的開創(chuàng)之初，他主要解決的問題是在計(jì)算機(jī)中表示三維結(jié)合圖形以及如何利用計(jì)算機(jī)進(jìn)行圖形的生成處理和顯示的相關(guān)原理和算法，目的是產(chǎn)生令人賞心悅目的真實(shí)感圖像，這僅僅是狹義的計(jì)算機(jī)圖形學(xué)。隨著近些年的發(fā)展，計(jì)算機(jī)圖形學(xué)的內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不止這些，廣義的計(jì)算機(jī)圖形學(xué)研究內(nèi)容非常廣泛，包括圖形硬件、圖形標(biāo)準(zhǔn)、圖形交互技術(shù)、柵格圖形生成算法、曲線曲面造型、實(shí)體造型、真實(shí)版圖形的計(jì)算、顯示算法、科學(xué)計(jì)算可視化、計(jì)算機(jī)動畫、虛擬現(xiàn)實(shí)、自然景物仿真等等。計(jì)算機(jī)圖形學(xué)的總體框架可以包括以下幾個(gè)部分：數(shù)學(xué)和算法基礎(chǔ)、建模、渲染以及人機(jī)交互技術(shù)。計(jì)算機(jī)圖形學(xué)需要一些基本的數(shù)學(xué)算法，例如向量和幾何的變化、幾何建模式

4、的三維空間變化、三維到二維的圖形變換等等。建模是進(jìn)行圖形描述和計(jì)算，由于在多維空間中有各種組合模型，有一些是解析式表達(dá)的簡單形體，也有一些隱函數(shù)表達(dá)的復(fù)雜曲線，因此需要進(jìn)行復(fù)雜的建模工作。渲染也叫繪制，指的是模型的視覺實(shí)現(xiàn)過程，例如對光照紋理等理論和算法進(jìn)行處理，其中也需要大量的計(jì)算。交互技術(shù)可以說是圖形學(xué)交互的重要工具，是計(jì)算機(jī)圖形學(xué)的重要應(yīng)用。計(jì)算機(jī)圖形學(xué)發(fā)展歷史20 世紀(jì) 50 年代：1950 年，美國 MIT 的旋風(fēng)一號（whirlwind I）計(jì)算機(jī)配備了世界上第一臺顯示器陰極射線管（CRT）來顯示一些簡單的圖形，使得計(jì)算機(jī)擺脫了純數(shù)值計(jì)算的單一用途，能夠進(jìn)行簡單的圖形顯示，從此計(jì)算

5、機(jī)具有了圖像顯示功能，但是還不能對圖形進(jìn)行交互操作，這時(shí)的計(jì)算機(jī)圖形學(xué)處于準(zhǔn)備和醞釀時(shí)期，并稱之為“被動式”圖形學(xué)。圖 7-1 計(jì)算機(jī)圖形學(xué)發(fā)展歷史50 年代末期，MIT 的林肯實(shí)驗(yàn)室在“旋風(fēng)”計(jì)算機(jī)上開發(fā) SAGE（Semi- Automatic Ground Environment System）空中防御體系。SAGE 于 1957 年投入試運(yùn)行，已經(jīng)能夠?qū)⒗走_(dá)信號轉(zhuǎn)換為顯示器上的圖形并具有簡單的人機(jī)交互功能， 操作者使用光筆點(diǎn)擊屏幕上的目標(biāo)即可獲得敵機(jī)的飛行信息，這是人類第一次使用光筆在屏幕上選取圖形。1959 年，麻省理工學(xué)院林肯實(shí)驗(yàn)室第一次使用了具有指揮和控制功能的 CRT，“被動式

6、”圖形學(xué)開始邁向交互式計(jì)算機(jī)圖形學(xué)。20 世紀(jì) 60 年代：1962 年美國 MIT 林肯實(shí)驗(yàn)室的 IvanE.Sutherland 發(fā)表了一篇題為“sketchpad：一個(gè)人機(jī)交互通信的圖形系統(tǒng)”的博士論文，首次使用了“Computer Graphics”這一概念，證明了交互式計(jì)算機(jī)圖形學(xué)是一個(gè)可行的、有應(yīng)用價(jià)值的研究領(lǐng)域，從而確立了計(jì)算機(jī)圖形學(xué)正式成為一個(gè)獨(dú)立學(xué)科的分支。1968 年 IvanE.Sutherland 又發(fā)表了頭戴式三維顯示器的論文，在頭盔的封閉環(huán)境下，利用計(jì)算機(jī)成像的左右視圖匹配，生成立體場景，使人置身于虛擬現(xiàn)實(shí)中。IvanE.Sutherland 為計(jì)算機(jī)圖形學(xué)技術(shù)做出

7、了巨大的貢獻(xiàn)，被稱作計(jì)算機(jī)圖形學(xué)的開山鼻祖，1988 年 IvanE.Sutherland 被授予 A.M 圖靈獎。并且這一時(shí)期，光柵圖形學(xué)算法開始萌芽。20 世紀(jì) 70 年代：圖形學(xué)在這一時(shí)期進(jìn)入了興盛期，光柵圖形學(xué)算法迅速發(fā)展，區(qū)域填充、裁剪、消隱等概念及其相應(yīng)算法紛紛被提出，實(shí)用的 CAD 圖形系統(tǒng)也開始出現(xiàn)。除此之外，真實(shí)感圖形學(xué)和實(shí)體造型技術(shù)的產(chǎn)生也是 70 年代計(jì)算機(jī)圖形學(xué)的兩個(gè)重要進(jìn)展。1970 年 J.Bouknight 在 ACM 上發(fā)表論文，提出 了第一個(gè)光反射模型，指出物體表面朝向是確定物體表面上一點(diǎn)光強(qiáng)的主要因素， 并用 Lambert 漫反射定律計(jì)算物體表面上各多邊形

8、的光強(qiáng)，對光照射不到的地方用環(huán)境光代替。1971 年 Henri Gouraud 在 IEEE Trans.Computer 上提出被稱為Gouraud 明暗處理的“漫反射模型插值”思想，對多面體模型，用漫反射模型計(jì)算多邊形頂點(diǎn)的光亮度，再用增量法插值計(jì)算多邊形的其他內(nèi)部點(diǎn)。1975 年P(guān)hong 在 ACM 上發(fā)表論文提出了著名的簡單光照模型“Phong 模型”，Phone 模型雖然只是一個(gè)經(jīng)驗(yàn)?zāi)Ｐ?，但其真?shí)度已經(jīng)達(dá)到了較好的顯示效果。這些都是真實(shí)感圖形學(xué)最早的開創(chuàng)性工作。從 1973 年開始，相繼出現(xiàn)了英國劍橋大學(xué) CAD 小組的 Build 系統(tǒng)、美國羅徹斯特大學(xué)的 PADL-1 系統(tǒng)等

9、實(shí)體造型系統(tǒng)，這些都為 CAD 領(lǐng)域的發(fā)展做出了重要貢獻(xiàn)。70 年代圖形軟件標(biāo)準(zhǔn)化程度提高，1974 年，ACMSIGGRAPH“與機(jī)器無關(guān)的圖形技術(shù)”的工作會議的召開，提出了圖形軟件標(biāo)準(zhǔn)化問題，ACM 成立圖形標(biāo)準(zhǔn)化委員會，制定“核心圖形系統(tǒng)”（core graphics system），ISO 發(fā)布 CGI、CGM、GKS、PHIGS 一系列的圖形標(biāo)準(zhǔn)，其中 19777 年的 CKS 是 ISO 批準(zhǔn)的第一個(gè)圖形軟件標(biāo)準(zhǔn)軟件，是一個(gè)二維圖形軟件標(biāo)準(zhǔn)，1986 年，ISO 公布了程序員級的分層結(jié)構(gòu)交互圖形系統(tǒng) PHIGS，這是一些非官方的圖形軟件，廣泛應(yīng)用于工業(yè)界并成為事實(shí)上的標(biāo)準(zhǔn)，PHIG

10、S 是對 CKS 的擴(kuò)充，增加的功能有對象建模、彩色設(shè)定、表面繪制和圖形管理等。伺候 PHIGS 的擴(kuò)充成為 PHIGS+；1988 年的 CKS3D，是 ISO 批準(zhǔn)的第二個(gè)圖形軟件標(biāo)準(zhǔn)軟件，是一個(gè)三維圖形軟件標(biāo)準(zhǔn)。20 世紀(jì) 80 年代以后：出現(xiàn)了帶有光柵掃描顯示器的微型計(jì)算機(jī)和圖形工作站，極大的推動了計(jì)算機(jī)圖形學(xué)的發(fā)展，如 Machintosh、IBM 公司的 PC 及其兼容機(jī)，Apollp、Sun 工作站等。隨著奔騰 III 和奔騰 IV 系列 CPU 的出現(xiàn)，計(jì)算機(jī)圖形軟件功能開始部分地由硬件實(shí)現(xiàn)。高性能顯卡和液晶顯示屏的使用，高傳輸率大容量硬盤的出現(xiàn)，特別是 Internet 的普

11、及使得微型計(jì)算機(jī)和圖形工作站在運(yùn)算速度、圖形顯示細(xì)節(jié)上的差距越來越小，這些都為圖形學(xué)的飛速發(fā)展奠定了物質(zhì)基礎(chǔ)。1980 年 Turner Whitted 提出了光透視模型，并第一次給出光線跟蹤算法的范例，實(shí)現(xiàn)了 Whitted 模型；1984 年美國 Cornell 大學(xué)和日本廣島大學(xué)的學(xué)者分別將熱輻射工程中的輻射度算法引入到計(jì)算機(jī)圖形學(xué)中，用輻射度的方法成功地模擬了理想漫反射表面間的多重漫反射效果。以上二者的提出，標(biāo)志著真實(shí)感圖形的顯示算法已逐漸成熟。80 年代中期以后，超大規(guī)模集成電路的發(fā)展，計(jì)算機(jī)運(yùn)算能力的提高，圖形處理速度的加快，促使了圖形學(xué)各個(gè)研究方向都得到了充分發(fā)展和廣泛的應(yīng)用。2

12、0 世紀(jì) 90 年代以后：微機(jī)和軟件系統(tǒng)的普及使得圖形學(xué)的應(yīng)用領(lǐng)域日益廣泛，計(jì)算機(jī)圖形學(xué)朝著標(biāo)準(zhǔn)化、集成化和智能化的方向發(fā)展，多媒體、人工智能、計(jì)算機(jī)可視化、虛擬現(xiàn)實(shí)等分支蓬勃發(fā)展，三維造型也獲得了長足發(fā)展。ISO 公布的圖形標(biāo)準(zhǔn)越來越精細(xì)，更加成熟。這時(shí)存在著一些事實(shí)上的標(biāo)準(zhǔn)，如 SGI 公司開發(fā)的 OpenGL 開放式三維圖形標(biāo)準(zhǔn)，微軟公司為 PC 游戲開發(fā)的應(yīng)用程序接口標(biāo)準(zhǔn) DirectX 等，Adobe 公司 Postscript 等，均朝著開放、高效的方向發(fā)展 HYPERLINK l _bookmark114 11。人才概況全球人才分布學(xué)者地圖用于描述特定領(lǐng)域?qū)W者的分布情況，對于進(jìn)行

13、學(xué)者調(diào)查、分析各地區(qū)競爭力現(xiàn)況尤為重要，下圖為計(jì)算機(jī)圖形學(xué)全球?qū)W者分布情況：圖 7-2 計(jì)算機(jī)圖形學(xué)領(lǐng)域全球?qū)W者分布地圖根據(jù)學(xué)者當(dāng)前就職機(jī)構(gòu)地理位置進(jìn)行繪制，其中顏色越深表示學(xué)者越集中。從該地圖可以看出，美國的人才數(shù)量優(yōu)勢明顯；歐洲也有較多的人才分布， 主要在歐洲中西部；亞洲的人才主要集中在我國東部及日韓地區(qū)；其他諸如非洲、南美洲等地區(qū)的學(xué)者非常稀少；計(jì)算機(jī)圖形學(xué)的人才分布與各地區(qū)的科技、經(jīng)濟(jì)實(shí)力情況大體一致。此外，在性別比例方面，計(jì)算機(jī)圖形學(xué)領(lǐng)域中男性學(xué)者占比 93.7%，女性學(xué)者占比 6.3%，男性學(xué)者占比遠(yuǎn)高于女性學(xué)者。計(jì)算機(jī)圖形學(xué)領(lǐng)域?qū)W者的 h-index 分布如下圖所示，分布情況大體

14、呈階梯狀， 大部分學(xué)者的h-index 分布在中低區(qū)域，其中h-index 在小于20 區(qū)間的人數(shù)最多， 有 1240 人，占比 60.1%，50-60 區(qū)間的人數(shù)最少，有 50 人。140012001000人數(shù)80060040020006050-6040-5030-4020-3020h-index圖 7-3 計(jì)算機(jī)圖形學(xué)領(lǐng)域?qū)W者 h-index 分布中國人才分布我國專家學(xué)者在計(jì)算機(jī)圖形領(lǐng)域的分布如上圖所示。通過下圖我們可以發(fā)現(xiàn)， 京津地區(qū)在本領(lǐng)域的人才數(shù)量最多，其次是長三角和珠三角地區(qū)，相比之下，內(nèi) 陸地區(qū)的人才較為匱乏，這種分布與區(qū)位因素和經(jīng)濟(jì)水平情況不無關(guān)系。同時(shí)， 通過觀察中國周邊國家

15、的學(xué)者數(shù)量情況，特別是與日韓等地相比，中國在計(jì)算機(jī) 圖形領(lǐng)域?qū)W者數(shù)量略多但差距較小。180181圖 7-4 計(jì)算機(jī)圖形學(xué)領(lǐng)域中國學(xué)者分布中國與其他國家在計(jì)算機(jī)圖形學(xué)領(lǐng)域的合作情況可以根據(jù) AMiner 數(shù)據(jù)平臺分析得到，通過統(tǒng)計(jì)論文中作者的單位信息，將作者映射到各個(gè)國家中，進(jìn)而統(tǒng)計(jì)中國與各國之間合作論文的數(shù)量，并按照合作論文發(fā)表數(shù)量從高到低進(jìn)行了排序，如下表所示。表 7-1 計(jì)算機(jī)圖形學(xué)領(lǐng)域中國與各國合作論文情況合作國家 論文數(shù) 引用數(shù) 平均引用數(shù) 學(xué)者數(shù) 中國-美國 237872937407中國-加拿大 6935505185中國-以色列 5932035458中國-英國 3422996872中

16、國-新加坡 2810803937中國-德國 246252642中國-瑞士 217793737中國-印度 167844928中國-沙特阿拉伯 164682922中國-法國 154853236從上表數(shù)據(jù)可以看出，中美合作的論文數(shù)、引用數(shù)、學(xué)者數(shù)遙遙領(lǐng)先，表明中美間在計(jì)算機(jī)圖形領(lǐng)域合作之密切；此外，中國與歐洲的合作非常廣泛，前 10名合作關(guān)系里中歐合作共占 4 席；中國與英國合作的論文數(shù)雖然不是最多，但是擁有最高的平均引用數(shù)說明在合作質(zhì)量上中英合作達(dá)到了較高的水平。論文解讀本節(jié)對本領(lǐng)域的高水平學(xué)術(shù)會議及期刊論文進(jìn)行挖掘，解讀這些會議和期刊在 2018-2019 年的部分代表性工作。這些會議和期刊包括

17、：ACM SIGGRAPH Conference ACM Transactions on Graphics我們對本領(lǐng)域論文的關(guān)鍵詞進(jìn)行分析，統(tǒng)計(jì)出詞頻 Top20 的關(guān)鍵詞，生成本領(lǐng)域研究熱點(diǎn)的詞云圖，如下圖所示。其中，形狀集合（shape collection）、交互設(shè)計(jì)（interactive design）、計(jì)算設(shè)計(jì)（computational design）是本領(lǐng)域中最熱的關(guān)鍵詞。論文 題 目 ： A Style-based Generator Architecture for Generative Adversarial Networks中文題目：基于樣式的生成式對抗網(wǎng)絡(luò)生成器架構(gòu)論

18、文作者：Tero Karras, Samuli Laine, Timo Aila.論文出處：The IEEE Conference on Computer Vision and Pattern Recognition- CVPR 2019論文地址： PAGE 188 PAGE 189 HYPERLINK /content_CVPR_2019/papers/Karras_A_Style- /content_CVPR_2019/papers/Karras_A_Style- Based_Generator_Architecture_for_Generative_Adversarial_Network

19、s_CVPR_2019_paper.pdf研究問題：本文針對自動的無監(jiān)督的習(xí)得圖像的高層屬性（譬如人臉對應(yīng)的身份信息以及拍攝姿態(tài)）以及對于生成的每幅圖像產(chǎn)生一些特定的隨機(jī)化的變換（譬如臉部瑕疵以及頭發(fā)的細(xì)節(jié)），生成較為直觀且可控的合成結(jié)果進(jìn)行了研究。通過借鑒風(fēng)格遷移的思想，提出了一種新的對抗網(wǎng)絡(luò)中的生成器架構(gòu)。該架構(gòu)不僅在傳統(tǒng)的分布距離的度量上優(yōu)勢明顯，并且較好地將控制圖像變化的隱變量分離出來進(jìn)行獨(dú)立建模。研究方法：下圖為提出的方案與傳統(tǒng)的生成器的對比：傳統(tǒng)的潛在編碼表示由前向神經(jīng)網(wǎng)絡(luò)的第一層生成，而作者提出不再使用網(wǎng)絡(luò)編碼，而是如圖(b)的右側(cè)子圖所示，由一個(gè)可通過反向傳播學(xué)習(xí)的常數(shù)作為網(wǎng)絡(luò)

20、輸入。在這一新的架構(gòu)中，由映射網(wǎng)絡(luò) f 將采樣自隱空間 Z 的隱變量 z，經(jīng)由非線性映射網(wǎng)絡(luò) f，投射到潛在的中間表達(dá)空間 W 中，該空間控制著不同的視覺特征的表達(dá)。通過可學(xué)習(xí)的仿射變換，又將潛在空間中的編碼 w 解碼為樣式信息 y。 而 y 通過對自適應(yīng)樣本歸一化（adaptive instance normalization, AdaIN）后的特征分布進(jìn)行放縮和偏置操作：影響生成網(wǎng)絡(luò) g 的不同分辨率的卷積層輸出通道的重要性，進(jìn)而決定了輸出圖片的視覺特征。相較于風(fēng)格遷移中使用圖片作為遷移目標(biāo)，這里使用解碼自向量 w 的具有空間無關(guān)特性的樣式編碼 y，結(jié)合高斯噪聲來輸入生成網(wǎng)絡(luò) g 創(chuàng)建新的

21、圖像。研究結(jié)果：作者提出的生成器設(shè)計(jì)將不同的樣式信息引入到生成網(wǎng)絡(luò) g 的不同層，可以實(shí)現(xiàn)在不同分辨率上對 w 施加影響，進(jìn)而控制高級屬性以及細(xì)小特征上的改變。如圖（a-c）所示在不同分辨率上將源分布生成的樣式編碼引入目標(biāo)圖像，產(chǎn)生不同的由高層（a）到細(xì)節(jié)（c）的改變。作者展示在經(jīng)典的名人臉部數(shù)據(jù)集以及新提出的更加多樣化的人臉數(shù)據(jù)集上的當(dāng)前最佳性能。并且，作者將其應(yīng)用于車輛以及臥室場景數(shù)據(jù)集上，也取得了較好的視覺效果。論文題目： TempoGAN: A Temporally Coherent, Volumetric GAN for Super- resolution Fluid Flow中文題

22、目：用于超分流體的時(shí)間一致性生成對抗網(wǎng)絡(luò)論文作者：You Xie, Erik Franz, Mengyu Chu, Nils Thuerey 論文出處：ACM Transaction on Graphics SIGGRAPH-2018 論文地址：/pdf/1801.09710.pdf研究問題：生成對抗網(wǎng)絡(luò)（GAN）過去幾年在表示和生成復(fù)雜的自然圖像方面取得了很大的進(jìn)展。這些工作表明，深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）能夠有效提取輸入圖片的特征分布，并用于生成全新的，不同于原始輸入的圖片。同時(shí)，相關(guān)工作如 PG-GAN 在從粗糙輸入生成高分辨率的自然圖像方面也很成功。 但是，這些生成模型在其推導(dǎo)和改進(jìn)

23、過程中并沒有將數(shù)據(jù)的時(shí)間信息考慮進(jìn)來，而這些時(shí)間信息在現(xiàn)實(shí)的物理系統(tǒng)中是十分重要的。因此本文考慮數(shù)據(jù)的時(shí)間信息，擴(kuò)展現(xiàn)有的GAN 方法，以生成高分辨率數(shù)據(jù)集，并確保其時(shí)間連續(xù)性。研究方法：本文在之前特征空間損失相關(guān)工作的基礎(chǔ)上，進(jìn)一步改善生成自然圖像的逼真度和解決模式崩潰問題。為了實(shí)現(xiàn)上述目標(biāo)，本文在生成器中引入神經(jīng)網(wǎng)絡(luò)的部分特征空間的 L2 損失。具體來講，生成網(wǎng)絡(luò)的中間結(jié)果將被神經(jīng)網(wǎng)絡(luò)的間接參考數(shù)據(jù)所約束，為此，本文引入新的損失函數(shù)形式：其中是判別網(wǎng)絡(luò)中的某一層，表示相應(yīng)層的激活響應(yīng)，系數(shù)是權(quán)重項(xiàng)，用于平衡各個(gè)層之間的不平衡性。進(jìn)一步地，為了使生成的數(shù)據(jù)具有時(shí)間一致性， 文章還設(shè)計(jì)了下面的

24、 L2 損失函數(shù)：下圖是文章設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，使用全部由卷積層構(gòu)成的網(wǎng)絡(luò)作為生成器，使得模型能夠應(yīng)用于生成任意尺寸的數(shù)據(jù)。網(wǎng)闊結(jié)構(gòu)借鑒了 U-Net 和 ResNet，通過 skip 連接綜合 low-level 信息和 high-level 信息。實(shí)驗(yàn)證明這種結(jié)構(gòu)生成的自然圖像質(zhì)量最高。研究結(jié)果：文章設(shè)計(jì)的生成網(wǎng)絡(luò)能夠?qū)W會生成高精度的，逼真的且時(shí)間上具有一致性的流體圖形。所設(shè)計(jì)的方法僅使用單個(gè)時(shí)間步長的低分辨率流體數(shù)據(jù)即可完成。在二維和三維數(shù)據(jù)上都取得了不錯(cuò)的效果。 論文題目：Temporal Segment Networks for Action Recognition in Videos中

25、文題目：用于視頻行為識別的時(shí)間分段網(wǎng)絡(luò)論文作者：Wang, Limin and Xiong, Yuanjun and Wang, Zhe and Qiao, Yu and Lin, Dahua and Tang, Xiaoou and Van Gool, Luc.論文出處：IEEE transactions on pattern analysis and machine intelligence (2018) 論文地址：/stamp/stamp.jsp?tp=&arnumber=8454294 研究問題：行為識別是計(jì)算機(jī)圖像處理的重要應(yīng)用領(lǐng)域，基于視頻的行為識別是行為識別問題中的重要方法。傳統(tǒng)

26、的方法往往對單幀圖像進(jìn)行分析，這種方法缺乏前后幀的信息建模。有一種前后幀建模的方式是提取前后幀的光流信息，利用光流信息來完成運(yùn)動的建模。然而光流只能描述短暫的順序關(guān)系，無法對較長的時(shí)序進(jìn)行建模。研究方法：這篇文章對整個(gè)視頻進(jìn)行分段，每一段作為一個(gè)時(shí)序模塊。具體來講每個(gè)時(shí)序模塊中都進(jìn)行兩種建模，一個(gè)是單幀圖像獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型， 而另一個(gè)則是采用光流信息進(jìn)行輸入的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型。與之前方法只進(jìn)行較短時(shí)間的建模不同的是，這篇文章將視頻分成三個(gè)較長的片段，對三個(gè)長片段進(jìn)行分析。從而完成較長時(shí)序上的建模。研究結(jié)果：這篇文章所提出的 TSN 方法在 HMDB51, UCF101

27、, THUMOS14, ActivityNet v1.2 以及 Kinetics400 數(shù)據(jù)庫上進(jìn)行了廣泛的實(shí)驗(yàn)，取得了很高的精度。當(dāng)采用RGB 的前后幀差分圖來代替光流圖時(shí)，這篇文章的方法能夠取得很快的實(shí)測速度。論文題目：Non-local Neural Networks中文題目：非局部神經(jīng)網(wǎng)絡(luò)論文作者：Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming He論文出處：The IEEE Conference on Computer Vision and Pattern Recognition- CVPR 2018文章連接： HYPERLI

28、NK /content_cvpr_2018/papers/Wang_Non- /content_cvpr_2018/papers/Wang_Non-Local_Neural_Networks_CVPR_2018_paper.pdf研究問題：在圖像目標(biāo)檢測、視頻分類等任務(wù)中，捕捉長距離、大范圍內(nèi)的數(shù)據(jù)依賴關(guān) 系是一個(gè)很重要的問題。在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中，通常使用較大的卷積核來達(dá)到 捕捉遠(yuǎn)距離像素之間關(guān)系的目的。在序列化數(shù)據(jù)如視頻中，通常使用循環(huán)神經(jīng)網(wǎng) 絡(luò)建立時(shí)序上距離遠(yuǎn)的像素之間的聯(lián)系。但是卷積和循環(huán)操作本身都是局部操作， 只能在有限的空間范圍內(nèi)捕捉，難以獲得更遠(yuǎn)甚至全局的像素間依賴關(guān)系。研究方法

29、：受到 non-local mean 方法的啟發(fā)，作者提出非局部模塊，它可以很好地捕捉時(shí)間或空間維度上較遠(yuǎn)距離的像素間的依賴關(guān)系。非局部模塊的計(jì)算過程如上圖所示。以視頻分類為例，輸入到非局部模塊的特征圖是一個(gè)形狀為(T, H, W, C)的四維張量，首先將這個(gè)經(jīng)過一個(gè)卷積的特征圖與另一個(gè)經(jīng)過卷積的自身的轉(zhuǎn)置在C 維度上做矩陣乘，之后經(jīng)過 softmax 得到一個(gè)形狀為(THW, THW)的張量，該張量與另一個(gè)經(jīng)過卷積層的特征圖做矩陣乘，結(jié)果再經(jīng)過一個(gè)卷積層后與輸入的特征圖相加得到輸出。研究結(jié)果：作者在 Kinetics、Charades 和 COCO 數(shù)據(jù)集上針對視頻分類、目標(biāo)檢測等任務(wù)進(jìn)行了

30、實(shí)驗(yàn)。視頻分類任務(wù)中，在 Kinetics 數(shù)據(jù)集上，帶有非局部模塊的網(wǎng)絡(luò)的 top1 精度會比其基準(zhǔn)網(wǎng)絡(luò)提升大約 1.6 個(gè)百分點(diǎn)，top5 精度提升約 1 個(gè)百分點(diǎn)；在 Charedes 數(shù)據(jù)集上測試集精度大約有 2.3 個(gè)百分點(diǎn)的提升。目標(biāo)檢測任務(wù)中，在 COCO 數(shù)據(jù)集上，作者提出的網(wǎng)絡(luò)相比其基準(zhǔn)網(wǎng)絡(luò)提升約 1.4 點(diǎn) mAP。實(shí)驗(yàn)結(jié)果證明了非局部模塊對于建立圖像中或圖像間長距離依賴關(guān)系的有效性。論文題目：Squeeze-and-Excitation Networks中文題目：壓縮與激勵(lì)網(wǎng)絡(luò)論文作者：Jie Hu, Li Shen, Gang Sun論文出處：The IEEE Conf

31、erence on Computer Vision and Pattern Recognition- CVPR 2018文章連接： HYPERLINK /content_cvpr_2018/papers/Hu_Squeeze-and- /content_cvpr_2018/papers/Hu_Squeeze-and- Excitation_Networks_CVPR_2018_paper.pdf研究問題：如何通過建模特征通道之間的依賴關(guān)系提升網(wǎng)絡(luò)性能，通過學(xué)習(xí)，使得有效特征圖權(quán)重變大，而削弱無效圖權(quán)重，從而使網(wǎng)絡(luò)關(guān)注到重要部分。研究方法：提出的 SE 模塊（Squeeze-and-Excita

32、tion Block）包括壓縮和激勵(lì)兩個(gè)關(guān)鍵操作，利用它對特征通道間的信息進(jìn)行融合。融合時(shí)不引入新的空間維度，而是采用了一種全新的特征重標(biāo)定策略。通過學(xué)習(xí)的方式來自動獲取到每個(gè)特征通道的重要程度，然后依照這個(gè)重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)用處不大的特征。如下圖所示，對于一張形狀為(H, W, C)的特征圖，SE 模塊首先進(jìn)行壓縮操作，在空間維度將特征圖進(jìn)行全局平均得到一個(gè)表示全局信息的特征向量。其次是激勵(lì)操作，作者設(shè)計(jì)這一步的思想類似于 RNN 中的門控機(jī)制，通過一個(gè)全連接和激活層為每個(gè)特征通道生成權(quán)重，全連接層中的參數(shù)用來顯式地建模各個(gè)通道間的相關(guān)性。最后進(jìn)行重加權(quán)操作，通過乘法逐

33、通道地將特征權(quán)重乘到輸入的特征圖上，完成特征重標(biāo)定操作。研究結(jié)果：作者分別在 ImageNet 和 COCO 數(shù)據(jù)集上進(jìn)行了圖像分類和目標(biāo)檢測任務(wù)的實(shí)驗(yàn)。分類任務(wù)中，分別以 ResNet50、ResNet101、ResNet152 為基準(zhǔn)，加入了SE 模塊的網(wǎng)絡(luò)與基準(zhǔn)相比，top1 分類誤差分別減小了 1.51%、0.79%、0.85%， 而相應(yīng)的 GFLOPs 只增加了 0.01、0.02、0.02。在目標(biāo)檢測任務(wù)上，使用 FasterRCNN 模型，在主干網(wǎng)絡(luò)上加入 SE 模塊的模型所得 AP 值比基準(zhǔn)網(wǎng)絡(luò)高出大約2.22.4 個(gè)百分點(diǎn)。從實(shí)驗(yàn)結(jié)果可以看出 SE 模塊對于幫助網(wǎng)絡(luò)建立特征通

34、道間的依賴關(guān)系有很大幫助。論文題目：Neural Ordinary Differential Equations中文題目：神經(jīng)網(wǎng)絡(luò)常微分方程論文作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud .論文出處：The 32nd Conference on Neural Information Processing Systems - NeurIPS 2018論文地址：/abs/1806.07366 研究問題：已有的神經(jīng)網(wǎng)絡(luò)模型由大量隱層堆疊而成，是一種離散的序列化的表示形式。作者考慮將神經(jīng)網(wǎng)絡(luò)的隱狀態(tài)參數(shù)化

35、為連續(xù)時(shí)間下的隱變量模型，實(shí)現(xiàn)消除離散 的層的概念的連續(xù)的新型神經(jīng)網(wǎng)絡(luò)模型。該種方案將神經(jīng)網(wǎng)絡(luò)視為帶求解的隱狀 態(tài)序列，通過已有的常微分方程求解方案(ODE-solver)來求解網(wǎng)絡(luò)的輸出。為避 免常規(guī)的數(shù)值解法的較高計(jì)算代價(jià)及累積誤差， 作者利用伴隨敏感度方法(adjoint sensitivity method)將 ODE-solver 視為黑箱，利用兩次對于增廣 ODE 反向傳播算法求解對于參數(shù)的梯度，而無需真正關(guān)注內(nèi)部的具體操作。此種求解方案 廣泛的適用于各類 ODE-solver，可以在求解精度與速度間進(jìn)行平衡。研究方法：下式可以視為 ResNet 中的殘差連接，表示某卷積層的輸出與

36、該層的輸入的加和：而這種殘差連接又可以被視為 ODE-solver 中歐拉法的對連續(xù)系統(tǒng)的一種離散表示。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，離散的時(shí)間步體現(xiàn)為層的概念。 通過不斷增加層，將得到盡可能小的時(shí)間步，進(jìn)而得到參數(shù)化的神經(jīng)網(wǎng)絡(luò)隱狀態(tài)的連續(xù)表示， 也即上式的微分形式 ：190191從初始層 h(0)觸發(fā)，輸出層 h(T)可以被定義為關(guān)于該初始值的在時(shí)間步 T 時(shí)的上述 ODE 的解。下圖給出了殘差網(wǎng)絡(luò)所對應(yīng)的隱變量的離散化表示形式，以及神經(jīng)常微分方程網(wǎng)絡(luò)的連續(xù)化狀態(tài)表示：若通過反向傳播算法來求解連續(xù)狀態(tài)的網(wǎng)絡(luò)，因其前向過程往往對應(yīng)于密集的數(shù)值積分方法，對積分求解微分將會帶來巨大的內(nèi)存開銷和數(shù)值誤差。通過

37、將ODE-solver 視為黑箱模型，采用伴隨敏感度方法將使得計(jì)算隨問題規(guī)模線性增加，同時(shí)伴隨著較低的內(nèi)存開銷。考慮如下?lián)p失：伴隨敏感度方法求解方案如下圖：考慮如圖所示的增廣的連續(xù)時(shí)間系統(tǒng)，其包含原始狀態(tài)和損失函數(shù)關(guān)于狀態(tài)的敏感性兩部分。如果損失直接依賴于在多個(gè)觀測點(diǎn)的狀態(tài)，那么伴隨狀態(tài)也應(yīng)相應(yīng)的在損失于觀測點(diǎn)處的偏導(dǎo)數(shù)方向進(jìn)行更新。對于該初值問題的參數(shù)的反向傳播算法如下：研究結(jié)果：作者在圖像相關(guān)的監(jiān)督學(xué)習(xí)任務(wù)，MNIST 書寫數(shù)字分類上驗(yàn)證了 ODE 網(wǎng)絡(luò)的性能。實(shí)驗(yàn)結(jié)果顯示，使用相較于對應(yīng)離散表示的殘差網(wǎng)絡(luò)，連續(xù)化狀態(tài)表示的 ODE 網(wǎng)絡(luò)具有與之相當(dāng)?shù)男阅?，但參?shù)量減小為原來的 1/3，并

38、且具有恒定的內(nèi)存復(fù)雜度以及可以隨求解精度變化的計(jì)算復(fù)雜度。論文題目： The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks中文題目：彩票假設(shè)：尋找稀疏可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)論文出處：The 7th International Conference on Learning Representations ICLR2019論文地址：/pdf/1803.03635.pdf 研究問題：網(wǎng)絡(luò)稀疏是神經(jīng)網(wǎng)絡(luò)加速壓縮的常用策略之一。目前主流的稀疏方法由三個(gè)階段組成，即預(yù)訓(xùn)練、裁剪和重訓(xùn)練。在重訓(xùn)練過程中已有的方法都是將預(yù)訓(xùn)

39、練得到的權(quán)重用于初始化，這里隱含的假設(shè)是裁剪后的子網(wǎng)絡(luò)難以從頭訓(xùn)練，因此需要借助預(yù)訓(xùn)練的結(jié)果輔助優(yōu)化。本文則指出在預(yù)訓(xùn)練前的原始大網(wǎng)絡(luò)中，存在特定的子網(wǎng)絡(luò)結(jié)構(gòu)和其初始化權(quán)重的組合，作者稱其為“中獎彩票”，可以在與原大網(wǎng)絡(luò)相同迭代次數(shù)的訓(xùn)練設(shè)置下獲得更好的測試精度和收斂表現(xiàn)，也就是本文提出的“彩票假設(shè)”。以此為動機(jī)，作者一方面給出通過非結(jié)構(gòu)化稀疏找到“中獎彩票”的方法，另一方面通過詳盡的對比實(shí)驗(yàn)驗(yàn)證了“中獎彩票”的存在性以及方法的有效性。 PAGE 196 PAGE 195研究方法：為了找到給定初始化權(quán)重下原始網(wǎng)絡(luò)中的“中獎彩票”，本文提出基于非結(jié)構(gòu)化稀疏的搜索和訓(xùn)練策略，具體兩種策略如下所示。

40、對比這兩種策略，不同之處在于策略 1 在每次迭代裁剪后仍用原初始權(quán)重開始訓(xùn)練，策略 2 則是用上一次迭代得到的權(quán)重繼續(xù)訓(xùn)練。而在確定子網(wǎng)絡(luò)結(jié)構(gòu)后，兩種策略都是用原初始權(quán)重進(jìn)行訓(xùn)練。實(shí)驗(yàn)驗(yàn)證策略 1 下子網(wǎng)絡(luò)最終收斂的性能會明顯好于策略 2，因此文中之后的對比實(shí)驗(yàn)都是基于前者進(jìn)行。研究結(jié)果：文章先在 MNIST 和 CIFAR10 上用淺層的全連接和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)，結(jié)果表明采用上述策略得到的稀疏子網(wǎng)絡(luò)用原網(wǎng)絡(luò)的初始權(quán)重初始化相比于重新初始化在相同訓(xùn)練設(shè)置下最終模型收斂性能有顯著性提升，并且在一定稀疏率條件下甚至超過原大網(wǎng)絡(luò)。更進(jìn)一步地，同樣在 CIFAR10 上，當(dāng)采用更深的網(wǎng)絡(luò)如 V

41、GG19 和 ResNet18 時(shí)，需要對子網(wǎng)絡(luò)采用更小的學(xué)習(xí)速率并結(jié)合Warmup 等訓(xùn)練策略才能找到“中獎彩票”。從這些實(shí)驗(yàn)結(jié)果出發(fā)，作者希望能啟發(fā)更多溝通權(quán)重初始化、網(wǎng)絡(luò)結(jié)構(gòu)與歸納偏置、神經(jīng)網(wǎng)絡(luò)泛化性及優(yōu)化的研究和工作。論文題目：Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations中文題目：挑戰(zhàn)無監(jiān)督表征學(xué)習(xí)中的解耦合假設(shè)論文出處：The 36th International Conference on Machine Learning ICML2019論文地

42、址：/pdf/1811.12359.pdf 研究問題：在使用生成模型進(jìn)行表征學(xué)習(xí)時(shí)通常假設(shè)數(shù)據(jù)的生成過程由式() =()(|)表示，其中表示原始數(shù)據(jù)如圖片，則對應(yīng)于語義明確的可解釋變量并假設(shè)不同分量間相互獨(dú)立。解耦合表征學(xué)習(xí)的目的即學(xué)習(xí)到某種特征變換() 能與這些解釋變量間構(gòu)成對應(yīng)關(guān)系，使得學(xué)到的特征更加高效魯棒便于下游任務(wù)提取任務(wù)相關(guān)的信息。本文通過搭配已有解耦合表征學(xué)習(xí)方法和不同數(shù)據(jù)集及評價(jià)指標(biāo)構(gòu)建不同實(shí)驗(yàn)設(shè)置，批判性指出現(xiàn)有工作的不足和基本假設(shè)上的缺陷。研究方法：首先文章從理論上給出一個(gè)直覺性的結(jié)論，即任何有效的解耦合表征學(xué)習(xí)必須基于某種對模型和數(shù)據(jù)分布的歸納偏置。接著為了進(jìn)一步驗(yàn)證其他

43、基本假設(shè)， 文章考慮了在 6 種不同已有方法與評價(jià)指標(biāo)，以及 7 個(gè)不同數(shù)據(jù)集下進(jìn)行對比實(shí)驗(yàn)。這里我們簡要說明幾個(gè)主要實(shí)驗(yàn)及其結(jié)果：1）已有工作中為了使學(xué)得的滿足正態(tài)分布先驗(yàn)的隱層特征解相關(guān)，大都在訓(xùn)練過程中對編碼器的輸出加入相關(guān)性的正則項(xiàng)。然而如下右圖所示，這種方式下訓(xùn)練最后得到的表征不同維度間的相關(guān)性反而不斷上升。2）相比于不同方法的選擇，訓(xùn)練超參甚至隨機(jī)數(shù)種子對模型最終的性能表現(xiàn)更為重要，這從下圖每個(gè)方法在不同超參和隨機(jī)數(shù)種子下性能表現(xiàn)的方差上可以看出。3）直覺上我們認(rèn)為解耦合的表征能更好輔助下游任務(wù)的訓(xùn)練，下圖衡量了不同評分表征學(xué)習(xí)模型的樣本利用效率，在實(shí)驗(yàn)給定評價(jià)指標(biāo)下并未明顯觀察到

44、表征解耦合帶來的樣本利用效率的提升。研究結(jié)果：總的來說，本文首先強(qiáng)調(diào)了歸納偏置在無監(jiān)督解耦合表征學(xué)習(xí)中的重要性并給出理論上的證明。然后實(shí)驗(yàn)部分，文章主要?dú)w納出以下幾點(diǎn)結(jié)論：1、對隱層特征后驗(yàn)分布加入的可分解約束并不能保證學(xué)得解耦合的特征表示；2、訓(xùn)練超參和隨機(jī)數(shù)種子對不同方法性能的影響甚至超過方法本身帶來的性能差異；3、在當(dāng)前解耦合表征性能的衡量指標(biāo)下，更好的解耦合表示并未使得下游任務(wù)樣本利用效率上的明顯提升。計(jì)算機(jī)圖形學(xué)進(jìn)展隨著數(shù)字化技術(shù)和互聯(lián)網(wǎng)的發(fā)展，計(jì)算機(jī)圖形學(xué)在許多領(lǐng)域都已經(jīng)得到了廣泛的應(yīng)用，如遙感圖像分析、多媒體通信、醫(yī)療診斷、機(jī)器人視覺等。當(dāng)前計(jì)算機(jī)圖形學(xué)的研究逐漸向多學(xué)科交叉融合方向發(fā)展，即有與認(rèn)知計(jì)算、計(jì)算器學(xué)習(xí)、人機(jī)交互的融合，也有與大數(shù)據(jù)分析、可視化的融合；不僅針對三維數(shù)字模型，而且涵蓋了圖像視頻，與計(jì)算機(jī)視覺深度交叉。計(jì)算機(jī)圖形學(xué)的快速發(fā)展，一個(gè)潛在的趨勢是不再有明確清晰的主題，更多的體現(xiàn)出方法和技術(shù)的創(chuàng)新。針對近兩年計(jì)算機(jī)圖形學(xué)重要期刊會議的相關(guān)論文，對該領(lǐng)域內(nèi)容熱點(diǎn)研究內(nèi)容和前沿技術(shù)方法進(jìn)行