計算機視覺應(yīng)用開發(fā)課件：gram矩陣

gram矩陣gram矩陣的含義01任務(wù)gram矩陣的作用02任務(wù)gram矩陣的計算03任務(wù)學(xué)習(xí)目標(biāo)了解什么是gram矩陣了解gram矩陣的作用掌握gram矩陣的計算方式1gram矩陣的含義1風(fēng)格的概念gram矩陣的數(shù)學(xué)形式如下：可以看出，gram矩陣實際上是矩陣的內(nèi)積運算。在風(fēng)格遷移中，其計算的是featuremap之間的偏心協(xié)方差（即沒有減去均值的協(xié)方差矩陣）。在featuremap中包含著圖像的特征，gram矩陣代表著特征之間的相關(guān)性。內(nèi)積數(shù)值越大，相關(guān)關(guān)系越大，兩個向量越相似。1風(fēng)格的概念更加直觀的理解：2gram矩陣的作用2gram矩陣的作用既然gram矩陣代表了兩個特征之間的相關(guān)性，那么哪兩個特征同時出現(xiàn)，哪兩個特征此消彼長等等，便可以很好的計算了。內(nèi)積之后得到的多尺度矩陣中，對角線元素提供了不同特征圖（a1，a2...，an）各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息。同時，gram的對角線元素，還體現(xiàn)了每個特征在圖像中出現(xiàn)的量，因此，gram有助于把握整個圖像的大體風(fēng)格。有了gram矩陣，要度量兩個圖像風(fēng)格的差異，只需要比較它們之間的gram矩陣的差異即可。2gram矩陣的作用總之，gram矩陣用于度量各個維度自身的特性以及各個維度之間的關(guān)系。內(nèi)積之后得到的多尺度矩陣中，對角線元素提供了不同特征圖各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息。這樣一個矩陣，既能體現(xiàn)出有哪些特征，又能體現(xiàn)出不同特征間的緊密程度。在網(wǎng)絡(luò)中提取的特征圖，一般來說淺層網(wǎng)絡(luò)提取的是局部的細(xì)節(jié)紋理特征，深層網(wǎng)絡(luò)提取的是更抽象的輪廓、大小等信息。這些特征總的結(jié)合起來表現(xiàn)出來的就是圖像的風(fēng)格，由這些特征向量計算出來的gram矩陣，就可以把圖像特征之間隱藏的聯(lián)系提取出來，也就是各個特征之間的相關(guān)性高低。2gram矩陣的作用gram矩陣的計算公式如下：如果兩個圖像的特征向量的gram矩陣的差異較小，就可以認(rèn)定這兩個圖像風(fēng)格是相近的。有了表示風(fēng)格的gram矩陣，要度量兩個圖像風(fēng)格的差異，只需比較他們gram矩陣的差異即可。計算兩個圖像風(fēng)格的公式如下：3gram矩陣的計算3gram矩陣的計算gram矩陣實際上是矩陣的內(nèi)積運算，可以使用Python的科學(xué)計算庫numpy來實現(xiàn)gram矩陣，當(dāng)然也可以用更簡潔的方式。在一些比較流行的深度學(xué)習(xí)框架中，已經(jīng)內(nèi)置了矩陣相乘的方法。以Tensorflow為例，可以用“tf.matmul()”方法實現(xiàn)矩陣的相乘。具體使用方法如下：gram=tf.matmul(vector,vector,transpose_a=True)上面便是Tensorflow中實現(xiàn)gram矩陣的計算方式。參數(shù)‘vector’代表輸入的矩陣向量，‘transpose_a=True’意味著在進行乘法之前對第一個矩陣進行轉(zhuǎn)置，該方法還有一個名為“transpose_b”的參數(shù)，它等于“True”時意味著在乘法之前對第二個矩陣進行轉(zhuǎn)置。3gram矩陣的計算在計算機視覺中，Gram矩陣用于把握整個圖像的大體風(fēng)格。有了表示風(fēng)格的Gram矩陣，就可以度量兩個圖像風(fēng)格的差異，它也可以度量自己各個維度的特性以及各個維度之間的關(guān)系，其對角線元素提供了不同特征圖各自的信息，其余元素提供了不同特征圖之間的相關(guān)信息，既能體現(xiàn)出有哪些特征