國畫與民樂的視聽覺通感實驗研究

1、    國畫與民樂的視聽覺通感實驗研究    湛穎 高妍 謝凌云摘要采用語義聯(lián)想的方法，進行基于視聽跨模態(tài)語義一致理論的國畫一民樂的通感研究。經(jīng)主觀實驗驗證，該方法能在視聽匹配中提升國畫審美感知，在演藝科技行業(yè)的多媒體創(chuàng)作與視聽融合方面有廣闊的應用前景。關鍵詞國畫;民樂;視聽覺;通感;聯(lián)想實驗;多媒體：10.3969/j.issn.1674-8239.2019.05.0041引言視聽覺通感是多媒體創(chuàng)作中的一個基礎課題，視聽多媒體的語義和美感的一致是藝術作品的重要組成部分。為了探究觀眾對多媒體藝術的跨模態(tài)感知機制，需對大眾的視聽覺審美聯(lián)想和通感進行深入分析

2、。審美和文化背景有著密切的關聯(lián)，所以，本文以中國傳統(tǒng)文化中的國畫為對象，研究其與民樂之間的通感關系。該研究通過問卷調查、因子分析（factor cmcdysis）的實驗心理學方法，獲得5個國畫主要美感因子及高頻形容詞匯，并將它們應用于64幅國畫的審美評價。接著，進行國畫畫面到民樂美感的通感實驗。根據(jù)實驗結果，在民樂庫中配對相應的樂曲，進行視聽通感條件下美感增效的實驗驗證。結果表明，相對于單獨欣賞國畫而言，在國畫與產(chǎn)生通感的民樂同時呈現(xiàn)的情況下，被試能獲得更多的藝術美感。2國畫與民樂美感的視聽覺共性音樂和繪畫是不同的藝術形式，根據(jù)李偉的研究，中國畫獨特的藝術形式、空間表達及審美意涵，與民樂有天然

3、的內(nèi)在聯(lián)系。徐復觀認為，“線實際上是對中國古典音樂的一種造型，使它表現(xiàn)為一種可視的東西”。中國文化藝術廣泛包含“線”的概念，國畫中工筆畫以“線”作為主要藝術表達手段;民樂“吹拉彈打”中的管樂和拉弦音樂也是典型的線型音樂。中國畫的線造型在曲折的線條表達中具有類似建筑的飛動之美，在起、承、轉、合的細節(jié)變化中，體現(xiàn)音樂般的節(jié)奏美。這種視覺藝術與聽覺藝術之間的感知關聯(lián)，就來自于通感。“當你使用幾種聲音或色彩的組合來作畫或作曲時，有時候你會感到你的手指像被針扎似的微微作痛，有時會感到你的手指像在撫摩絲綢和天鵝絨，康定斯基認為，藝術創(chuàng)作者有時會產(chǎn)生不同的感覺通道的通感。通感研究表明，感知上的跨模態(tài)一致性（

4、cross-modol correspondences）是產(chǎn)生通感的前提?？缒B(tài)一致是由chorles spence于2011年提出的概念，目前得到廣泛采用。視聽跨模態(tài)一致是多年實證研究總結出的、人類對視聽信號的一種感知特性，有研究認為，它是通感的一種神經(jīng)基礎。在以往研究中，跨模態(tài)一致有三種基本模型，即統(tǒng)計一致、結構一致和語義一致。其中，語義一致指視聽覺信號的特征（identity）或含義（meaning）的匹配與否，本文的視聽多通道感知實驗也基于此概念進行。本文將基于視聽跨模態(tài)一致及國畫與民樂的視聽審美共性，面向國畫、民樂的視聽覺通感，使用實驗心理學方法，探索國畫的聽覺聯(lián)想問題。3實驗過程3

5、.1國畫美感范疇獲得通過詞頻篩選、問卷調查和因子分析“方法，獲得國畫的五個美感因子。查閱現(xiàn)代漢語詞典美學辭典等文獻，綜合獲得每個因子釋義和高頻詞集，見表1。3.2國畫美感評價通過互聯(lián)網(wǎng)搜索等渠道，收集篩選國畫信號64幅，通過主觀評測的方式對它們進行美感類別評價，評價標準為從表1中的“名稱”欄里五者擇一。把20名被試（其中女性11名，男性9名，平均年齡24歲）對每幅畫的最多頻次被選美感作為其主要美感，獲得結果分布，見表2。3.3國畫的聽覺通感國畫到民樂的通感實驗，通過選擇描述內(nèi)容的方式進行。其中，用于描述聯(lián)想內(nèi)容的詞匯及民樂美感因子見表3。表格通過與3.1節(jié)類似的實驗方法獲得，為民樂的美感主要因

6、子和對應詞匯。聯(lián)想實驗全程在光照合適、隔音良好的室內(nèi)完成，屏幕的色溫、亮度等情況被調整為被試觀看舒適、且適合呈現(xiàn)國畫圖片的程度。在實驗過程中，所有國畫信號在背景為純黑色的屏幕上放映，顯示器型號為dell1504fp，屏幕分辨率1024×768，方向橫向，畫作以原長寬比盡量平鋪適配整個屏幕。被試總人數(shù)12人，女性7人，男性5人，平均年齡24歲，年齡標準差1歲。被試在觀賞每一幅圖片后，被要求聯(lián)想一個音樂情景，然后在表格中選擇適合描述該情景的形容詞。每個信號的對應形容詞表格，為表3中第三列（“詞集”部分）所有形容詞的一個隨機亂序版。對于所有25個詞匯，可選個數(shù)不限，但被試需對所選詞匯進行合

7、適度從高至低的排序。3.4美感提升驗證依照聯(lián)想實驗的結果，從民樂數(shù)據(jù)庫中查詢符合聯(lián)想結果的民樂，見表4。由被試進行單獨欣賞國畫的單通道，和國畫、民樂同時呈現(xiàn)的雙通道這兩種情況下的美感強度評價。美感分值為19的整數(shù)，1為最低強度美感，9為最高強度美感，單雙通道分別進行評分。該部分實驗參與人數(shù)13人，男性6人，女性7人，平均年齡24歲，年齡標準差1歲。實驗在光照合適的室內(nèi)完成，屏幕的色溫、亮度等情況被調整為被試觀看舒適、且適合呈現(xiàn)國畫圖片的程度。使用監(jiān)聽耳機akg k240mkii播放民樂，校準到使人能聽清聲音細節(jié)、且聽感舒適的程度。單通道實驗中，所有國畫信號在背景為純黑色屏幕上放映，以原長寬比盡

8、量平鋪適配整個屏幕;雙通道實驗中，民樂同步于配對的國畫呈現(xiàn)。4實驗結果4.1語義關聯(lián)分析按照表2中國畫美感分布類別，統(tǒng)計對應的高頻聯(lián)想詞匯分布，照詞頻和排序優(yōu)先度順序列于表5。從表5中所陳列的詞匯，觀察到所聯(lián)想音樂語義與國畫美感類的語義關聯(lián)較密切。另外，國畫所聯(lián)想的音情境并非由單一的民樂美感組成。以氣勢為例，其所聯(lián)想到的民樂就由深沉、激昂等復雜的美感等二級詞匯組成。4.2美感關聯(lián)分析依照表5中各類民樂美感形容詞被選頻率在五個民樂美感中的分布，統(tǒng)計國畫美感與所聯(lián)想民樂美感之關聯(lián)，繪制國畫一民樂語義聯(lián)想拓撲圖，見圖1。觀察發(fā)現(xiàn)，國畫聽覺語義聯(lián)想結果與被聯(lián)想內(nèi)容有較強語義關聯(lián)，“輕柔”和“深沉”美感的民樂在增強多通道美感方面，有比其他美感更廣泛的適用性。4.3美感增效單雙通道美感變化見圖2。整體來看，所有美感都能得到10%以上增幅，證明本文方法在提升美感上有一定效果。另外，本文方法對越負向的美感越有美感增強效應。具體來說，蕭瑟、清幽二者，在情緒上更偏向負向，也更容易在視聽雙通道匹配中得到美感增幅;本身更為積極正向的美感，如生機、雅致、氣勢三者，則相對來說不易在語義匹配的雙通道感知中得到增強。