計量特征在漢語語言風格與作者判定上的應用

1、    計量特征在漢語語言風格與作者判定上的應用    張賽摘 要：以語料庫和統(tǒng)計方法進行語言結(jié)構(gòu)特征計量研究是漢語語言風格描寫研究及作家判定研究的重要方法。本文以語言結(jié)構(gòu)的計量特征表示文本的方法加強了語言風格對比及作者判定研究的可解釋性，具有較高的理論和應用價值。關鍵詞：語言風格；語言結(jié)構(gòu)；計量特征本文基于語料庫和統(tǒng)計方法，獲取現(xiàn)代漢語語言結(jié)構(gòu)的計量特征，而后考察這些語言結(jié)構(gòu)計量特征在作家語言風格描寫、對比研究及作家判定方面的實際應用。具體過程是：首先，分別選取兩個作家的三個語料樣本，對其進行分詞并以文本為單位計算特定語言結(jié)構(gòu)在文本中的頻率和百分比；然

2、后，基于樣本的均值比較這些語言結(jié)構(gòu)在分別屬于兩個作家的兩個樣本中的分布是否具有差異；最后，還對同一個作家的兩個不同的樣本中比較這些語言結(jié)構(gòu)是否具有差異。一、語料與方法研究選取了3個文本，分別為韓寒早期作品三重門，韓寒近期作品1988：我想和這個世界談談和韓寒父親韓仁均作品兒子韓寒。三重門于2000年由作家出版社出版，總字數(shù)155820，總詞數(shù)116461；1988：我想和這個世界談談第一版于2010年7月6日獨唱團刊發(fā)，總字數(shù)92384，總詞數(shù)70185。兩者均為韓寒所著的長篇小說。而兒子韓寒為韓寒的父親韓仁均所寫，向讀者介紹了韓寒的成長經(jīng)歷，具有傳記性質(zhì)，總字數(shù)52854，總詞數(shù)37654。

3、首先，筆者將這三個文本進行了漢語分詞處理，漢語分詞標注所用的軟件為ljparser。ljparser文本搜索與挖掘開發(fā)平臺包括全文精準搜索、新詞發(fā)現(xiàn)、漢語分詞標注、詞語統(tǒng)計與術語翻譯、自動聚類與熱點發(fā)現(xiàn)、分類過濾、自動摘要、關鍵詞提取、文檔去重、正文提取等十余項功能。對于分詞標注后的三個文本，我們利用antconc軟件進行了語料庫分析（詞頻統(tǒng)計等）。由于韓寒早期作品三重門的作者存在爭議，有人質(zhì)疑三重門為韓寒父親代筆，所以我們試圖通過比較文本中陳述句、疑問句、感嘆句比例，近似平均句長，以及23個常見虛字在文本中的使用情況，來觀察三重門的語體風格和用詞習慣是更接近于韓寒近期作品1988：我想和這個

4、世界談談還是其父作品兒子韓寒。如果三重門的語體風格和用詞習慣是更接近于1988：我想和這個世界談談，而與兒子韓寒有顯著性差異，那么我們就為三重門為韓寒自己所寫提供了證據(jù)。反之，如果三重門與兒子韓寒更為接近，而與1988：我想和這個世界談談存在顯著性差異的話，那么就為三重門由韓父代筆而作的質(zhì)疑提供了證據(jù)。二、數(shù)據(jù)與分析本文主要研究了三個文本以下兩個方面的差異：一是陳述句、疑問句和感嘆句比例及近似平均句長，二是常見虛字（包括句尾虛字，白話虛字和表轉(zhuǎn)折程度比較的虛字）的比例。對于這兩個方面，antconc的數(shù)據(jù)統(tǒng)計結(jié)果如表1所示：表1 三個文本相應變量出現(xiàn)的頻度由于三個文本的總字數(shù)和總詞數(shù)各不相同，

5、為了更好地進行比較，我們將頻度轉(zhuǎn)換為頻率，從目標標點和虛字出現(xiàn)的頻率來進行對比，頻率數(shù)據(jù)如表2所示：表2 三個文本相應變量出現(xiàn)的頻率從表中可以看到三重門1988：我想和這個世界談談與兒子韓寒所用的逗號、句號、嘆號和問號比例分別有所差別，而其中三重門中嘆號出現(xiàn)的比例（0.35%）要顯著高于1988：我想和這個世界談談（0.00%）與兒子韓寒（0.06%）。從平均句長上來看，三重門為26.53，1988：我想和這個世界談談為27.20，而兒子韓寒則為31.94，高于前兩篇?？梢婍n寒早期作品三重門與近期作品1988：我想和這個世界談談平均句長接近，而其父作品兒子韓寒的平均句長則要長于韓寒。聯(lián)系到逗號

6、的數(shù)據(jù)（三重門6.34%；1988：我想和這個世界談談8.22%；兒子韓寒4.95%），可以發(fā)現(xiàn)，韓仁均作品兒子韓寒不僅整句平均句長更長，其長句中每一個短句的句長也要長于其他兩部作品。而1988：我想和這個世界談談則呈明顯的短句更多更短的特點，其逗號比例顯著高于另外兩部作品。虛字方面的分析，我們選取了23個虛字，分別為5個句尾虛字：呀、嗎、咧、么、呢；9個白話虛字：了、的、著、一、不、把、讓、是、好；9個表轉(zhuǎn)折程度比較的虛字：可、就、但、越、再、便、更、此、很。從表2中可以看到，有四個虛字：“么”“了”“著”“是”在1988：我想和這個世界談談中的出現(xiàn)頻率要明顯高于三重門和兒子韓寒。由于單個字

7、的對比說服力有限，因此我們運用spss進行了三個文本同樣23個虛字的相關性檢驗。相關性檢驗表明，三重門（0.5179%±0.83918%）與1988：我想和這個世界談談（0.6438%±1.05711%）呈顯著相關，p=0；三重門與兒子韓寒（0.5209%±1.01391&）（p=0）和1988：我想和這個世界談談與兒子韓寒（p=0）也分別呈顯著相關。三個研究文本的相關系數(shù)如表3所示。表3 三對文本對的成對樣本相關系數(shù)結(jié)果表明，相關性檢驗并不能為研究提供有意義的證據(jù)。因此，針對這23個虛字，我們利用spss軟件進一步做了配對樣本t檢驗。對于這23個虛字，我

8、們分別以三重門和1988：我想和這個世界談談成對，以及三重門和兒子韓寒成對，進行了兩對成對樣本檢驗。表4為成對樣本檢驗結(jié)果，如下所示。表4 兩對文本對的成對樣本檢驗結(jié)果從表4中可以看到，三重門與1988：我想和這個世界談談存在顯著性差異，0<p（0.046）0.1。這樣的數(shù)據(jù)說明韓寒早期作品三重門與近期作品1988我想和這個世界談談的虛詞使用存在顯著差異，然而其早期作品三重門與其父親作品兒子韓寒的虛字用法卻非常相似。從某種意義上說，我們有理由認為三重門可能由韓仁均代筆而作。如果真是這樣，那么拿1988：我想和這個世界談談與兒子韓寒來比較，結(jié)果會是什么樣的呢？我們做了1988：我想和這個世

9、界談談與兒子韓寒的成對樣本檢驗，結(jié)果如表5所示。表5 1988：我想和這個世界談談與兒子韓寒的成對樣本檢驗結(jié)果1988：我想和這個世界談談與兒子韓寒的成對樣本檢驗結(jié)果顯示，1988：我想和這個世界談談與兒子韓寒的23個虛字用法存在差異邊緣性顯著，0.05<p< p>三、結(jié)論本研究通過對三個52，000字以上的語料樣本進行統(tǒng)計分析，有以下推測：三重門可能是由韓寒之父韓仁均代筆而作，或者三重門是韓寒父子二者合著。然而，我們的研究也存在一些值得推敲的細節(jié)，還需要在將來的研究中加以改進。綜觀整個研究，我們發(fā)現(xiàn)，將基于計量語言學研究成果的語言結(jié)構(gòu)分布特征作為語言風格對比和作家判定，實驗

10、證明是可行可信的，而且特征選擇和對比分析結(jié)果都可以從語言學的角度進行分析和解釋。此外，學者黃偉、劉海濤曾用這種方法成功地進行了文本聚類和分類實驗。這樣的方法具有普適性，值得在更多的語言學研究領域進行嘗試。標注體系和工具對統(tǒng)計結(jié)果的影響，語言風格在字、詞、句等語言結(jié)構(gòu)和語法、語義、語用層面的全面計量描寫等，都是今后值得繼續(xù)和深入研究的課題。參考文獻：1陳芯瑩，李雯雯，王燕.計量特征在語言風格比較及作家判定中的應用以韓寒三重門與郭敬明夢里花落知多少為例j.計算機工程與應用， 2012，48（3）：137-139.2黃偉，劉海濤.漢語語體的計量特征在文本聚類中的應用j.計算機工程與應用，2009，4

11、5（29）：25-27.3桂詩春.基于語料庫的英語語言學語體分析m.北京：外語教學與研究出版社，2009. </p</p（0.046）摘 要：以語料庫和統(tǒng)計方法進行語言結(jié)構(gòu)特征計量研究是漢語語言風格描寫研究及作家判定研究的重要方法。本文以語言結(jié)構(gòu)的計量特征表示文本的方法加強了語言風格對比及作者判定研究的可解釋性，具有較高的理論和應用價值。關鍵詞：語言風格；語言結(jié)構(gòu)；計量特征本文基于語料庫和統(tǒng)計方法，獲取現(xiàn)代漢語語言結(jié)構(gòu)的計量特征，而后考察這些語言結(jié)構(gòu)計量特征在作家語言風格描寫、對比研究及作家判定方面的實際應用。具體過程是：首先，分別選取兩個作家的三個語料樣本，對其進行分詞并以文本為

12、單位計算特定語言結(jié)構(gòu)在文本中的頻率和百分比；然后，基于樣本的均值比較這些語言結(jié)構(gòu)在分別屬于兩個作家的兩個樣本中的分布是否具有差異；最后，還對同一個作家的兩個不同的樣本中比較這些語言結(jié)構(gòu)是否具有差異。一、語料與方法研究選取了3個文本，分別為韓寒早期作品三重門，韓寒近期作品1988：我想和這個世界談談和韓寒父親韓仁均作品兒子韓寒。三重門于2000年由作家出版社出版，總字數(shù)155820，總詞數(shù)116461；1988：我想和這個世界談談第一版于2010年7月6日獨唱團刊發(fā)，總字數(shù)92384，總詞數(shù)70185。兩者均為韓寒所著的長篇小說。而兒子韓寒為韓寒的父親韓仁均所寫，向讀者介紹了韓寒的成長經(jīng)歷，具有

13、傳記性質(zhì)，總字數(shù)52854，總詞數(shù)37654。首先，筆者將這三個文本進行了漢語分詞處理，漢語分詞標注所用的軟件為ljparser。ljparser文本搜索與挖掘開發(fā)平臺包括全文精準搜索、新詞發(fā)現(xiàn)、漢語分詞標注、詞語統(tǒng)計與術語翻譯、自動聚類與熱點發(fā)現(xiàn)、分類過濾、自動摘要、關鍵詞提取、文檔去重、正文提取等十余項功能。對于分詞標注后的三個文本，我們利用antconc軟件進行了語料庫分析（詞頻統(tǒng)計等）。由于韓寒早期作品三重門的作者存在爭議，有人質(zhì)疑三重門為韓寒父親代筆，所以我們試圖通過比較文本中陳述句、疑問句、感嘆句比例，近似平均句長，以及23個常見虛字在文本中的使用情況，來觀察三重門的語體風格和用詞

14、習慣是更接近于韓寒近期作品1988：我想和這個世界談談還是其父作品兒子韓寒。如果三重門的語體風格和用詞習慣是更接近于1988：我想和這個世界談談，而與兒子韓寒有顯著性差異，那么我們就為三重門為韓寒自己所寫提供了證據(jù)。反之，如果三重門與兒子韓寒更為接近，而與1988：我想和這個世界談談存在顯著性差異的話，那么就為三重門由韓父代筆而作的質(zhì)疑提供了證據(jù)。二、數(shù)據(jù)與分析本文主要研究了三個文本以下兩個方面的差異：一是陳述句、疑問句和感嘆句比例及近似平均句長，二是常見虛字（包括句尾虛字，白話虛字和表轉(zhuǎn)折程度比較的虛字）的比例。對于這兩個方面，antconc的數(shù)據(jù)統(tǒng)計結(jié)果如表1所示：表1 三個文本相應變量出

15、現(xiàn)的頻度由于三個文本的總字數(shù)和總詞數(shù)各不相同，為了更好地進行比較，我們將頻度轉(zhuǎn)換為頻率，從目標標點和虛字出現(xiàn)的頻率來進行對比，頻率數(shù)據(jù)如表2所示：表2 三個文本相應變量出現(xiàn)的頻率從表中可以看到三重門1988：我想和這個世界談談與兒子韓寒所用的逗號、句號、嘆號和問號比例分別有所差別，而其中三重門中嘆號出現(xiàn)的比例（0.35%）要顯著高于1988：我想和這個世界談談（0.00%）與兒子韓寒（0.06%）。從平均句長上來看，三重門為26.53，1988：我想和這個世界談談為27.20，而兒子韓寒則為31.94，高于前兩篇。可見韓寒早期作品三重門與近期作品1988：我想和這個世界談談平均句長接近，而其父

16、作品兒子韓寒的平均句長則要長于韓寒。聯(lián)系到逗號的數(shù)據(jù)（三重門6.34%；1988：我想和這個世界談談8.22%；兒子韓寒4.95%），可以發(fā)現(xiàn)，韓仁均作品兒子韓寒不僅整句平均句長更長，其長句中每一個短句的句長也要長于其他兩部作品。而1988：我想和這個世界談談則呈明顯的短句更多更短的特點，其逗號比例顯著高于另外兩部作品。虛字方面的分析，我們選取了23個虛字，分別為5個句尾虛字：呀、嗎、咧、么、呢；9個白話虛字：了、的、著、一、不、把、讓、是、好；9個表轉(zhuǎn)折程度比較的虛字：可、就、但、越、再、便、更、此、很。從表2中可以看到，有四個虛字：“么”“了”“著”“是”在1988：我想和這個世界談談中的

17、出現(xiàn)頻率要明顯高于三重門和兒子韓寒。由于單個字的對比說服力有限，因此我們運用spss進行了三個文本同樣23個虛字的相關性檢驗。相關性檢驗表明，三重門（0.5179%±0.83918%）與1988：我想和這個世界談談（0.6438%±1.05711%）呈顯著相關，p=0；三重門與兒子韓寒（0.5209%±1.01391&）（p=0）和1988：我想和這個世界談談與兒子韓寒（p=0）也分別呈顯著相關。三個研究文本的相關系數(shù)如表3所示。表3 三對文本對的成對樣本相關系數(shù)結(jié)果表明，相關性檢驗并不能為研究提供有意義的證據(jù)。因此，針對這23個虛字，我們利用spss軟件

18、進一步做了配對樣本t檢驗。對于這23個虛字，我們分別以三重門和1988：我想和這個世界談談成對，以及三重門和兒子韓寒成對，進行了兩對成對樣本檢驗。表4為成對樣本檢驗結(jié)果，如下所示。表4 兩對文本對的成對樣本檢驗結(jié)果從表4中可以看到，三重門與1988：我想和這個世界談談存在顯著性差異，0<p（0.046）0.1。這樣的數(shù)據(jù)說明韓寒早期作品三重門與近期作品1988我想和這個世界談談的虛詞使用存在顯著差異，然而其早期作品三重門與其父親作品兒子韓寒的虛字用法卻非常相似。從某種意義上說，我們有理由認為三重門可能由韓仁均代筆而作。如果真是這樣，那么拿1988：我想和這個世界談談與兒子韓寒來比較，結(jié)果

19、會是什么樣的呢？我們做了1988：我想和這個世界談談與兒子韓寒的成對樣本檢驗，結(jié)果如表5所示。表5 1988：我想和這個世界談談與兒子韓寒的成對樣本檢驗結(jié)果1988：我想和這個世界談談與兒子韓寒的成對樣本檢驗結(jié)果顯示，1988：我想和這個世界談談與兒子韓寒的23個虛字用法存在差異邊緣性顯著，0.05<p< p>三、結(jié)論本研究通過對三個52，000字以上的語料樣本進行統(tǒng)計分析，有以下推測：三重門可能是由韓寒之父韓仁均代筆而作，或者三重門是韓寒父子二者合著。然而，我們的研究也存在一些值得推敲的細節(jié)，還需要在將來的研究中加以改進。綜觀整個研究，我們發(fā)現(xiàn)，將基于計量語言學研究成果的語

20、言結(jié)構(gòu)分布特征作為語言風格對比和作家判定，實驗證明是可行可信的，而且特征選擇和對比分析結(jié)果都可以從語言學的角度進行分析和解釋。此外，學者黃偉、劉海濤曾用這種方法成功地進行了文本聚類和分類實驗。這樣的方法具有普適性，值得在更多的語言學研究領域進行嘗試。標注體系和工具對統(tǒng)計結(jié)果的影響，語言風格在字、詞、句等語言結(jié)構(gòu)和語法、語義、語用層面的全面計量描寫等，都是今后值得繼續(xù)和深入研究的課題。參考文獻：1陳芯瑩，李雯雯，王燕.計量特征在語言風格比較及作家判定中的應用以韓寒三重門與郭敬明夢里花落知多少為例j.計算機工程與應用， 2012，48（3）：137-139.2黃偉，劉海濤.漢語語體的計量特征在文本

21、聚類中的應用j.計算機工程與應用，2009，45（29）：25-27.3桂詩春.基于語料庫的英語語言學語體分析m.北京：外語教學與研究出版社，2009. </p</p（0.046）摘 要：以語料庫和統(tǒng)計方法進行語言結(jié)構(gòu)特征計量研究是漢語語言風格描寫研究及作家判定研究的重要方法。本文以語言結(jié)構(gòu)的計量特征表示文本的方法加強了語言風格對比及作者判定研究的可解釋性，具有較高的理論和應用價值。關鍵詞：語言風格；語言結(jié)構(gòu)；計量特征本文基于語料庫和統(tǒng)計方法，獲取現(xiàn)代漢語語言結(jié)構(gòu)的計量特征，而后考察這些語言結(jié)構(gòu)計量特征在作家語言風格描寫、對比研究及作家判定方面的實際應用。具體過程是：首先，分別選取

22、兩個作家的三個語料樣本，對其進行分詞并以文本為單位計算特定語言結(jié)構(gòu)在文本中的頻率和百分比；然后，基于樣本的均值比較這些語言結(jié)構(gòu)在分別屬于兩個作家的兩個樣本中的分布是否具有差異；最后，還對同一個作家的兩個不同的樣本中比較這些語言結(jié)構(gòu)是否具有差異。一、語料與方法研究選取了3個文本，分別為韓寒早期作品三重門，韓寒近期作品1988：我想和這個世界談談和韓寒父親韓仁均作品兒子韓寒。三重門于2000年由作家出版社出版，總字數(shù)155820，總詞數(shù)116461；1988：我想和這個世界談談第一版于2010年7月6日獨唱團刊發(fā)，總字數(shù)92384，總詞數(shù)70185。兩者均為韓寒所著的長篇小說。而兒子韓寒為韓寒的父

23、親韓仁均所寫，向讀者介紹了韓寒的成長經(jīng)歷，具有傳記性質(zhì)，總字數(shù)52854，總詞數(shù)37654。首先，筆者將這三個文本進行了漢語分詞處理，漢語分詞標注所用的軟件為ljparser。ljparser文本搜索與挖掘開發(fā)平臺包括全文精準搜索、新詞發(fā)現(xiàn)、漢語分詞標注、詞語統(tǒng)計與術語翻譯、自動聚類與熱點發(fā)現(xiàn)、分類過濾、自動摘要、關鍵詞提取、文檔去重、正文提取等十余項功能。對于分詞標注后的三個文本，我們利用antconc軟件進行了語料庫分析（詞頻統(tǒng)計等）。由于韓寒早期作品三重門的作者存在爭議，有人質(zhì)疑三重門為韓寒父親代筆，所以我們試圖通過比較文本中陳述句、疑問句、感嘆句比例，近似平均句長，以及23個常見虛字在

24、文本中的使用情況，來觀察三重門的語體風格和用詞習慣是更接近于韓寒近期作品1988：我想和這個世界談談還是其父作品兒子韓寒。如果三重門的語體風格和用詞習慣是更接近于1988：我想和這個世界談談，而與兒子韓寒有顯著性差異，那么我們就為三重門為韓寒自己所寫提供了證據(jù)。反之，如果三重門與兒子韓寒更為接近，而與1988：我想和這個世界談談存在顯著性差異的話，那么就為三重門由韓父代筆而作的質(zhì)疑提供了證據(jù)。二、數(shù)據(jù)與分析本文主要研究了三個文本以下兩個方面的差異：一是陳述句、疑問句和感嘆句比例及近似平均句長，二是常見虛字（包括句尾虛字，白話虛字和表轉(zhuǎn)折程度比較的虛字）的比例。對于這兩個方面，antconc的數(shù)

25、據(jù)統(tǒng)計結(jié)果如表1所示：表1 三個文本相應變量出現(xiàn)的頻度由于三個文本的總字數(shù)和總詞數(shù)各不相同，為了更好地進行比較，我們將頻度轉(zhuǎn)換為頻率，從目標標點和虛字出現(xiàn)的頻率來進行對比，頻率數(shù)據(jù)如表2所示：表2 三個文本相應變量出現(xiàn)的頻率從表中可以看到三重門1988：我想和這個世界談談與兒子韓寒所用的逗號、句號、嘆號和問號比例分別有所差別，而其中三重門中嘆號出現(xiàn)的比例（0.35%）要顯著高于1988：我想和這個世界談談（0.00%）與兒子韓寒（0.06%）。從平均句長上來看，三重門為26.53，1988：我想和這個世界談談為27.20，而兒子韓寒則為31.94，高于前兩篇?？梢婍n寒早期作品三重門與近期作品1

26、988：我想和這個世界談談平均句長接近，而其父作品兒子韓寒的平均句長則要長于韓寒。聯(lián)系到逗號的數(shù)據(jù)（三重門6.34%；1988：我想和這個世界談談8.22%；兒子韓寒4.95%），可以發(fā)現(xiàn)，韓仁均作品兒子韓寒不僅整句平均句長更長，其長句中每一個短句的句長也要長于其他兩部作品。而1988：我想和這個世界談談則呈明顯的短句更多更短的特點，其逗號比例顯著高于另外兩部作品。虛字方面的分析，我們選取了23個虛字，分別為5個句尾虛字：呀、嗎、咧、么、呢；9個白話虛字：了、的、著、一、不、把、讓、是、好；9個表轉(zhuǎn)折程度比較的虛字：可、就、但、越、再、便、更、此、很。從表2中可以看到，有四個虛字：“么”“了”

27、“著”“是”在1988：我想和這個世界談談中的出現(xiàn)頻率要明顯高于三重門和兒子韓寒。由于單個字的對比說服力有限，因此我們運用spss進行了三個文本同樣23個虛字的相關性檢驗。相關性檢驗表明，三重門（0.5179%±0.83918%）與1988：我想和這個世界談談（0.6438%±1.05711%）呈顯著相關，p=0；三重門與兒子韓寒（0.5209%±1.01391&）（p=0）和1988：我想和這個世界談談與兒子韓寒（p=0）也分別呈顯著相關。三個研究文本的相關系數(shù)如表3所示。表3 三對文本對的成對樣本相關系數(shù)結(jié)果表明，相關性檢驗并不能為研究提供有意義的證據(jù)。因此，針對這23個虛字，我們利用spss軟件進一步做了配對樣本t檢驗。對于這23個虛字，我們分別以三重門和1988：我想和這個世界談談成對，以及三重門和兒子韓寒成對，進行了兩對成對樣本檢驗。表4為成對樣本檢驗結(jié)果，如下所示。表4 兩對