菜名 PHP簡(jiǎn)易中文分詞系統(tǒng)對(duì)閩菜名的分詞實(shí)驗(yàn)與結(jié)果分析

1、PHP簡(jiǎn)易中文分詞系統(tǒng)對(duì)閩菜名的分詞試驗(yàn)與結(jié)果分析摘要：菜名作為專知名詞的一局部，在計(jì)算機(jī)分詞中，常屬于“未登錄詞”局部。本文選取 600 個(gè)閩菜名為調(diào)查材料測(cè)試 PHP 分詞系統(tǒng)在對(duì)材料進(jìn)展切分時(shí)的效率分析該分詞系統(tǒng)在菜名切分時(shí)存在的問(wèn)題及問(wèn)題的主要類別，試圖解釋造成分詞結(jié)果錯(cuò)誤的原 因，提出解決思路。一、閩菜名特點(diǎn)及對(duì)其進(jìn)展正確的識(shí)別、切分的必要性作為中國(guó)八大菜系之一的閩菜以福州菜為代表，另外包括閩南菜、閩西菜等。閩菜所選用的食材種類較為豐富，盛產(chǎn)海鮮的東南沿海地區(qū)擅于使用海鰻、蟶子、魷魚(yú)等海鮮為原料烹制各式菜肴，內(nèi)陸山區(qū)則多用筍、香菇、雞鴨等山珍野味。閩菜的烹調(diào)方式多樣而又不失自身特色擅

2、長(zhǎng)“炒熘煎煨”等，“糟”是閩菜的一大特色在命名活動(dòng)中符號(hào)化的“事物”需要得到社會(huì)的、心理的、文化的認(rèn)同。只有經(jīng)“文化世界的折光”，抽象的所指才能和事物之間建立比較確定的聯(lián)系，符號(hào)才能名稱化，成為真正能夠指代事物的名稱。閩菜名作為標(biāo)記具體菜肴的符號(hào)，或反映菜品的原料，如“蘿卜鯽魚(yú)”“鱘肉豆苗”，或表現(xiàn)該菜的烹調(diào)方式如“熗糟雞絲或運(yùn)用比方借代等修辭手法呈現(xiàn)該菜的特點(diǎn)如“龍須燕丸”，或反映菜式的來(lái)源如“福州魚(yú)丸”，具有較為深厚的文化內(nèi)涵。有關(guān)是否應(yīng)當(dāng)對(duì)菜名切分的問(wèn)題，存在不同的觀點(diǎn)現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工標(biāo)準(zhǔn)詞語(yǔ)切分與詞性標(biāo)注中認(rèn)為，食譜上的菜名等通常也是短語(yǔ)型的，假設(shè)拆開(kāi)了，意思差異甚遠(yuǎn)，則不切分，否則

3、切分。即使不切分，也不看作專知名詞，例如木犀肉/n，芝麻/n 餅/n。本文認(rèn)為，菜名應(yīng)”的范疇：首先，一個(gè)菜名往往與一個(gè)具體的、確定的菜品相互對(duì)應(yīng)；其次，假設(shè)以拆開(kāi)后意義與原意的差異程度作為是否切分的標(biāo)準(zhǔn)在實(shí)際運(yùn)用時(shí)難以落實(shí)。對(duì)于計(jì)算機(jī)分詞系統(tǒng)來(lái)說(shuō)相當(dāng)大一局部菜名屬于未登錄詞即詞典中沒(méi)有收錄的詞而未登錄詞”對(duì)于分詞精度的影響是不容無(wú)視的因此對(duì)菜名進(jìn)展相對(duì)準(zhǔn)確的識(shí)別與切分是必要詞精度的影響超過(guò)了歧義切分。未登錄詞處理在有用型分詞系統(tǒng)中占的份量舉足輕重。通名中包含“煎、炸、炒”等在實(shí)際語(yǔ)用中可作動(dòng)詞的烹飪方式，而自動(dòng)分詞系統(tǒng)在對(duì)菜名進(jìn)展如“肉燒白菜”這個(gè)菜名，假設(shè)分詞系統(tǒng)將“燒”判定為動(dòng)詞，本為名

4、詞性短語(yǔ)的菜名就被切分為“主語(yǔ)+謂語(yǔ)+賓語(yǔ)”的成分。又如福建名菜“佛跳墻”，假設(shè)分詞系統(tǒng)未能識(shí)別這是一個(gè)菜名錯(cuò)誤切分。例如：“他愛(ài)吃西紅柿炒雞蛋?！奔僭O(shè)分詞系統(tǒng)不能正確識(shí)別“西紅柿炒雞蛋”這個(gè)菜名，就可能導(dǎo)致“他|愛(ài)|吃西紅柿|炒雞蛋”這樣錯(cuò)誤的切分結(jié)果。 二、本文調(diào)查語(yǔ)料的來(lái)源及根本狀況 語(yǔ)料來(lái)源 本文共收集了 600 個(gè)閩菜名稱，主要來(lái)自閩菜菜譜及網(wǎng)絡(luò)： 樣 省略/Topic/CaiXi/MinCai/二語(yǔ)料根本狀況本文所收集的菜名包含福建境內(nèi)不同地區(qū)的各式菜肴涵蓋了福州菜閩南菜閩西菜三大局部所使用的食材包括海產(chǎn)品、河鮮、山珍等，烹調(diào)方式則包括蒸、燒、炒、熘、炸等。菜名音節(jié)數(shù)從二到七個(gè)不等

5、，音節(jié)具體狀況。三PHP簡(jiǎn)易中文分詞系統(tǒng)簡(jiǎn)介本菜名試驗(yàn)時(shí)選用了PHP 簡(jiǎn)易中文分詞SCWS第四版在線分詞系統(tǒng)，其鏈接為： :/ 省略/scws/demo/v4.php。相關(guān)資料顯示這是一套基于詞頻詞典的機(jī)械中文分詞引擎，能將一整段的漢字根本正確地切分成詞。它承受自行采集的詞頻詞典，并輔以肯定程度上的專知名稱、人名、地名、數(shù)字年月等規(guī)章集，經(jīng)小范圍測(cè)試或許準(zhǔn)確率在90%95%之間，已能根本滿足一些中小型搜尋引擎、關(guān)鍵字提取等場(chǎng)合運(yùn)用。SCWS 承受純C 代碼開(kāi)發(fā)以Unix-Like OS為主要平臺(tái)環(huán)境供給共享函數(shù)庫(kù)便利植入各種現(xiàn)有軟件系統(tǒng)。此外它支持GBK，UTF-8，BIG5等漢字編碼，切詞效

6、率高。三、PHP簡(jiǎn)易中文分詞系統(tǒng)第四版對(duì)閩菜名的切分狀況“分詞單位”也可稱作“切分單位”，是指信息處理中使用的、具有確定的語(yǔ)義和語(yǔ)法功能的根本單位信息處理用現(xiàn)代漢語(yǔ)分詞標(biāo)準(zhǔn)中指出，分詞單位包括了語(yǔ)言學(xué)中“詞”的全部，如“火車”“學(xué)習(xí)”“更加”；以及滿足某些條件的“詞組”的一局部，如“牛肉”“一個(gè)”“越來(lái)越”。北京大學(xué)計(jì)算語(yǔ)言學(xué)爭(zhēng)辯所的2022 3 月版中指出，切分單位主要“詞”的定義是：具有肯定語(yǔ)音形式的、能獨(dú)立運(yùn)用的、最小的語(yǔ)言單位。只有少數(shù)菜名是直接由語(yǔ)言學(xué)上的“詞”構(gòu)成的，更多的菜名是由兩個(gè)或者以上語(yǔ)言學(xué)上的“詞”組合構(gòu)成的名詞性短語(yǔ)。所謂“名詞性短語(yǔ)”，也叫體詞性短語(yǔ)。性質(zhì)上是名詞性的

7、，功能上跟名詞相當(dāng)， 經(jīng)常充當(dāng)主語(yǔ)、賓語(yǔ)。本文在使用 PHP 簡(jiǎn)易中文分詞系統(tǒng)第四版對(duì) 600 個(gè)中文簡(jiǎn)體的閩菜名進(jìn)展切分試驗(yàn)時(shí)所選擇的編碼類型是GB并在復(fù)合分詞選項(xiàng)下選擇了標(biāo)注詞性”的功能。在推斷分詞效率時(shí)，主要考察兩個(gè)方面：1.一個(gè)菜名被切分后分詞單位的數(shù)量；2.對(duì)于被切分后分詞單位的數(shù)量為兩個(gè)及以上的菜名則考慮系統(tǒng)對(duì)各局部的詞性標(biāo)注是否恰當(dāng)。菜名作為一個(gè)整體，應(yīng)當(dāng)屬于名詞性成分，表示烹飪方式的那局部動(dòng)詞進(jìn)入菜名作為其構(gòu)成局部時(shí)，詞性應(yīng)當(dāng)與原本的動(dòng)詞有所差異。一不同音節(jié)閩菜名的切分狀況1.雙音節(jié)閩菜名的切分狀況本文的分詞試驗(yàn)材料中共有雙音節(jié)閩菜名 6 個(gè)，被分詞系統(tǒng)判定為一個(gè)分詞單位的有三

8、個(gè)，占總數(shù)的 50%，其中，詞性被判定為名詞的只有 2 個(gè)，分別是肉松和素雞，“姜雞”被識(shí)別為一個(gè)分詞單位，但詞性被標(biāo)注為人名n，其緣由可能姜除了表示一種食物以外，還可以作為姓氏使用。其余雙音節(jié)菜局部，并在詞性標(biāo)注上存在問(wèn)題“糟鴨”中的“糟”被判定為形容詞，然而，“糟”字的詞性一般狀況下是形容詞，意義與“好”相對(duì)，但在閩菜中，“糟”是一種特別的烹飪方式。2.三音節(jié)閩菜名的切分狀況在對(duì) 104 個(gè)三音節(jié)閩菜名進(jìn)展切分時(shí)，分詞單位個(gè)數(shù)為 1 且詞性標(biāo)注正確的閩菜名僅有“鍋邊糊”。另有“金鯉蝦”“白片羊”等 4 個(gè)閩菜名被判定為一個(gè)分詞單位，但詞性被標(biāo)注為人名?！疤?n 什錦/n”“荔枝/n 肉/n

9、”“砂鍋/n 雞”38釀/v青椒醉/v排骨酒/n蒸/v雞42 個(gè)菜名中包含的烹飪方式被標(biāo)記為動(dòng)詞； “扁肉燕”“紅糟雞”10 個(gè)菜名因包含“扁”“糟”等可作為形容詞使用的成分，分詞系統(tǒng)未能對(duì)其進(jìn)展正確識(shí)別。除此之外，未能被正確識(shí)別的閩菜名還有“佛跳墻”“五柳居”等來(lái)源于相關(guān)故事典故的菜名。 3.四音節(jié)閩菜名的切分狀況 285 47.5%，是不同音節(jié)分詞單位的只有“游龍戲鳳”“梅開(kāi)二度”等 4 個(gè)借用成語(yǔ)的菜名。包括“白糖/n 鍋巴/n”“太極/nz 明蝦/n”“湯醬/nr 草頭/n”“包心菜/n 卷/q”“甜/a 山藥/n 桃/n”“蔥/n 燒鴨/n 塊/q”在內(nèi)的 181個(gè)四音節(jié)閩菜名被切分

10、成幾個(gè)名詞性的分詞單位?！凹t燜/v 豬蹄/n”“生/v 蒸/v 龍蝦/n”“炸/v核桃/n 魚(yú)/n”24 個(gè)四音節(jié)閩菜名被切分為動(dòng)賓構(gòu)造的動(dòng)詞性短語(yǔ)。“蔥/n 烤/v 草魚(yú)/n”“香神仙/n 整/v雞/n”等32個(gè)四音節(jié)閩菜名被切分為“名詞+動(dòng)詞+名詞”的構(gòu)造。另有“酥/a 豬肝/n 排/v”“雞/n 茸/ 蠣/ 糊/v”等菜名在切分之后為“名詞+動(dòng)詞”構(gòu)造。4.五音節(jié)閩菜名切分狀況中共有187 個(gè)五音節(jié)閩菜名，占總數(shù)的31.2%，其數(shù)量于四音節(jié)閩菜名?！鞍壮?nr 龍蝦/n 片/q”“偏口魚(yú)/n 燉肉/n”“八寶/n 書包/n 魚(yú)/n”等 113 個(gè)五音節(jié)閩菜名被切分為幾個(gè)名詞性的分詞單位“

11、肉片/n燒/v茄子/n”“三/m 絲/n拌/v 糟/a 魚(yú)/n”等37 個(gè)五音節(jié)閩菜名被切分為“名詞+動(dòng)詞+名詞”的形式“和合 /n 鯧魚(yú)/n”21 個(gè)五音節(jié)閩菜名切分后表現(xiàn)為動(dòng)賓短語(yǔ)?！敖瘘S/z /n 糊/v”4 個(gè)五音節(jié)閩菜名被切分為“名詞+動(dòng)詞”“肉片/n 燜/扁豆/n”“雞湯/n 汆/海/n 蚌/n”“大棗/n 煨/兔肉/n”12 個(gè)五音節(jié)閩菜名含有“燜”“汆”“煨”等系統(tǒng)不能正確識(shí)別的字詞。 5.六音節(jié)閩菜名的切分狀況 材料中的15 個(gè)六音節(jié)閩菜名稱都被切分成為假設(shè)干局部，主要類型知名詞性成分的組合，如“什錦/n蜂窩/n豆腐/n”；述賓構(gòu)造，如“紅燜/v通心/nz河鰻/n”；主謂構(gòu)造

12、，如“陵/ng島/n生/v蒸/v龍蝦/n”等。此外，”松脆”“酥”等對(duì)口感的描述性成分也被單獨(dú)切分成一個(gè)單位。七音節(jié)閩菜名的切分狀況 由于音節(jié)數(shù)過(guò)多不便利使用和記憶，不利于人們快捷地提3 個(gè)七音節(jié)閩菜名，分詞結(jié)果分別為：“雙/m冬/nr肉絲/n豆腐/n湯/n”“江東/nr鱸魚(yú)/n燉/姜絲/n”“蓮蓬/n菠菜/n 豆腐/n湯/n”。二閩菜名切分結(jié)果的主要類型通過(guò)對(duì)不同音節(jié)數(shù)閩菜名切分后結(jié)果的綜合分析，可以歸納出以下 6 種主要類型：1.假設(shè)干個(gè)名詞的組合這類菜名主要構(gòu)成局部是做菜的原材料，例如“酸梅/n 藕/n”“白糖/n 鍋巴/n”“豆腐/n 魚(yú)尾/n 湯/n”“什錦/n 蜂窩/n 豆腐/n”

13、“蓬萊/n 菠菜/n 豆腐/n 湯/n”等。2.“動(dòng)詞+名詞”式這類菜名主要構(gòu)造為“烹飪方式+原料”，例如“熏/v河鰻/n”“燒/v白鴿/n罐/q”“炒/v菠蘿/n鴨/n 片/q”“紅燜/v通心/nz 河鰻/n”等。3.“名詞+動(dòng)詞+名詞”式這種形式的菜名構(gòu)造一般配料烹飪方式+主料例如酒/n蒸/v雞枇杷/n拌/v雞海米/n拌/v萵筍”等。 4.“名詞+動(dòng)詞”式被切分為這種形式的菜名，一般是由于以“凍”“煎”“排”“松”“扣”“糊” 例如“土/n 筍/n 凍/v”“蠔/子/k 煎/v”“香油/n 蝦n/排/v”“五彩/n蝦/n松/v”“五彩/n 珍寶/ns 扣/v”“百合/n花生/n糊/v”等。

14、 5.直接借用成語(yǔ)或其他固定短語(yǔ)作為菜名 如“梅開(kāi)二度/l”“吉利如意/l”“百花爭(zhēng)艷/i”等。 6.來(lái)源于典故、故事的菜名 系統(tǒng)往往未能正確識(shí)別這些菜名背后的典故，僅憑字面上的語(yǔ)法關(guān)系對(duì)其進(jìn)行切分，造成了錯(cuò)誤，例如“佛/n 跳/v 墻/n”“五/m 柳居/nr”等。材料中不同音節(jié)數(shù)閩菜名在以上六種主要類型中的分布狀況。依據(jù)上圖可知，僅有極少數(shù)的閩菜名能夠被分詞系統(tǒng)識(shí)別為一個(gè)分詞單位不考慮詞性標(biāo)注正確性。被切分為名詞與名詞相互組合構(gòu)造的菜名數(shù)量最多，動(dòng)賓構(gòu)造的次之，另外， “名詞+動(dòng)詞+名詞”的形式也較為普遍。四、分詞結(jié)果可能帶來(lái)的問(wèn)題一即便是由名詞組成的菜名，其整體意義并不等于各局部名詞意義

15、的簡(jiǎn)潔相加，因此對(duì)這類菜名進(jìn)展切分時(shí)不合理的。依據(jù)試驗(yàn)結(jié)果，結(jié)合具體材料，可覺(jué)察在被切分為名詞的組合的那局部菜名里，存在一局部菜名切分后的意面線/n”，但由于該詞組存在交集型歧義，分詞系統(tǒng)將其處理為“炒面”“線”這兩個(gè)名詞的組合，不符合該詞組原來(lái)的意義。另一個(gè)例子“福州/ns肉/n燕/nr”中，“肉燕”本是福州地區(qū)一種類似餛飩的小吃名稱，被切分開(kāi)后意義發(fā)生了極大的轉(zhuǎn)變。材料中的其他很多閩菜名，“蝦仁/n芙蓉/n蛋/n”“雪/n 中魚(yú)/nz”等，在被切分后意義都發(fā)生了不同程度的轉(zhuǎn)變。 二對(duì)于被切分為“動(dòng)或是“名詞+動(dòng)詞+名詞”的菜名在進(jìn)入句子后，分詞系統(tǒng)對(duì)它們的判定仍舊是動(dòng)賓構(gòu)造，可能導(dǎo)致這個(gè)句

16、子其他局部的分詞錯(cuò)誤。在機(jī)器翻譯過(guò)程中，這樣的分詞結(jié)果可能“扒/v燒/v全/a雞/n”這個(gè)菜名進(jìn)入句子后的分詞結(jié)果為“扒/v 燒/v 全/a 雞/n 是/v 道菜/n。/un”這個(gè)菜名在入句前后的標(biāo)記結(jié)果未見(jiàn)差異，而實(shí)際上，這個(gè)菜名在進(jìn)入句子后，應(yīng)視作一個(gè)名詞性成分。又如“粉絲/n 燴/v 雞/n”這個(gè)菜名進(jìn)入句子后的分詞結(jié)果為“他/r 寵愛(ài)/v 粉絲/n 燴/v 雞/n”，切分結(jié)果并不能很好地表達(dá)句子層次及語(yǔ)義內(nèi)容，給機(jī)器翻譯帶來(lái)困難。 三“五彩/n蝦/n松/v”“五彩/n珍寶/ns扣/v”等被切分為“名詞+動(dòng)詞”切分這類菜名時(shí)，分詞系統(tǒng)存在明顯的缺陷，對(duì)單個(gè)菜名的切分已經(jīng)產(chǎn)生嚴(yán)峻失誤。四分

17、詞結(jié)果為一個(gè)分詞單位的那局部菜名中也存在問(wèn)題。“梅開(kāi)二度”“吉利如意”等以固定詞組為菜名，這些詞組作為菜名使用時(shí)的意義與其原本的意義并不一樣。假設(shè)不能區(qū)分它們?cè)诰渲邢麥鐣r(shí)是使用原義還是菜名，就會(huì)給整體句意的理解帶來(lái)影響。包含了可兼為食材名和姓氏的成分的菜名，例如“姜”“湯”“黃”等往往被判定為人名，如“姜雞/nr”“湯醬/nr 草頭/n”“荷包/n 黃翅魚(yú)/nr”等。這樣的分詞結(jié)果明顯不符合菜名的本義。遇到一些較為生僻的烹飪方法用字或是食材用字時(shí)，分詞系統(tǒng)也產(chǎn)生切分失誤。例如“雞湯/n 汆/海/n 蚌/n”“大蔥/n 燜/羊肉/n”“/豆腐/n 蠣/”等。五、分詞系統(tǒng)可能進(jìn)展的一些改進(jìn)依據(jù)PH

18、P 簡(jiǎn)易中文分詞系統(tǒng)對(duì)600 個(gè)閩菜名的分詞結(jié)果，本文認(rèn)為該系統(tǒng)可能通過(guò)一些改進(jìn)，提高對(duì)菜名的識(shí)別和切分力量，以提高分詞效率。汶主編計(jì)算語(yǔ)言學(xué)概論一書中指出解決未登錄詞識(shí)別問(wèn)題的策略主要有三種：一是盡可能多地收入詞匯，以降低遇到未登錄詞的時(shí)機(jī)；二是通過(guò)構(gòu)詞規(guī)章和上下文特征規(guī)章來(lái)識(shí)別；三是通過(guò)統(tǒng)計(jì)的方法來(lái)猜測(cè)經(jīng)過(guò)一般的分詞過(guò)程后剩下的“連續(xù)單字詞碎片” 是人名、地名等的可能性，從而識(shí)別出未登錄詞。有關(guān)未登錄詞的識(shí)別問(wèn)題，目前些工作涉及到中國(guó)人名的識(shí)別外國(guó)譯名的識(shí)別中國(guó)地名的識(shí)別及機(jī)構(gòu)名的識(shí)別，提出了基于模式匹配的中文專知名詞識(shí)別、基于統(tǒng)計(jì)的中文專知名詞識(shí)別等不同方式。菜名的識(shí)別，可以借鑒這些專知

19、名詞識(shí)別爭(zhēng)辯工作上已經(jīng)取得的成果。另有一些識(shí)別未登錄詞的解決方案可供參考。陳小荷2022指出，在識(shí)別未登錄詞時(shí)，現(xiàn)有兩種解決方案：個(gè)別解決方案和一攬子解決方案。其中，個(gè)別解決方案主要針對(duì)專名未登錄詞，有建立專名資料庫(kù)、利用上下文啟發(fā)信息等方法。一攬子解決方案則包括有窮多層列舉法、語(yǔ)料庫(kù)統(tǒng)計(jì)、局部統(tǒng)計(jì)、結(jié)合詞性標(biāo)注等方法。除此之外，他還提出了自己的一攬子解決方案：先用最或許率法進(jìn)展第一趟分詞，識(shí)別已登錄的多字詞；再運(yùn)用概率計(jì)算的方法在“分詞碎片”中查找未登錄詞。參考在未登錄詞識(shí)別爭(zhēng)辯上已有的成果本文認(rèn)為分詞系統(tǒng)在識(shí)別菜名時(shí)可實(shí)行不同方式以相互補(bǔ)充協(xié)作以下是可承受的方法：1.適當(dāng)擴(kuò)大詞表利用語(yǔ)料庫(kù)人工篩選相結(jié)合的方法選取一局部相對(duì)穩(wěn)定常用的菜名將其收入到詞表中。2.分析菜名構(gòu)詞規(guī)章上的特點(diǎn)，歸納總結(jié)菜名構(gòu)詞規(guī)律，提高分詞系統(tǒng)對(duì)菜名的識(shí)別力量。3.利用語(yǔ)料庫(kù)，考察與菜名相匹配的前后成分的狀況，分析其上下文特征，為識(shí)別菜名供給幫助。4.對(duì)于未收錄到詞表中的，依據(jù)其自身