淺談實體空間關(guān)系抽取方法的改進(jìn)

1、    淺談實體空間關(guān)系抽取方法的改進(jìn)    姜宜伯摘要：三維場景的語音交互系統(tǒng)在語音交互的流程中，通過語音識別技術(shù)識別出的文本數(shù)據(jù)存在一詞多義、表述抽象、實體名稱缺乏統(tǒng)一標(biāo)準(zhǔn)等問題，這些問題給空間實體識別任務(wù)造成了困難，同時也給空間實體識別算法在模型訓(xùn)練時引入了噪音，從而降低了模型的準(zhǔn)確率。本文就空間實體關(guān)系抽取作出了一系列的改進(jìn)，以望為之后的研究者提供一定的參考和借鑒關(guān)鍵詞：空間實體識別;長短期記憶網(wǎng)絡(luò);特征表示：tp391.1：a：1672-9129（2020）13-0099-01空間實體識別是面向三維場景的語音交互系統(tǒng)中自然語言理解模塊的一項基礎(chǔ)

2、任務(wù)，是信息抽取流程的第一步?？臻g實體識別指的是從待處理的不規(guī)則文本中識別出文本中描述空間方位的空間實體。與傳統(tǒng)的命名實體不同，空間實體特指具有一定位置信息且參與到空間關(guān)系中、同時不屬于典型的地點或路徑范疇的實體。1改進(jìn)后的空間實體識別模型框架空間實體識別與命名實體識別相同，都是從不規(guī)則的文本中識別出符合任務(wù)需要的目標(biāo)實體。從文本中識別空間實體的過程，本質(zhì)上可以看作對不規(guī)則文本的序列標(biāo)注過程，因此，本文類比命名實體識別問題，將空間實體識別問題作為序列標(biāo)注問題進(jìn)行建模。本文主要使用bilstm-crf混合模型處理從不規(guī)則的文本中識別出描述空間關(guān)系的空間實體的任務(wù)。改進(jìn)后的混合模型主要由詞嵌入層、

3、特征表示層和標(biāo)簽推理層三部分組成。其中詞嵌入層主要負(fù)責(zé)對文本中的單詞進(jìn)行處理，通過分布式表示的方式，將單詞轉(zhuǎn)換成向量;特征表示層主要負(fù)責(zé)對詞嵌入層處理后的數(shù)據(jù)進(jìn)行處理，通過雙向長短期記憶網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)獲取數(shù)據(jù)之間的特征信息;標(biāo)簽推理層主要負(fù)責(zé)對特征表示層提取的特征信息進(jìn)行處理，通過條件隨機(jī)場計算出概率最大的標(biāo)注序列。改進(jìn)后的混合模型處理數(shù)據(jù)的過程與編碼器解碼器模型處理數(shù)據(jù)的過程類似。其對代表單詞信息和位置信息的詞向量進(jìn)行編碼，同時使用全連接神經(jīng)網(wǎng)絡(luò)，對代表單詞的詞性信息和位置信息的詞向量進(jìn)行編碼，再由一個線性層組合兩個模型的編碼結(jié)果，最后通過條件隨機(jī)場模型，從標(biāo)注序列的隨機(jī)分布中推理出最

4、佳的標(biāo)簽序列。2詞嵌入層由于傳統(tǒng)序列標(biāo)注任務(wù)中的算法模型無法直接從不規(guī)則的文本信息中學(xué)習(xí)特征，所以需要將不規(guī)則的文本轉(zhuǎn)化為算法模型可以直接處理的形式，然后進(jìn)行后續(xù)的計算。在傳統(tǒng)的文本到向量的轉(zhuǎn)化過程中，主要是通過人工的方式根據(jù)任務(wù)要求和數(shù)據(jù)結(jié)構(gòu)，設(shè)計對應(yīng)的特征，然后機(jī)器學(xué)習(xí)模型根據(jù)這些特征生成對應(yīng)的向量。人工設(shè)計特征的方法耗時費力，并且容易過擬合。后來，人們使用深度學(xué)習(xí)的方法，從文本中自動的提取數(shù)據(jù)的特征，將特征映射到向量的轉(zhuǎn)化，這一方法部分替代了傳統(tǒng)序列標(biāo)注任務(wù)中人工設(shè)計特征的方法。在信息抽取流程中，詞語被認(rèn)為是具有表達(dá)句子語義信息能力的基本元素，bilstm-crf混合模型中的詞嵌入層，主

5、要使用深度學(xué)習(xí)的方法，將文本中的單詞轉(zhuǎn)換為表示單詞語義信息的詞向量。使用獨熱表示法表示出的詞向量有三個明顯的缺陷，一是詞向量的維度過高，隨著數(shù)據(jù)的增加，詞典維度會變得非常高，通過獨熱表示法表示的詞向量也隨之變得非常大。二是詞向量的信息密度低，在使用獨熱表示法表示出的詞向量中，只有一個維度是有信息的。三是詞向量之間相互獨立，使用獨熱表示法表示的詞向量之間沒有語義關(guān)聯(lián)性。3特征表示層在計算輸入序列的語義特征的階段，單層的長短期記憶網(wǎng)絡(luò)只能沿序列正向利用當(dāng)前時刻之前的序列信息，無法利用當(dāng)前時刻之后的序列信息。通過分布式表示方法訓(xùn)練的詞向量作為長短期記憶網(wǎng)絡(luò)的輸入，不能表示句子的全局信息。單層的長短期

6、記憶網(wǎng)絡(luò)在訓(xùn)練的過程中，隨著序列的增長，序列后面的信息對模型當(dāng)前時刻狀態(tài)的影響越來越大，由于單層長短期記憶網(wǎng)絡(luò)不能獲取當(dāng)前時刻之后的后續(xù)序列信息，使得單層長短期記憶網(wǎng)絡(luò)的輸出在準(zhǔn)確率上，是隨著序列的增長而逐漸降低的。bilstm中包含前向和后向兩個長短期記憶網(wǎng)絡(luò)層，其中的前向長短期記憶網(wǎng)絡(luò)可以獲取當(dāng)前時刻之前的序列信息;后向長短期記憶網(wǎng)絡(luò)可以獲取當(dāng)前時刻之后的序列信息。雙向長短期記憶網(wǎng)絡(luò)通過拼接前向和后向兩個長短期記憶網(wǎng)絡(luò)，可以利用序列的全局信息對當(dāng)前時刻的序列狀態(tài)進(jìn)行計算，這種雙向長短期記憶網(wǎng)絡(luò)的結(jié)構(gòu)提高了序列信息的利用率，同時使計算結(jié)果可以較為全面地表示文本中單詞的語義特征信息。4標(biāo)簽推理

7、層本文使用處理序列標(biāo)注問題的方式，從文本中識別出空間實體。對文本序列中的元素進(jìn)行標(biāo)注時，常用的標(biāo)注規(guī)則有bio規(guī)則和bioes規(guī)則兩種，本文按照bioes規(guī)則對文本中的元素進(jìn)行標(biāo)注。在bioes標(biāo)注規(guī)則中，規(guī)定：b表示當(dāng)前的字符或單詞是空間實體標(biāo)簽的開始;i表示當(dāng)前的字符或單詞是空間實體標(biāo)簽的中間部分;e表示當(dāng)前的字符或單詞是空間實體標(biāo)簽的結(jié)尾;o表示當(dāng)前的字符或單詞不屬于空間實體;s表示當(dāng)前的單個字符或單詞是空間實體。5總結(jié)在自然語言理解模塊的信息抽取流程中命名實體識別，是其中一項重要的基礎(chǔ)任務(wù)。本文根據(jù)三維場景語音交互系統(tǒng)中交互數(shù)據(jù)的特點，針對傳統(tǒng)命名實體識別方法在處理空間實體識別任務(wù)時的準(zhǔn)確率低的問題，對傳統(tǒng)的命名實體識別方法做了改進(jìn)。當(dāng)然本文的研究還存在許多不足，命名實體識技術(shù)仍需要研究者們進(jìn)行進(jìn)一步的研究與改進(jìn)。參考文獻(xiàn)：1基于遷移學(xué)習(xí)和bilstm-crf的中文命名實體識別j. 武惠，呂立，于碧輝.小型微型計算機(jī)系統(tǒng). 2019（06）2基于svm-bilstm-crf模型的財產(chǎn)糾紛命名實體識別方法j. 周曉磊，趙薛蛟，劉堂亮，宗子瀟，王其樂，里劍橋.計算機(jī)系統(tǒng)應(yīng)用. 2019（01）3基于cnn-blstm-crf模型的生物醫(yī)學(xué)命名實體識別j. 李麗雙，郭元凱.中文信息學(xué)報. 2018（01）數(shù)碼設(shè)計202