單元4-句法分析4

4.3實(shí)戰(zhàn)案例——依存句法分析4.3.1案例目標(biāo)4.3.1案例目標(biāo)掌握使用Python實(shí)現(xiàn)依存句法分析的方法。了解依存句法分析的可視化方法。4.34.3.2案例分析4.3.2案例分析LTP提供了依存句法分析模型，但不能實(shí)現(xiàn)可視化。因此這一小節(jié)使用了兩個第三方工具HanLP和DependencyViewer來實(shí)現(xiàn)依存句法分析的可視化。4.34.3.2案例分析HanLP是Hankcs主持并開源的由一系列模型和算法組成的工具包，具有功能完善、性能高效、架構(gòu)清晰、語料時新、可自定義等特點(diǎn)，提供詞法分析、句法分析、文本分析和情感分析等功能，已被廣泛的應(yīng)用在工業(yè)、科研、教育等領(lǐng)域中。4.34.3.2案例分析DependencyViwer是南京大學(xué)自然語言處理研究組的制作的一個依存句法可視化工具，一個用于可視化顯示、編輯、統(tǒng)計CONLL格式依存樹的工具，有助于直觀展示依存結(jié)構(gòu)，輔助用戶編輯和查找錯誤。4.34.3.3案例實(shí)施4.3.3案例實(shí)施LTP提供了依存句法分析模型。使用LTP實(shí)現(xiàn)依存句法分析時，需要在詞性標(biāo)注的基礎(chǔ)上進(jìn)行。因此首先需要進(jìn)行分詞和詞性標(biāo)注。（一）基于LTP的依存句法分析importos#加載模型文件LTP_DATA_DIR='ltp_data_v3.4.0'#ltp模型目錄的路徑pos_model_path=os.path.join(LTP_DATA_DIR,'pos.model')cws_model_path=os.path.join(LTP_DATA_DIR,'cws.model')par_model_path=os.path.join(LTP_DATA_DIR,'parser.model')

sent="9月9日上午納達(dá)爾在亞瑟·阿什球場擊敗俄羅斯球員梅德韋杰夫"4.34.3.3案例實(shí)施LTP提供了依存句法分析模型。使用LTP實(shí)現(xiàn)依存句法分析時，需要在詞性標(biāo)注的基礎(chǔ)上進(jìn)行。因此首先需要進(jìn)行分詞和詞性標(biāo)注。（一）基于LTP的依存句法分析#分詞frompyltpimportSegmentorsegmentor=Segmentor()#初始化實(shí)例segmentor.load_with_lexicon(cws_model_path,'dict1.txt')#加載模型words=list(segmentor.segment(sent))#分詞segmentor.release()#釋放模型print("分詞：",words)4.34.3.3案例實(shí)施LTP提供了依存句法分析模型。使用LTP實(shí)現(xiàn)依存句法分析時，需要在詞性標(biāo)注的基礎(chǔ)上進(jìn)行。因此首先需要進(jìn)行分詞和詞性標(biāo)注。（一）基于LTP的依存句法分析#詞性標(biāo)注frompyltpimportPostaggerpostagger=Postagger()#初始化實(shí)例postagger.load(pos_model_path)#加載模型postags=postagger.postag(words)#詞性標(biāo)注tags=list(''.join(postags))postagger.release()#釋放模型print("詞性標(biāo)注：",tags)運(yùn)行上述程序，輸出結(jié)果如下：分詞：

['9月','9日','上午','納達(dá)爾','在','亞瑟·阿什','球場','擊敗','俄羅斯','球員','梅德韋杰夫']詞性標(biāo)注：

['n','t','n','t','n','t','n','h','p','n','s','n','v','n','s','n','n','h']4.34.3.3案例實(shí)施在詞性標(biāo)注的基礎(chǔ)上，進(jìn)行依存句法分析。（一）基于LTP的依存句法分析#依存句法分析frompyltpimportParserparser=Parser()#初始化實(shí)例parser.load(par_model_path)#加載模型arcs=parser.parse(words,postags)#句法分析print('依存句法分析1:','\t'.join("%d:%s"%(arc.head,arc.relation)forarcinarcs))運(yùn)行上述程序，輸出結(jié)果如下：依存句法分析1:2:ATT

3:ATT

8:ADV

8:SBV

8:ADV

7:ATT

5:POB

0:HED

10:ATT

11:ATT

8:VOB4.34.3.3案例實(shí)施為更加清楚的顯示依存關(guān)系，提取每個詞的父節(jié)點(diǎn)，及他們之間的依存關(guān)系。（一）基于LTP的依存句法分析print("依存句法分析2:")rely_id=[arc.headforarcinarcs]#提取依存父節(jié)點(diǎn)idrelation=[arc.relationforarcinarcs]#提取依存關(guān)系#匹配依存父節(jié)點(diǎn)詞語

heads=['Root'ifid==0elsewords[id-1]foridinrely_id]foriinrange(len(words)):print(relation[i]+'('+words[i]+','+heads[i]+')')運(yùn)行上述程序，輸出結(jié)果如下：依存句法分析2:ATT(9月,9日)ATT