![3文檔解析-短語(yǔ)和n元串_第1頁(yè)](http://file4.renrendoc.com/view/5f794d6c2d14fa465d032765526e07b0/5f794d6c2d14fa465d032765526e07b01.gif)
![3文檔解析-短語(yǔ)和n元串_第2頁(yè)](http://file4.renrendoc.com/view/5f794d6c2d14fa465d032765526e07b0/5f794d6c2d14fa465d032765526e07b02.gif)
![3文檔解析-短語(yǔ)和n元串_第3頁(yè)](http://file4.renrendoc.com/view/5f794d6c2d14fa465d032765526e07b0/5f794d6c2d14fa465d032765526e07b03.gif)
![3文檔解析-短語(yǔ)和n元串_第4頁(yè)](http://file4.renrendoc.com/view/5f794d6c2d14fa465d032765526e07b0/5f794d6c2d14fa465d032765526e07b04.gif)
![3文檔解析-短語(yǔ)和n元串_第5頁(yè)](http://file4.renrendoc.com/view/5f794d6c2d14fa465d032765526e07b0/5f794d6c2d14fa465d032765526e07b05.gif)
版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
3文檔解析-短語(yǔ)和n元串?短語(yǔ)-對(duì)信息檢索很重要,很多檢索詞都是短語(yǔ)組成-找到含有這些短語(yǔ)的文檔是有效的排序算法的一部分?含有查詢短語(yǔ)的文檔一定比含有短語(yǔ)中詞匯的文檔更加相關(guān)-如,查詢“blacktea”,包括查詢短語(yǔ)的文檔比包含black和tea的文檔更加相關(guān)?短語(yǔ)的限定,尤其是修飾部分,會(huì)給檢索的準(zhǔn)確性帶來(lái)幫助-如,“tropicalfish”和“fish”-短語(yǔ)影響排序的細(xì)節(jié)?問(wèn)題與搜索引擎包含的特定檢索模型緊密聯(lián)系?是否應(yīng)該在詞素切分和詞干提取的同時(shí)識(shí)別短語(yǔ),進(jìn)而來(lái)對(duì)短語(yǔ)建立索引,加速查詢處理,提高查詢結(jié)果的相關(guān)度
短語(yǔ)和「元串Odflmltextrategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,rategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,^短,語(yǔ)義及識(shí)別項(xiàng)力;-短譜等價(jià)于簡(jiǎn)單的名詞短語(yǔ)stimulated^E^nd,pn?art.volumeorsales.?只包含名詞或名詞前的形容詞的序列V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋&鹽「§原胞浦疽/希孕足Xport/NNpredictlons/NNSfor/lNOocument/NNcompames/NNS . .EMket/NP"周r詞性標(biāo)注器根據(jù)上下文信息對(duì)文本中的每個(gè)詞賦予一個(gè)詞性化r/IN昭「。匚仆”|3勺>標(biāo)1記咔比七心巳爪囚,y「bim=『PVEf」¥【3dNNN"',ii泌EcidWNN阿田Rer,fN",pEig’dW詞性標(biāo)注器基于統(tǒng)計(jì)或者規(guī)則的方法典,使用人工標(biāo)注的大規(guī)心/總/kIl"N&模語(yǔ)料庫(kù)訓(xùn)練般的詞性標(biāo)記包括潮(單數(shù)名詞)、一NNS(復(fù)數(shù)名詞)、VB(動(dòng)詞)、VBD(動(dòng)詞過(guò)去式)、VBN(動(dòng)詞過(guò)去分詞)、IN(介詞)、JJ(形容詞)、CC(連詞)、PRP(代詞)、MD(情態(tài)助詞)等等-標(biāo)注器識(shí)別短語(yǔ)問(wèn)題TREC、專利語(yǔ)料庫(kù)中高頻簡(jiǎn)單名詞短語(yǔ)TREC塔料專利培料頻率短語(yǔ)頻率短塔65824unitedstates975362presentinvention61327articletype191625us.pat33864losangeles147352preferredembodiment18062hongkong95097carbonatoms17788northkorea87903groupconsisting17308newyork81809roomtemperature15513sandiego78458seqid15009orangecounty75850briefdescription12869primeminister66407prioran12799firsttime59828perspectiveview12067sovietunion58724firstembodiment10811russianfederation56715reactionmixture9912unitednations54619detaileddescriptionR127southernCalifornia54117ethylacecatc7640southkorea52195example17620endrecording52003blockdiagram7524Europeanunion46299secondembodiment¥ ~-詞性標(biāo)注可以產(chǎn)生合理的短語(yǔ),對(duì)于大規(guī)模語(yǔ)料庫(kù),
該方法比較慢,效率低?另外一種方法,在索引中存儲(chǔ)詞的位置信息,在查詢時(shí)利用這個(gè)位置信息識(shí)別短語(yǔ),該方法靈活?也可以通過(guò)對(duì)查詢進(jìn)行詞性標(biāo)注識(shí)別短語(yǔ),短語(yǔ)不限于緊鄰的詞語(yǔ),是否在一個(gè)文本窗口內(nèi)出現(xiàn)-N元串?在網(wǎng)頁(yè)搜索時(shí),在查詢階段測(cè)試詞近鄰與否效率較低?在文本階段即可用簡(jiǎn)單方法識(shí)別短語(yǔ),即-任何n個(gè)詞的序列都構(gòu)成一個(gè)短語(yǔ),這就是門元串-兩個(gè)詞就是二元串,三個(gè)詞就是三元串-字符門元串也有很多應(yīng)用-字符門元串的字符相互重疊,基于門元串的索引比詞索引大-一個(gè)門元串出現(xiàn)的越頻繁,它就越有可能對(duì)應(yīng)一個(gè)有意義的短語(yǔ)-所有門元串構(gòu)成一個(gè)齊普夫分布
-所有n元串構(gòu)成一個(gè)齊普夫分布-一些常見短語(yǔ)會(huì)出現(xiàn)很頻繁,大量短語(yǔ)出現(xiàn)一次-一些常見的短語(yǔ)由停用詞構(gòu)成,可以忽略-N元串規(guī)模大,對(duì)磁盤空間有浪費(fèi)-很多網(wǎng)絡(luò)搜索引擎對(duì)n元串建索引,因?yàn)樗峁┝艘环N在排序中快速融合短語(yǔ)特征的方法-英語(yǔ)中最頻繁的三元串“allrightsreserved”-漢語(yǔ)中“有限責(zé)任公司”是最頻繁的三元串第四章文本處理1從詞到詞項(xiàng)2文本統(tǒng)計(jì)3文檔解析4文檔結(jié)構(gòu)和標(biāo)記5鏈接分析6信息抽取7國(guó)際化
文檔結(jié)構(gòu)和標(biāo)記網(wǎng)絡(luò)搜索中,HTML標(biāo)記的結(jié)構(gòu)是排序算法用到的非常重要的特征-
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 教學(xué)設(shè)計(jì)方案作業(yè)
- XX公司天花吊頂施工合作合同
- 個(gè)人貸款合同范文及格式
- 個(gè)人保證擔(dān)保借款合同書正式版
- 臨街門面租賃合同標(biāo)準(zhǔn)版
- 中鐵物資商城物流配送合同新范本
- 個(gè)人住房抵押借款合同模板
- 產(chǎn)品生產(chǎn)裝配標(biāo)準(zhǔn)化合同
- 采購(gòu)預(yù)付款合同范本
- 臨建勞務(wù)合同范本
- 蘇教版六年級(jí)下冊(cè)數(shù)學(xué)第二單元《圓柱與圓錐》單元分析及全部教案+每課作業(yè)設(shè)計(jì)
- 卵巢黃體囊腫破裂教學(xué)查房
- 醫(yī)院定崗定編
- 計(jì)算機(jī)網(wǎng)絡(luò)畢業(yè)論文3000字
- 2023年大學(xué)物理化學(xué)實(shí)驗(yàn)報(bào)告化學(xué)電池溫度系數(shù)的測(cè)定
- 農(nóng)村公共基礎(chǔ)知識(shí)
- 腦出血的護(hù)理課件腦出血護(hù)理查房PPT
- 煤礦機(jī)電運(yùn)輸安全培訓(xùn)課件
- 扣繳個(gè)人所得稅報(bào)告表-(Excel版)
- Unit+4+History+and+Traditions單元整體教學(xué)設(shè)計(jì)課件 高中英語(yǔ)人教版(2019)必修第二冊(cè)單元整體教學(xué)設(shè)計(jì)
- 2023年全國(guó)自學(xué)考試00054管理學(xué)原理試題答案
評(píng)論
0/150
提交評(píng)論