信息檢索課件-精簡版-自動文摘.ppt

文摘的定義,中華人民共和國國家標準文摘編寫規(guī)則(GB 6447 - 86) “以提供文獻內(nèi)容梗概為目的,不加評論和補充解釋、簡明、確切地記述文獻重要內(nèi)容的短文。” 美國國家標準學會(ANSI)文摘編寫標準 “某一文獻內(nèi)容的簡要而準確的表達,不加解釋和評論,也不區(qū)分這篇文獻是由誰寫的。” 國際標準文獻工作出版物的文摘和文獻工作( ISO 214 - 1976 ( E) ) “一份文獻內(nèi)容的縮短的精確的表達而無須補充解釋或評論,且對寫文摘的人來說沒有差別。”,文摘的特點,簡潔性 文摘比所摘的文獻短 長度為原文獻的5 %10 %的文摘就能基本上反映文獻的主要內(nèi)容; 當文摘的長度達到原文獻的10 %25 %時,很多文章的寫作風格就可以在文摘中體現(xiàn)出來了。 準確性 無論長短,文摘必須準確無誤地報道原文獻的基本內(nèi)容 不能主觀改變原文觀點 科技文獻的文摘應確保正確引用原文中的各項數(shù)據(jù)。 清晰性 必須使用一種易讀的文體把文獻內(nèi)容清晰地表示出來 最好用完整的句子編寫文摘 盡可能使用著者自己使用的詞語。,文摘的功能,促進新資料的快速通報 節(jié)省閱讀時間 有助于克服語言障礙 有利于文獻檢索 ,1:按文摘面向的用戶劃分,通用文摘 偏重文摘 通用文摘和偏重文摘的區(qū)別在于是否考慮了用戶的興趣。 通用型文摘就是面向所有用戶的、文摘內(nèi)容不帶有任何側重的、全面反映原文內(nèi)容的文摘。 對于一篇長的文章,如果用戶只關心某一方面(例如工業(yè)) ,這就涉及到了偏重問題。,1:按文摘面向的用戶劃分,偏重文摘也稱為用戶聚焦文摘、主題聚焦文摘或查詢聚焦文摘。 根據(jù)需要或者用戶的興趣提供相應的有側重點的文摘。 偏重文摘的結果 不僅僅決定于原文的主題 也決定于用戶的個性化要求 它能夠把焦點放在用戶關心的部分 而不是把原文的每個部分平等對待,2:按文摘處理的文本對象劃分,單文檔文摘 多文檔文摘 單文檔文摘處理的文本對象是單篇文摘 它對每篇文章獨立的生成文摘。 處理文檔集合時會有什么問題？,2:按文摘處理的文本對象劃分,處理文檔集合時會有什么問題？ 內(nèi)容重復 多文檔文摘就是從一個文檔集中去除冗余 考慮文檔相互的關聯(lián)性及各自的差異 產(chǎn)生一個濃縮的信息集。,2:按文摘處理的文本對象劃分,多文檔文摘實際上是對單文檔文摘的一個擴展 它與單文檔相比較需要一些新的技術和方法來處理 它主要考慮以下幾個方面的問題 需要一個高效地去除冗余的方法。 系列文檔可能包含時間及空間的變化。 文摘結果壓縮比很大,通常1 %10 % ,而單文檔可以在30 %左右。 發(fā)生在不同文檔中的事件及實體,它們的關聯(lián)、融合處理是一個難題。,基于統(tǒng)計的自動文摘,基于統(tǒng)計的自動文摘 將文本視為句子的線性序列 將句子視為詞的線性序列 它通常分4 步進行: 計算詞的權值 計算句子的權值 對原文中的所有句子按權值高低降序排列，權值最高的若干句子被確定為文摘句 將所有文摘句按照它們在原文中的出現(xiàn)順序輸出,權重計算依據(jù),詞頻 標題 位置 句法結構 特殊詞 ,基于統(tǒng)計的自動文摘的優(yōu)點,基于統(tǒng)計的自動文摘所依據(jù)的是文本形式上的規(guī)律 總的來說，任何一篇文章都不同程度地符合這些規(guī)律 因此基于統(tǒng)計的自動文摘能夠適用于非受限領域 這是它突出的優(yōu)點,基于統(tǒng)計的自動文摘的不足,然而，一篇文章常常 在某些形式特征上符合常規(guī) 而在另一些形式特征上違反常規(guī) 摘錄的結果能否抓住原文的中心內(nèi)容要看文章在多大程度上符合常規(guī) 因此，基于統(tǒng)計的自動文摘的質(zhì)量很不穩(wěn)定。,基于統(tǒng)計的自動文摘的不足,當加權函數(shù)調(diào)整時又總是顧此失彼 對這一類文章的效果好了 對另一類文章的效果又差了,基于統(tǒng)計的自動文摘的不足,不全面 對于多主題的文獻 不簡潔 重復文章的中心內(nèi)容 不連貫 省略、指代、邏輯次序,基本步驟,語法分析 借助詞典中的語言學知識對原文中的句子進行語法分析，獲得語法結構 語義分析 運用知識庫中的語義知識將語法結構描述轉(zhuǎn)換成以邏輯和意義為基礎的語義表示。 語用分析和信息提取 根據(jù)知識庫中預先存放的領域知識在上下文中進行推理，并將提取出來的關鍵內(nèi)容存入一張信息表。 文本生成 將信息表中的內(nèi)容轉(zhuǎn)換為一段完整連貫的文字輸出。,語法語義分析技術不成熟,面向大規(guī)模真實語料的語法語義分析技術尚未完全成熟 因此如果想獲得高質(zhì)量的語言分析結果，就必須將待處理的語料限制在某個范圍之內(nèi)。,知識表示難以移植,理解文摘方法的基礎是框架等知識表示 框架需要根據(jù)領域知識預先擬定 因此如果想把適用于某個領域的理解文摘系統(tǒng)推廣到另一領域，則需重新擬定