半構(gòu)造化文書対木構(gòu)造文字列

1、半構(gòu)造化文書対木構(gòu)造文字列組合自動(dòng)生成法山田泰寛* 池田大輔* 廣川佐千男*九州大學(xué)大學(xué)院情報(bào)科學(xué)府*九州大學(xué)情報(bào)基盤発表手順w 抽出：w PLRw PLR自動(dòng)生成法w 実験w 今後課題背景異間情報(bào)比較巡情報(bào)記録記憶手間時(shí)間背景異自動(dòng)的統(tǒng)合統(tǒng)合容易比較可能（）発見収集（）抽出整列（）統(tǒng)合w 1上Web同種內(nèi)容含、大量存在、同種內(nèi)容抽出n同一持生成問題w 與上Web集合、同種內(nèi)容抽出作成問題w 入力：同種內(nèi)容含Web集合w 出力：集合生成w 部分特定n中広告無(wú)関係情報(bào)含nGUI訓(xùn)練例半自動(dòng)的手法w 表現(xiàn)方法n文字列l(wèi)LR（Kushmerick, 1997）n木構(gòu)造lTree (村上, 2001)

2、LR.廣川佐千男.Address: hirokawa.xxx.jp.山田泰寛.Address: .名前左區(qū)切文字列: 5“右區(qū)切文字列: /f項(xiàng)目囲左右區(qū)切文字列左右區(qū)切文字列特定同項(xiàng)目囲區(qū)切文字列同一LR問題點(diǎn).廣川佐千男.Address: hirokawaxxx.jp.山田泰寛.Address: .左區(qū)切文字列: “右區(qū)切文字列: /a左區(qū)切文字列特定Tree木構(gòu)造用表現(xiàn)bodyfontfontaa廣川佐千男山田泰寛Address: hirokawaxxx.jpAddress: 名前-TEXT-TEXTTree問題點(diǎn)bodyfontfontaaAddress: hirokawaxxx.jp

3、 Address: 不必要文字列抽出統(tǒng)合際PLRw PLR(Path-Left-Right)n木構(gòu)造特定n左右區(qū)切文字列bodyaaAddress: hirokawaxxx.jpAddress: -TEXT左區(qū)切文字列Address: 右區(qū)切文字列NULL発表手順w 抽出：w PLRw PLR自動(dòng)生成法w 実験w 今後課題生成入力：1上複數(shù)半構(gòu)造化文書(1) 部分特定部分特定(3)不要削除不要削除出力：(2)抽出抽出高頻度部分（赤）低頻度部分（黒）低頻度部分（黒）分境界決、抽出出現(xiàn)頻度低捨部分特定文字列高頻度部分（赤）低頻度部分（黒）構(gòu)造記述部分部分対応対応w 高頻度部分：頻度高部分文字列現(xiàn)部

4、分w 部分文字列長(zhǎng) n 頻度上位 a (%)決定n頻度高部分文字列構(gòu)造部分現(xiàn)部分特定w 長(zhǎng) n 小n頻度高部分文字列構(gòu)造記述部分両方現(xiàn)文書文書文書部分特定w 長(zhǎng) n 大n部分頻度下n頻度高部分文字列構(gòu)造記述部分現(xiàn)文書文書文書位置頻度(a) 長(zhǎng) 2(b) 長(zhǎng) 5部分特定w 長(zhǎng) n 大n構(gòu)造記述部分頻度下n再、頻度高部分文字列構(gòu)造記述部分両方現(xiàn)文書文書文書部分特定n: 小a: 小n: 小a: 大n: 大a: 小n: 大a: 大分割行、境界數(shù)大n: 大（山田他、Discovery Science 2001)交代數(shù)初期狀態(tài)(n,a)(2,1)長(zhǎng) n 割合 a 決定%長(zhǎng)aa+112234nn+1(n,

5、a)交代數(shù) (n+1, a)、(n, a+1)交代數(shù)比較極小交代數(shù)時(shí)、長(zhǎng)n頻度上位a十分大判斷出力例w 例w 例生成入力：1上複數(shù)半構(gòu)造化文書(1) 部分特定部分特定(3)不要削除不要削除出力：(2)抽出抽出高頻度部分（赤）低頻度部分（黒）低頻度部分（黒）分境界決、抽出出現(xiàn)頻度低捨生成w 特定n入力文書木構(gòu)造展開n低頻度部分（黒）含特定生成w 區(qū)切文字列抽出n前特定特定n左區(qū)切文字列、高頻度部分低頻度部分境界前出現(xiàn)文字列共通最長(zhǎng)文字列n右區(qū)切文字列、低頻度部分高頻度部分境界後出現(xiàn)文字列共通最長(zhǎng)文字列n共通文字列無(wú)場(chǎng)合“NULL”。hirokawaxxx.jp。daisukexxx.jp。左區(qū)切

6、文字列“”右區(qū)切文字列“?！鄙扇肓Γ?上複數(shù)半構(gòu)造化文書(1) 部分特定部分特定(3)不要削除不要削除出力：(2)抽出抽出高頻度部分（赤）低頻度部分（黒）低頻度部分（黒）分境界決、抽出出現(xiàn)頻度低捨不要削除w 有用項(xiàng)目判斷n項(xiàng)目出現(xiàn)注目n文書現(xiàn)、文書現(xiàn)項(xiàng)目w 半數(shù)以上文書抽出採(cǎi)用生成入力：1上複數(shù)半構(gòu)造化文書(1) 部分特定部分特定(3)不要削除不要削除出力：(2)抽出抽出高頻度部分（赤）低頻度部分（黒）低頻度部分（黒）分境界決、抽出出現(xiàn)頻度低捨発表手順w 抽出：w PLRw PLR自動(dòng)生成法w 実験w 今後課題実験w 産経新聞(日本語(yǔ), 50)n本文, 日付, 見出, w Altavista

7、（英語(yǔ), 50）n検索結(jié)果件數(shù)n左區(qū)切文字列“We_found_”n右區(qū)切文字列“_results” TEXTSankei-NULLSankei-internationalWe_found_187,302_results失敗例(1)w 左右區(qū)切文字列特定問題點(diǎn)n産経新聞日付n項(xiàng)目部分區(qū)切文字列一部含n項(xiàng)目部分一部高頻度部分含原因日付TEXT2002.01.1NULL2002.01.12日位低頻度部分失敗例(2)w 同一複數(shù)項(xiàng)目n例日付種類n左右區(qū)切文字列特定問題點(diǎn)_2003,09,18_openssh_項(xiàng)目、左區(qū)切文字列“_”右區(qū)切文字列“_”項(xiàng)目同時(shí)項(xiàng)目抽出Tree問題點(diǎn)段落1段落2段落3産経新聞本文部分Tree問題點(diǎn)同項(xiàng)目挾場(chǎng)合、細(xì)分段落本文全體、段落抽出、全體抜出、細(xì)抜出判斷難w PLR自動(dòng)生成法nTre