（計算機應(yīng)用技術(shù)專業(yè)論文）基于internet的商業(yè)信息抽取.pdf

摘要 摘要 i n t e m e t 上數(shù)據(jù)量急劇膨脹使其成為企業(yè)競爭情報獲取的重要來源，然而如 何從這個信息海洋中找到企業(yè)所需要的情報成為困擾企業(yè)競爭情報獲取的難題。 商業(yè)信息抽取作為解決這難題的重要手段，其抽取結(jié)果的好壞對最終競爭情報 的形成有著重要的影響。 本文對w e b 環(huán)境上的商業(yè)信息抽取技術(shù)進行了研究，主要關(guān)注兩個方面： 商業(yè)信息中的關(guān)系抽取和實體抽取。針對抽取對象的不同特征，研究不同的技術(shù) 方法，以提高抽取的召回率和準(zhǔn)確率。其中關(guān)系信息抽取以職位關(guān)系抽取為例， 分析了職位關(guān)系實例在網(wǎng)頁中的呈現(xiàn)特征，設(shè)計了基于結(jié)構(gòu)特征的職位關(guān)系抽取 算法：實體抽取以機構(gòu)名識別為例，基于語言學(xué)中語法對語義的依賴關(guān)系和共生 性詞場兩個觀點，提出了語義隱馬爾可夫模型的機構(gòu)名識別算法。兩個算法有效 改善了商業(yè)信息抽取效果，同時也為其它商業(yè)信息抽取提供了參考。 本文的主要貢獻主要有： ( 1 ) 提出了基于w e b 的職位關(guān)系抽取算法。職位關(guān)系反映了一個人在一個 組織所占據(jù)的職位，是一種重要的競爭情報。本文分析了網(wǎng)頁中職位關(guān)系實例的 特征，并利用結(jié)構(gòu)化系數(shù)和結(jié)構(gòu)化文件片斷對這些特征進行描述，最后利用模式 匹配的方法從結(jié)構(gòu)化文件片斷中抽取出職位關(guān)系。實驗結(jié)果表明算法達到了準(zhǔn)確 率超過9 6 、召回率超過8 7 的較好結(jié)果。 ( 2 ) 提出了基于語義隱馬爾可夫模型的中文機構(gòu)名識別算法。語義隱馬爾 可夫模型的構(gòu)建以語言學(xué)中的語法對語義的依賴關(guān)系和共生性詞場兩個重要觀 點為理論依據(jù)。一個句子可以看作是一個詞的序列，這個序列背后隱含著一個語 義序列，且語義序列決定了句子的組成。我們首先對機構(gòu)名及其上下文中的詞進 行語義標(biāo)注，然后構(gòu)建語義隱馬爾可夫模型。在機構(gòu)名上下文選擇時利用共生性 詞場現(xiàn)象來決定上下文的邊界。事實上，算法試圖利用機構(gòu)名與其上下文之間的 語義關(guān)聯(lián)性來提高機構(gòu)名識別的效果。實驗表明算法改善了機構(gòu)名識別效果，而 且普適性更好。 關(guān)鍵詞：商業(yè)信息競爭情報信息抽取關(guān)系抽取命名實體識別 a b s t r a c t a b s t r a c t a st h er a p i di n c r e a s i n go ft h ed a t av o l u m ei ni n t e m e t ，w e bh a sb e c o m ea l l i m p o r t a n ts o u r c ef o rc o m p e t i t i v ei n t e l l i g e n c ea c q u i s i t i o n h o w e v e r , i ti ss t i l l a d i f f i c u l tt a s kf o re n t e r p r i s e st oo b t a i nc o m p e t i t i v ei n t e l l i g e n c ef r o mt h i si n f o r m a t i o n o c e a n t os o l v et h i sp r o b l e m ，r e s e a r c h e r si n t r o d u c e dt h et e c h n o l o g yo fb u s i n e s s i n f o r m a t i o ne x t r a c t i o ni n t oc o m p e t i t i v ei n t e l l i g e n c ea c q u i s i t i o n ，i nw h i c ht h er e s u l to f i n f o r m a t i o ne x t r a c t i o n p l a y s a ni m p o r t a n tr o l ei nt h eq u a l i t yo fc o m p e t i t i v e i n t e l l i g e n c e i nt h i sp a p e r , w es t u d yt h ei s s u e so fb u s i n e s si n f o r m a t i o ne x t r a c t i o nf r o mt h e w e ba n df o c u so nt w oa s p e c t si nt h i sa r e a ：r e l a t i o ne x t r a c t i o na n de n t i t yr e c o g n i t i o n f o rd i f f e r e n te x t r a c t i n go b j e c t s ，w ea n a l y z et h e i rd i s t i n c t i v ef e a t u r e sa n dd e v e l o p a p p r o p r i a t em e t h o d st oe x t r a c tt h e s eo b j e c t si no r d e rt oi m p r o v et h ee f f e c to fb u s i n e s s i n f o r m a t i o ne x t r a c t i o n p o s i t i o nr e l a t i o ne x t r a c t i o ni ss e ta sa ne x a m p l ef o rb u s i n e s s r e l a t i o ne x t r a c t i o n w e i n v e s t i g a t et h ea p p e a r a n c ef e a t u r e so fp o s i t i o nr e l a t i o n i n s t a n c e so nt h ew e ba n da d o p ts t r u c t u r e - b a s e da l g o r i t h mt oe x t r a c tp o s i t i o nr e l a t i o n s f r o mt h ew e b f o re n t i t yr e c o g n i t i o n ，w er e s e a r c ht h eo r g a n i z a t i o nn a m ee n t i t y r e c o g n i t i o na n dp r e s e n ta l lo r g a n i 磊t i o nn a m ee n t i t yr e c o g n i t i o na l g o r i t h mb a s e do n s e m a n t i ch i d d e nm a r k o vm o d e l t w oa l g o r i t h m se f f e c t i v e l yi m p r o v et h ee f f e c to f t w ok i n d so fi n f o r m a t i o ne x t r a c t i o nr e s p e c t i v e l ya n dp r o v i d er e f e r e n c ei n f o r m a t i o n f o ro t h e rb u s i n e s si n f o r m a t i o ne x t r a c t i o n t h em a i nc o n t r i b u t i o no ft h i sp a p e rc a nb es u m m a r i z e da sf o l l o w s ： ( 1 ) w ep r e s e n ta na l g o r i t h mt oe x t r a c tp o s i t i o nr e l a t i o n sf r o mt h ew e b p e o p l e s p o s i t i o ni nac o r p o r a t i o n ，w h i c ht h et e r mp o s i t i o nr e l a t i o nr e f e r st o ，i sak i n do f s i g n i f i c a n tc o m p e t i t i v ei n t e l l i g e n c ef o re n t e r p r i s e s o u ra l g o r i t h mi sb a s e do nt h e s t r u c t u r a lf e a t u r eo fp o s i t i o nr e l a t i o ni nw e bc o n t e n t s w ef i r s ti n t r o d u c es t r u c t u r a l c o e f f i c i e n ta n ds t r u c t u r a lf i l es e g m e n tt od e s c r i b et h e s ef e a t u r e sa n dt h e ne m p l o ya p a t t e r n m a t c h i n gm e t h o dt oe x t r a c tp o s i t i o nr e l a t i o n sf r o mt h es t r u c t u r a lf i l es e g m e n t s f i n a l l y , w ec o n d u c te x p e r i m e n t so nar e a ld a t as e ta n de v a l u a t et h ep r e c i s i o na n d r e c a l lo f0 1 1 1 a p p r o a c h t h ee x p e r i m e n t a lr e s u l t ss h o wt h a to u ra l g o r i t h mh a sah i g h p r e c i s i o no v e r9 6 a sw e l la sar e c a l lo v e r8 7 ( 2 ) w eb r i n gf o r w a r das h m m - b a s e dc h i n e s eo r g a n i z a t i o nn a m er e c o g n i t i o n a l g o r i t h m s e m a n t i ch i d d e nm a r k o vm o d e li sb a s e do nt w oi m p o r t a n tl i n g u i s t i c s v i e w p o i n t s ：t h ed e p e n d e n c eo fs y n t a xo ns e m a n t i c sa n ds y m b i o t i cw o r df i e l d a i i i s e n t e n c e1 sc o n s i d e r e da sas e q u e n c eo fw o r d s ，t h i s s e q u e n c ei m p l i e sas e m a n t i c s e q u e n c ew h l c hd e c i d e st h ec o n s t r u c t i o no ft h es e n t e n c e w ef i r s tc o n d u c ts e m 枷i c t a g g i n g0 nt h ew o r d sf r o mo r g a n i z a t i o nn a l t l e i n t e r i o ra n di t s c o n t e x t ，a 1 1 dm e n c o n s 仃u c ts e m 枷i ch i d d e nm a r k o vm o d e lf o ro r g a n i z a t i o n l a m e r e c o g n i t i o n d u f f n g m es e l e c t i o no fo r g a n i z a t i o n n a l l l e c o n t e x t ， w ee m p l o y s y m b i o t i cw o r df i e l d p n e n o m e n o nt od e c i d et h eb o u n d a r yo ft h ec o n t e x t i nf a c t ，t h ea l g o r i m m a n e m p tt 0 m a k eu s eo f h er e l e v a n c yb e t w e e n o r g a n i z a t i o nn a m ea n di t sc o n t e x tt o 螂r o v em e e n e c t0 士?，攁 1 1 i z a t i o nn a m er e c o g n i t i o n t h e e x p e r i m e n t a lr e s u l t ss h o wm a to u r a l g o n t t u i lg a l n sb e n e ro u t c o m ec o m p a r e dt o o t h e ra p p r o a c h e sa n dh a sa 咖n 2 e r a b i l i t yt op r o c e s sd i f f e r e n tt y p eo fc o n t e n t s k e yw 。r d s ：b u s i n e s si n f o r m a t i 。n ，c 。m p e t i t i v ei n t e l l i g e n c e ，i n f o 加a t i o n e x 咖c t j o n ， r e l a t i o ne x t r a c t i o n ，n a m e d e n t i t yr e c o g n i t i o n i v 中國科學(xué)技術(shù)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下進行研究工作所取得的成 果。除已特別加以標(biāo)注和致謝的地方外，論文中不包含任何他人已經(jīng)發(fā)表或撰寫 過的研究成果。與我一同工作的同志對本研究所做的貢獻均已在論文中作了明確 的說明。 作者簽名：麴鑫! 丕簽字日期：塑壘：查：絲 中國科學(xué)技術(shù)大學(xué)學(xué)位論文授權(quán)使用聲明 作為申請學(xué)位的條件之一，學(xué)位論文著作權(quán)擁有者授權(quán)中國科學(xué)技術(shù)大學(xué)擁 有學(xué)位論文的部分使用權(quán)，即：學(xué)校有權(quán)按有關(guān)規(guī)定向國家有關(guān)部門或機構(gòu)送交 論文的復(fù)印件和電子版，允許論文被查閱和借閱，可以將學(xué)位論文編入有關(guān)數(shù)據(jù) 庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。本人 提交的電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。 保密的學(xué)位論文在解密后也遵守此規(guī)定。 d 公開口保密( 年) 作者簽名：出盞! 銎 簽字日期：復(fù)叢：圭：坦 導(dǎo)師簽名：歷旎書導(dǎo)師簽名：蘭互耋盜疊 簽字日期：鯊p l _ 第一章緒論 第一章緒論 互聯(lián)網(wǎng)的迅猛發(fā)展和快速普及使其成為人們獲取各類信息的重要源泉。在改 變?nèi)藗兩詈凸ぷ鞣绞降耐瑫r，互聯(lián)網(wǎng)也使企業(yè)的商業(yè)活動方式發(fā)生重大變化。 越來越多的企業(yè)通過互聯(lián)網(wǎng)來推廣它們的產(chǎn)品、宣傳它們的服務(wù)；各類網(wǎng)絡(luò)媒體 也爭搶在第一時間將企業(yè)的相關(guān)信息發(fā)布到網(wǎng)上。在這樣的環(huán)境下，互聯(lián)網(wǎng)成為 企業(yè)競爭的新戰(zhàn)場，誰能夠以最快的速度獲取到真實、有效的商業(yè)信息，特別是 競爭對手的信息，誰就能在這個新戰(zhàn)場上獲勝。然而互聯(lián)網(wǎng)上的信息紛繁復(fù)雜， 想要在海量的網(wǎng)頁中找到對企業(yè)有價值的商業(yè)信息來還需要克服許多技術(shù)上的 難題，這也是本文研究的重點。 1 1 研究背景與意義 市場經(jīng)濟的繁榮和發(fā)展加劇了企業(yè)間的競爭，一個企業(yè)要想在激烈的市場競 爭中生存并獲勝，不但要清楚自己的優(yōu)勢和劣勢，還需要了解行業(yè)政策、市場需 求變化、競爭對手等商業(yè)信息。以住的商業(yè)信息一般通過人際關(guān)系、紙制傳媒等 方式獲取。但近幾年，隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)成為獲取商業(yè)信息的一個重 要途徑，基于互聯(lián)網(wǎng)的商業(yè)信息抽取成為企業(yè)和學(xué)術(shù)界研究的重點。 ( 1 ) 互聯(lián)網(wǎng)成為世界上最大的信息庫 毫無疑問，互聯(lián)網(wǎng)是世界上容量最大、內(nèi)容最豐富的信息庫，而且平均每天 以千萬級網(wǎng)頁的數(shù)量增長。根據(jù)瑞典互聯(lián)網(wǎng)流量監(jiān)測機構(gòu)p i n g d o m 近期公布的 數(shù)據(jù)【l 】，2 0 0 9 年全球網(wǎng)站數(shù)量已達到2 3 4 億家，其中2 0 0 9 年新增4 7 0 0 萬家。 中國互聯(lián)網(wǎng)絡(luò)信息中心( q 州i c ) 2 0 1 0 年1 月發(fā)布的第2 5 次中國互聯(lián)網(wǎng)絡(luò)發(fā) 展?fàn)顩r統(tǒng)計報告顯示，截止2 0 0 9 年1 2 月中國的網(wǎng)站總數(shù)達到3 2 3 萬個，網(wǎng)頁 總數(shù)達到3 3 6 億個【2 】。從2 0 0 3 年開始，中國的網(wǎng)頁規(guī)?；颈３址鲩L，年 增長率超過1 0 0 。這些數(shù)據(jù)充分表明互聯(lián)網(wǎng)是世界上最大的電子圖書館，且無 地理位置限制，使用成本低，已經(jīng)成為人們獲取信息的重要源泉。 ( 2 ) 互聯(lián)網(wǎng)上存在大量有價值的信息 第2 5 次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告中關(guān)于主要網(wǎng)絡(luò)應(yīng)用使用行為 的調(diào)查顯示，基于網(wǎng)絡(luò)新聞和搜索引擎的信息獲取成為主要的網(wǎng)絡(luò)行為，使用率 分別達到8 0 1 和7 3 3 ，使用率排名分別占到第二位和第三位，僅次于網(wǎng)絡(luò)音 樂的使用率，而且兩項應(yīng)用的用戶增長率分別達到3 1 5 和3 8 6 。c n n i c 分析 師認(rèn)為網(wǎng)絡(luò)應(yīng)用的日趨豐富和網(wǎng)絡(luò)信息量的與日俱增是網(wǎng)絡(luò)信息獲取行為增長 的主要原因。網(wǎng)絡(luò)使用行為能夠反映人們的需求態(tài)勢，以上數(shù)據(jù)表明，互聯(lián)網(wǎng)不 1 第一章緒論 僅信息量巨大，而且是一部百科全書。對于一個企業(yè)來說，最想獲取的信息莫過 于對自身成長和發(fā)展有利的商業(yè)信息。這些信息涉及行業(yè)政策、市場環(huán)境、競爭 對手等，其中關(guān)于競爭對手的信息最為重要。商業(yè)信息經(jīng)過匯總、分析后可以成 為有價值的競爭情報，給企業(yè)的決策提供有力支持。由于互聯(lián)網(wǎng)上存在大量的商 業(yè)信息，基于互聯(lián)網(wǎng)的競爭情報獲取成為當(dāng)前的研究熱點。據(jù)美國海軍高級情報 分析員埃利斯扎卡利亞斯講，9 5 的競爭情報來自于公開資料，4 來自于半 公開資料，僅l 或更少來自機密資料。而互聯(lián)網(wǎng)無疑是獲取競爭情報最重要的 公開信息源。 ( 3 ) 信息獲取難度大 互聯(lián)網(wǎng)上的海量信息在豐富信息來源的同時，也給信息的獲取造成了困擾。 互聯(lián)網(wǎng)上的網(wǎng)頁數(shù)以百億計，靠人工一個一個地瀏覽網(wǎng)頁來收集信息無疑是大海 撈針。搜索引擎和門戶類網(wǎng)站的產(chǎn)生給人們獲取信息的方式帶來了革命性的變 化，使信息獲取變得容易了很多。為了進一步提高信息獲取的準(zhǔn)確性，還發(fā)展出 了垂直搜索技術(shù)。目前，利用網(wǎng)絡(luò)獲取商業(yè)信息的途徑有利用搜索引擎技術(shù)、利 用行業(yè)站點和黃頁、利用競爭對手的網(wǎng)站、競爭情報獲取軟件等，然而這些方法 仍不能很好地滿足的企業(yè)對商業(yè)信息的需求。以搜索引擎為例，針對一個查詢返 回的網(wǎng)頁往往數(shù)以百萬計，人工從這些網(wǎng)頁中找到所需的信息仍需大量的工作。 另外，有時為了獲取某種商業(yè)信息，需要使用不同的查詢關(guān)鍵字進行多次查詢， 并將找到的信息進行匯總，這大大加大了商業(yè)信息獲取的工作量。在這種背景下， 信息抽取技術(shù)應(yīng)運而生。信息抽取就是從文本中獲取感興趣的知識點，并以結(jié)構(gòu) 化的形式保存在數(shù)據(jù)庫中，以便以后的查詢和使用。信息抽取技術(shù)能夠進一步把 人們從人工查找信息的繁重勞動中解放出來，提高信息獲取的效率。比爾蓋茨 在其著作未來時速一書中講到：“將您的公司和您的競爭對手區(qū)別開來的最 有意義的方法，使您的公司領(lǐng)先于眾多公司的最好方法，就是利用信息來干最好 的工作。您怎樣收集、管理和使用信息將決定您的輸贏。 。可見，及時、全面、 準(zhǔn)確地獲取商業(yè)信息是決定一個企業(yè)成敗的關(guān)鍵。互聯(lián)網(wǎng)為商業(yè)信息的獲取提供 了資源，而如何從這個信息海洋中找到企業(yè)所需要的那根“針”是重點要解決的 問題。 1 2 商業(yè)信息與競爭情報 我國著名情報專家包昌火指出：競爭情報是關(guān)于競爭環(huán)境、競爭對手與競爭 策略的信息和研究【3 】。競爭情報獲取分為規(guī)劃與定向、信息采集、信息加工、 情報分析及情報傳播五個階段。商業(yè)信息獲取涵蓋了信息采集與信息加工兩個階 2 第一章緒論 段。信息采集階段主要是原始信息的收集，如網(wǎng)頁、紙制資料等。在信息加工階 段，對采集到的信息進行初步處理，主要采用一些自動化的技術(shù)，如自動分類、 自動摘要、文檔去重、信息抽取等。經(jīng)過加工后的信息必須經(jīng)過情報分析后才能 成為真正意義的競爭情報，主要的分析方法有s w o t 分析法、德爾斐法和定標(biāo) 比超法及數(shù)據(jù)挖掘的方法。 表1 1 競爭情報具體內(nèi)容 編號 調(diào)研分類調(diào)研內(nèi)容 l基本概況企業(yè)簡介、組織框架、股本結(jié)構(gòu)、行業(yè)背景、產(chǎn)品概況、行業(yè)地位 員工數(shù)量、素質(zhì)、學(xué)歷結(jié)構(gòu)、主要管理者背景、經(jīng)驗、培訓(xùn)制度、 2 人力資源 聘用程序、獎懲制度、薪資水平結(jié)構(gòu)、福利體系人力資源 3 管理團隊高層架構(gòu)、重要決策權(quán)利分布、高層領(lǐng)導(dǎo)背景 生產(chǎn)線情況( 設(shè)備明細、投資渠道、技術(shù)水平、生產(chǎn)能力、使用率、 4 生產(chǎn)能力凈值率) 、技術(shù)人員分布、主要技術(shù)人員介紹( 特長、背景、學(xué)歷、 工程項目) 、生產(chǎn)員工操作熟練程度、生產(chǎn)環(huán)境、是否o e m 研發(fā)隊伍資歷( 人數(shù)、學(xué)歷、結(jié)構(gòu)) 、專利資源( 數(shù)量、技術(shù)含量) 、 5 研發(fā)能力開發(fā)費用現(xiàn)狀( 金額、來源) 、與其他企業(yè)學(xué)校政府機關(guān)合作情 況( 合作數(shù)量、技術(shù)含量、未來發(fā)展趨勢) 認(rèn)證情況、質(zhì)量控制流程、方案、質(zhì)量控制專員( 數(shù)量、素質(zhì)、經(jīng) 6質(zhì)量檢查 驗、背景) 、主要產(chǎn)品質(zhì)量指標(biāo)( 產(chǎn)品平均壽命、合格率等) 原材料采購 原材料( 采購量、來源、平均價格) 、供應(yīng)商情況( 數(shù)量、供貨評 7 價、供應(yīng)商關(guān)系) 、采購支付情況( 結(jié)款方式、期限、信用額度等) 、 供應(yīng)商的挑選機制采供銷 產(chǎn)品明細、種類、詳細介紹( 規(guī)格、型號、性能、用途、優(yōu)勢) 、 8產(chǎn)品結(jié)構(gòu) 產(chǎn)品服務(wù)、產(chǎn)品技術(shù)含量( 技術(shù)水平、技術(shù)參數(shù)、技術(shù)性能) 、原 材料采購成本、產(chǎn)品價格體系、市場定位、供貨能力 銷售部門設(shè)置、直接銷售渠道( 分產(chǎn)品、區(qū)域、行業(yè)) 、分銷渠道 ( 代理商數(shù)目、結(jié)算方式、分銷商評價、關(guān)系、未來的發(fā)展戰(zhàn)略) 、 9產(chǎn)品銷售 歷年銷售情況( 數(shù)量、金額、趨勢) 、市場占有率及趨勢、銷售策 略( 利潤為主或開拓市場為主) 、銷售價格體系( 分出廠價、批發(fā) 價、零售價) 、價格回扣與折扣( 同扣條件、折扣率) 品牌模式、廣告營銷情況( 現(xiàn)有媒體數(shù)量、廣告投入金額、占銷售 1 0廣告推銷 比重、未來發(fā)展趨勢) 、主要營銷分布( 分產(chǎn)品、形象) 、主要使 用廣告媒體( 報紙、雜志、電視、廣播、網(wǎng)絡(luò)、交通廣告、戶外) 主要客戶( 數(shù)量、購買力、購買的產(chǎn)品情況) 、客戶分布( 區(qū)域、 1 1 客戶情況 行業(yè)、金額) 、客戶滿意程度、客戶投訴及退貨、客戶維護模式 連續(xù)n 年的資產(chǎn)負(fù)債表、損益表、現(xiàn)金流量表、財務(wù)指標(biāo)( 銷售增 1 2財務(wù)情況 長率、資產(chǎn)負(fù)債率、存貨周轉(zhuǎn)、流動資產(chǎn)周轉(zhuǎn)、總資產(chǎn)周轉(zhuǎn)) 3 第一章緒論 商業(yè)信息抽取屬于信息加工階段的最后一個環(huán)節(jié)，銜接著情報分析階段，隨 著信息量的急增，這部分工作變的越來越重要。信息加工階段的其它工作都是基 于文檔一級的處理，處理的結(jié)果仍是文檔，還需用戶人工在這些文檔中查找信息， 而隨著采集到的信息成倍增長，使得這部分工作單純依靠人工操作變得不太現(xiàn) 實。在這種情景下，信息抽取工作變得尤為重要，抽取結(jié)果的質(zhì)量直接關(guān)系到后 面情報分析的準(zhǔn)確性，進而影響企業(yè)決策的正確性。 廣義的商業(yè)信息包括行業(yè)環(huán)境、市場態(tài)勢、競爭對手等信息。狹義的商業(yè)信 息主要是關(guān)于競爭對手的信息，也就是以一個企業(yè)為中心的相關(guān)信息。表1 1 是 北京東方策略科技有限公司能夠提供的關(guān)于某個企業(yè)的競爭情報具體內(nèi)容 4 1 。 它將企業(yè)的競爭情報分為十二個大類，每個大類又分若干小類。可以說，這些競 爭情報都是由零散的商業(yè)信息整合而成，如管理團隊是由多個職位關(guān)系信息組成 的。 本文主要研究兩類商業(yè)信息的抽取：實體信息和關(guān)系信息。實體信息抽取是 從文本中抽取商業(yè)信息涉及的命名實體，如機構(gòu)名、人名、地名、產(chǎn)品名等。關(guān) 系信息抽取主要是抽取實體間關(guān)系的描述信息。文獻【5 】通過本體來描述競爭情 報中的實體信息和關(guān)系信息，表1 1 中的商業(yè)信息可以按同樣的方法進行描述， 然后再抽取具體的實體信息和關(guān)系信息。 1 3 商業(yè)信息抽取的國內(nèi)外研究現(xiàn)狀 目前，商業(yè)信息抽取的研究主要集中在競爭情報研究領(lǐng)域，下面主要介紹國 內(nèi)外的競爭情報研究中關(guān)于商業(yè)信息抽取的研究現(xiàn)狀。 1 3 1 國外研究現(xiàn)狀 國外競爭情報研究中關(guān)于商業(yè)信息抽取方面的工作已經(jīng)比較多，開始從只是 簡單地將現(xiàn)有的信息抽取工具集成到競爭情報系統(tǒng)中向?qū)ｉT研究特定應(yīng)用的信 息抽取技術(shù)轉(zhuǎn)變。另外，一些商用的競爭情報軟件也開始加入信息抽取的功能， 使其更加實用化。 b y r o nm a r s h a l l 等提出一個商業(yè)信息集成工具e b i z p o r t 【6 】，采用元搜索 ( m e t a - s e a r c h ) 技術(shù)來收集信息，以提高信息收集的召回率和質(zhì)量。另外，該工具 還對收集到信息作了進一步的處理，如摘要提取、自動分類、可視化設(shè)計等，也 涉及了信息整合問題，但只是文檔級的，仍需要用戶人工到返回的文檔中尋找所 需的信息。 f r a n c o i sp a r a d i s 等設(shè)計的m b o i ( m a t c h i n gb u s i n e s so p p o r t u n i t i e so nt h e 4 第一章緒論 i n t e m e t ) 系統(tǒng) 7 】試圖從互聯(lián)網(wǎng)上尋找與企業(yè)相關(guān)的招標(biāo)( c a l lf o rt e n d e r s ) 信息。 系統(tǒng)使用n s t e i nn f i n d e r 工具進行命名實體抽取，目的是為了查詢時更準(zhǔn)確地定 位所需要的信息和改善后續(xù)的信息分類效果。n s t e i nn f i n d e r 工具采用詞法規(guī)則 與詞典相結(jié)合的方法進行命名實體識別，主要是針對一些結(jié)構(gòu)規(guī)范的網(wǎng)頁，如表 格和列表。 r o b e r tb a u m g a r t n e r 等提出一個基于w e b 的商業(yè)情報抽取系統(tǒng)l i x t o 8 。該 系統(tǒng)采用包裝器( w r a p p e r ) 信息抽取技術(shù)從半結(jié)構(gòu)化的電子商務(wù)網(wǎng)站中抽取商 品信息，如商品的名稱、制造商及價格等，并將抽取結(jié)果以x m l 文檔的形式保 存。包裝器是出現(xiàn)最早的基于w e b 的信息抽取技術(shù)，專門針對結(jié)構(gòu)化較強的網(wǎng) 站，如招聘網(wǎng)站、購物網(wǎng)站。 h t e c h s i g h t 是d i a n am a y n a r d 等設(shè)計的一個知識管理系統(tǒng) 9 】，其功主要功能 是對網(wǎng)上的敏感信息進行實時監(jiān)控。系統(tǒng)對網(wǎng)頁中敏感的概念信息進行抽取，并 對這些概念的變化進行實時監(jiān)控。概念抽取使用了g a t e 工具中的信息抽取( i e ) 組件，該組件采用基于規(guī)則的方法進行概念的識別，但抽取規(guī)則需要人工總結(jié)， 不能自動生成。 2 0 0 7 年，d i a n am a y n a r d 等又提出了一個基于領(lǐng)域本體( d o m a i no n t o l o g y ) 的商業(yè)情報系統(tǒng)【1 0 】。系統(tǒng)采用本體來描述領(lǐng)域概念、概念間的關(guān)系及屬性，根 據(jù)本體定義來抽取領(lǐng)域信息。該系統(tǒng)主要是針對跨國公司的商業(yè)情報需求開發(fā) 的，主要抽取有關(guān)公司概況( 公司名、所在國家、電話、郵編、分支機構(gòu)、主要 業(yè)務(wù)、進出口業(yè)務(wù)、營業(yè)額、雇員數(shù)量、股東及其它相關(guān)人員) 、國家區(qū)域概況 ( 國家名字、人口數(shù)量、土地面積、官方語言、貨幣、匯率、外債、失業(yè)率、 g d p 、海外投資) 等信息，主要為跨國公司的海外投資提供決策支持。系統(tǒng)采用 a n n i e 工具進行概念抽取。a n n i e 是一個基于規(guī)則的通用的概念抽取工具，主 要抽取人名、地名和機構(gòu)名。為了適應(yīng)金融領(lǐng)域的概念，d i a n am a y n a r d 等對 a n n i e 工具進行了修改以適應(yīng)新的需求。系統(tǒng)對不同來源的文本設(shè)計了不同的 抽取規(guī)則，這些文本既有結(jié)構(gòu)化的( 主要是表格) ，也有非結(jié)構(gòu)化的，并且對來 源不同但涉及同一概念的信息進行了整合。 隨著互聯(lián)網(wǎng)上信息量急劇增長和信息處理技術(shù)的進步，國外開始出現(xiàn)了一些 可以實用的商用競爭情報軟件。起初這些軟件只具備以文檔為單位的信息收集功 能以及一些簡單預(yù)處理功能。近幾年，信息抽取和數(shù)據(jù)挖掘技術(shù)逐步被集成到競 爭情報軟件中，提高了其實用價值。表1 2 列出了目前國外主要競爭情報軟件的 功能。可以看出，數(shù)據(jù)挖掘技術(shù)( 自動分類、自動摘要) 在競爭情報軟件中應(yīng)用 已經(jīng)比較廣泛，而信息抽取技術(shù)剛剛開始集成到競爭情報軟件中，還有很大的發(fā) 展空間。 5 第一章緒論 表1 2 國外競爭情報軟件功能 支持 關(guān)系關(guān)鍵監(jiān)視自然 多種自動自動關(guān)系自動情報 語言 競爭情報軟件 文件分類摘要抽取 可視 排序 字搜和預(yù) 發(fā)布 化索警搜索 格式 w e b q l k n o w l e d g e 、，、， 、，、， w o r k s t e x ta n a l y t i 娼 t e x t a n a l y s t 、， 、， p o l y a n a l y s t 00、，0 0 t r a c k e n g i n e 、， t 化n d i c a t e00、，00 w i n c i t e、， 1 3 2 國內(nèi)研究現(xiàn)狀 與國外相比，國內(nèi)的競爭情報研究和信息抽取研究都處于探索階段，技術(shù)都 不夠成熟。表1 3 是2 0 0 7 年1 月到2 0 0 8 年3 月國內(nèi)競爭情報核心期刊上發(fā)表的 有關(guān)競爭情報的8 3 篇文獻的統(tǒng)計信息?？梢钥闯?，信息加工已成為國內(nèi)競爭情 報研究的熱點，主要采用數(shù)據(jù)挖掘方法，如文本分類、文本挖掘、w e b 挖掘等對 收集的文本或網(wǎng)頁進行初步處理，還沒有涉及句子級的處理，如實體和關(guān)系抽取 等。 6 表1 。3 競爭情報研究方向統(tǒng)計表 研究方向 篇數(shù)研究方向篇數(shù) 信息加工 1 7 研究現(xiàn)狀 5 情報理論 9 情報評估 4 人際網(wǎng)絡(luò) 7 情報教育 3 網(wǎng)絡(luò)組織 7 情報分析 3 知識管理5其它1 8 產(chǎn)業(yè)發(fā)展 5 第一章緒論 2 0 0 5 年，劉非凡等提出了基于層級隱馬可夫模型( h h m m ) 的產(chǎn)品名識別 算法【1 1 1 ，從自由文本中抽取產(chǎn)品名。這是第一次專門針對中文商業(yè)信息抽取的 研究，突破了信息抽取研究只專注傳統(tǒng)信息抽取的禁錮，推動信息抽取技術(shù)向?qū)?用化方向邁進了一步。 2 0 0 6 年，w e il i 等提出并實現(xiàn)了一個中文競爭情報系統(tǒng)c c i s 1 2 ，實現(xiàn) 了四項功能：情報定制、信息采集、信息加工、和情報發(fā)布。信息加工模塊包含 了自動分類、文檔去重和信息抽取三項功能。其中信息抽取子模塊采用基于規(guī)則 和詞典相結(jié)合的技術(shù)，可以抽取命名實體、事件等信息。 2 0 0 8 年，y a nc h e n 等提出了基于本體的競爭情報抽取系統(tǒng) 5 】，利用本體來 描述企業(yè)對競爭情報的需求，然后采用基于規(guī)則和模板匹配的方法將抽取的信息 填充到實例本體中。 目前，中文競爭情報軟件主要提供網(wǎng)頁收集功能，如天下互聯(lián)的網(wǎng)絡(luò)情報中 心。給定關(guān)鍵字后，這些軟件到事先定制好的網(wǎng)站上實時爬取網(wǎng)頁，將包含關(guān)鍵 字的網(wǎng)頁返回給客戶。一些功能較強的競爭情報軟件還提供了自動分類、自動摘 要等功能，如t r s 競爭情報軟件。然而這些軟件沒有提供對網(wǎng)頁內(nèi)部的關(guān)鍵信 息進行抽取和集成，還需要人工從返回的網(wǎng)頁中尋找所需的信息。 國內(nèi)競爭情報領(lǐng)域關(guān)于商業(yè)信息抽取研究較少的一個原因是中文信息抽取 技術(shù)目前還沒有突破性的進展，這使得中文信息抽取技術(shù)無法集成到競爭情報系 統(tǒng)中，成為影響競爭情報獲取的重要技術(shù)瓶頸，所以研究中文商業(yè)信息抽取技術(shù)， 使其達到實用化水平，對企業(yè)競爭情報獲取有著重要意義。 綜上所述，目前，國外商業(yè)信息抽取研究比較多，一般是將現(xiàn)有的信息抽取 技術(shù)應(yīng)用到商業(yè)信息抽取中，并開始探索專門針對特定領(lǐng)域的商業(yè)信息抽取技 術(shù)，一些商用競爭情報軟件己具備商用價值。而中文商業(yè)信息抽取研究比較少， 中文競爭情報軟件的商用價值不高，探索和發(fā)展中文商業(yè)信息抽取技術(shù)迫在眉 睫。 傳統(tǒng)信息抽取的處理對象主要是自由文本，且只對的常規(guī)信息( 如人名、地 名、機構(gòu)名等) 進行抽取。隨著互聯(lián)網(wǎng)上信息量的急劇增長，基于網(wǎng)頁的信息抽 取研究隨之成為研究的熱點。與自由文本相比，網(wǎng)頁具有兩個特征： ( 1 ) 網(wǎng)頁是一種半結(jié)構(gòu)化的文本。除了常規(guī)文本外，網(wǎng)頁中包含了大量的 h t m l 標(biāo)簽，這些標(biāo)簽使得網(wǎng)頁文本具有了半結(jié)構(gòu)化的特征。一方面，可以利 用這些標(biāo)簽提高信息抽取的效果：另一方面，網(wǎng)頁標(biāo)簽復(fù)雜多樣，往往與常規(guī)文 本混雜在一起，也成為信息抽取的障礙。因此，如何利用網(wǎng)頁文本半結(jié)構(gòu)化的優(yōu) 點，避免其缺點，成為網(wǎng)頁信息抽取成敗的關(guān)鍵因素。 ( 2 ) 網(wǎng)頁文本規(guī)范性較差。自由文本一般來自報紙或書籍，在詞法、句法 7 第一章緒論 和表述方式上比較規(guī)范。而網(wǎng)頁文本缺乏嚴(yán)格要求，行文較自由，不像紙制文本 那樣規(guī)范。因此，基于紙制文本的信息抽取方法應(yīng)用于網(wǎng)頁信息抽取時，效果不 一定理想。對于網(wǎng)頁信息抽取，需要設(shè)計容錯能力更強的信息抽取系統(tǒng)。 i n t e m e t 是商業(yè)信息的重要來源，研究基于網(wǎng)頁的商業(yè)信息抽取技術(shù)既要利 用傳統(tǒng)信息抽取技術(shù)已有的成果，又要充分考慮網(wǎng)頁自身的特性，利用網(wǎng)頁提供 的便利信息來提高信息抽取的效果，同時避免一些不利信息的負(fù)面影響。 1 4 本文的主要工作 本文以i n t e r n e t 中的網(wǎng)頁為信息源，研究基于w e b 的商業(yè)信息抽取技術(shù)。并 以職位關(guān)系和機構(gòu)名兩種具體的商業(yè)信息為對象，設(shè)計具體的信息抽取算法。主 要研究內(nèi)容有： ( 1 ) 商業(yè)信息中實體抽取技術(shù)研究 實體是商業(yè)信息中的基本信息單元，實體識別是實現(xiàn)其它商業(yè)信息抽取的基 礎(chǔ)。商業(yè)信息中的實體主要有機構(gòu)名、人名、地名、產(chǎn)品名、商標(biāo)名等。目前， 中文命名實體識別的研究主要集中在機構(gòu)名、人名和地名，其中機構(gòu)名由于構(gòu)成 比較復(fù)雜，識別效果不佳，而機構(gòu)名又是商業(yè)信息中最最要的一個實體。研究國 內(nèi)外現(xiàn)有命名實體識別技術(shù)，特別是機構(gòu)名識別技術(shù)，設(shè)計網(wǎng)頁環(huán)境下中文機構(gòu) 名識別技術(shù)，提高機構(gòu)名識別的召回率和準(zhǔn)確率是本文的主要研究工作之一。 ( 2 ) 商業(yè)信息中關(guān)系抽取技術(shù)研究 商業(yè)信息中的實體關(guān)系描述了現(xiàn)實世界中兩個實體由于企業(yè)的生產(chǎn)、銷售等 活動而發(fā)生的相互聯(lián)系。實體關(guān)系是一種更為重要的商業(yè)信息，與實體相比，實 體關(guān)系已經(jīng)是一種淺層的知識，透過這種關(guān)系可以對某些事實有所了解。當(dāng)將相 關(guān)的實體關(guān)系組織起來，形成一個信息網(wǎng)時，商業(yè)信息就會成為一種重要的競爭 情報，為企業(yè)的決策提供支持。中文關(guān)系抽取的研究較少，基于w e b 的關(guān)系抽 取研究則更少。采用的方法主要借鑒國外現(xiàn)有的技術(shù)，如模式匹配方法和機器學(xué) 習(xí)方法等。研究基于w e b 的中文商業(yè)關(guān)系抽取技術(shù)，并以職位關(guān)系抽取為例， 設(shè)計具體的關(guān)系抽取算法是本文的另一項研究工作。 1 5 本文的組織結(jié)構(gòu) 本文的組織結(jié)構(gòu)如下： 第一章緒論。對基于i n t e r n e t 的商業(yè)信息抽取研究作了整體介紹，包括研究 的背景、意義，商業(yè)信息抽取在企業(yè)競爭情報獲取中的地位，以及商業(yè)信息抽取 8 第一章緒論 的國內(nèi)外研究現(xiàn)狀。 第二章信息抽取技術(shù)。簡要介紹了信息抽取技術(shù)研究的發(fā)展歷程、研究內(nèi)容、 國內(nèi)外主要的信息抽取系統(tǒng)以及信息抽取技術(shù)的評測指標(biāo)。 第三章詳細論述了基于w e b 的職位關(guān)系抽取方法，提出了結(jié)構(gòu)化系數(shù)、結(jié) 構(gòu)化文件片斷、標(biāo)準(zhǔn)模式等概念，并利用這些概念來描述網(wǎng)頁中職位關(guān)系的結(jié)構(gòu) 特征。最后，通過在真實語料集上的實驗來檢驗算法的有效性。 第四章基于中文句子中語法與語義之間的關(guān)聯(lián)性，提出語義隱馬爾可夫模型 的機構(gòu)名識別算法，并進行了具體的討論。另外，通過實驗比較對所提方法效果 進行了驗證。 第五章總結(jié)與展望。對本文做出了總結(jié)，并指出其中的不足之處，展望下一 步的研究方向。 9 第二章信息抽取技術(shù) 2 1 前言 第二章信息抽取技術(shù) 在日益信息化和網(wǎng)絡(luò)化的當(dāng)代社會，如何找到感興趣的信息并對些信息進行 歸類、過濾和提取，一直是一個比較緊迫的實際問題。信息量的急增使得早期單 純依靠人工收集信息的方法不再可行，自動化的信息采集工具成為迫切需求。在 這樣的背景下，信息抽取技術(shù)應(yīng)用而生。信息抽取的目標(biāo)是對文本中感興趣的信 息進行提取，并以結(jié)構(gòu)化的形式集中存儲起來，以便于以后的查詢和更高一級的 應(yīng)用。信息抽取系統(tǒng)的輸入是一系列原始文本，輸出的是具有一定格式的結(jié)構(gòu)化 信息集。 信息抽取的文本可以分為三類：自由文本、半結(jié)構(gòu)化文本和結(jié)構(gòu)化文本，后 兩者主要是指網(wǎng)頁文本。對于不同類型的文本，所采用的信息抽取技術(shù)可能會有 所不同。目前，由于網(wǎng)頁數(shù)量的急劇膨脹，基于網(wǎng)頁的信息抽取技術(shù)成為研究的 重點。 2 2 信息抽取研究簡史 根據(jù)信息抽取研究的發(fā)展軌跡，一般將信息抽取的研究劃分為三個階段：前 期、中期和近期。 信息抽取研究的前期開始于2 0 世紀(jì)6 0 年代中期，結(jié)束于8 0 年代中期，這 是信息抽取研究的初始階段，主要以兩個長期的自然語言處理項目為代表。第一 個項目是美國紐約大學(xué)的l i n g u i s t i cs t r i n g 項目【1 3 】。該項目研究如何構(gòu)建一個大 規(guī)模的英語計算語法，其中與信息抽取相關(guān)的應(yīng)用是從醫(yī)療領(lǐng)域的x 光報告和 醫(yī)院的出院記錄中生成信息格式。事實上這種信息格式就是后來消息理解會議定 義的模板。第二個項目是耶魯大學(xué)r o g e rs c h a n k 及同事開展的有關(guān)故事理解的 研究。他的學(xué)生g e r a l dd ej o n g 設(shè)計實現(xiàn)了一個叫作f r u m p 的信息抽取系統(tǒng) 【1 4 】。該系統(tǒng)從新聞報道中抽取信息，內(nèi)容涉及地震、工人罷工等很多領(lǐng)域或場 景。系統(tǒng)采用了期望驅(qū)動與數(shù)據(jù)驅(qū)動相結(jié)合的處理方法。后來，這種方法被許多 信息抽取系統(tǒng)所吸納。 2 0 世紀(jì)8 0 年代末期到9 0 年代是信息抽取研究的中期發(fā)展階段。這一時期 出現(xiàn)了一個對于信息抽取發(fā)展具有里程碑意義的研討會一一消息理解會議 ( m e s s a g eu n d e r s t a n d i n gc o n f e r e n c e ，m u c ) 。m u c 會議由美國國防高級研究計劃 1 1 第二章信息抽取技術(shù) 委員會( d a r p a ，t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 資助，從1 9 8 7 年到1 9 9 8 年共舉辦了七屆。m u c 系列會議對于信息抽取這一研究方向的確立及 發(fā)展起了極大的推動作用。每屆的m u c 會議吸引若干學(xué)術(shù)機構(gòu)來參加信息抽取 競賽，從第一屆的只有6 個系統(tǒng)到最后一屆的1 8 個系統(tǒng)，m u c 的影響越來越大。 總的看來m u c 會議的主要貢獻有兩項： ( 1 ) 信息抽取任務(wù)的確立。從第二屆m u c 會議開始，信息抽取的任務(wù)被 明確為模板填充，主要是對某一事件或場景中的關(guān)鍵信息進行填充。以后各屆模 板變的越來越復(fù)雜。1 9 9 5 年的第六屆m u c 會議在原有場景模板的基礎(chǔ)上又加入 了命名實體識別、共指關(guān)系確定和模板元素填充三項新的任務(wù)。在最后一屆又增 加了模板關(guān)系任務(wù)。這五項任務(wù)的確立指明了信息抽取研究的具體對象，使信息 抽取的研究逐步走向規(guī)范。 ( 2 ) 信息抽取評價體系的確立。這是m u c 會議的另一重大貢獻，參加信 息抽取競賽的每個單位按給定的知識領(lǐng)域提交一個信息系統(tǒng)，然后使用相同的測 試數(shù)據(jù)集對這些系統(tǒng)的性能進行測試比較。第三屆m u c 會議引入了信息檢索領(lǐng) 域中的評價指標(biāo)：召回率、準(zhǔn)確率和f m e a s u r e ，并利用這些指標(biāo)對信息抽取系 統(tǒng)的性能進行打分。測試方法及評價體系的確立使得對信息抽取效果的評價更加 客觀和公正，成為信息抽取研究事實上的標(biāo)準(zhǔn)。 進入2 1 世紀(jì)后，信息抽取研究又達到了新的高度，進入了信息抽取研究的 第三個階段。這個時期信息抽取研究的重點發(fā)生了轉(zhuǎn)移，開始關(guān)注新的研究方法 和研究內(nèi)容。如基于機器學(xué)習(xí)的信息抽取技術(shù)、深層理解技術(shù)、篇章分析技術(shù)、 多語言文本處理能力、基于w e b 的信息抽取以及對時間信息的處理等等 1 5 】。這 一時期的一個重要會議是美國國家標(biāo)準(zhǔn)技術(shù)研究所( n i s t ) 組織的自動內(nèi)容抽 取( a c e ，a u t o m a t i cc o n t e n te x t r a c t i o n ) 評測會議。與m u c 相比，a c e 在任務(wù) 和評測兩個方面進行了改變，a c e 將m u c 定義的五種任務(wù)進行了合并，將命名 實體和共指合并為“實體檢測和識別( e m i t ) ，d e t e c t i o na n dr e c o g n i t i o n ，e d r ) ”， 將模板元素和模板關(guān)系合并為“實體關(guān)系檢測和識別( r e l a t i o nd e t e c t i o na n d r e c o g n i t i o n ，r d r ) ，場景模板任務(wù)改名為“事件檢測和識別( e v e n td e t e c t i o i l a n dr e c o g n i t i o n ，v d r ) ”。另外增加了時間短語表達和數(shù)量值的識別任務(wù)。在 評測方面，a c e 采用基于漏報( 標(biāo)準(zhǔn)答案中有而系統(tǒng)輸出中沒有) 和誤報( 標(biāo) 準(zhǔn)答案中沒有而系統(tǒng)輸出中有) 的評價體系，還對系統(tǒng)跨文檔處理 ( c r o s s d o c u m e n t p r o c e s s i n g ) 能力進行評測。 2 3 信息抽取的研究內(nèi)容 1 2 第二章信息抽取技術(shù) 根據(jù)m u c 和a c e