現(xiàn)有數(shù)學(xué)搜索引擎對(duì)比課件

MathSearch簡(jiǎn)介

現(xiàn)有數(shù)學(xué)搜索引擎對(duì)比

數(shù)學(xué)標(biāo)記語(yǔ)言簡(jiǎn)介

數(shù)學(xué)查詢語(yǔ)言MQL簡(jiǎn)介

MathSearch簡(jiǎn)介

MathSearch的設(shè)計(jì)目標(biāo)

MathSearch的設(shè)計(jì)思想MathSearch的研究?jī)?nèi)容MathSearch的設(shè)計(jì)目標(biāo)MathSearch是一個(gè)可進(jìn)行數(shù)學(xué)內(nèi)容檢索的基于公式的網(wǎng)絡(luò)數(shù)學(xué)搜索引擎。MathSearch使用語(yǔ)義檢索方式，不僅可以實(shí)現(xiàn)基于字面顯示結(jié)構(gòu)的數(shù)學(xué)公式檢索，同時(shí)可以實(shí)現(xiàn)基于數(shù)學(xué)公式語(yǔ)義的檢索。MathSearch能夠?qū)崿F(xiàn)對(duì)含有數(shù)學(xué)公式、數(shù)學(xué)符號(hào)的網(wǎng)頁(yè)、文檔、資料的搜索。MathSearch支持的具體查詢有：結(jié)構(gòu)查詢，語(yǔ)義查詢，通配符查詢，組合查詢，抽象查詢MathSearch的設(shè)計(jì)思想Mathsearch利用一系列爬蟲進(jìn)程從網(wǎng)絡(luò)上收集信息，并判斷其是否含有數(shù)學(xué)相關(guān)的內(nèi)容，如果有則開始下載相應(yīng)的文檔，并從文檔中提取所需數(shù)學(xué)公式、數(shù)學(xué)符號(hào)或數(shù)學(xué)相關(guān)內(nèi)容。為了同時(shí)支持基于數(shù)學(xué)顯示方式的查詢和基于數(shù)學(xué)公式語(yǔ)義的查詢，Mathsearch為這些公式、符號(hào)和數(shù)學(xué)內(nèi)容分別建立面向數(shù)學(xué)公式顯示的Presentation索引和面向數(shù)學(xué)公式語(yǔ)義的Content索引。用戶表達(dá)查詢需求時(shí)，既可以通過所見即所得的GUI窗口輸入要搜索的內(nèi)容，也可以直接輸入數(shù)學(xué)查詢語(yǔ)言MQL來表達(dá)搜索需求。MathSearch對(duì)MQL進(jìn)行解析，查找相應(yīng)的數(shù)學(xué)內(nèi)容，通過合理的算法對(duì)這些網(wǎng)頁(yè)連接建立PageRank，將結(jié)果排序顯示，并將查找內(nèi)容突出顯示。MathSearch的設(shè)計(jì)思想（續(xù)）

圖：MathSearch設(shè)計(jì)思想MathSearch的研究?jī)?nèi)容（１）數(shù)學(xué)搜索數(shù)據(jù)源的界定及表達(dá)方式之間的轉(zhuǎn)換研究MathSearch搜索數(shù)學(xué)公式的主要搜索目標(biāo)格式為MathML格式，OpenMath格式，中綴格式以及LaTex格式。這幾種格式在表示方法上存在較大差異，MathSearch主要研究不同格式的數(shù)學(xué)公式的等價(jià)性及它們之間的相互轉(zhuǎn)換方法。

MathSearch在數(shù)學(xué)公式編輯器MathEdit基礎(chǔ)上研究數(shù)學(xué)公式轉(zhuǎn)換器，針對(duì)目前Web中比較常見的數(shù)學(xué)公式標(biāo)記語(yǔ)言MathML，OpenMath，LaTex和Infix進(jìn)行轉(zhuǎn)換，采用標(biāo)準(zhǔn)的JavaScript，DOM及XSL實(shí)現(xiàn)，提供可視化的圖形界面，方便用戶編輯、轉(zhuǎn)換和提取負(fù)責(zé)的數(shù)學(xué)公式。該研究可以有效應(yīng)用于網(wǎng)絡(luò)數(shù)學(xué)搜索引擎中。MathSearch的研究?jī)?nèi)容（4）數(shù)學(xué)搜索系統(tǒng)性能與質(zhì)量的研究

搜索引擎提供的結(jié)果集中頁(yè)面質(zhì)量的好壞以及高質(zhì)量的頁(yè)面能否在結(jié)果集中有較好的排名，對(duì)搜索引擎用戶來說具有重要意義，同時(shí)也是衡量搜索引擎技術(shù)優(yōu)劣的關(guān)鍵指標(biāo)，所以對(duì)頁(yè)面進(jìn)行重要性評(píng)估并按重要性排序是搜索引擎要解決的技術(shù)核心。在數(shù)學(xué)搜索中，要考慮的一個(gè)重要問題是相關(guān)度Relativity。相關(guān)度是指檢索出的內(nèi)容與查詢條件之間的匹配程度。因此，加入以下兩個(gè)方面的因素的考慮：第一，在數(shù)學(xué)公式中，不同的數(shù)學(xué)符號(hào)、數(shù)學(xué)公式具有不同的重要度。第二，對(duì)于同一公式，有時(shí)具有多種語(yǔ)義，多種表示方式和多個(gè)計(jì)算結(jié)果。另一方面，在搜索時(shí)為了明確用戶需求，系統(tǒng)可以針對(duì)不同的用戶記錄歷史操作，以跟蹤用戶行為，總結(jié)用戶偏好，建立用戶日志。使得在下一次搜索中可以根據(jù)用戶的習(xí)慣搜索并顯示可能符合用戶意圖的相關(guān)結(jié)果。

MathSearch的研究?jī)?nèi)容（5）搜索結(jié)果的返回顯示研究

搜索引擎強(qiáng)調(diào)命中顯示、突出查詢關(guān)鍵項(xiàng)顯示的主要目的是便于用戶查看和評(píng)測(cè)返回結(jié)果。對(duì)于內(nèi)容較多的文件，系統(tǒng)需要在查詢返回結(jié)果中顯示若干摘要信息并突出顯示匹配查詢條件的關(guān)鍵項(xiàng)。一方面，這樣可以使用戶在結(jié)果文件中快速定位查詢條件中關(guān)鍵項(xiàng)，便于查看。另一方面，也可以作為搜索引擎性能的一個(gè)評(píng)估標(biāo)準(zhǔn)，檢測(cè)搜索結(jié)果是否符合查詢需求以及符合程度。

現(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（1）現(xiàn)有數(shù)學(xué)搜索引擎分兩大類：不支持?jǐn)?shù)學(xué)內(nèi)容識(shí)別的通過查找已提供的元數(shù)據(jù)，可以執(zhí)行比普通全文搜索引擎更好的數(shù)學(xué)內(nèi)容搜索，但不能處理數(shù)學(xué)操作。支持?jǐn)?shù)學(xué)內(nèi)容識(shí)別的根據(jù)他們的數(shù)學(xué)識(shí)別方法又分為：基于語(yǔ)義的方法基于語(yǔ)法的方法現(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（2）MathDex

MathDex是最早的能夠進(jìn)行數(shù)學(xué)內(nèi)容識(shí)別的全文檢索引擎，是基于Apache的Lucene搜索引擎。關(guān)鍵特性有以下幾點(diǎn)：支持無語(yǔ)義數(shù)學(xué)內(nèi)容文檔的查詢；支持不同數(shù)學(xué)編碼數(shù)學(xué)內(nèi)容的查詢；同時(shí)支持?jǐn)?shù)學(xué)符號(hào)和文本的檢索，盡可能滿足用戶的查詢期望而不僅僅針對(duì)字面查詢。MathDex對(duì)于所有檢索到的文件首先將其轉(zhuǎn)換成XHTML+MathML格式。文件根據(jù)結(jié)構(gòu)及與查詢項(xiàng)的語(yǔ)法相似程度進(jìn)行排序。MathDex提出N-grams匹配方法以提高精確度。在索引建立階段，不僅為每個(gè)公式建立索引，同時(shí)記錄其子公式出現(xiàn)的頻率信息。子公式出現(xiàn)的頻率對(duì)增加復(fù)雜公式的匹配度有很大意義。

另外一個(gè)提高精確度的方法是將文件分為多個(gè)域，比如題目、正文等，并給予不同權(quán)重。出現(xiàn)在標(biāo)題中項(xiàng)的權(quán)重應(yīng)高于出現(xiàn)在正文中項(xiàng)的權(quán)重。MathDex存儲(chǔ)表達(dá)式的不同部分以進(jìn)行并行查詢，從方程不同部分匹配到的項(xiàng)具有不同的權(quán)重。不同公式可具有分子域、上標(biāo)域、行域等。輸入公式被解析，定義合適的域，然后查詢被重寫，在所選擇領(lǐng)域匹配子項(xiàng)。越多子項(xiàng)匹配，相關(guān)度越高。MathDex不能處理數(shù)學(xué)操作和等價(jià)性匹配?，F(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（3）DLMFSearchDLMFSearch是為美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NationalInstituteofStandardsandTechnology）的數(shù)學(xué)公式數(shù)字圖書館（DigitalLibraryofMathematicalFunctions）而建立的一個(gè)檢索系統(tǒng)。DLMFSearch的目標(biāo)公式格式主要針對(duì)于TeX/LaTex格式，查詢語(yǔ)言也是基于LaTex。查詢描述階段，為了使用戶能夠表達(dá)模糊查詢需求，DLMFSearch在LaTex格式基礎(chǔ)上進(jìn)行擴(kuò)展，定義一系列元數(shù)據(jù)，這種查詢語(yǔ)言是一種文本化的查詢語(yǔ)言。在索引建立階段，DLMFSearch擴(kuò)展文本信息檢索的索引方法。首先對(duì)數(shù)學(xué)對(duì)象進(jìn)行線形化，即將所有非字母表中的數(shù)學(xué)符號(hào)都對(duì)應(yīng)到字母表中的一個(gè)字。其次界定并序列化數(shù)學(xué)對(duì)象的子項(xiàng)及表達(dá)式，最后按順序?qū)⒏髯禹?xiàng)化為標(biāo)準(zhǔn)規(guī)范形式，即轉(zhuǎn)化為已定義的規(guī)范順序以免表述風(fēng)格的不一致導(dǎo)致的查詢錯(cuò)誤。該引擎的核心仍是基于文本的檢索，與傳統(tǒng)文本檢索系統(tǒng)在本質(zhì)上沒有差別?，F(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（4）LeActiveMath

LeActiveMath是一個(gè)基于Web的智能數(shù)學(xué)學(xué)習(xí)環(huán)境，主要目標(biāo)是根據(jù)用戶的前期工作及實(shí)際知識(shí)水平為其提供個(gè)性化內(nèi)容。目前，這個(gè)學(xué)習(xí)系統(tǒng)并未向公眾免費(fèi)開放，而且并未查找到其可用的搜索系統(tǒng)。它是基于ApacheLucene搜索引擎的。顯然，這樣的教育系統(tǒng)是需要一個(gè)搜索引擎的。該系統(tǒng)針對(duì)的數(shù)據(jù)源是OMDoc編碼的具有語(yǔ)義的數(shù)學(xué)文件。索引階段依賴于特殊的OMDoc格式，其包含語(yǔ)義信息以及其他的元數(shù)據(jù)。應(yīng)用于現(xiàn)有真實(shí)文檔則仍有一定問題。然而，使用特殊的OMDoc格式可以提高文檔的相關(guān)度，使得搜索引擎在特殊環(huán)境更加有效。OMDoc具有把文件分為被稱之為項(xiàng)的內(nèi)容單元的特性。這些項(xiàng)包括：定理，練習(xí)，證明，定義等等。它們可以通過單一的標(biāo)志符來定位，這有利于開發(fā)它們之間的關(guān)系。索引階段，將OMDoc的公式轉(zhuǎn)換為特殊的包含信息深度的文本化標(biāo)記。子公式的深度信息包含于索引字符串中。搜索階段將輸入公式轉(zhuǎn)化為具有深度級(jí)別的表達(dá)式。目前，他們解決這一問題的辦法是迭代索引庫(kù)中從1到最大深度的公式?，F(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（5）EgoMath

EgoMath是一個(gè)基于Egothorv2的可識(shí)別數(shù)學(xué)內(nèi)容的全文本搜索引擎。它的主要目的是適用于現(xiàn)實(shí)世界中不包含隱含語(yǔ)義信息的數(shù)學(xué)內(nèi)容。它支持PresentationMathML和ContentMathML表示方式，更側(cè)重于針對(duì)PresentationMathML表示方式。對(duì)于PDF文件，用Infty轉(zhuǎn)換器轉(zhuǎn)換為PresentationMathML標(biāo)記的數(shù)學(xué)文件。EgoMath同時(shí)支持文本化查詢和數(shù)學(xué)公式查詢，這對(duì)于現(xiàn)實(shí)應(yīng)用更具有效性。EgoMath并不是用一個(gè)單獨(dú)的項(xiàng)來表示一個(gè)數(shù)學(xué)公式，復(fù)雜的公式往往由一個(gè)項(xiàng)的有序集合來表示。后一個(gè)表達(dá)式可以由前一個(gè)表達(dá)式通過應(yīng)用歸納和變形來得到。這些規(guī)則試圖降低全文索引庫(kù)的最大缺陷——靜態(tài)特性。每個(gè)集合中后面的公式都是由歸納而來的，因而可以匹配更多的表達(dá)式。在搜索階段，用戶輸入被分為簡(jiǎn)單文本查詢和數(shù)學(xué)查詢。然后，采用和索引階段相同的算法處理數(shù)學(xué)查詢。算法產(chǎn)生n個(gè)表達(dá)式，這些表達(dá)式通過“AND”操作符附加到簡(jiǎn)單文本查詢上。結(jié)果是執(zhí)行n個(gè)連續(xù)的查詢操作。出于后面的查詢項(xiàng)被匹配到的可能性更大，因?yàn)楹竺娴捻?xiàng)比前面的更具有普遍性。每個(gè)數(shù)學(xué)文件都被分為數(shù)學(xué)部分和文本部分進(jìn)行存儲(chǔ)。否則類似于“sin”的模糊查詢就會(huì)即返回包含數(shù)學(xué)公式“sin”的文檔，又返回包含字符串“sin”的文檔。EgoMath中查詢語(yǔ)言采用類似于LaTex的表示方式。EgoMath由于UI設(shè)計(jì)仍未完成直至目前仍未公布?，F(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（6）MathWebSearch

MathWebSearch是一個(gè)不依賴于全文檢索引擎的數(shù)學(xué)搜索引擎。進(jìn)行數(shù)學(xué)搜索時(shí)，MathWebSearch采用了非文本化的查詢方法。該方法中表達(dá)式被解析為置換樹，結(jié)果是產(chǎn)生一個(gè)類似于樹的結(jié)構(gòu)，節(jié)點(diǎn)包含了對(duì)父節(jié)點(diǎn)的置換。為了進(jìn)行子公式的查找，它將每一公式的所有子公式單獨(dú)的加入索引庫(kù)中。盡管MathWebSearch是最好的數(shù)學(xué)識(shí)別搜索引擎，但它仍存在一定問題。一方面，具有相同語(yǔ)法的公式可能具有不同的語(yǔ)義，另一方面，語(yǔ)法不同的公式可能具有相同的語(yǔ)義。另外，公式的每一次查找都要轉(zhuǎn)換為置換樹，這可能帶來性能問題。由于該搜索引擎不支持全文本的查找，因而在實(shí)用性上仍存在一定缺陷。目前，它可索引ContentMathML文件，受限制的PresentationMathML，OpenMath格式的文件。該數(shù)學(xué)搜索引擎前端Web搜索界面非常類似于MathDex但是查詢語(yǔ)言有所不同，它的查詢語(yǔ)言擴(kuò)展自MathML。

現(xiàn)有數(shù)學(xué)搜索引擎對(duì)比（7）數(shù)學(xué)檢索系統(tǒng)名稱數(shù)學(xué)查詢語(yǔ)言支持?jǐn)?shù)學(xué)表達(dá)格式索引方法語(yǔ)言查詢基于Web框架原型MathDexMathML（Presentation）MathML、LaTex、OpenMath、中綴等文本檢索否否無DLMFSearchLaTexTeX/LaTex文本檢索否否LunceneLeActiveMathOpenMathOMDoc文本檢索否是LunceneEgoMathLaTexMathML、PDF文本檢索是是Egothorv2MathWebSearchMathML（Content）ContentMathML、OpenMath、受限的PresentationMathML置換樹索引是是無數(shù)學(xué)標(biāo)記語(yǔ)言簡(jiǎn)介（1）TeX/LaTex

TeX第一個(gè)高質(zhì)量的電子排版系統(tǒng)，它提供了一套功能強(qiáng)大并且十分靈活的排版語(yǔ)言，多達(dá)900多條指令，并且TEX有宏功能，用戶可以不斷地定義自己適用的新命令來擴(kuò)展TEX系統(tǒng)的功能。

LaTex是當(dāng)今世界上最流行和使用最為廣泛的TEX宏集。TeX可以看作是一種專門用來排版的命令語(yǔ)言,LaTex實(shí)際是TeX的宏命令。使用LaTex基本上不需要使用者自己設(shè)計(jì)命令和宏等，因此，即使使用者并不是很了解TEX,也可以在短短的時(shí)間內(nèi)生成高質(zhì)量的文檔。和Word等流行的編輯軟件比較,LaTex在編排公式時(shí)不需考慮公式的位置和公式中字符的大小,LaTex會(huì)自動(dòng)的將這些工作嚴(yán)格按照國(guó)際標(biāo)準(zhǔn)給出。即TeX

系統(tǒng)的排版結(jié)果DVI（DeViceIndependent）文件與輸出設(shè)備無關(guān)。DVI文件可以顯示、打印、照排，幾乎可以在所有的輸出設(shè)備上輸出。TeX

排版源文件及結(jié)果在各種計(jì)算機(jī)系統(tǒng)上互相兼容。目前有很多科技文獻(xiàn)中的公式都是用LaTex來描述的。數(shù)學(xué)標(biāo)記語(yǔ)言簡(jiǎn)介（2）MathML

MathML完全采用XML的定義規(guī)范，繼承了XML的大部分優(yōu)點(diǎn)，具有強(qiáng)大的數(shù)學(xué)公式表達(dá)能力。MathML用于描述數(shù)學(xué)公式的結(jié)構(gòu)和內(nèi)容，它的出現(xiàn)使數(shù)學(xué)公式不僅可以在Web上建立與傳輸，而且可以在其它應(yīng)用程序中實(shí)現(xiàn)再利用和轉(zhuǎn)換，滿足用戶對(duì)數(shù)學(xué)公式的各種處理需求。MathML提供兩種描述數(shù)學(xué)公式的標(biāo)記：Presentation標(biāo)記和Content標(biāo)記。Presentation標(biāo)記大約有30個(gè)，附帶50多種屬性，主要目的是用來描述抽象數(shù)學(xué)符號(hào)的二維結(jié)構(gòu)，相當(dāng)于一個(gè)數(shù)學(xué)符號(hào)構(gòu)造器，把數(shù)學(xué)符號(hào)的語(yǔ)法結(jié)構(gòu)表現(xiàn)出來。每一個(gè)表現(xiàn)標(biāo)記都對(duì)應(yīng)著唯一的一種符號(hào)模式。Content標(biāo)記大約有120個(gè)，其中大部分是空標(biāo)記，附帶的屬性只有簡(jiǎn)單的12種。Presentation標(biāo)記和Content標(biāo)記都可以完整地描述任何一個(gè)數(shù)學(xué)公式，但是它們的側(cè)重點(diǎn)不同：前者用來描述數(shù)學(xué)表達(dá)式的二維布局結(jié)構(gòu)，它更注重表達(dá)式的顯示方式；后者描述用于計(jì)算和處理的數(shù)學(xué)信息，它更關(guān)注表達(dá)式的內(nèi)在含義。Presentation標(biāo)記和Content標(biāo)記使得Web中的數(shù)學(xué)信息不僅是機(jī)器能讀的，而且是機(jī)器能理解的。為了同時(shí)從結(jié)構(gòu)和語(yǔ)義兩方面描述一個(gè)數(shù)學(xué)對(duì)象，二者還可交叉使用形成混合編碼，但不能相互替代。數(shù)學(xué)標(biāo)記語(yǔ)言簡(jiǎn)介（3）OpenMath

OpenMath也是一種XML應(yīng)用。區(qū)別在于，MathML最初是處理數(shù)學(xué)對(duì)象的顯示和交付，而Open-Math則著眼于數(shù)學(xué)語(yǔ)義或內(nèi)容。OpenMath繼承了XML的固有特征，用OpenMath編碼的數(shù)學(xué)對(duì)象可以在瀏覽器中顯示、在系統(tǒng)之間交互、在數(shù)據(jù)庫(kù)或文件中進(jìn)行存儲(chǔ)或檢索，甚至可以對(duì)其數(shù)學(xué)合理性進(jìn)行驗(yàn)證。盡管MathML和OpenMath之間具有很強(qiáng)的互補(bǔ)性，但人們更加關(guān)心的還是數(shù)學(xué)對(duì)象的語(yǔ)義及內(nèi)容而并非數(shù)學(xué)表達(dá)式的顯示問題。數(shù)學(xué)結(jié)構(gòu)的OpenMath表示方法就是OpenMath對(duì)象，通常OpenMath對(duì)象或OpenMath表達(dá)式以有標(biāo)號(hào)的樹型結(jié)構(gòu)出現(xiàn)，樹的葉子節(jié)點(diǎn)就是基本OpenMath對(duì)象，這些對(duì)象用預(yù)定義的XML標(biāo)簽來進(jìn)行編碼