國內(nèi)外FTP搜索引擎的分析與比較

國內(nèi)外FTP搜索引擎的分析與比較

1、引言在因特網(wǎng)上存在著、流動(dòng)著各種各樣的信息，例如email信息、BBS信息、OICQ信息、被HTTP服務(wù)器管理的HTML網(wǎng)頁，還有被FTP服務(wù)器管理的各種類型的文件。后者是本文關(guān)心的對(duì)象，它們的典型代表是各種學(xué)術(shù)和技術(shù)文件、計(jì)算機(jī)軟件、多媒體數(shù)據(jù)。多數(shù)FTP服務(wù)器都開辟有一個(gè)公共訪問區(qū)，稱為"匿名FTP"，對(duì)公眾提供免費(fèi)的文件信息服務(wù)。FTP搜索引擎的功能是搜集匿名FTP服務(wù)器提供的目錄列表，對(duì)用戶提供文件信息的查詢服務(wù)。由于FTP搜索引擎是專門針對(duì)各種文件的，因而相對(duì)WWW搜索引擎，尋找軟件、圖像、電影和音樂等文件使用FTP搜索引擎將更加方便直接。最早的FTP搜索引擎是基于文本顯示的Archie。Archie實(shí)際上是一個(gè)大型的數(shù)據(jù)庫，再加上與這個(gè)大型數(shù)據(jù)庫相關(guān)聯(lián)的一套檢索方法。該數(shù)據(jù)庫中包括大量可通過FTP下載的文件資源的有關(guān)信息，包括這些資源的文件名、文件長度、存放該文件的計(jì)算機(jī)名及目錄名等?？梢酝ㄟ^遠(yuǎn)程登錄到Archie主機(jī)來使用Archie服務(wù)器，用Archie作為登錄名。一旦登錄成功，一個(gè)Archie程序?qū)⒆詣?dòng)執(zhí)行，這時(shí)一次輸入一條命令，告訴Archie想查尋的內(nèi)容，Archie將檢索自己的數(shù)據(jù)庫并顯示檢索的結(jié)果。如果用戶對(duì)自己想要的東西并不太清楚，Archie還提供"whatis"服務(wù)項(xiàng)目，該服務(wù)提供成千上萬個(gè)程序、數(shù)據(jù)文件和文檔的簡短說明。WWW的出現(xiàn)改變了Archie在文件搜索方面的統(tǒng)治地位，在美觀、方便的WWW頁面上搜索ftp文件成為用戶的自然需求，即人們需要有一種基于Web的FTP搜索引擎。在功能上，基于Web的ftp搜索引擎與Archie基本一樣，都是對(duì)用戶提交的查詢匹配串找到可以下載的ftp站點(diǎn)鏈接。但基于Web的ftp搜索引擎也有很多特色的功能，比如天網(wǎng)ftp搜索引擎的文件分類功能就大大便利了用戶查找文件的過程，提高了查準(zhǔn)率?；赪eb的ftp搜索引擎也采用了很多WWW搜索引擎的策略，比如使用Spider自動(dòng)收集數(shù)據(jù)，采用倒排索引，智能換頁鏈接技術(shù)以及大型ftp搜索引擎必須采用的分布收集和服務(wù)技術(shù)。天網(wǎng)FTP搜索引擎是北京大學(xué)計(jì)算機(jī)系網(wǎng)絡(luò)與分布式系統(tǒng)實(shí)驗(yàn)室開發(fā)的一個(gè)產(chǎn)品，目前已經(jīng)在上提供服務(wù)，搜集文件數(shù)據(jù)量超過一千萬，每日用戶訪問超過40萬次，是目前國內(nèi)規(guī)模最大的FTP搜索引擎，也是國際FTP搜索引擎中的佼佼者(試在Google查詢"ftp搜索引擎"!)。以下我們將天網(wǎng)FTP搜索引擎與多個(gè)著名的國內(nèi)外FTP搜索引擎進(jìn)行分析比較，從而得到全球FTP搜索引擎的現(xiàn)狀并探討其發(fā)展趨勢(shì)。2、著名的國際國內(nèi)FTP搜索引擎目前國內(nèi)外ftp搜索引擎已有不少，我們研究了許多FTP搜索引擎，列出下列比較典型和著名的FTP搜索引擎作為本文的討論對(duì)象：國外著名的FTP搜索引擎：交大思源搜索全軍基因診斷技術(shù)研究所FTP引擎夢(mèng)軒FTP搜索中科大天狼中英文搜索引擎/網(wǎng)絡(luò)指南針華南理工木棉中英文搜索引擎FTP星空搜索/ftpsearch/search.html3、搜集文件條目數(shù)據(jù)量的比較一個(gè)搜索引擎是否大型，就在于其維護(hù)的信息量是否足夠。據(jù)統(tǒng)計(jì)，全球匿名FTP服務(wù)提供的文件條目已經(jīng)超過數(shù)億，而中國國內(nèi)的匿名FTP服務(wù)也提供了幾千萬的文件。由于很多搜索引擎并沒有顯式的說明自己的數(shù)據(jù)庫究竟包含了多少個(gè)文件條目的信息，我們采用兩個(gè)通用查詢來估測(cè)搜索引擎的數(shù)據(jù)量，一個(gè)是子串查詢Winzip，代表Windows平臺(tái)常見的文件，另一個(gè)是子串查詢Linux，代表非Windows平臺(tái)文件。從以上統(tǒng)計(jì)信息可以看出，國外大型FTP搜索引擎數(shù)據(jù)鏈一般都達(dá)到千萬條目以上，而國內(nèi)FTP搜索引擎中，只有北大天網(wǎng)搜索、清華9#、華南木棉、星空搜索可能達(dá)到了這個(gè)量級(jí)，其中又以天網(wǎng)搜索星空搜索文件數(shù)量最大，而華南木棉包含了HTTP和FTP兩個(gè)協(xié)議的文件，因而文件數(shù)目也很大。4、FTP搜索引擎功能選項(xiàng)比較搜索引擎是否吸引用戶，光看數(shù)據(jù)量是不夠的，因?yàn)榧词乖谕瑯拥臄?shù)據(jù)量下，各個(gè)搜索引擎可以實(shí)現(xiàn)的數(shù)據(jù)挖掘結(jié)果各有區(qū)別，而這個(gè)就很大程度上影響了用戶找到需要的文件。早期的Archie就已經(jīng)提供了很多搜索功能和選項(xiàng)，后來的FTP搜索引擎很大程度上都是模仿了Archie，這些功能或選項(xiàng)包括：a、支持*，?等與或操作符b、支持多種查詢模式，如是否大小寫區(qū)分，是否子串匹配或精確查詢等c、支持文件時(shí)間、文件大小、最后修改時(shí)間等過濾選項(xiàng)d、支持多頁面顯示查詢結(jié)果，常見的換頁方式有索引式和下一頁式這些功能或選項(xiàng)是各種文件查詢系統(tǒng)應(yīng)該支持的基本功能，我們稱之為Ftp搜索引擎的基本功能選項(xiàng)。當(dāng)今的Ftp搜索引擎技術(shù)在發(fā)展，其功能也日新月異。我們考查許多Ftp搜索引擎，列出下列區(qū)別于基本功能選項(xiàng)的新功能，這些功能選項(xiàng)以其簡單方便成為一些Ftp搜索引擎的亮點(diǎn)，我們稱之為"新興功能選項(xiàng)"：a、支持指定站點(diǎn)的站內(nèi)文件查詢b、支持結(jié)果排序，例如按時(shí)間、大小、站點(diǎn)等的排序c、查詢結(jié)果中的再查詢d、支持分類目錄，例如提供許多常用的查詢供用戶選擇e、支持查詢系統(tǒng)的文件分類，指在一個(gè)擴(kuò)展名集內(nèi)的查詢，如查電影f、提供FTP站點(diǎn)在線與否的狀況顯示g、支持在線的站點(diǎn)登記h、FTP站點(diǎn)快照Ftp搜索引擎的基本功能選項(xiàng)比較：由上表可以看出，絕大部分Ftp搜索引擎都支持我們所指的"基本功能選項(xiàng)"，其中支持*?操作和結(jié)果換頁是最為必要的，F(xiàn)tp搜索引擎都應(yīng)該支持這些功能。而多種查詢模式和時(shí)間大小過濾并不是特別需要，因?yàn)閷?duì)于普通用戶而言，有最基本的功能選項(xiàng)就足夠了，而且文件名大小寫以及其時(shí)間大小并不是特別確定的，不同的軟件提供者可能在同一軟件的名字和修改時(shí)間上有些改動(dòng)，用戶用目視的方式可能可以得到更多的有效結(jié)果。結(jié)果換頁方式有兩種，一種是索引式，用戶可以在結(jié)果頁面里任意挑選一頁顯示，另一種是下一頁式，用戶只能一頁一頁的向后翻才可以看到后續(xù)的結(jié)果。大部分WWW搜索引擎都是使用了索引式換頁，因?yàn)楫?dāng)查詢結(jié)果有很多時(shí)，一頁一頁往下翻可能使得用戶無法跳出同一類不精確的查詢結(jié)果，而索引式換頁還可以支持用戶隨機(jī)地挑選查詢結(jié)果，比如用戶查詢*.rm，然后隨機(jī)的挑一些電影看。因此我們認(rèn)為索引式的結(jié)果換頁是一種更為先進(jìn)更為方便的方式。從上表可以看出，天網(wǎng)FTP搜索引擎支持了大部分基本功能選項(xiàng)，結(jié)果換頁采用索引方式，因而使用起來是比較方便的。從上表可以看出，站內(nèi)查詢、結(jié)果排序、文件分類和在線站點(diǎn)登記已經(jīng)受到許多FTP搜索引擎的重視，而結(jié)果中查詢、分類目錄、站點(diǎn)在線狀況分析和站點(diǎn)快照等只有很少Ftp搜索引擎實(shí)現(xiàn)了，例如天網(wǎng)Ftp搜索的結(jié)果中查詢和分類目錄其他Ftp搜索引擎都沒有實(shí)現(xiàn)。在這些新興功能選項(xiàng)里，我們參考許多用戶的反饋和我們對(duì)天網(wǎng)Ftp搜索查詢?nèi)罩镜姆治觯J(rèn)為"文件分類"和"站點(diǎn)在線狀況"是目前用戶最為希望能夠使用的，同時(shí)在查詢結(jié)果頁面里面的結(jié)果排序是一種更為有效的結(jié)果排序。5、FTP搜索引擎速度比較：Ftp搜索引擎的速度是十分重要的，因?yàn)樗阉饕姹旧淼哪康木褪翘岣哂脩舨檎倚畔⒌乃俣?。搜索引擎的速度與系統(tǒng)底層的實(shí)現(xiàn)密切相關(guān)，一般而言，如果一個(gè)搜索引擎底層的查詢是使用通用數(shù)據(jù)庫提供的查詢算法，則其查詢速度會(huì)慢很多，而如果采用WWW搜索引擎常用的倒排表索引歸并算法，則可以達(dá)到在毫秒級(jí)完成千萬文件條目的查詢?nèi)蝿?wù)。由于我們無法得到大部分Ftp搜索引擎底層究竟是使用了什么查詢算法和系統(tǒng)，我們只能從外部來考查它的查詢速度，也就是搜索引擎自己顯示的它所費(fèi)的查詢時(shí)間。我們用以下特別查詢來判斷搜索引擎的速度：1、查*.txt代表正常的擴(kuò)展名查詢2、查ab*cd代表*操作，是一個(gè)比較費(fèi)時(shí)的查詢3、查winzip??.exe代表？操作，是一個(gè)比較費(fèi)時(shí)的查詢4、查windows代表正常的子串查詢我們同時(shí)統(tǒng)計(jì)了查詢的結(jié)果數(shù)目，如果系統(tǒng)沒有提供它所費(fèi)的查詢時(shí)間，我們則僅僅統(tǒng)計(jì)它的查詢結(jié)果。下表表項(xiàng)分別是(查詢費(fèi)時(shí)、結(jié)果數(shù)目)，>表示超過搜索引擎的最大結(jié)果顯示數(shù)。從上表可以看出，在提供了查詢費(fèi)時(shí)統(tǒng)計(jì)的所有Ftp搜索引擎里，北大天網(wǎng)Ftp搜索引擎達(dá)到了毫秒級(jí)的查詢速度，且總體而言是最快的。很多搜索引擎并沒有提供查詢費(fèi)時(shí)的統(tǒng)計(jì)，我們只能假設(shè)這些搜索引擎在搜索速度上都是相等的，都屬于中上速度的搜索引擎。6、總結(jié)從上面各個(gè)比較可以看出，天網(wǎng)FTP搜索無論在功能、速度、數(shù)據(jù)量上都是名列前茅的FTP搜索引擎，它的結(jié)果中查詢功能(是所有已知FTP搜索引擎中唯一支持結(jié)果中查詢的)，分類目錄功能(在Google的中文分類目錄搜索引擎里北大天網(wǎng)排名第四，超過了國內(nèi)著名的WWW搜索引擎百渡搜索以及新浪分類目錄)，文件分類查詢和在結(jié)果頁面里面的結(jié)果排序都是極有特色的，而最為重要的是，天網(wǎng)FTP搜索強(qiáng)大的查詢命令解析功能使得各種輸入都盡可能為用戶找到查詢結(jié)果，使得用戶使用搜索引擎更為方便，不受限制。但是，與P相比，天網(wǎng)FTP搜索的數(shù)據(jù)量太少，這個(gè)可能是國內(nèi)FTP站點(diǎn)大部分都是個(gè)人站點(diǎn)造成的。P也是一個(gè)很成功的FTP搜索引擎，它支持各種與或操作的查詢，而且查詢速度十分快，但是功能方面比較簡單，只有簡單查詢。AlltheW源自于原來的FastFtpSearch，是多年來的重要產(chǎn)品，因而無論在數(shù)據(jù)量和功能上很強(qiáng)，而且由于它的商業(yè)開發(fā)比較早，也是少有的幾個(gè)提供商業(yè)應(yīng)用服務(wù)的FTP搜索引擎，是它的一個(gè)主要客戶。但是AlltheWeb沒有支持很多新興的FTP搜索引擎功能，不能說不是一大缺陷。F和都是非美國的FTP搜索引擎，其中以其大數(shù)據(jù)量和通用與或操作查詢贏得較好評(píng)價(jià)，而則相對(duì)比較差。在國外的FTP搜索引擎中，是功能最為領(lǐng)先的，它支持了包括站點(diǎn)快照和文件分類等新興功能，而且其數(shù)據(jù)量非常大，但速度相對(duì)比較慢，還是秒級(jí)的查詢速度F是老FTP搜索引擎，它的數(shù)據(jù)已經(jīng)3年沒有更新，僅僅因?yàn)樗?jīng)存在的名氣和大的數(shù)據(jù)量我們依然分析評(píng)測(cè)了這個(gè)站點(diǎn)。國內(nèi)的FTP搜索引擎里，除了天網(wǎng)搜索，最值得推薦的就是星空搜索。星空搜索以其大的數(shù)據(jù)量和特色功能如站點(diǎn)快照、站點(diǎn)在線狀況等著稱，但是它對(duì)查詢串的解析功能太差，不能支持與或操作，造成很多常用查詢無法得到查詢結(jié)果。NoseyParker家族作為最常見的FTP搜索引擎而著名，清華酒井的FTP搜索數(shù)據(jù)量也很大，但是NoseyParker速度并不快，而且不支持各種新興功能，它的下一頁換頁方式不是很方便。值得注意的是NoseyParker家族里面的"夢(mèng)軒FTP搜索"已經(jīng)對(duì)NoseyParker進(jìn)行了很大的改進(jìn)，增加了許多新興功能，使用起來還是很方便的。與天網(wǎng)搜索同屬于教育界科研項(xiàng)目的有華南木棉搜索引擎、網(wǎng)絡(luò)指南針以及比較新的中科大天狼搜索引擎。這些搜索引擎中以華南木棉使用起來最為方便，它支持文件分類和排序以及傳統(tǒng)FTP搜索引擎支持的各種與或操作符，但是它的數(shù)據(jù)量比較小，很大部分的文件信息來自于互聯(lián)網(wǎng)網(wǎng)頁而不是FTP，查詢時(shí)命中率并不是想象中的那么高。網(wǎng)絡(luò)指南針和中科大天狼都沒有支持新興功能，但網(wǎng)絡(luò)指南針用起來比中科大天狼方便，因?yàn)樘炖撬阉饔捎谄洳恢С纸Y(jié)果換頁使得可用性大大降低。但是天狼搜索查詢高速度卻很高，達(dá)到了毫秒級(jí)，估計(jì)是使用了比較好的索引算法?！蛾P(guān)于2010-2011年度：中國電子商務(wù)系列研究報(bào)告定制的通知》作為國內(nèi)專業(yè)電子商務(wù)研究機(jī)構(gòu)，包括B2B領(lǐng)域的阿里巴巴、網(wǎng)盛生意寶、中國制造網(wǎng)、慧聰網(wǎng)、環(huán)球資源、金銀島、一達(dá)通、敦煌網(wǎng)等企業(yè)；B2C領(lǐng)域的京東商城、當(dāng)當(dāng)網(wǎng)、卓越亞馬遜、新蛋中國、紅孩子、凡客誠品(VANCL)、麥考林（麥網(wǎng)）、庫巴購物網(wǎng)、蘇寧易購、淘寶網(wǎng)、拍拍網(wǎng)、eBay易趣網(wǎng)、樂酷天、百度有啊、樂淘網(wǎng)、銀泰網(wǎng)、珂蘭鉆石網(wǎng)等；支付領(lǐng)域的支付寶、財(cái)付通、環(huán)迅支付、百付寶、銀聯(lián)電子支付、快錢、易寶支付等；還有移動(dòng)電子商務(wù)領(lǐng)域的中科聚盟、新網(wǎng)互聯(lián)、匯?？萍?、億美軟通、天下互聯(lián)、新網(wǎng)互聯(lián)、用友偉庫等，以及團(tuán)購領(lǐng)域的拉手網(wǎng)、美團(tuán)網(wǎng)、F團(tuán)、窩窩團(tuán)、阿丫團(tuán)、24券、愛幫網(wǎng)、糯米網(wǎng)、騰訊“QQ”團(tuán)、酷團(tuán)網(wǎng)、大眾點(diǎn)評(píng)網(wǎng)、淘寶“聚劃算”等電子商務(wù)各領(lǐng)域典型企業(yè)，均為中心的重點(diǎn)研究與監(jiān)測(cè)對(duì)象。據(jù)不完全統(tǒng)計(jì)：逾500家專注報(bào)道電商的媒體記者已注冊(cè)為中心“特約記者”，第一時(shí)間密切關(guān)注引用本中心報(bào)告；累計(jì)5余萬家電子商務(wù)及相關(guān)企業(yè)長期訂閱、并引用報(bào)告數(shù)據(jù)；報(bào)告影響力輻射2000萬家中小企業(yè)、5千萬網(wǎng)購用戶；并屢獲包括國家商務(wù)部、工信部、工商總局、發(fā)改委、國新辦、央行、海關(guān)總署在內(nèi)的多部委引用、認(rèn)可；累計(jì)不少于600家