游戲推薦系統(tǒng)Report

Game-onlineRecommendation鄧鵬鵬:10648204郭文嘉:10648206蔡竹華:10648200劉強(qiáng):106482632006年12月24日網(wǎng)絡(luò)金融第2小組組項(xiàng)目背景對(duì)于廣大的游戲玩家來(lái)說(shuō)，要準(zhǔn)確的獲取大量互聯(lián)網(wǎng)上的游戲信息是很難通過(guò)手工來(lái)做到，需要一種信息收集工具來(lái)獲取必要的信息。目前互聯(lián)網(wǎng)上游戲種類(lèi)眾多，游戲玩家面對(duì)此現(xiàn)狀，往往難于選擇，故亟需一種這樣的系統(tǒng):能根據(jù)玩家的輸入，返回玩家可能感興趣的游戲列表。

2網(wǎng)絡(luò)金融第2小組組項(xiàng)目開(kāi)發(fā)示意圖Crawling文本提取模塊IEURL列表游戲數(shù)據(jù)庫(kù)游戲推薦系統(tǒng)游戲相關(guān)屬性3網(wǎng)絡(luò)金融第2小組組項(xiàng)目開(kāi)發(fā)主要模塊網(wǎng)頁(yè)抓取模塊Crawler:從url列表中取出項(xiàng)以string形式傳給Crawler，抓取網(wǎng)站的html文檔，存入文件系統(tǒng)中,該模塊采取多線(xiàn)程實(shí)現(xiàn)；文本提取模塊IE:將文件系統(tǒng)中的html文檔作為輸入，經(jīng)相應(yīng)的詞法語(yǔ)法分析，提取出需要的屬性存入數(shù)據(jù)庫(kù)；游戲推薦模塊；友好簡(jiǎn)潔的查詢(xún)功能。4網(wǎng)絡(luò)金融第2小組組關(guān)鍵技術(shù)與算法(1)前臺(tái)顯示模塊的關(guān)鍵技術(shù):采用基于J2EE平臺(tái)的MVC框架;Crawling:將網(wǎng)絡(luò)爬蟲(chóng)的搜索范圍限制在某幾個(gè)網(wǎng)站之內(nèi)，并且專(zhuān)門(mén)提取屬于游戲的超鏈接，并下載相應(yīng)得網(wǎng)頁(yè);從html文件中提取興趣特性：根據(jù)html文件特點(diǎn)，設(shè)置正則文法，對(duì)html文件進(jìn)行語(yǔ)法分析，從而提取游戲相關(guān)內(nèi)容；技術(shù)難點(diǎn)：因?yàn)椴煌膆tml頁(yè)面有不同的組織結(jié)構(gòu)，不能用統(tǒng)一的規(guī)則去處理，并且對(duì)于游戲?qū)傩缘汝P(guān)鍵字的提取涉及到自然語(yǔ)言處理；5網(wǎng)絡(luò)金融第2小組組關(guān)鍵技術(shù)與算法(2)數(shù)據(jù)庫(kù)連接池;多線(xiàn)程抓取;6網(wǎng)絡(luò)金融第2小組組Crawler的實(shí)現(xiàn)基于課程第一次作業(yè)提供的底層模塊：CHTTP,CHTMLREF,CREF,CURL等

多線(xiàn)程技術(shù):調(diào)用C++中pthread_t類(lèi)提供的pthread_create()和pthread_join()方法創(chuàng)建和銷(xiāo)毀線(xiàn)程，難點(diǎn)在于主線(xiàn)程和子線(xiàn)程間傳遞多個(gè)不同類(lèi)型的參數(shù)以及線(xiàn)程間的互斥訪(fǎng)問(wèn)。通常的解決辦法是設(shè)置同步和互斥變量進(jìn)行線(xiàn)程間的通信和訪(fǎng)問(wèn)控制，考慮到本例中線(xiàn)程之間并沒(méi)有數(shù)據(jù)上的依賴(lài)關(guān)系，因此簡(jiǎn)化了設(shè)計(jì)，通過(guò)為每一主線(xiàn)程設(shè)置全局?jǐn)?shù)組變量，為每一子線(xiàn)程劃分爬取任務(wù)及訪(fǎng)問(wèn)區(qū)間，避免了線(xiàn)程間的訪(fǎng)問(wèn)沖突，也減少了線(xiàn)程間的傳遞的參數(shù)類(lèi)型。同時(shí)，采取了出錯(cuò)重爬機(jī)制，提高了爬取的成功率。

7網(wǎng)絡(luò)金融第2小組組信息提取模塊的實(shí)現(xiàn)使用SimpleTemplateExtraction技術(shù)，從固定格式的網(wǎng)頁(yè)中順序提取信息，對(duì)于每個(gè)信息槽(slot),判斷槽的起始位置以及結(jié)束位置，然后提取信息到數(shù)據(jù)庫(kù)。借鑒ExecHLRT(wrapper<h,t,l1

,

r1

,l2

,r2,…h(huán)…>,Pagep)算法的思想。

8網(wǎng)絡(luò)金融第2小組組RecommendationSystem（1）

RecommendValue=+Content-basedFilteringGroupLensCollaborativeFiltering(1-u)u9網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（2）

--Content-basedFiltering

通過(guò)wrapper和正則表達(dá)式匹配，取出系列和類(lèi)型等屬性。不同的屬性分配不同的權(quán)重值系列和類(lèi)型的權(quán)重應(yīng)比較大參與推薦的屬性：系列，類(lèi)型，時(shí)間，廠(chǎng)商，總評(píng)價(jià)時(shí)間:2005年2月28日總評(píng)分:75系列:模擬人生類(lèi)型:模擬養(yǎng)成廠(chǎng)商:Maxis10網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（3）

--Content-basedFiltering

在游戲名中通過(guò)正則表達(dá)式//[0-9]+$/來(lái)判斷游戲是否有系列名稱(chēng)，但對(duì)于像名為“地球2160”的游戲，不能認(rèn)為它是“地球”系列游戲的第2160款作品處理時(shí)有歧義，對(duì)于結(jié)果沒(méi)有影響不能處理以羅馬數(shù)字表示的系列，如“忍者神龜III:變種格斗”增加對(duì)游戲名的分析，作更多的條件判斷仍然會(huì)遇到許多個(gè)別的不規(guī)范，不匹配的格式做一些人工的修正，盡量規(guī)范數(shù)據(jù)庫(kù)中信息的格式；或者有針對(duì)的增加特別的處理問(wèn)題和解決辦法11網(wǎng)絡(luò)金融第2小組組

RecommendationSystem（4）

--GrouplensCollaborativeFiltering

Aij

表示用戶(hù)i對(duì)游戲j的評(píng)分（0~100）GameIdUserId聯(lián)合過(guò)濾矩陣12網(wǎng)絡(luò)金融第2小組組RecommendationSystem（5）

--GrouplensCollaborativeFiltering

Predictionforactiveuseraonitemq聯(lián)合過(guò)濾矩陣A13網(wǎng)絡(luò)金融第2小組組RecommendationSystem（6）

--GrouplensCollaborativeFilteringActiveUser是誰(shuí)？虛擬了一個(gè)ActiveUser的數(shù)據(jù)的取值是多少?取值使得和最大的值相當(dāng)如何分配Content-basedValue和GrouplensCollaborativeValue的重要度？權(quán)重因子u對(duì)Content-basedValue和CollaborativeValue分別進(jìn)行歸一化RecommendValue=u*Content-basedValue+(1-u)*CollaborativeValue問(wèn)題和解決辦法14網(wǎng)絡(luò)金融第2小組組查詢(xún)界面分類(lèi)檢索根據(jù)用戶(hù)選擇的類(lèi)別，例如廠(chǎng)商和游戲類(lèi)別，列出屬于該類(lèi)的所有游戲信息以及推薦的游戲列表。關(guān)鍵字檢索根據(jù)用戶(hù)輸入的關(guān)鍵字，返回與之匹配的游戲信息。15網(wǎng)絡(luò)金融第2小組組

16網(wǎng)絡(luò)金融第2小組組

17網(wǎng)絡(luò)金融第2小組組分類(lèi)檢索詳細(xì)查詢(xún)頁(yè)提供了三個(gè)類(lèi)別的檢索，如名稱(chēng)、廠(chǎng)商、游戲類(lèi)別。

18網(wǎng)絡(luò)金融第2小組組

19網(wǎng)絡(luò)金融第2小組組

20網(wǎng)絡(luò)金融第2小組組總結(jié)開(kāi)發(fā)項(xiàng)目本身是個(gè)學(xué)習(xí)的過(guò)程，學(xué)習(xí)并利用到Crawler的一些算法，熟悉了J2EE架構(gòu)；在項(xiàng)目的進(jìn)行中，項(xiàng)目組成員積極主動(dòng)，互相協(xié)作，嚴(yán)格按照項(xiàng)目開(kāi)發(fā)流程進(jìn)行，保證了項(xiàng)目的最終