論壇用戶識(shí)別

1、互聯(lián)網(wǎng)用戶的識(shí)別摘要：本論文研究的是互聯(lián)網(wǎng)用戶識(shí)別方法，目的在于通過用戶識(shí)別確定論壇中的言論領(lǐng)導(dǎo)、話題用戶、關(guān)系圈四個(gè)用戶類型。本文為把問題的解決做到了如下幾個(gè)方面：第一方面，通過網(wǎng)絡(luò)爬蟲軟件建立數(shù)據(jù)挖掘方法。實(shí)際操作過程中采用火車頭網(wǎng)絡(luò)爬蟲軟件，運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)，模擬用戶實(shí)際訪問頁面情況，對(duì)所需網(wǎng)頁內(nèi)容進(jìn)行聚焦搜索與抓取。得到數(shù)據(jù)后，導(dǎo)出到本地Access數(shù)據(jù)庫中進(jìn)行保存與操作；第二方面，數(shù)據(jù)抽樣統(tǒng)計(jì)。鑒于網(wǎng)絡(luò)論壇和其中話題數(shù)目的龐大數(shù)量。本文采取抽樣統(tǒng)計(jì)的方法。首先隨機(jī)均勻抽取相關(guān)數(shù)據(jù)，再對(duì)其合理性進(jìn)行擬合檢驗(yàn)，確保樣本數(shù)據(jù)包含各層次情況，使得所建立的模型及得出的結(jié)論具有代表性。第三方面，

2、運(yùn)用綜合評(píng)價(jià)模型對(duì)數(shù)據(jù)進(jìn)行建模。在言論領(lǐng)袖模型建立過程中，首先對(duì)相關(guān)的衡量指標(biāo)標(biāo)準(zhǔn)化，而后采用非線性加權(quán)綜合法進(jìn)行評(píng)價(jià)，通過對(duì)抽樣用戶的得分進(jìn)行分析。而活躍用戶則是通過采用線性加權(quán)綜合法對(duì)用戶的活躍積分、參與話題數(shù)量、在線時(shí)間、頁面訪問量進(jìn)行綜合評(píng)價(jià)，得出具體衡量指標(biāo)。分析話題用戶，則是通過對(duì)同一話題用戶的參與程度（包括跟帖數(shù)量、談?wù)搩?nèi)容），確定對(duì)確定話題的關(guān)注用戶。第四方面，對(duì)于關(guān)系圈主要做定性分析，設(shè)計(jì)如下算法：第五方面，由于權(quán)重系數(shù)的確定需要很多因素，而在上述的綜合評(píng)價(jià)模型建立中，把權(quán)重因數(shù)這一因素限定為固定值，一定會(huì)在對(duì)評(píng)估結(jié)果產(chǎn)生偏差。因此，在模型提煉優(yōu)化工程中，對(duì)權(quán)重因數(shù)進(jìn)行了動(dòng)態(tài)

3、模型構(gòu)建，使得模型具有普適性和較高的準(zhǔn)確性。綜上所述，本文將數(shù)據(jù)挖掘技術(shù)引入論壇用戶分析中并做了如下工作：根據(jù)論壇的運(yùn)行管理機(jī)制，建立論壇用戶識(shí)別模型并設(shè)定計(jì)算旨標(biāo)，結(jié)合論壇歷史數(shù)據(jù)，構(gòu)建論壇用戶抽樣數(shù)據(jù)庫。在數(shù)據(jù)挖掘過程中，根據(jù)數(shù)據(jù)規(guī)模，選擇不同挖掘方法。針對(duì)全局大規(guī)模數(shù)據(jù)，借助數(shù)據(jù)爬蟲工具實(shí)現(xiàn)聚類與決策樹分析，針對(duì)局部小規(guī)模數(shù)據(jù)，實(shí)施靈活柔性挖掘。對(duì)于數(shù)據(jù)挖掘中發(fā)現(xiàn)的共同點(diǎn)，結(jié)合論壇運(yùn)行實(shí)際情況及查詢工具，建立有效模型。在數(shù)據(jù)挖掘過程中，合理解釋挖掘結(jié)果，總結(jié)網(wǎng)絡(luò)論壇用戶識(shí)別規(guī)律，優(yōu)化識(shí)別模型。關(guān)鍵字：用戶識(shí)別、數(shù)據(jù)挖掘、綜合評(píng)價(jià)模型、數(shù)值統(tǒng)計(jì)分析1、問題的提出：隨著信息技術(shù)的發(fā)展與普及，

4、中國互聯(lián)網(wǎng)發(fā)展經(jīng)歷了10年的快速增長期，已經(jīng)形成較為成熟的應(yīng)用。現(xiàn)在的互聯(lián)網(wǎng)正從信息單向推送模式向互動(dòng)模式轉(zhuǎn)型，互聯(lián)網(wǎng)論壇已經(jīng)成為互聯(lián)網(wǎng)企業(yè)與用戶、用戶與用戶之間重要的互動(dòng)平臺(tái)。人們產(chǎn)生和收集數(shù)據(jù)的能力迅速提高，在過去一段時(shí)間里，各領(lǐng)域產(chǎn)生了大量的業(yè)務(wù)數(shù)據(jù)，但因?yàn)槿狈ο鄳?yīng)的對(duì)數(shù)據(jù)進(jìn)行高級(jí)分析的方法與工具，這些“數(shù)據(jù)金礦”所蘊(yùn)藏的財(cái)富并沒有被充分挖掘出來，被描述為“數(shù)據(jù)豐富，信息貧乏”。如何從大量的數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的焦點(diǎn)，數(shù)據(jù)挖掘技術(shù)也正是伴隨著這種需求從研究走向應(yīng)用。網(wǎng)絡(luò)論壇的開設(shè)為廣大網(wǎng)絡(luò)用戶開辟了自由發(fā)表言論的空間，網(wǎng)絡(luò)用戶可以自由的在論壇上溝通交流。但隨著信息量的急劇

5、增大，傳統(tǒng)的對(duì)論壇用戶管理的方法已很難適應(yīng)時(shí)代發(fā)展的需求，在這樣的互動(dòng)氛圍中衍生出了很多商業(yè)機(jī)會(huì)和運(yùn)營難題。比如，企業(yè)如何通過論壇發(fā)掘出有商業(yè)價(jià)值的用戶？互聯(lián)網(wǎng)公司如何通過激勵(lì)用戶來維持論壇熱度？回答這些問題和解決運(yùn)營難題的首要條件是，企業(yè)能夠?qū)φ搲瘍?nèi)的用戶進(jìn)行有效識(shí)別。因此，如何有效、快速地分析論壇用戶的特征及行為模式，進(jìn)而為論壇管理提供指導(dǎo)，就成為各網(wǎng)站越來越關(guān)注的熱點(diǎn)。這些識(shí)別需要達(dá)到如下四個(gè)結(jié)果：1、言論領(lǐng)袖：發(fā)現(xiàn)論壇言論領(lǐng)袖，即最具影響力的論壇人物。2、話題用戶：精確定位關(guān)注某一特定話題的用戶3、活躍用戶：識(shí)別論壇活躍用戶。4、關(guān)系圈：發(fā)掘論壇人際關(guān)系圈 基于這樣一種需求，本文將數(shù)據(jù)

6、挖掘技術(shù)引入論壇用戶分析中并做了如下工作：根據(jù)論壇的運(yùn)行管理機(jī)制，建立論壇用戶模型并設(shè)定計(jì)算指標(biāo)，結(jié)合論壇歷史數(shù)據(jù)，構(gòu)建論壇用戶數(shù)據(jù)倉庫。利用相關(guān)數(shù)據(jù)挖掘軟件進(jìn)行對(duì)數(shù)據(jù)的挖掘，并對(duì)挖掘到的數(shù)據(jù)進(jìn)行合理分析，對(duì)論壇用戶進(jìn)行有效識(shí)別，進(jìn)而在對(duì)這樣的互動(dòng)氛圍中衍生出的很多商業(yè)機(jī)會(huì)和運(yùn)營難題的獲取與解決提供首要依據(jù)。2、問題的分析： 根據(jù)問題的要求，分兩步來進(jìn)行：一、通過數(shù)據(jù)挖掘技術(shù)對(duì)論壇內(nèi)的用戶信息及話題內(nèi)容進(jìn)行采集；二，運(yùn)用綜合評(píng)價(jià)方法對(duì)抽樣數(shù)據(jù)進(jìn)行分析；其中論壇中用戶信息實(shí)為龐大，因而運(yùn)用行之有效的方法對(duì)數(shù)據(jù)進(jìn)行采集至關(guān)重要。數(shù)據(jù)的采集：使用網(wǎng)絡(luò)爬蟲軟件，運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)，模擬用戶實(shí)際訪問頁面情

7、況，對(duì)所需網(wǎng)頁內(nèi)容進(jìn)行聚焦搜索與抓取。得到數(shù)據(jù)后，導(dǎo)出到本地Access數(shù)據(jù)庫中進(jìn)行保存與操作。數(shù)據(jù)的分析：從題中給定的四個(gè)論壇中選取一個(gè)論壇作為代表進(jìn)行研究?？紤]到論壇用戶很多，需進(jìn)行抽樣分析，故分析時(shí)需先對(duì)原始數(shù)據(jù)作相應(yīng)的處理（這里我們運(yùn)用正態(tài)分布檢驗(yàn)方法）。如果原始數(shù)據(jù)的速度變化快，可以變換預(yù)測對(duì)象。如得到的數(shù)據(jù)分布具有正態(tài)性，則說明數(shù)據(jù)采集合理，可進(jìn)行后續(xù)分析，否則需重新采樣。收集的主要統(tǒng)計(jì)數(shù)據(jù)顯示了論壇用戶的個(gè)人信息和帖子的主題，主要包括用戶ID、發(fā)帖數(shù)、精華帖數(shù)、帖子話題等。然后用綜合評(píng)價(jià)方法對(duì)相關(guān)信息做定性和定量分析。對(duì)于言論領(lǐng)袖和活躍用戶主要運(yùn)用定量分析，而話題用戶和關(guān)系圈的確

8、定則要定性分析和定量分析結(jié)合，從而達(dá)到用戶識(shí)別的目的。3、符號(hào)說明4、數(shù)據(jù)的收集、分析和處理41數(shù)據(jù)的獲取和挖掘技術(shù)我們利用功能強(qiáng)大網(wǎng)絡(luò)爬蟲軟件火車頭采集器（Locoy Spider V2010_Free_Build 2010-04-15版）對(duì)網(wǎng)頁內(nèi)容進(jìn)行了篩選與采集，挖掘出了論壇中用戶ID、積分值、在線時(shí)間、總帖數(shù)、精華帖數(shù)等個(gè)人信息，以及用戶發(fā)帖主題等必要信息。（數(shù)據(jù)挖掘的詳細(xì)過程見附錄1。）42數(shù)據(jù)樣本合理性分析論壇注冊會(huì)員數(shù)目龐大，網(wǎng)頁數(shù)量相當(dāng)多。為了對(duì)用戶進(jìn)行分析識(shí)別，我們根據(jù)論壇各板塊的分頁數(shù)量多少隨機(jī)的采集了部分?jǐn)?shù)據(jù)（每個(gè)樣本500個(gè)數(shù)據(jù)以上）作為分析樣本。為了確保我們獲得的數(shù)據(jù)

9、的合理性，首先有必要對(duì)數(shù)據(jù)樣本進(jìn)行假設(shè)檢驗(yàn)。由中心極限定理可知，對(duì)于整個(gè)論壇來說，會(huì)員的積分值應(yīng)該近似呈正態(tài)分布，為此，我們選取了會(huì)員積分這一衡量指標(biāo)對(duì)數(shù)據(jù)進(jìn)行正態(tài)性檢驗(yàn)。5、模型的建立和求解5.1模型假設(shè)5.1.1論壇系統(tǒng)穩(wěn)定，用戶信息不會(huì)由于系統(tǒng)原因等發(fā)生大的突變；5.1.2論壇用戶信息（如積分值，聲望值等）為用戶通過論壇正當(dāng)規(guī)則獲取，無開掛刷分等作弊行為。5.2、互聯(lián)網(wǎng)論壇中言論領(lǐng)袖和活躍用戶的確定5.2.1、言論領(lǐng)袖的確定5.2.1.1、問題分析及數(shù)據(jù)采集模型以DIY燒友會(huì)（首先對(duì)于網(wǎng)站中的每個(gè)區(qū)隨機(jī)選取一個(gè)話題模塊，再從每個(gè)選取的話題模塊中抽取一定數(shù)目的帖子，選擇方式為隨機(jī)抽取分頁，

10、再對(duì)各頁面上的帖子進(jìn)行分析，對(duì)所選帖子中的帖子主題和相關(guān)發(fā)帖人的資進(jìn)行統(tǒng)計(jì)，得到相關(guān)數(shù)據(jù)表（見附錄2）。5.2.1.2、模型的建立（1）對(duì)言論領(lǐng)袖的確定，主要是分析采集數(shù)據(jù)中的精華貼數(shù)、積分、發(fā)帖數(shù)組別、發(fā)帖總數(shù)。因?yàn)檠哉摰念I(lǐng)導(dǎo)性主要在這四部分得到體現(xiàn)，可以肯定，如果在這四部分所得積分很高那么我們可以確定該用戶即為言論領(lǐng)袖。（2）方法選擇:因?yàn)樗膫€(gè)指標(biāo)具有一定程度的相關(guān)性，故這里采用綜合評(píng)價(jià)方法中的非線性加權(quán)綜合法來進(jìn)行評(píng)析，突出被選數(shù)據(jù)指標(biāo)值的一致性和相關(guān)性。假設(shè)有n個(gè)用戶為被評(píng)價(jià)對(duì)象，每個(gè)用戶共有四項(xiàng)評(píng)價(jià)指標(biāo)：精華貼數(shù)、積分、發(fā)帖數(shù)組別、發(fā)帖總數(shù)，分別記為。論壇言論領(lǐng)袖綜合評(píng)價(jià)指標(biāo)定義為y

11、, 則每個(gè)用戶的得分分別為y(i=1,2,3n)(3)評(píng)價(jià)模型構(gòu)建：非線性函數(shù)綜合評(píng)價(jià)模型對(duì)系統(tǒng)進(jìn)行綜合評(píng)價(jià)。其模型為y=其中w為維權(quán)系數(shù)，且要求>1.首先，對(duì)指標(biāo)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。精華貼數(shù)、積分、發(fā)帖數(shù)組別、發(fā)帖總數(shù)均為極大型指標(biāo)，這里我們運(yùn)用功效系數(shù)法進(jìn)行處理，即令x=c+（i=1,2,3,4n，j=1,2,3,4）。其中m為同一數(shù)據(jù)類型中最小值，M為同一數(shù)據(jù)類型中最大值。為了滿足x>1的條件，且考慮到各指標(biāo)的數(shù)量級(jí)有所不同，我們在這里取c=1,d=1，d=5,d=20,d=10.通過數(shù)據(jù)分析我們發(fā)現(xiàn)，發(fā)帖數(shù)組別和精華貼數(shù)對(duì)綜合評(píng)價(jià)指標(biāo)的影響很大，而且言論領(lǐng)袖的主要衡量指標(biāo)即

12、是對(duì)論壇帖子的影響力，發(fā)帖數(shù)組別和精華貼數(shù)越多則對(duì)論壇的言論方向控制越大，二者的分高的用戶綜合分也很高，故在這里把他們作為主要影響因素，設(shè)定其維權(quán)系數(shù)分別為w=0.4.w=0.3,而后我們將發(fā)帖總數(shù)和積分的維權(quán)系數(shù)設(shè)定為w=0.2.w=0,1，滿足w+ w+w+ w=1。根據(jù)四個(gè)評(píng)價(jià)指標(biāo)的實(shí)際影響作用,在確定了權(quán)重系數(shù)w后，我們確定言論綜合評(píng)價(jià)函數(shù)為（i=1,2,3n）式子中w=0.4, w=0,1,w=0.3, w=0.2,x的值由功效系數(shù)法算出x=c+（i=1,2,3,4n，j=1,2,3,4）。5.2.1.3、數(shù)據(jù)處理及結(jié)論將各統(tǒng)計(jì)用戶的相關(guān)數(shù)據(jù)代入后，可以得到計(jì)算言論領(lǐng)袖綜合評(píng)價(jià)指標(biāo)函

13、數(shù)值y（n=1,2,3,）,并按y的取值大小對(duì)n組用戶進(jìn)行從大到小排序，可得表1。由于論壇的言論領(lǐng)袖是論壇的言論領(lǐng)導(dǎo)人，其數(shù)量要求不多但需要影響力大，根據(jù)綜合結(jié)果，我們選取得分排名前2%的用戶作為言論領(lǐng)袖，根據(jù)數(shù)據(jù)，得出分值在6分以上的可以看做言論領(lǐng)袖。進(jìn)一步推廣至整個(gè)論壇。由于所選樣本分布均勻，具有代表性，其樣本容量為用戶，而整個(gè)論壇的總用戶為633469人，故我們可以推算，整個(gè)論壇言論領(lǐng)袖比例為2%，約12669人。且只要在精華貼數(shù)、積分、發(fā)帖數(shù)組別、發(fā)帖總數(shù)等四項(xiàng)的指標(biāo)帶入求論壇言論領(lǐng)袖函數(shù)滿足大于等于6分即可認(rèn)為是言論領(lǐng)袖。結(jié)論：論壇中言論領(lǐng)袖的用戶約一萬兩千人，言論綜合評(píng)價(jià)得分達(dá)到6

14、分以上即可視為言論領(lǐng)袖。5.2.2、活躍用戶的評(píng)價(jià)5.2.2.1、問題分析此問題與上個(gè)問題相似，不過要更改分析指標(biāo)。活躍用戶主要通過其對(duì)話題的參與和論壇的瀏覽進(jìn)行評(píng)定，故選取用戶的活躍積分、參與話題數(shù)量、在線時(shí)間、頁面訪問量等四項(xiàng)因素進(jìn)行綜合評(píng)價(jià)，得到活躍用戶分析表。5.2.2.2、模型建立因?yàn)?個(gè)指標(biāo)關(guān)聯(lián)不大，故該模型采用線性加權(quán)綜合法對(duì)數(shù)據(jù)進(jìn)行計(jì)算，其中，四項(xiàng)因素的指標(biāo)分別記為z,z,z,z。根據(jù)對(duì)論壇實(shí)際情況以及發(fā)帖因素的分析，對(duì)它們的權(quán)重系數(shù)分別設(shè)定為w=0.5 w=0.3，w=0.125 w=0.075。同樣我們對(duì)指標(biāo)數(shù)采用功效系數(shù)法進(jìn)行標(biāo)準(zhǔn)化分析，z=c+（i=1,2,3,4n，j

15、=1,2,3,4），則活躍用戶綜合評(píng)價(jià)函數(shù)為y=5.2.2.3、數(shù)據(jù)處理結(jié)果及結(jié)論將統(tǒng)計(jì)數(shù)據(jù)帶入活躍用戶綜合評(píng)價(jià)函數(shù)進(jìn)行分析，得到的結(jié)論見表分析：由于活躍用戶相對(duì)于言論領(lǐng)袖而言客觀存在數(shù)目更多，故我們在這里放寬口徑，選取比例為10%，即活躍用戶綜合評(píng)價(jià)得分大于0.0410的用戶即可識(shí)別為活躍用戶，則樣本中包括UID為8669365、12144414等113位用戶可以確定為活躍用戶。按照抽樣比例，樣本有1136個(gè)用戶，而整個(gè)論壇注冊用戶共633469人，因此整個(gè)論壇的活躍用戶約為六萬三千個(gè)，占總體比例10%。結(jié)論：該論壇共有活躍用戶約六萬三千個(gè)，活躍用戶綜合評(píng)價(jià)達(dá)到0.041分以上即可評(píng)為活躍用

16、戶。53話題用戶的定位53.1、 問題和數(shù)據(jù)分析由于燒友論壇中的話題數(shù)目眾多，在取樣時(shí)我們只在每個(gè)燒友區(qū)選取一個(gè)話題，對(duì)該話題的跟帖主題和用戶跟帖數(shù)量進(jìn)行定位。通過對(duì)一個(gè)話題分析確定話題用戶。532：模型建立 該模型主要是對(duì)采集的數(shù)據(jù)進(jìn)行處理，將采集的五個(gè)話題的用戶跟帖數(shù)量進(jìn)行排序，即可得到一個(gè)話題用戶統(tǒng)計(jì)分析表 判定標(biāo)準(zhǔn)：選取每個(gè)話題跟帖數(shù)目排在前20名的用戶作為活躍用戶5.3.3、數(shù)據(jù)統(tǒng)計(jì)和分析數(shù)據(jù)分析：統(tǒng)計(jì)每一個(gè)區(qū)域內(nèi)的每個(gè)話題的跟帖數(shù)，將5.4關(guān)系圈確定5.4.1問題分析和數(shù)據(jù)采集 由于關(guān)系圈問題比較抽象，且由于隱私設(shè)置，不能直接從論壇上獲取用戶的好友列表，故這里采用相對(duì)保守方法確定，

17、利用定性與定量相結(jié)合的方法來分析關(guān)系圈我們先選取燒友論壇中區(qū)的版塊作為討論對(duì)象。其板塊內(nèi)的討論主題已經(jīng)通過火車頭分析軟件搜索出來。我們要做的事在這些話題和用戶參與程度中找出用戶之間的內(nèi)在關(guān)系。5.4.2，算法的設(shè)計(jì)首先，我們可以假設(shè)該板塊中共有N個(gè)主題，即有N個(gè)帖子發(fā)布在論壇并有相應(yīng)用戶跟帖。我們假設(shè)，一個(gè)關(guān)系圈內(nèi)的用戶會(huì)對(duì)自己圈內(nèi)用戶的帖子進(jìn)行跟帖，這樣，我們可以列出一個(gè)統(tǒng)計(jì)表，用橫表頭表示N個(gè)主題，縱表頭表示參與問題討論的K個(gè)用戶，然后開始進(jìn)行數(shù)據(jù)檢索。由于已經(jīng)通過數(shù)據(jù)采集器對(duì)網(wǎng)站帖子進(jìn)行了采集，得到了每個(gè)主題的參與用戶數(shù)量和用戶ID，接下來則是算法的設(shè)定。我們用Excel軟件對(duì)統(tǒng)計(jì)表進(jìn)行

18、檢索，對(duì)于每一個(gè)主題，如果該用戶參與了這個(gè)主題的討論（在論壇中的體現(xiàn)就是發(fā)帖），那么我們記該用戶在這一主題的得分為1，否則為0。在對(duì)每個(gè)話題的用戶參與情況進(jìn)行統(tǒng)計(jì)后，我們可以得到一個(gè)數(shù)據(jù)表接下來我們利用用戶對(duì)話題的參與程度確定用戶關(guān)系，由于假設(shè)同一關(guān)系圈內(nèi)的用戶會(huì)對(duì)5,4,3數(shù)據(jù)和結(jié)果分析5.5通用模型的建立5.5.1言論領(lǐng)袖模型的建立與優(yōu)化5.5.1.1基本模型 對(duì)于一個(gè)論壇，我們在運(yùn)用相關(guān)軟件進(jìn)行數(shù)據(jù)采集后，一般會(huì)得到一些關(guān)于用戶發(fā)帖級(jí)別的數(shù)據(jù)，如，精華帖數(shù)、帖子總數(shù)、發(fā)帖級(jí)別、置頂時(shí)間等可以用于評(píng)價(jià)言論影響力的指標(biāo)。在這里我們不妨設(shè)，共有n個(gè)用戶進(jìn)行調(diào)查，每個(gè)用戶獲取了k個(gè)可以衡量其言論影響力的指標(biāo)。由于這些言論指標(biāo)多數(shù)具有相關(guān)性，故我們采用綜合評(píng)價(jià)方法中的非線性加權(quán)綜合法來進(jìn)行評(píng)析，突出被選數(shù)據(jù)指標(biāo)值的一致性和相關(guān)性。得到言論綜合評(píng)價(jià)函數(shù)： （i=1,2,3n）式子中y代表第i個(gè)用戶的言論綜合評(píng)價(jià)得分，,x的值由功效系數(shù)法算出x=c+（i=1,2,3,4n，j=1,2,3,4）。5.5.1.1優(yōu)化模型 這里著重討論對(duì)w的