RapidMiner做網(wǎng)站數(shù)據(jù)分析課件

RapidMiner做網(wǎng)站數(shù)據(jù)分析主講：杜劍峰RapidMiner做網(wǎng)站數(shù)據(jù)分析主講：杜劍峰目錄目錄背景有一個(gè)虛擬網(wǎng)站，專(zhuān)門(mén)銷(xiāo)售音像視頻，如今面臨的問(wèn)題是：如何對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析，從而提供更好的客戶體驗(yàn)？背景有一個(gè)虛擬網(wǎng)站，專(zhuān)門(mén)銷(xiāo)售音像視頻，如今面臨的問(wèn)題是：如何1商業(yè)理解1商業(yè)理解商業(yè)智能與Web智能1.商業(yè)理解

網(wǎng)站向客戶提供8類(lèi)共62個(gè)音像產(chǎn)品的銷(xiāo)售， 本章使用了多種數(shù)據(jù)分析方法， 解決不同用戶需求，實(shí)現(xiàn)更好的營(yíng)銷(xiāo)模式。商業(yè)智能與Web智能1.商業(yè)理解網(wǎng)站向客戶提供8類(lèi)1.1網(wǎng)絡(luò)數(shù)據(jù)分析的數(shù)據(jù)來(lái)源Server保存網(wǎng)絡(luò)日志瀏覽器與Server交互，產(chǎn)生日志，包括Cookie1.商業(yè)理解1.1網(wǎng)絡(luò)數(shù)據(jù)分析的數(shù)據(jù)來(lái)源Server保存網(wǎng)絡(luò)日志瀏覽器1.2網(wǎng)絡(luò)數(shù)據(jù)分析的分類(lèi)1.2.1網(wǎng)站級(jí)別1.2.2頁(yè)面級(jí)別1.2.3訪問(wèn)級(jí)別1.2.4訪問(wèn)者級(jí)別1.商業(yè)理解1.2網(wǎng)絡(luò)數(shù)據(jù)分析的分類(lèi)1.2.1網(wǎng)站級(jí)別1.2.2頁(yè)對(duì)網(wǎng)站級(jí)別的數(shù)據(jù)挖掘，通常會(huì)將網(wǎng)站作為一個(gè)整體進(jìn)行分析，主要任務(wù)包括：訪問(wèn)網(wǎng)站的用戶識(shí)別；網(wǎng)站購(gòu)買(mǎi)情況分析；網(wǎng)站銷(xiāo)售金額分析；網(wǎng)站訪問(wèn)的錯(cuò)誤情況分析。通常情況下，只需要根據(jù)網(wǎng)絡(luò)日志就可以進(jìn)行網(wǎng)站級(jí)別的數(shù)據(jù)分析工作。1.2.1網(wǎng)站級(jí)別對(duì)網(wǎng)站級(jí)別的數(shù)據(jù)挖掘，通常會(huì)將網(wǎng)站作為一個(gè)整體進(jìn)行分析，主要1.2.2頁(yè)面級(jí)別對(duì)于頁(yè)面級(jí)別的數(shù)據(jù)挖掘，還要關(guān)注各個(gè)頁(yè)面的訪問(wèn)情況，主要回答如下問(wèn)題：哪些網(wǎng)頁(yè)訪問(wèn)量最大；訪問(wèn)者進(jìn)入哪個(gè)網(wǎng)頁(yè)；訪問(wèn)者退出哪個(gè)網(wǎng)頁(yè)。同樣，只需要根據(jù)網(wǎng)絡(luò)日志就可以進(jìn)行網(wǎng)頁(yè)級(jí)別的數(shù)據(jù)分析工作。1.2.2頁(yè)面級(jí)別對(duì)于頁(yè)面級(jí)別的數(shù)據(jù)挖掘，還要關(guān)注各個(gè)頁(yè)面從訪問(wèn)事件的角度進(jìn)行數(shù)據(jù)分析工作，主要回答如下問(wèn)題：網(wǎng)站訪問(wèn)的逗留時(shí)間如何；哪些網(wǎng)站\網(wǎng)頁(yè)會(huì)在一次訪問(wèn)中被依次訪問(wèn)，訪問(wèn)的次序如何；哪些網(wǎng)站\網(wǎng)頁(yè)的訪問(wèn)容易最終導(dǎo)致購(gòu)買(mǎi)行為發(fā)生。主要依賴(lài)于網(wǎng)絡(luò)日志數(shù)據(jù)，結(jié)合Cookie數(shù)據(jù)效果會(huì)更好。1.2.3訪問(wèn)級(jí)別從訪問(wèn)事件的角度進(jìn)行數(shù)據(jù)分析工作，主要回答如下問(wèn)題：1.2.商業(yè)智能與Web智能1.2.4訪問(wèn)者級(jí)別訪問(wèn)者級(jí)別與訪問(wèn)級(jí)別的網(wǎng)絡(luò)數(shù)據(jù)分析問(wèn)題類(lèi)似，但它們針對(duì)的對(duì)象不同。主要任務(wù)包括：特定訪問(wèn)者的網(wǎng)站訪問(wèn)情況；識(shí)別不同的訪問(wèn)是否由同一個(gè)訪問(wèn)者發(fā)起；對(duì)訪問(wèn)者不同時(shí)間的訪問(wèn)行為做進(jìn)一步的分析與挖掘。除了需要網(wǎng)絡(luò)日志數(shù)據(jù)和Cookie數(shù)據(jù)外，通常還需要網(wǎng)站注冊(cè)信息等數(shù)據(jù)。商業(yè)智能與Web智能1.2.4訪問(wèn)者級(jí)別訪問(wèn)者級(jí)別與訪問(wèn)級(jí)2數(shù)據(jù)理解2數(shù)據(jù)理解2數(shù)據(jù)理解文件名記錄數(shù)說(shuō)明文件1miis_complete_rapidminer_full.log428730包含網(wǎng)站一周的網(wǎng)絡(luò)日志內(nèi)容文件2register.dat23033用戶注冊(cè)信息文件3products.dat62網(wǎng)站銷(xiāo)售產(chǎn)品的信息文件4purchast.dat739包含網(wǎng)站用戶一周內(nèi)的購(gòu)買(mǎi)情況2數(shù)據(jù)理解文件名記錄數(shù)說(shuō)明文件1miis_complete2數(shù)據(jù)理解miis_complete_rapidminer_full.log2數(shù)據(jù)理解miis_complete_rapidminerregister.dat2數(shù)據(jù)理解register.dat2數(shù)據(jù)理解需要從miis_complete_rapidminer_full生成的數(shù)據(jù)registerpurchaseproducts數(shù)據(jù)之間的關(guān)系需要從miis_complete_rapidminer_fu3數(shù)據(jù)準(zhǔn)備3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor)。日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)據(jù)進(jìn)行合并3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor)3數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor3數(shù)據(jù)準(zhǔn)備3.1識(shí)別用戶訪問(wèn)基本假設(shè)：同一訪問(wèn)IP地址(IPAddress)相同瀏覽器(UserAgent)相同并且操作間隔不超過(guò)30分鐘(1800秒)同一訪問(wèn)者Cookie相同3數(shù)據(jù)準(zhǔn)備3.1識(shí)別用戶訪問(wèn)基本假設(shè)：3數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶3.1識(shí)別訪問(wèn)用戶的布局1234567893數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶3.1識(shí)別訪問(wèn)用戶的布局1233.1部件介紹1部件1：讀入網(wǎng)絡(luò)日志3.1部件介紹3.1部件介紹1部件1：讀入網(wǎng)絡(luò)日志3.1部件介紹22.12.22.1subprocess子過(guò)程2.2部件2：過(guò)濾改名屬性3.1部件介紹22.12.22.1subprocess子過(guò)程2.2部件2：3attributesnamefunctionexpressionsTimestampdate_diff(date_parse_custom("1/1/199900:00:00","dd/MM/yyyyHH:mm:ss"),date_parse_custom(concat(Date,"",Time),"dd/MM/yyyyHH:mm:ss"))/1000部件3：添加時(shí)間戳3.1部件介紹3attributesnamefunctionexpreattributesnamefunctionexpressionsPageExtif(!matches(Page,".*\\.[^/]*"),"none",if(QueryString!="-",concat(Page,"?"),Page))4子過(guò)程4.14.24.14.2.*\.([^/]*)部件4：添加網(wǎng)頁(yè)后綴3.1部件介紹attributesnamefunctionexpres商業(yè)智能與Web智能5部件5：刪除圖片請(qǐng)求3.1部件介紹index(PageExt,"asp")==0||index(PageExt,"htm")==0||PageExt=="none"||PageExt=="txt"||PageExt=="com"66.16.26.36.46.56.66.76.86.9商業(yè)智能與Web智能5部件5：刪除圖片請(qǐng)求3.1部件介紹6.16.26.36.46.66.53.1部件介紹6.16.26.36.46.66.53.1部件介紹if(IPAddress!=IPAddress_up||UserAgent!=UserAgent_up||Timestamp-Timestamp_up>1800,1,0)6.76.86.93.1部件介紹if(IPAddress!=IPAddress_up||8978.18.28.38.48.53.1部件介紹8978.18.28.38.48.53.1部件介紹8.18.28.38.4if(Cookie!=Cookie_up&&Cookie!="-",1,0)attributesnamefunctionexpressionsVisitorIDif(Cookie!="-",concat("Visitor",str(VisitorNumber)),"")3.1部件介紹8.18.28.38.4if(Cookie!=Cookie_8.59weblog_visit&vistor.csv3.1部件介紹8.59weblog_visit&vistor.csv3.13數(shù)據(jù)準(zhǔn)備日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)用戶訪問(wèn)習(xí)慣數(shù)據(jù)包括：用戶名(username)和訂單信息(order_no)訪問(wèn)時(shí)間(visit_time)和每頁(yè)停留時(shí)間(time_per_page)訪問(wèn)第1頁(yè)到第2頁(yè)之間(time_gap1)和第2頁(yè)到第3頁(yè)之間(time_gap2)的時(shí)間間隔頂級(jí)目錄信息(first_dir)訪問(wèn)來(lái)源信息(referer)3數(shù)據(jù)準(zhǔn)備日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)的布局12345673數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)3.2.1部件介紹13.2.1部件介紹13.2.2部件介紹2部件2子過(guò)程2.12.22.32.12.22.3usernameif(matches(QueryString,".*&username=.*"),QueryString,"-")order_noif(matches(QueryString,".*&order_no=.*"),QueryString,"-").*&username=([^&]*).*.*&order_no=([^&]*).*3.2.2部件介紹2部件2子過(guò)程2.12.22.32.123.2.3部件介紹3部件3子過(guò)程3.13.23.43.33.53.63.73.83.93.103.113.13.23.2.3部件介紹3部件3子過(guò)程3.13.23.43.333.2.3部件介紹3.3部件3.3子過(guò)程3.3.13.3.23.3.33.3.13.3.23.3.3(VisitID!=VisitID_u||VisitID!=VisitID_d)&&VisitActions>13.2.3部件介紹3.3部件3.3子過(guò)程3.3.13.3.3.2.3部件介紹3.4visit_timeif(VisitID!=VisitID_d,Timestamp-Timestamp_u,0)3.53.63.7time_per_pagevisit_time/VisitActions3.2.3部件介紹3.4visit_timeif(Visi3.2.3部件介紹3.93.103.113.83.2.3部件介紹3.93.103.113.83.2.4部件介紹4部件4子過(guò)程4.114.124.14.24.34.44.54.64.74.84.94.104.134.144.153.2.4部件介紹4部件4子過(guò)程4.114.124.14.3.2.4部件介紹4.14.24.3page1if(VisitID!=VisitID_u,Page,"")4.44.54.6page2if(VisitID!=VisitID_u&&VisitID==VisitID_d1,Page_d1,"")4.73.2.4部件介紹4.14.24.3page1if(Vis3.2.4部件介紹page3if(VisitID!=VisitID_u&&VisitID==VisitID_d2,Page_d2,"")4.84.94.104.114.123.2.4部件介紹page3if(VisitID!=Vis3.2.4部件介紹time_gap1if(VisitID!=VisitID_u&&VisitID==VisitID_d1,Timestamp_d1-Timestamp,0)4.13time_gap2if(VisitID!=VisitID_u&&VisitID==VisitID_d2,Timestamp_d2-Timestamp_d1,0)4.144.153.2.4部件介紹time_gap1if(VisitID!3.2.5-6部件介紹5部件5子過(guò)程first_dirif(matches(Page,"/.*/.*"),Page,"")5.15.25.15.2部件6子過(guò)程66.16.26.36.46.53.2.5-6部件介紹5部件5子過(guò)程first_dirif3.2.6-7部件介紹refererif(VisitID!=VisitID_u&&length(Referer)>1,Referer,"")6.16.26.36.46.57web_log_information.csv3.2.6-7部件介紹refererif(VisitID!3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)據(jù)進(jìn)行合并3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)web_log_informationregisterpurchaseproducts3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)web_log_inf3合并數(shù)據(jù)3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)的布局14235678910113合并數(shù)據(jù)3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)的布局1423563合并數(shù)據(jù)13合并數(shù)據(jù)13合并數(shù)據(jù)233合并數(shù)據(jù)233合并數(shù)據(jù)43合并數(shù)據(jù)43合并數(shù)據(jù)563合并數(shù)據(jù)563合并數(shù)據(jù)7983合并數(shù)據(jù)7983合并數(shù)據(jù)10113合并數(shù)據(jù)10114建立模型4建立模型4.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)4.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型4.3已購(gòu)買(mǎi)產(chǎn)品特征模型4.4用聚類(lèi)分析建立推薦模型4建立模型4.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)4.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型4商業(yè)智能與Web智能4.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)——訪問(wèn)級(jí)別數(shù)據(jù)分析12345商業(yè)智能與Web智能4.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)123454.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)14.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)14.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)2.12.62.42.32.22.524.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)2.12.62.42.32.224.1訪問(wèn)用戶購(gòu)買(mǎi)行為預(yù)測(cè)2.12.62.42.32.22.54.1訪問(wèn)用戶2.12.62.42.32.22.5345345商業(yè)智能與Web智能4.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型——訪問(wèn)者級(jí)別數(shù)據(jù)分析18327654商業(yè)智能與Web智能4.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型18324.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型14.2訪問(wèn)者訪問(wèn)網(wǎng)頁(yè)細(xì)分模型1!missing(VisitorID)3245!missing(VisitorID)32458767.17.18767.17.14.3已購(gòu)買(mǎi)產(chǎn)品特征模型——訪問(wèn)者級(jí)別數(shù)據(jù)分析12345674.3已購(gòu)買(mǎi)產(chǎn)品特征模型123456711(username!="-"||order_no!="-")&&!missing(VisitorID)234(username!="-"||order_no!="-5675674.4用聚類(lèi)分析建立推薦模型 ——訪問(wèn)級(jí)別數(shù)據(jù)分析67543214.4用聚類(lèi)分析建立推薦模型67543211122.12.22.32.42.52.62.72.82.9

子過(guò)程

子過(guò)程22.12.22.32.42.52.62.72.82.9子missing(Filmname)2.12.22.32.42.5missing(Filmname)2.12.22.32.422.62.72.92.82.62.72.92.83

子過(guò)程3.13.23.33.33.23.13子過(guò)程3.13.23.33.33.23.1456745675.1使用聚類(lèi)分析結(jié)果向用戶推薦產(chǎn)品5模型應(yīng)用5.1使用聚類(lèi)分析結(jié)果向用戶推薦產(chǎn)品5模型應(yīng)用5.1使用聚類(lèi)分析結(jié)果向用戶推薦產(chǎn)品9876543215.1使用聚類(lèi)分析結(jié)果向用戶推薦產(chǎn)品987654321123412345678956789RapidMiner做網(wǎng)站數(shù)據(jù)分析主講：杜劍峰RapidMiner做網(wǎng)站數(shù)據(jù)分析主講：杜劍峰目錄目錄背景有一個(gè)虛擬網(wǎng)站，專(zhuān)門(mén)銷(xiāo)售音像視頻，如今面臨的問(wèn)題是：如何對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析，從而提供更好的客戶體驗(yàn)？背景有一個(gè)虛擬網(wǎng)站，專(zhuān)門(mén)銷(xiāo)售音像視頻，如今面臨的問(wèn)題是：如何1商業(yè)理解1商業(yè)理解商業(yè)智能與Web智能1.商業(yè)理解

網(wǎng)站向客戶提供8類(lèi)共62個(gè)音像產(chǎn)品的銷(xiāo)售， 本章使用了多種數(shù)據(jù)分析方法， 解決不同用戶需求，實(shí)現(xiàn)更好的營(yíng)銷(xiāo)模式。商業(yè)智能與Web智能1.商業(yè)理解網(wǎng)站向客戶提供8類(lèi)1.1網(wǎng)絡(luò)數(shù)據(jù)分析的數(shù)據(jù)來(lái)源Server保存網(wǎng)絡(luò)日志瀏覽器與Server交互，產(chǎn)生日志，包括Cookie1.商業(yè)理解1.1網(wǎng)絡(luò)數(shù)據(jù)分析的數(shù)據(jù)來(lái)源Server保存網(wǎng)絡(luò)日志瀏覽器1.2網(wǎng)絡(luò)數(shù)據(jù)分析的分類(lèi)1.2.1網(wǎng)站級(jí)別1.2.2頁(yè)面級(jí)別1.2.3訪問(wèn)級(jí)別1.2.4訪問(wèn)者級(jí)別1.商業(yè)理解1.2網(wǎng)絡(luò)數(shù)據(jù)分析的分類(lèi)1.2.1網(wǎng)站級(jí)別1.2.2頁(yè)對(duì)網(wǎng)站級(jí)別的數(shù)據(jù)挖掘，通常會(huì)將網(wǎng)站作為一個(gè)整體進(jìn)行分析，主要任務(wù)包括：訪問(wèn)網(wǎng)站的用戶識(shí)別；網(wǎng)站購(gòu)買(mǎi)情況分析；網(wǎng)站銷(xiāo)售金額分析；網(wǎng)站訪問(wèn)的錯(cuò)誤情況分析。通常情況下，只需要根據(jù)網(wǎng)絡(luò)日志就可以進(jìn)行網(wǎng)站級(jí)別的數(shù)據(jù)分析工作。1.2.1網(wǎng)站級(jí)別對(duì)網(wǎng)站級(jí)別的數(shù)據(jù)挖掘，通常會(huì)將網(wǎng)站作為一個(gè)整體進(jìn)行分析，主要1.2.2頁(yè)面級(jí)別對(duì)于頁(yè)面級(jí)別的數(shù)據(jù)挖掘，還要關(guān)注各個(gè)頁(yè)面的訪問(wèn)情況，主要回答如下問(wèn)題：哪些網(wǎng)頁(yè)訪問(wèn)量最大；訪問(wèn)者進(jìn)入哪個(gè)網(wǎng)頁(yè)；訪問(wèn)者退出哪個(gè)網(wǎng)頁(yè)。同樣，只需要根據(jù)網(wǎng)絡(luò)日志就可以進(jìn)行網(wǎng)頁(yè)級(jí)別的數(shù)據(jù)分析工作。1.2.2頁(yè)面級(jí)別對(duì)于頁(yè)面級(jí)別的數(shù)據(jù)挖掘，還要關(guān)注各個(gè)頁(yè)面從訪問(wèn)事件的角度進(jìn)行數(shù)據(jù)分析工作，主要回答如下問(wèn)題：網(wǎng)站訪問(wèn)的逗留時(shí)間如何；哪些網(wǎng)站\網(wǎng)頁(yè)會(huì)在一次訪問(wèn)中被依次訪問(wèn)，訪問(wèn)的次序如何；哪些網(wǎng)站\網(wǎng)頁(yè)的訪問(wèn)容易最終導(dǎo)致購(gòu)買(mǎi)行為發(fā)生。主要依賴(lài)于網(wǎng)絡(luò)日志數(shù)據(jù)，結(jié)合Cookie數(shù)據(jù)效果會(huì)更好。1.2.3訪問(wèn)級(jí)別從訪問(wèn)事件的角度進(jìn)行數(shù)據(jù)分析工作，主要回答如下問(wèn)題：1.2.商業(yè)智能與Web智能1.2.4訪問(wèn)者級(jí)別訪問(wèn)者級(jí)別與訪問(wèn)級(jí)別的網(wǎng)絡(luò)數(shù)據(jù)分析問(wèn)題類(lèi)似，但它們針對(duì)的對(duì)象不同。主要任務(wù)包括：特定訪問(wèn)者的網(wǎng)站訪問(wèn)情況；識(shí)別不同的訪問(wèn)是否由同一個(gè)訪問(wèn)者發(fā)起；對(duì)訪問(wèn)者不同時(shí)間的訪問(wèn)行為做進(jìn)一步的分析與挖掘。除了需要網(wǎng)絡(luò)日志數(shù)據(jù)和Cookie數(shù)據(jù)外，通常還需要網(wǎng)站注冊(cè)信息等數(shù)據(jù)。商業(yè)智能與Web智能1.2.4訪問(wèn)者級(jí)別訪問(wèn)者級(jí)別與訪問(wèn)級(jí)2數(shù)據(jù)理解2數(shù)據(jù)理解2數(shù)據(jù)理解文件名記錄數(shù)說(shuō)明文件1miis_complete_rapidminer_full.log428730包含網(wǎng)站一周的網(wǎng)絡(luò)日志內(nèi)容文件2register.dat23033用戶注冊(cè)信息文件3products.dat62網(wǎng)站銷(xiāo)售產(chǎn)品的信息文件4purchast.dat739包含網(wǎng)站用戶一周內(nèi)的購(gòu)買(mǎi)情況2數(shù)據(jù)理解文件名記錄數(shù)說(shuō)明文件1miis_complete2數(shù)據(jù)理解miis_complete_rapidminer_full.log2數(shù)據(jù)理解miis_complete_rapidminerregister.dat2數(shù)據(jù)理解register.dat2數(shù)據(jù)理解需要從miis_complete_rapidminer_full生成的數(shù)據(jù)registerpurchaseproducts數(shù)據(jù)之間的關(guān)系需要從miis_complete_rapidminer_fu3數(shù)據(jù)準(zhǔn)備3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor)。日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)據(jù)進(jìn)行合并3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor)3數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶根據(jù)日志識(shí)別不同的訪問(wèn)(Visit)及訪問(wèn)者(Visitor3數(shù)據(jù)準(zhǔn)備3.1識(shí)別用戶訪問(wèn)基本假設(shè)：同一訪問(wèn)IP地址(IPAddress)相同瀏覽器(UserAgent)相同并且操作間隔不超過(guò)30分鐘(1800秒)同一訪問(wèn)者Cookie相同3數(shù)據(jù)準(zhǔn)備3.1識(shí)別用戶訪問(wèn)基本假設(shè)：3數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶3.1識(shí)別訪問(wèn)用戶的布局1234567893數(shù)據(jù)準(zhǔn)備3.1識(shí)別訪問(wèn)用戶3.1識(shí)別訪問(wèn)用戶的布局1233.1部件介紹1部件1：讀入網(wǎng)絡(luò)日志3.1部件介紹3.1部件介紹1部件1：讀入網(wǎng)絡(luò)日志3.1部件介紹22.12.22.1subprocess子過(guò)程2.2部件2：過(guò)濾改名屬性3.1部件介紹22.12.22.1subprocess子過(guò)程2.2部件2：3attributesnamefunctionexpressionsTimestampdate_diff(date_parse_custom("1/1/199900:00:00","dd/MM/yyyyHH:mm:ss"),date_parse_custom(concat(Date,"",Time),"dd/MM/yyyyHH:mm:ss"))/1000部件3：添加時(shí)間戳3.1部件介紹3attributesnamefunctionexpreattributesnamefunctionexpressionsPageExtif(!matches(Page,".*\\.[^/]*"),"none",if(QueryString!="-",concat(Page,"?"),Page))4子過(guò)程4.14.24.14.2.*\.([^/]*)部件4：添加網(wǎng)頁(yè)后綴3.1部件介紹attributesnamefunctionexpres商業(yè)智能與Web智能5部件5：刪除圖片請(qǐng)求3.1部件介紹index(PageExt,"asp")==0||index(PageExt,"htm")==0||PageExt=="none"||PageExt=="txt"||PageExt=="com"66.16.26.36.46.56.66.76.86.9商業(yè)智能與Web智能5部件5：刪除圖片請(qǐng)求3.1部件介紹6.16.26.36.46.66.53.1部件介紹6.16.26.36.46.66.53.1部件介紹if(IPAddress!=IPAddress_up||UserAgent!=UserAgent_up||Timestamp-Timestamp_up>1800,1,0)6.76.86.93.1部件介紹if(IPAddress!=IPAddress_up||8978.18.28.38.48.53.1部件介紹8978.18.28.38.48.53.1部件介紹8.18.28.38.4if(Cookie!=Cookie_up&&Cookie!="-",1,0)attributesnamefunctionexpressionsVisitorIDif(Cookie!="-",concat("Visitor",str(VisitorNumber)),"")3.1部件介紹8.18.28.38.4if(Cookie!=Cookie_8.59weblog_visit&vistor.csv3.1部件介紹8.59weblog_visit&vistor.csv3.13數(shù)據(jù)準(zhǔn)備日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)用戶訪問(wèn)習(xí)慣數(shù)據(jù)包括：用戶名(username)和訂單信息(order_no)訪問(wèn)時(shí)間(visit_time)和每頁(yè)停留時(shí)間(time_per_page)訪問(wèn)第1頁(yè)到第2頁(yè)之間(time_gap1)和第2頁(yè)到第3頁(yè)之間(time_gap2)的時(shí)間間隔頂級(jí)目錄信息(first_dir)訪問(wèn)來(lái)源信息(referer)3數(shù)據(jù)準(zhǔn)備日志信息經(jīng)過(guò)整理提取出用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取3數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)的布局12345673數(shù)據(jù)準(zhǔn)備3.2提取用戶訪問(wèn)習(xí)慣數(shù)據(jù)3.2提取用戶訪問(wèn)習(xí)3.2.1部件介紹13.2.1部件介紹13.2.2部件介紹2部件2子過(guò)程2.12.22.32.12.22.3usernameif(matches(QueryString,".*&username=.*"),QueryString,"-")order_noif(matches(QueryString,".*&order_no=.*"),QueryString,"-").*&username=([^&]*).*.*&order_no=([^&]*).*3.2.2部件介紹2部件2子過(guò)程2.12.22.32.123.2.3部件介紹3部件3子過(guò)程3.13.23.43.33.53.63.73.83.93.103.113.13.23.2.3部件介紹3部件3子過(guò)程3.13.23.43.333.2.3部件介紹3.3部件3.3子過(guò)程3.3.13.3.23.3.33.3.13.3.23.3.3(VisitID!=VisitID_u||VisitID!=VisitID_d)&&VisitActions>13.2.3部件介紹3.3部件3.3子過(guò)程3.3.13.3.3.2.3部件介紹3.4visit_timeif(VisitID!=VisitID_d,Timestamp-Timestamp_u,0)3.53.63.7time_per_pagevisit_time/VisitActions3.2.3部件介紹3.4visit_timeif(Visi3.2.3部件介紹3.93.103.113.83.2.3部件介紹3.93.103.113.83.2.4部件介紹4部件4子過(guò)程4.114.124.14.24.34.44.54.64.74.84.94.104.134.144.153.2.4部件介紹4部件4子過(guò)程4.114.124.14.3.2.4部件介紹4.14.24.3page1if(VisitID!=VisitID_u,Page,"")4.44.54.6page2if(VisitID!=VisitID_u&&VisitID==VisitID_d1,Page_d1,"")4.73.2.4部件介紹4.14.24.3page1if(Vis3.2.4部件介紹page3if(VisitID!=VisitID_u&&VisitID==VisitID_d2,Page_d2,"")4.84.94.104.114.123.2.4部件介紹page3if(VisitID!=Vis3.2.4部件介紹time_gap1if(VisitID!=VisitID_u&&VisitID==VisitID_d1,Timestamp_d1-Timestamp,0)4.13time_gap2if(VisitID!=VisitID_u&&VisitID==VisitID_d2,Timestamp_d2-Timestamp_d1,0)4.144.153.2.4部件介紹time_gap1if(VisitID!3.2.5-6部件介紹5部件5子過(guò)程first_dirif(matches(Page,"/.*/.*"),Page,"")5.15.25.15.2部件6子過(guò)程66.16.26.36.46.53.2.5-6部件介紹5部件5子過(guò)程first_dirif3.2.6-7部件介紹refererif(VisitID!=VisitID_u&&length(Referer)>1,Referer,"")6.16.26.36.46.57web_log_information.csv3.2.6-7部件介紹refererif(VisitID!3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)據(jù)進(jìn)行合并3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)將提取的數(shù)據(jù)與其他數(shù)3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)web_log_informationregisterpurchaseproducts3數(shù)據(jù)準(zhǔn)備3.3合并網(wǎng)絡(luò)日志與相關(guān)數(shù)據(jù)web_log_inf3合并