論過濾算法在煤炭管理的作用

1、論過濾算法在煤炭管理的作用 針對大規(guī)模消費歷史記錄，消費者矩陣規(guī)模非常龐大，傳統(tǒng)的算法不能有效地處理該數(shù)據(jù)矩陣。文中基于流行的mapreduce云計算平臺，提出了分布式基于項目的knn協(xié)同過濾算法。下面，對該算法的執(zhí)行過程進行描述：（1）將消費者歷史記錄平均分配到n個計算節(jié)點中；（2）在不同的計算節(jié)點k中，計算該節(jié)點中不同頻度乘積，以及頻度平方根，如下：u綴n(i)n(j)innodekfuifuj，u綴n(i)innodekf2ui；同時，針對計算節(jié)點k中的不同消費者i，針對消費者對項目消費頻度排序，求出消費者消費頻度最高的項目；（3）將不同節(jié)點的計算結(jié)果進行合并，即：將不同頻度乘積做和，以

2、及頻度平方根求和：nk=1u綴n(i)n(j)innodekfuifuj，nk=1u綴n(i)innodekf2ui；（4）根據(jù)（3）的計算結(jié)果，求解不同項目之間的相似度；（5）針對不同用戶u購買頻度最高的項目i，根據(jù)（4）計算得到的相似度，找出與該項目i相似的前k個項目，并將該k個項目推薦給該用戶u。下面的偽代碼為基于mapreduce的分布式、基于項目的knn算法的偽代碼： 實驗部分使用了公開的網(wǎng)站消費歷史記錄做為實驗數(shù)據(jù)，如表1所示描述了4組實驗數(shù)據(jù)。文中的算法是基于mapreduce的分布式計算環(huán)境，運行在20個計算節(jié)點的集群環(huán)境下完成的。文中的所有計算都是基于最新版本的hadoop-

3、0.20.2做為mapreduce分布式編程環(huán)境。每個節(jié)點的配置為：4.0hz的intel處理器，32g內(nèi)存，centoslinux操作系統(tǒng)。實驗部分主要測試算法的兩方面性能：高效性以及可擴展性。實驗的第1部分是通過測試分布式基于項目的knn算法（item-basedknn）與傳統(tǒng)算法（traditionknn）在不同數(shù)據(jù)集下的執(zhí)行時間，比較兩種算法的執(zhí)行效率，計算文中提出算法的加速比。如圖1所示描述了文中提出算法與傳統(tǒng)算法的執(zhí)行時間。通過圖1可以看出，文中提出的分布式的基于項目knn算法與傳統(tǒng)算法相比在執(zhí)行時間上有明顯的減少，具有很高的加速比。說明該算法可以高效地完成推薦系統(tǒng)的推薦工作，實現(xiàn)

4、推薦系統(tǒng)的實時性。在第2組實驗中，主要測試算法的可擴展性。從最大規(guī)模的數(shù)據(jù)集d5中，固定項目的個數(shù)，抽取不同記錄個數(shù)的數(shù)據(jù)集s1，s2，s3，s4，記錄個數(shù)分別為：500,000，1,000,000，1,500,000，2,000,000。在項目個數(shù)固定的條件下，本組實驗測試在計算節(jié)點個數(shù)分別為5,10,15,20的情況下，針對4組不同規(guī)模數(shù)據(jù)集完成算法的執(zhí)行時間。實驗2的結(jié)果如圖2所示。通過圖2可以看出，隨著數(shù)據(jù)規(guī)模的增大，算法的執(zhí)行時間也隨之增多，但是，數(shù)據(jù)增大的規(guī)模是呈現(xiàn)線性增長的，而不是指數(shù)級增長，說明算法具有很高的可擴展性。同時，通過增大計算節(jié)點的個數(shù)，算法的執(zhí)行時間也會相應地減少，因此，當處理較大規(guī)模的數(shù)據(jù)時，可以通過增加計算節(jié)點的個數(shù)，減小算法的執(zhí)行時間，增加算法的效率。 隨著電子商務網(wǎng)站的發(fā)展，網(wǎng)站中產(chǎn)生了大量的互聯(lián)網(wǎng)消費信息。煤炭產(chǎn)業(yè)的商業(yè)網(wǎng)站也希望通過利用已有的消費記錄信息，完成煤炭產(chǎn)品的推薦工作。文章針對傳統(tǒng)算法無法高效處理海量消費記錄問題，提出了高效、快速的分布式基于項目的knn協(xié)同過濾算法。該算法可以有效地應用到推薦系統(tǒng)中，實現(xiàn)推