標注版當當在大數(shù)據(jù)挖掘分析與管理個性化精準營銷方面探索fuqiang

時光穿越至2006年1000萬用戶雙核2G-4G內(nèi)存32位50-200G磁盤100萬解決方案多步驟處理：內(nèi)存有限，不得不分批分塊計算只計算3-6個月：一方面降低計算量，另一方面數(shù)據(jù)較新，讓用戶的群體行為有機會影響推薦效果基本信息剪枝：去除臟數(shù)據(jù)噪聲、低頻低銷量冷門商品、高頻暢銷商品稀疏矩陣的高壓縮比的

與支持高效查詢?nèi)匀皇菃栴}P100

C001

C004

C008

C162

C589

C798C001C004C008P006P001P004P100P005P009P168P100P100P457P457P235P688P688P889稀疏矩陣的高壓縮比的與支持高效查詢解決方案倒排索引內(nèi)存空間：幾十G->幾百M時間：處理全量數(shù)據(jù)2小時以內(nèi)個性化買了還買了看了還看了基于瀏覽歷史的發(fā)現(xiàn)跟您相似顧客個性化郵件2006研發(fā)，2007上線。獲得巨大成功！但可惜當時沒數(shù)字證明時光荏苒，2007、2008陸續(xù)推出基于c++的

產(chǎn)品時光穿越至2008、2009年MYSQLMYSQLMYSQLJobJobJob？隨著時間的推移，2009、2010互聯(lián)網(wǎng)各種新技術(shù)層出不窮：hadoop、

erlang、gearman等等。這些新技術(shù)新思想不斷對現(xiàn)有系統(tǒng)產(chǎn)生影響，并促成現(xiàn)有系統(tǒng)不斷發(fā)展。精準

生態(tài)系統(tǒng)進入新階段。！HadoopJobsA的頻率B的頻率AB的頻率Hadoop/協(xié)同過濾Non-distributed

menders:Taste(UserCF,

ItemCF,

SlopeOne)Distributed

menders:ItemCF個性化基于買了看了瀏覽還買還看歷史了了的推薦發(fā)現(xiàn)跟您相似顧客個性化郵件流量分析運網(wǎng)轉(zhuǎn)流廣營頁化量告報分分分分告析析析析hadoop用戶行為數(shù)據(jù)庫：女：程序猿：男居住地：行業(yè)：互聯(lián)網(wǎng)網(wǎng)購時間：22點-凌晨2點身材：腹圍>臀圍>終端：chrome/Andriod云：架構(gòu)、高性能計算、分布式

、重構(gòu)、大數(shù)據(jù)處理、數(shù)據(jù)挖掘用戶行為數(shù)據(jù)庫SVM算法的力量最會被的

分類最會被女性

的

分類當當男是搞IT的很多當當女喜歡看驚悚推理系列當當女是望子

的好，經(jīng)常買手鏈的當當男比當當女還多個性化基于買了看了瀏覽還買還看歷史了了的推薦發(fā)現(xiàn)跟您相似顧客個性化郵件流量分析運網(wǎng)轉(zhuǎn)流廣營頁化量告報分分分分告析析析析hadoop以用戶為中心數(shù)據(jù)集市用戶profile數(shù)據(jù)庫訂單流量進銷存？MQ:

kafkaKeyValue:MongoDBredis

hbase實時mapreduce:Storm實時收集用戶行為的數(shù)據(jù)傳輸實時統(tǒng)計分析實時

的協(xié)同過濾：user-based、item-basedtag、文本矩陣分解：SVD

LDA

SLA準確性多樣性覆蓋率新穎性單純數(shù)據(jù)更新：讓的群體行為告訴最近正在發(fā)生什么到考慮用戶行為中正反饋：群體行為用腳投票到考慮用戶行為正負兩種反饋個性化個性化買了看了還買還看了了基于瀏覽歷史的推薦發(fā)現(xiàn)跟您相似顧客個性化郵件流量分析運

網(wǎng)營

頁報

分告

析轉(zhuǎn)化分析流量分析廣告分析大數(shù)據(jù)能力hadoopstormMongodbRedis

hbasekafka算法能力個性化推薦領(lǐng)域算法通用算法：自然語言聚類、分處理算法類、、回歸等重要模塊郵件ABtest

平臺平臺Anti-Fraud用戶數(shù)據(jù)集市用戶行為訂單流量進銷存ERP時時關(guān)注互聯(lián)網(wǎng)

技術(shù)動態(tài)、產(chǎn)品動態(tài)、業(yè)界動態(tài)，甚至國際大環(huán)境、國內(nèi)外

，這些因素或早或