大規(guī)模數(shù)據(jù)處理的那些事兒

1、大規(guī)模數(shù)據(jù)處理的那些事內(nèi)容概要Mass Data Processing什么是Mass Data ProcessingMDP的應(yīng)用場(chǎng)合為什么要學(xué)習(xí)MDPMDP在高校教學(xué)中的現(xiàn)狀設(shè)想中的一些工作將目前的一些經(jīng)驗(yàn)和理論進(jìn)行整理能夠開(kāi)展一些傳播工作建立私立實(shí)驗(yàn)室Q & A2什么是Mass Data Processing在受限的機(jī)器,網(wǎng)絡(luò)資源的情況下，通過(guò)軟件和硬件共同完成的G以上級(jí)別的數(shù)據(jù)計(jì)算和存儲(chǔ)。 -penny liang索引的網(wǎng)頁(yè)有數(shù)10億條中國(guó)的網(wǎng)民有1億，平均每天訪問(wèn)10個(gè)網(wǎng)頁(yè)。電子商務(wù)、金融機(jī)構(gòu)、通訊話單，這些數(shù)量更大。3MDP的應(yīng)用場(chǎng)合搜索引擎索引數(shù)10億網(wǎng)頁(yè)，能夠提供高效檢索服務(wù)goo

2、gle，baidu數(shù)據(jù)挖掘日志挖掘商務(wù)智能(cognos(IBM),share point(MS) 云計(jì)算，云存儲(chǔ)，云安全map reduce, hadoop4為什么要學(xué)習(xí)MDP能夠?qū)⒋髮W(xué)本科階段各個(gè)科目，在這個(gè)實(shí)踐背景下結(jié)合起來(lái)深刻理解磁盤(pán)，內(nèi)存層次，體系結(jié)構(gòu)，操作系統(tǒng)深刻理解分布式算法設(shè)計(jì)，數(shù)據(jù)結(jié)構(gòu)排序算法(Penny sort，圖靈獎(jiǎng)得主Jim Gray發(fā)起)壓縮算法搜索算法深刻理解分析業(yè)務(wù)，解決問(wèn)題的思路和方法查找100億網(wǎng)頁(yè)中，PV最高的前10個(gè)。能夠?qū)ぷ髦械膯?wèn)題給出解釋?zhuān)帉?xiě)高效率代碼舉個(gè)memset的例子5MDP在高校教學(xué)中的現(xiàn)狀國(guó)內(nèi)的情況北大，清華，mdp_tsinghua/

3、index.htm國(guó)外的情況麻省理工不定期課程，關(guān)于Map reduce斯坦福大學(xué)權(quán)威教材Garcia-Molina, Ullman, Widom; DATABASE SYSTEMS, THE COMPLETE BOOK Tanenbaum, Maarten ven Steen, Distributed Systems: Principles andParadigms, 2/e, by Andrew S. Prentice-Hall, 2006.6設(shè)想中的一些工作將目前的一些經(jīng)驗(yàn)和理論進(jìn)行整理個(gè)性化推薦工作，新聞搜索，商業(yè)日志挖掘水木社區(qū)上寫(xiě)了一些連載 閱讀一些感興趣的論文，做一些感興趣的實(shí)驗(yàn)開(kāi)展一些傳播工作推廣搜索引擎相關(guān)技術(shù)推廣大規(guī)模數(shù)據(jù)處理技術(shù)，為大學(xué)階段教學(xué)