大數(shù)據(jù)庫(kù)的應(yīng)用

大數(shù)據(jù)庫(kù)的應(yīng)用1、了解大數(shù)據(jù)應(yīng)用的行業(yè)背景2、結(jié)合場(chǎng)景，深入理解大數(shù)據(jù)的應(yīng)用0102目錄導(dǎo)語(yǔ)場(chǎng)景一0304場(chǎng)景二場(chǎng)景三導(dǎo)語(yǔ)1導(dǎo)語(yǔ)

隨著信息化水平的提高和移動(dòng)應(yīng)用的普及，很多行業(yè)都積累了海量的數(shù)據(jù)。比如：微信與QQ的社交行為數(shù)據(jù)、移動(dòng)設(shè)備很多傳感器收集的大量網(wǎng)上交易數(shù)據(jù)、全國(guó)各地實(shí)時(shí)空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)等。海量數(shù)據(jù)的產(chǎn)生與收集為大數(shù)據(jù)庫(kù)的應(yīng)用提供了基礎(chǔ)。

場(chǎng)景一2場(chǎng)景一

作業(yè)幫是百度公司推出的一個(gè)面向全國(guó)中小學(xué)生的移動(dòng)學(xué)習(xí)平臺(tái)。官方資料顯示，截止到2016年6月，作業(yè)幫用戶量突破1.3億，占據(jù)拍照答題市場(chǎng)60%的份額。面對(duì)海量中小學(xué)生的點(diǎn)擊瀏覽，作業(yè)幫每天產(chǎn)生的應(yīng)用數(shù)據(jù)和行為數(shù)據(jù)在TB級(jí)別。如何做到海量數(shù)據(jù)穩(wěn)定存儲(chǔ)、做好數(shù)據(jù)統(tǒng)計(jì)分析、方便快捷地查詢以及降低高昂運(yùn)維成本成了作業(yè)幫最為頭痛的問題。場(chǎng)景一

作業(yè)整體解決方案：報(bào)表系統(tǒng)存儲(chǔ)系統(tǒng)百度MapReduceBMR對(duì)象存儲(chǔ)BOS日志服務(wù)BLS任務(wù)調(diào)度系統(tǒng)云主機(jī)BCC其他數(shù)據(jù)源

離線數(shù)據(jù)平臺(tái)：場(chǎng)景一線上業(yè)務(wù)系統(tǒng)用云主機(jī)解決負(fù)載均衡及海量存儲(chǔ)問題。將線上業(yè)務(wù)系統(tǒng)與離線數(shù)據(jù)平臺(tái)分離。線上業(yè)務(wù)系統(tǒng)實(shí)時(shí)為用戶提供服務(wù)，離線數(shù)據(jù)平臺(tái)提供報(bào)表分析等功能。日志服務(wù)BLS收集運(yùn)行數(shù)據(jù)，存儲(chǔ)到BOS中，然后使用百度MapReduce對(duì)數(shù)據(jù)篩選、清理、存儲(chǔ)，最后接入報(bào)表系統(tǒng)。場(chǎng)景二3場(chǎng)景二

騰訊廣點(diǎn)通承接了每天200多億的廣告流量，這對(duì)算法模型訓(xùn)練數(shù)據(jù)的準(zhǔn)確性、實(shí)時(shí)性和完整性都提供了很高的要求。廣點(diǎn)通利用HBase+Storm構(gòu)建了廣告日志實(shí)時(shí)處理平臺(tái)，解決了實(shí)時(shí)數(shù)據(jù)回流和統(tǒng)計(jì)的問題。場(chǎng)景二廣告選取記錄曝光記錄點(diǎn)擊廣告特征用戶特征模型訓(xùn)練用戶1.請(qǐng)求廣告23.返回廣告url4.看到廣告576.點(diǎn)擊廣告模型更新8圖：廣點(diǎn)通廣告業(yè)務(wù)數(shù)據(jù)流場(chǎng)景三4場(chǎng)景三

表：12306負(fù)載年份尖峰日PV值放票次數(shù)網(wǎng)絡(luò)帶寬訂單處理（張/秒）201210億4次1.5Gb/s200201315億10次3Gb/s4502014144億16次12Gb/s1000場(chǎng)景三2015年起，12306系統(tǒng)連續(xù)三年順利通過春運(yùn)大考。該系統(tǒng)之所以能取得現(xiàn)在的成功，核心思想是“利用云計(jì)算資源