大數(shù)據(jù)與物流講課講稿課件

大數(shù)據(jù)與物流沈慶瓊物流教研室大數(shù)據(jù)與物流沈慶瓊大數(shù)據(jù)與物流講課講稿課件你腦海中的大數(shù)據(jù)是什么？

你腦海中的大數(shù)據(jù)是什么？

一、大數(shù)據(jù)的內(nèi)涵二、大數(shù)據(jù)的應(yīng)用三、大數(shù)據(jù)給物流帶來(lái)什么一、大數(shù)據(jù)的內(nèi)涵導(dǎo)入案例——美國(guó)零售商和懷孕預(yù)測(cè)最早關(guān)于大數(shù)據(jù)的故事發(fā)生在美國(guó)第二大超市塔吉特百貨。孕婦對(duì)零售商來(lái)說(shuō)是個(gè)含金量很高的顧客群體，但是她們一般會(huì)去專門的孕婦商店。人們一提起塔吉特，往往想到的都是日常生活用品，卻忽視了塔吉特有孕婦需要的一切。在美國(guó)，出生記錄是公開的，等孩子出生了，新生兒母親就會(huì)被鋪天蓋地的產(chǎn)品優(yōu)惠廣告包圍，那時(shí)候再行動(dòng)就晚了，因此必須趕在孕婦懷孕前期就行動(dòng)起來(lái)。

塔吉特的顧客數(shù)據(jù)分析部門發(fā)現(xiàn)，懷孕的婦女一般在懷孕第三個(gè)月的時(shí)候會(huì)購(gòu)買很多無(wú)香乳液。幾個(gè)月后，她們會(huì)購(gòu)買鎂、鈣、鋅等營(yíng)養(yǎng)補(bǔ)充劑。根據(jù)數(shù)據(jù)分析部門提供的模型，塔吉特制訂了全新的廣告營(yíng)銷方案，在孕期的每個(gè)階段給客戶寄送相應(yīng)的優(yōu)惠券。結(jié)果，孕期用品銷售呈現(xiàn)了爆炸性的增長(zhǎng)。2002年到2010年間，塔吉特的銷售額從440億美元增長(zhǎng)到了670億美元。大數(shù)據(jù)的巨大威力轟動(dòng)了全美。我們可以想象的是，許多孕婦在渾然不覺(jué)的情況下成了塔吉特的忠實(shí)擁躉，許多孕婦產(chǎn)品專賣店也在渾然不知中破產(chǎn)。商家們?cè)缤硪鎸?duì)的一個(gè)問(wèn)題就是：究竟是在渾然不覺(jué)中崛起，還是在渾然不覺(jué)中滅亡？導(dǎo)入案例——美國(guó)零售商和懷孕預(yù)測(cè)最早關(guān)于大數(shù)據(jù)的故事發(fā)生一、大數(shù)據(jù)的內(nèi)涵1、定義：

“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。

麥肯錫報(bào)告：大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫(kù)軟件的采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。奧巴馬政府：未來(lái)的新石油一、大數(shù)據(jù)的內(nèi)涵1、定義：一、大數(shù)據(jù)的內(nèi)涵2、數(shù)據(jù)來(lái)源物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器。請(qǐng)問(wèn)：（1.）寫在磁帶、紙上的數(shù)據(jù)是大數(shù)據(jù)么？有用嗎？（2）滴滴打車要用到一個(gè)交通路況數(shù)據(jù)，需要用到什么樣的數(shù)據(jù)？（3）為什么今天的淘寶數(shù)據(jù)值錢了？一、大數(shù)據(jù)的內(nèi)涵2、數(shù)據(jù)來(lái)源一、大數(shù)據(jù)的內(nèi)涵今天的數(shù)據(jù)不是大，真正有意思和值錢的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。所以在線

的這個(gè)問(wèn)題，遠(yuǎn)遠(yuǎn)比“大”更反映本質(zhì)?！髷?shù)據(jù)的本質(zhì)一、大數(shù)據(jù)的內(nèi)涵今天的數(shù)據(jù)不是大，真正有意思和值錢的是數(shù)據(jù)變一、大數(shù)據(jù)的內(nèi)涵3、大數(shù)據(jù)的技術(shù)支持（1）Hadoop平臺(tái)互聯(lián)網(wǎng)企業(yè)的海量數(shù)據(jù)采集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，將這些數(shù)據(jù)上載到Hadoop中央系統(tǒng)進(jìn)行處理分析。（2）MapReduce分析大多數(shù)互聯(lián)網(wǎng)企業(yè)采用Hadoop的HDFS分布式文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，并使用MapReduce進(jìn)行分析MapReduce目前最擅長(zhǎng)的計(jì)算領(lǐng)域有流量統(tǒng)計(jì)、推薦引擎、趨勢(shì)分析、用戶行為分析、數(shù)據(jù)挖掘分類器、分布式索引等。一、大數(shù)據(jù)的內(nèi)涵3、大數(shù)據(jù)的技術(shù)支持例如——淘寶開源的Timetunnel例如——在淘寶，每天有1000多臺(tái)服務(wù)器生成日志文件，日志總量大概有10TB，每天成千上萬(wàn)的報(bào)表基于這些數(shù)據(jù)進(jìn)行計(jì)算。有的報(bào)表每半小時(shí)計(jì)算一次，有的報(bào)表每天計(jì)算一次，還有些非報(bào)表應(yīng)用需要實(shí)時(shí)進(jìn)行數(shù)據(jù)分析。如何保證這些報(bào)表和應(yīng)用按時(shí)收到自己需要的數(shù)據(jù)？每天10TB的數(shù)據(jù)該如何管理?淘寶實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái)-Timetunnel就是因這些需求而誕生的，目前在淘寶Timetunnel使用三臺(tái)服務(wù)器服務(wù)所有的應(yīng)用，每秒鐘實(shí)測(cè)流入流量峰值為50MB/S(壓縮后)，流出流量為130MB/S(壓縮后)。Timetunnel保證為所有的報(bào)表按時(shí)準(zhǔn)備好所需數(shù)據(jù)，延遲不超過(guò)1分鐘;保證為所有的實(shí)時(shí)應(yīng)用提供實(shí)時(shí)數(shù)據(jù)，延遲不超過(guò)1秒。例如——淘寶開源的Timetunnel例如——在淘寶，每天大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件MapReduce在用戶行為上體現(xiàn)的價(jià)值一分鐘內(nèi)，微博推特上新發(fā)的數(shù)據(jù)量超過(guò)10萬(wàn)；社交網(wǎng)絡(luò)“臉譜”的瀏覽量超過(guò)600萬(wàn)…….………..

這些龐大數(shù)字，意味著什么？MapReduce在用戶行為上體現(xiàn)的價(jià)值一分鐘內(nèi)，微博推特上MapReduce用戶行為體現(xiàn)的價(jià)值它意味著，一種全新的致富手段也許就擺在面前，它的價(jià)值堪比石油和黃金。具體有六大價(jià)值：●華爾街根據(jù)民眾情緒拋售股票；●對(duì)沖基金依據(jù)購(gòu)物網(wǎng)站的顧客評(píng)論，分析企業(yè)產(chǎn)品銷售狀況；●銀行根據(jù)求職網(wǎng)站的崗位數(shù)量，推斷就業(yè)率；●投資機(jī)構(gòu)搜集并分析上市企業(yè)聲明，從中尋找破產(chǎn)的蛛絲馬跡；●美國(guó)疾病控制和預(yù)防中心依據(jù)網(wǎng)民搜索，分析全球范圍內(nèi)流感等病疫的傳播狀況；●美國(guó)總統(tǒng)奧巴馬的競(jìng)選團(tuán)隊(duì)依據(jù)選民的微博，實(shí)時(shí)分析選民對(duì)總統(tǒng)競(jìng)選人的喜好。MapReduce用戶行為體現(xiàn)的價(jià)值它意味著，一種全新的致富例如：用戶行為分析

美國(guó)華爾街德溫特資本市場(chǎng)公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進(jìn)而判斷民眾情緒，再以“1”到“50”進(jìn)行打分。根據(jù)打分結(jié)果，霍廷再?zèng)Q定如何處理手中數(shù)以百萬(wàn)美元計(jì)的股票。

霍廷的判斷原則很簡(jiǎn)單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。

這一招收效顯著2012年第一季度，霍廷的公司獲得了

7%的收益率。例如：用戶行為分析美國(guó)華爾街德溫特資二、大數(shù)據(jù)的應(yīng)用二、大數(shù)據(jù)的應(yīng)用二、大數(shù)據(jù)的應(yīng)用（一）在風(fēng)電領(lǐng)域的應(yīng)用1、結(jié)合了大數(shù)據(jù)分析和天氣建模技術(shù)的能源電力系統(tǒng)能夠提高風(fēng)電的可靠性2、檢測(cè)和采集風(fēng)機(jī)的運(yùn)轉(zhuǎn)數(shù)據(jù)、風(fēng)場(chǎng)的運(yùn)營(yíng)數(shù)據(jù)3、預(yù)測(cè)風(fēng)電和太陽(yáng)能的可用性二、大數(shù)據(jù)的應(yīng)用（一）在風(fēng)電領(lǐng)域的應(yīng)用例如——IBM與丹麥的全球風(fēng)電渦輪機(jī)制造商-維斯塔斯風(fēng)力系統(tǒng)合作開發(fā)的智慧分析創(chuàng)新方案。維斯塔斯借助IBM的大數(shù)據(jù)分析和超級(jí)計(jì)算技術(shù)，使之能夠整合來(lái)自于天氣預(yù)報(bào)，潮汐，傳感器，衛(wèi)星圖像，森林砍伐地圖，天氣建模研究所得到的海量級(jí)數(shù)據(jù)，進(jìn)而策略性地的設(shè)置風(fēng)力渦輪機(jī)組。改善了能源的產(chǎn)出，也降低整個(gè)項(xiàng)目生命周期所需的維護(hù)和運(yùn)營(yíng)成本。例如——二、大數(shù)據(jù)的應(yīng)用（二）在智能交通的應(yīng)用在實(shí)時(shí)智能分析和數(shù)據(jù)挖掘方面，做到高效事前預(yù)警、事后分析，實(shí)現(xiàn)智能化的信息分析、預(yù)測(cè)，為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來(lái)深刻的變革。1、卡口和電警的應(yīng)用——車輛的查找、布控和案件線索搜索2、把海量的視頻數(shù)據(jù)進(jìn)行濃縮、提取特征摘要、減少了存儲(chǔ)空間，關(guān)鍵數(shù)據(jù)的二次備份3、對(duì)圖片進(jìn)行匹配和模式識(shí)別，增強(qiáng)事前預(yù)警的功能。二、大數(shù)據(jù)的應(yīng)用（二）在智能交通的應(yīng)用車流量的監(jiān)控車流量的監(jiān)控車輛識(shí)別車輛識(shí)別車輛的監(jiān)控和調(diào)度車輛的監(jiān)控和調(diào)度大數(shù)據(jù)與物流講課講稿課件二、大數(shù)據(jù)的應(yīng)用快遞旺季來(lái)臨，大數(shù)據(jù)如何推動(dòng)快遞信息化？二、大數(shù)據(jù)的應(yīng)用快遞旺季來(lái)臨，大數(shù)據(jù)如何推動(dòng)快遞信息化？二、大數(shù)據(jù)的應(yīng)用（三）在快遞行業(yè)的應(yīng)用1、電子面單2、大數(shù)據(jù)路由分單3、“超時(shí)異常件”管理4、物流預(yù)警雷達(dá)5、大數(shù)據(jù)反炒信系統(tǒng)二、大數(shù)據(jù)的應(yīng)用（三）在快遞行業(yè)的應(yīng)用大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件1、電子面單2015年8月，國(guó)內(nèi)排名前15的快遞公司全部實(shí)現(xiàn)了電子面單的普及使用。據(jù)圓通、中通等快遞企業(yè)的數(shù)據(jù)顯示，使用電子面單，發(fā)貨速度能提升30％以上。根據(jù)德邦快遞的使用后的數(shù)據(jù)對(duì)比，錄單效率提升了15倍。1、電子面單2015年8月，國(guó)內(nèi)排名前15的快遞公司全部實(shí)現(xiàn)2、大數(shù)據(jù)路由分單結(jié)合互聯(lián)網(wǎng)地圖的空間定位技術(shù)，可用數(shù)據(jù)實(shí)現(xiàn)包裹跟網(wǎng)點(diǎn)的精準(zhǔn)匹配。訂單一產(chǎn)生，就能夠知道派送的網(wǎng)點(diǎn)，未來(lái)可幫助快遞公司做網(wǎng)點(diǎn)派件量預(yù)報(bào)?？梢詫?duì)攬件和派件地址進(jìn)行精準(zhǔn)定位，為快遞員提供更精準(zhǔn)的線路規(guī)劃和配送分派。2、大數(shù)據(jù)路由分單結(jié)合互聯(lián)網(wǎng)地圖的空間定位技術(shù)，可用數(shù)據(jù)實(shí)現(xiàn)3、“超時(shí)異常件”管理通過(guò)大數(shù)據(jù)，將這些包裹訂單數(shù)據(jù)篩選出來(lái)，可以幫助快遞企業(yè)及時(shí)了解自己產(chǎn)生了多少“超時(shí)異常件”，哪個(gè)網(wǎng)點(diǎn)最嚴(yán)重，并通過(guò)訂單及時(shí)了解原因，有針對(duì)性地著手改善。3、“超時(shí)異常件”管理通過(guò)大數(shù)據(jù)，將這些包裹訂單數(shù)據(jù)篩選出來(lái)4、物流預(yù)警雷達(dá)物流預(yù)警雷達(dá)可以通過(guò)大數(shù)據(jù)對(duì)包裹量進(jìn)行提前預(yù)測(cè)，來(lái)引導(dǎo)商家備倉(cāng)發(fā)貨，幫助快遞公司調(diào)配運(yùn)能能力資源。4、物流預(yù)警雷達(dá)物流預(yù)警雷達(dá)可以通過(guò)大數(shù)據(jù)對(duì)包裹量進(jìn)行提前預(yù)5、大數(shù)據(jù)反炒信系統(tǒng)大數(shù)據(jù)反炒信系統(tǒng)，控制好網(wǎng)購(gòu)的最后流程、物流環(huán)節(jié)，對(duì)物流訂單的流轉(zhuǎn)數(shù)據(jù)進(jìn)行全程監(jiān)控，并且根據(jù)炒信訂單特征，自動(dòng)識(shí)別炒信運(yùn)單號(hào)以及應(yīng)對(duì)商家的商品訂單。5、大數(shù)據(jù)反炒信系統(tǒng)大數(shù)據(jù)反炒信系統(tǒng)，控制好網(wǎng)購(gòu)的最后流程、UPS快遞的最佳行車路徑UPS快遞多效地利用了地理定位數(shù)據(jù)。為了使總部能在車輛出現(xiàn)晚點(diǎn)的時(shí)候跟蹤到車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無(wú)線適配器和GPS。同時(shí)，這些設(shè)備也方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據(jù)過(guò)去的行車經(jīng)驗(yàn)總結(jié)而來(lái)的。2011年，UPS的駕駛員少跑了近4828萬(wàn)公里的路程。

UPS快遞的最佳行車路徑三、大數(shù)據(jù)給物流帶來(lái)什么？（一）推動(dòng)智慧物流發(fā)展1、做好整合和拆分：利益交換模式——用服務(wù)換取管理2、數(shù)據(jù)的充分利用——數(shù)據(jù)的數(shù)量高于質(zhì)量，數(shù)據(jù)的相關(guān)性優(yōu)于數(shù)據(jù)邏輯性或因果性，朝著動(dòng)態(tài)化、個(gè)性化發(fā)展3、圍繞網(wǎng)絡(luò)和流程問(wèn)題發(fā)展——對(duì)資源的管控和對(duì)作業(yè)流程（服務(wù)流程）的優(yōu)化三、大數(shù)據(jù)給物流帶來(lái)什么？（一）推動(dòng)智慧物流發(fā)展三、大數(shù)據(jù)給物流帶來(lái)什么？（二）驅(qū)動(dòng)電商物流變革關(guān)注：1、物流倉(cāng)儲(chǔ)平臺(tái)建設(shè)2、物流信息平臺(tái)建設(shè)建議：高效率的信息管理，搭建網(wǎng)絡(luò)平臺(tái)；簡(jiǎn)化所有單證手續(xù)；引進(jìn)電子數(shù)據(jù)交換系統(tǒng)；發(fā)布物流系統(tǒng)電子數(shù)據(jù)交換標(biāo)準(zhǔn)；配套自動(dòng)存儲(chǔ)和回復(fù)系統(tǒng)。三、大數(shù)據(jù)給物流帶來(lái)什么？（二）驅(qū)動(dòng)電商物流變革三、大數(shù)據(jù)給物流帶來(lái)什么？（三）加速公路運(yùn)輸整合物流當(dāng)前主要的運(yùn)力：自有車輛、簽約承運(yùn)商、業(yè)務(wù)量大時(shí)臨時(shí)租車。社會(huì)整合后的運(yùn)力：時(shí)間、空間、管理和服務(wù)。三、大數(shù)據(jù)給物流帶來(lái)什么？（三）加速公路運(yùn)輸整合物流業(yè)為什么要做大數(shù)據(jù)？主要是因?yàn)椋旱谝?，快遞走入民生的勢(shì)頭越來(lái)越猛，對(duì)每一個(gè)節(jié)點(diǎn)的信息化需求也越來(lái)越多，這就需要通過(guò)大數(shù)據(jù)把信息化對(duì)接起來(lái)。第二，從企業(yè)自身角度來(lái)講，信息化對(duì)企業(yè)管理者的重要性也越來(lái)越突出。第三，提高對(duì)數(shù)據(jù)的加工能力，通過(guò)加工實(shí)現(xiàn)數(shù)據(jù)的增值。物流業(yè)為什么要做大數(shù)據(jù)？主要是因?yàn)椋捍髷?shù)據(jù)與物流沈慶瓊物流教研室大數(shù)據(jù)與物流沈慶瓊大數(shù)據(jù)與物流講課講稿課件你腦海中的大數(shù)據(jù)是什么？

你腦海中的大數(shù)據(jù)是什么？

一、大數(shù)據(jù)的內(nèi)涵二、大數(shù)據(jù)的應(yīng)用三、大數(shù)據(jù)給物流帶來(lái)什么一、大數(shù)據(jù)的內(nèi)涵導(dǎo)入案例——美國(guó)零售商和懷孕預(yù)測(cè)最早關(guān)于大數(shù)據(jù)的故事發(fā)生在美國(guó)第二大超市塔吉特百貨。孕婦對(duì)零售商來(lái)說(shuō)是個(gè)含金量很高的顧客群體，但是她們一般會(huì)去專門的孕婦商店。人們一提起塔吉特，往往想到的都是日常生活用品，卻忽視了塔吉特有孕婦需要的一切。在美國(guó)，出生記錄是公開的，等孩子出生了，新生兒母親就會(huì)被鋪天蓋地的產(chǎn)品優(yōu)惠廣告包圍，那時(shí)候再行動(dòng)就晚了，因此必須趕在孕婦懷孕前期就行動(dòng)起來(lái)。

塔吉特的顧客數(shù)據(jù)分析部門發(fā)現(xiàn)，懷孕的婦女一般在懷孕第三個(gè)月的時(shí)候會(huì)購(gòu)買很多無(wú)香乳液。幾個(gè)月后，她們會(huì)購(gòu)買鎂、鈣、鋅等營(yíng)養(yǎng)補(bǔ)充劑。根據(jù)數(shù)據(jù)分析部門提供的模型，塔吉特制訂了全新的廣告營(yíng)銷方案，在孕期的每個(gè)階段給客戶寄送相應(yīng)的優(yōu)惠券。結(jié)果，孕期用品銷售呈現(xiàn)了爆炸性的增長(zhǎng)。2002年到2010年間，塔吉特的銷售額從440億美元增長(zhǎng)到了670億美元。大數(shù)據(jù)的巨大威力轟動(dòng)了全美。我們可以想象的是，許多孕婦在渾然不覺(jué)的情況下成了塔吉特的忠實(shí)擁躉，許多孕婦產(chǎn)品專賣店也在渾然不知中破產(chǎn)。商家們?cè)缤硪鎸?duì)的一個(gè)問(wèn)題就是：究竟是在渾然不覺(jué)中崛起，還是在渾然不覺(jué)中滅亡？導(dǎo)入案例——美國(guó)零售商和懷孕預(yù)測(cè)最早關(guān)于大數(shù)據(jù)的故事發(fā)生一、大數(shù)據(jù)的內(nèi)涵1、定義：

“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。

麥肯錫報(bào)告：大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫(kù)軟件的采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。奧巴馬政府：未來(lái)的新石油一、大數(shù)據(jù)的內(nèi)涵1、定義：一、大數(shù)據(jù)的內(nèi)涵2、數(shù)據(jù)來(lái)源物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器。請(qǐng)問(wèn)：（1.）寫在磁帶、紙上的數(shù)據(jù)是大數(shù)據(jù)么？有用嗎？（2）滴滴打車要用到一個(gè)交通路況數(shù)據(jù)，需要用到什么樣的數(shù)據(jù)？（3）為什么今天的淘寶數(shù)據(jù)值錢了？一、大數(shù)據(jù)的內(nèi)涵2、數(shù)據(jù)來(lái)源一、大數(shù)據(jù)的內(nèi)涵今天的數(shù)據(jù)不是大，真正有意思和值錢的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。所以在線

的這個(gè)問(wèn)題，遠(yuǎn)遠(yuǎn)比“大”更反映本質(zhì)。——大數(shù)據(jù)的本質(zhì)一、大數(shù)據(jù)的內(nèi)涵今天的數(shù)據(jù)不是大，真正有意思和值錢的是數(shù)據(jù)變一、大數(shù)據(jù)的內(nèi)涵3、大數(shù)據(jù)的技術(shù)支持（1）Hadoop平臺(tái)互聯(lián)網(wǎng)企業(yè)的海量數(shù)據(jù)采集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，將這些數(shù)據(jù)上載到Hadoop中央系統(tǒng)進(jìn)行處理分析。（2）MapReduce分析大多數(shù)互聯(lián)網(wǎng)企業(yè)采用Hadoop的HDFS分布式文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，并使用MapReduce進(jìn)行分析MapReduce目前最擅長(zhǎng)的計(jì)算領(lǐng)域有流量統(tǒng)計(jì)、推薦引擎、趨勢(shì)分析、用戶行為分析、數(shù)據(jù)挖掘分類器、分布式索引等。一、大數(shù)據(jù)的內(nèi)涵3、大數(shù)據(jù)的技術(shù)支持例如——淘寶開源的Timetunnel例如——在淘寶，每天有1000多臺(tái)服務(wù)器生成日志文件，日志總量大概有10TB，每天成千上萬(wàn)的報(bào)表基于這些數(shù)據(jù)進(jìn)行計(jì)算。有的報(bào)表每半小時(shí)計(jì)算一次，有的報(bào)表每天計(jì)算一次，還有些非報(bào)表應(yīng)用需要實(shí)時(shí)進(jìn)行數(shù)據(jù)分析。如何保證這些報(bào)表和應(yīng)用按時(shí)收到自己需要的數(shù)據(jù)？每天10TB的數(shù)據(jù)該如何管理?淘寶實(shí)時(shí)數(shù)據(jù)傳輸平臺(tái)-Timetunnel就是因這些需求而誕生的，目前在淘寶Timetunnel使用三臺(tái)服務(wù)器服務(wù)所有的應(yīng)用，每秒鐘實(shí)測(cè)流入流量峰值為50MB/S(壓縮后)，流出流量為130MB/S(壓縮后)。Timetunnel保證為所有的報(bào)表按時(shí)準(zhǔn)備好所需數(shù)據(jù)，延遲不超過(guò)1分鐘;保證為所有的實(shí)時(shí)應(yīng)用提供實(shí)時(shí)數(shù)據(jù)，延遲不超過(guò)1秒。例如——淘寶開源的Timetunnel例如——在淘寶，每天大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件MapReduce在用戶行為上體現(xiàn)的價(jià)值一分鐘內(nèi)，微博推特上新發(fā)的數(shù)據(jù)量超過(guò)10萬(wàn)；社交網(wǎng)絡(luò)“臉譜”的瀏覽量超過(guò)600萬(wàn)…….………..

這些龐大數(shù)字，意味著什么？MapReduce在用戶行為上體現(xiàn)的價(jià)值一分鐘內(nèi)，微博推特上MapReduce用戶行為體現(xiàn)的價(jià)值它意味著，一種全新的致富手段也許就擺在面前，它的價(jià)值堪比石油和黃金。具體有六大價(jià)值：●華爾街根據(jù)民眾情緒拋售股票；●對(duì)沖基金依據(jù)購(gòu)物網(wǎng)站的顧客評(píng)論，分析企業(yè)產(chǎn)品銷售狀況；●銀行根據(jù)求職網(wǎng)站的崗位數(shù)量，推斷就業(yè)率；●投資機(jī)構(gòu)搜集并分析上市企業(yè)聲明，從中尋找破產(chǎn)的蛛絲馬跡；●美國(guó)疾病控制和預(yù)防中心依據(jù)網(wǎng)民搜索，分析全球范圍內(nèi)流感等病疫的傳播狀況；●美國(guó)總統(tǒng)奧巴馬的競(jìng)選團(tuán)隊(duì)依據(jù)選民的微博，實(shí)時(shí)分析選民對(duì)總統(tǒng)競(jìng)選人的喜好。MapReduce用戶行為體現(xiàn)的價(jià)值它意味著，一種全新的致富例如：用戶行為分析

美國(guó)華爾街德溫特資本市場(chǎng)公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進(jìn)而判斷民眾情緒，再以“1”到“50”進(jìn)行打分。根據(jù)打分結(jié)果，霍廷再?zèng)Q定如何處理手中數(shù)以百萬(wàn)美元計(jì)的股票。

霍廷的判斷原則很簡(jiǎn)單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。

這一招收效顯著2012年第一季度，霍廷的公司獲得了

7%的收益率。例如：用戶行為分析美國(guó)華爾街德溫特資二、大數(shù)據(jù)的應(yīng)用二、大數(shù)據(jù)的應(yīng)用二、大數(shù)據(jù)的應(yīng)用（一）在風(fēng)電領(lǐng)域的應(yīng)用1、結(jié)合了大數(shù)據(jù)分析和天氣建模技術(shù)的能源電力系統(tǒng)能夠提高風(fēng)電的可靠性2、檢測(cè)和采集風(fēng)機(jī)的運(yùn)轉(zhuǎn)數(shù)據(jù)、風(fēng)場(chǎng)的運(yùn)營(yíng)數(shù)據(jù)3、預(yù)測(cè)風(fēng)電和太陽(yáng)能的可用性二、大數(shù)據(jù)的應(yīng)用（一）在風(fēng)電領(lǐng)域的應(yīng)用例如——IBM與丹麥的全球風(fēng)電渦輪機(jī)制造商-維斯塔斯風(fēng)力系統(tǒng)合作開發(fā)的智慧分析創(chuàng)新方案。維斯塔斯借助IBM的大數(shù)據(jù)分析和超級(jí)計(jì)算技術(shù)，使之能夠整合來(lái)自于天氣預(yù)報(bào)，潮汐，傳感器，衛(wèi)星圖像，森林砍伐地圖，天氣建模研究所得到的海量級(jí)數(shù)據(jù)，進(jìn)而策略性地的設(shè)置風(fēng)力渦輪機(jī)組。改善了能源的產(chǎn)出，也降低整個(gè)項(xiàng)目生命周期所需的維護(hù)和運(yùn)營(yíng)成本。例如——二、大數(shù)據(jù)的應(yīng)用（二）在智能交通的應(yīng)用在實(shí)時(shí)智能分析和數(shù)據(jù)挖掘方面，做到高效事前預(yù)警、事后分析，實(shí)現(xiàn)智能化的信息分析、預(yù)測(cè)，為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來(lái)深刻的變革。1、卡口和電警的應(yīng)用——車輛的查找、布控和案件線索搜索2、把海量的視頻數(shù)據(jù)進(jìn)行濃縮、提取特征摘要、減少了存儲(chǔ)空間，關(guān)鍵數(shù)據(jù)的二次備份3、對(duì)圖片進(jìn)行匹配和模式識(shí)別，增強(qiáng)事前預(yù)警的功能。二、大數(shù)據(jù)的應(yīng)用（二）在智能交通的應(yīng)用車流量的監(jiān)控車流量的監(jiān)控車輛識(shí)別車輛識(shí)別車輛的監(jiān)控和調(diào)度車輛的監(jiān)控和調(diào)度大數(shù)據(jù)與物流講課講稿課件二、大數(shù)據(jù)的應(yīng)用快遞旺季來(lái)臨，大數(shù)據(jù)如何推動(dòng)快遞信息化？二、大數(shù)據(jù)的應(yīng)用快遞旺季來(lái)臨，大數(shù)據(jù)如何推動(dòng)快遞信息化？二、大數(shù)據(jù)的應(yīng)用（三）在快遞行業(yè)的應(yīng)用1、電子面單2、大數(shù)據(jù)路由分單3、“超時(shí)異常件”管理4、物流預(yù)警雷達(dá)5、大數(shù)據(jù)反炒信系統(tǒng)二、大數(shù)據(jù)的應(yīng)用（三）在快遞行業(yè)的應(yīng)用大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件大數(shù)據(jù)與物流講課講稿課件1、電子面單2015年8月，國(guó)內(nèi)排名前15的快遞公司全部實(shí)現(xiàn)了電子面單的普及使用。據(jù)圓通、中通等快遞企業(yè)的數(shù)據(jù)顯示，使用電子面單，發(fā)貨速度能提升30％以上。根據(jù)德邦快遞的使用后的數(shù)據(jù)對(duì)比，錄單效率提升了15倍。1、電子面單2015年8月，國(guó)內(nèi)排名前15的快遞公司全部實(shí)現(xiàn)2、大數(shù)據(jù)路由分單結(jié)合互聯(lián)網(wǎng)地圖的空間定位技術(shù)，可用數(shù)據(jù)實(shí)現(xiàn)包裹跟網(wǎng)點(diǎn)的精準(zhǔn)匹配。訂單一產(chǎn)生，就能夠知道派送的網(wǎng)點(diǎn)，未來(lái)可幫助快遞公司做網(wǎng)點(diǎn)派件量預(yù)報(bào)。可以對(duì)攬件和派件地址進(jìn)行精準(zhǔn)定位，為快遞員提供更精準(zhǔn)的線路規(guī)劃和配送分派。2、大數(shù)據(jù)路由分單結(jié)合互聯(lián)網(wǎng)地圖的空間定位技術(shù)，可用數(shù)據(jù)實(shí)現(xiàn)3、“超時(shí)異常件”管理通過(guò)大數(shù)據(jù)，將這些包裹訂單數(shù)據(jù)篩選出來(lái)，可以幫助快遞企業(yè)及時(shí)了解自己產(chǎn)生了多少“超時(shí)異常件”，哪個(gè)網(wǎng)點(diǎn)最嚴(yán)重，并通過(guò)訂單及時(shí)了解原因，有針對(duì)性地著手改善。3、“超時(shí)異常件”管理通過(guò)大數(shù)據(jù)，將這些包裹訂單數(shù)據(jù)篩選出來(lái)4、物流預(yù)警雷達(dá)物流預(yù)警雷達(dá)可以通過(guò)大數(shù)據(jù)對(duì)包裹量進(jìn)行提前預(yù)測(cè)，來(lái)引導(dǎo)商