大數(shù)據(jù)與機(jī)器學(xué)習(xí)

1、身處大數(shù)據(jù)時代第1頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概念及案例 大數(shù)據(jù)案例介紹 機(jī)器學(xué)習(xí)介紹與案例 大數(shù)據(jù)與機(jī)器學(xué)習(xí)行業(yè)人才需求第2頁互聯(lián)網(wǎng)發(fā)展趨勢第3頁體量Volume多樣性Variety價值密度Value速度Velocity已經(jīng)不是以我們所熟悉G或T為單位來衡量，而是以P、E或Z為計量單位大數(shù)據(jù)異構(gòu)和多樣性很多不一樣形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不顯著不連貫語法或句義大量不相關(guān)信息對未來趨勢與模式可預(yù)測分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、匯報等）實(shí)時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)

2、特征第4頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概念及案例 大數(shù)據(jù)案例介紹 機(jī)器學(xué)習(xí)介紹與案例 大數(shù)據(jù)與機(jī)器學(xué)習(xí)行業(yè)人才需求第5頁 云計算將計算任務(wù)分布在大量計算機(jī)組成資源池上，是各種應(yīng)用系統(tǒng)能夠依據(jù)需要獲取計算力、存放空間和各種軟件服務(wù)。 云計算“云”就是存在于互聯(lián)網(wǎng)上服務(wù)器集群，它包含硬件資源（服務(wù)器、存放器、CPU等）和軟件資源（如應(yīng)用軟件、集成開發(fā)環(huán)境等）大數(shù)據(jù)存放和運(yùn)算就能夠建立在這些云主機(jī)當(dāng)中。什么是云計算第6頁分布式計算好處：成本降低，能用PC機(jī)，不用高端服務(wù)器和高端存放可靠性增加處理數(shù)據(jù)能力大大增加Google文件系統(tǒng)GFS(Google File

3、 System)并行數(shù)據(jù)處理MapReduce結(jié)構(gòu)化數(shù)據(jù)表BigTableGoogle 大數(shù)據(jù)處理技術(shù)第7頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概念及案例 大數(shù)據(jù)案例介紹 機(jī)器學(xué)習(xí)介紹與案例 大數(shù)據(jù)與機(jī)器學(xué)習(xí)行業(yè)人才需求第8頁數(shù)據(jù)挖掘產(chǎn)生背景伴隨數(shù)據(jù)庫技術(shù)飛速發(fā)展，快速增加海量數(shù)據(jù)搜集、存放在大量數(shù)據(jù)儲存庫中了解他們已經(jīng)遠(yuǎn)遠(yuǎn)超出人能力數(shù)據(jù)豐富，但信息缺乏怎樣對數(shù)據(jù)進(jìn)行挖掘？第9頁數(shù)據(jù)挖掘步驟結(jié)果解釋和評定數(shù)據(jù)挖掘算法執(zhí)行數(shù)據(jù)搜集問題定義第10頁數(shù)據(jù)挖掘案例介紹啤酒加尿布地點(diǎn)：沃爾瑪在美國加州某連鎖店起因：天天銷售信息和用戶基本情況數(shù)據(jù)庫中發(fā)覺購置嬰兒尿布用戶多是

4、男性，而且往往也同時購置啤酒經(jīng)過：重新布置貨架，把啤酒類商品布置在嬰兒尿布貨架附近，并在二者之間放上土豆之類佐酒小食品和男性生活用具結(jié)果：上述幾個商品銷量大增第11頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概念及案例 大數(shù)據(jù)案例介紹 機(jī)器學(xué)習(xí)介紹與案例 大數(shù)據(jù)與機(jī)器學(xué)習(xí)行業(yè)人才需求第12頁谷歌利用流量優(yōu)勢，利用大數(shù)據(jù)來優(yōu)化廣告投放策略廣告收入是早期Google主要經(jīng)濟(jì)起源，怎樣精準(zhǔn)投放廣告成為焦點(diǎn)第13頁統(tǒng)計淘寶網(wǎng)用戶搜索、瀏覽、購置行為，為用戶推薦商品搜集用戶行為，更加好設(shè)計淘寶網(wǎng)用戶體驗雙11晚會，大數(shù)據(jù)顯示各個省份銷量份額，包含用戶購置習(xí)慣等信息第14頁 7-

5、11店面普遍不大，但里面商品基本都能滿足我們?nèi)粘Ｐ枰锪餍畔敿?xì)統(tǒng)計各個店鋪詳細(xì)情況，包含進(jìn)貨商品種類、數(shù)量等，甚至還包含店鋪所處地域天氣、道路等情況來優(yōu)化物流配送第15頁會依據(jù)用戶騎車行為，包含何時何地騎車，從哪到哪，騎行多久，各個時間段使用量情況等各個維度數(shù)據(jù)來確定單車集中投放地選在哪里第16頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概念及案例 大數(shù)據(jù)案例介紹 機(jī)器學(xué)習(xí)介紹與案例 大數(shù)據(jù)與機(jī)器學(xué)習(xí)行業(yè)人才需求第17頁數(shù)據(jù)知識認(rèn)知推理決議識別學(xué)習(xí)機(jī)器學(xué)習(xí)學(xué)習(xí)現(xiàn)象語言、文字認(rèn)知識別圖像、場景、自然物體認(rèn)知識別規(guī)則（e.g 下雨天要帶雨傘）復(fù)雜推理、判斷能力（智能） 好人與壞人？好貓與壞貓？第18頁機(jī)器學(xué)習(xí)形象展示第19頁機(jī)器學(xué)習(xí)案例alphaGo戰(zhàn)勝李世石Google無人駕駛第20頁目錄 大數(shù)據(jù)產(chǎn)生背景與介紹 云計算與Google大數(shù)據(jù)體系 數(shù)據(jù)挖掘概