大數(shù)據(jù)人工智能時代-Joy課件

大數(shù)據(jù)人工智能時代大數(shù)據(jù)人工智能時代1世界四次工業(yè)革命第一次革命：18世紀(jì)60年代英國發(fā)起的蒸汽技術(shù)革命，以蒸汽機為代表。第二次革命：19世紀(jì)中期，以歐洲國家，美國，日本發(fā)起的電力技術(shù)革命，以1866年德國西門子發(fā)明的發(fā)電機為代表。第三次革命：20世紀(jì)四五十年代，世界各個國家發(fā)起的計算機及信息技術(shù)革命，以計算機，航天技術(shù)，原子能為代表。第四次革命：21世界初，以大數(shù)據(jù)人工智能為代表的全新技術(shù)革命。2016年3月9日-15日阿爾法狗大戰(zhàn)圍棋大師李世石開始爆發(fā)。世界四次工業(yè)革命第一次革命：18世紀(jì)60年代英國發(fā)起的蒸汽技2大數(shù)據(jù)與人工智能關(guān)系圖：大數(shù)據(jù)人工智能大數(shù)據(jù)是人工智能的基礎(chǔ)沒數(shù)據(jù)不智能機器學(xué)習(xí)深度學(xué)習(xí)大數(shù)據(jù)與人工智能關(guān)系圖：大數(shù)據(jù)人工智能大數(shù)據(jù)是人工智能的基礎(chǔ)3機器學(xué)習(xí)和深度學(xué)習(xí)機器學(xué)習(xí)：抵達(dá)AI目標(biāo)的一條路徑機器學(xué)習(xí)就是用算法真正解析數(shù)據(jù)，不斷學(xué)習(xí)，然后對世界中發(fā)生的事做出判斷和預(yù)測。研究人員會用大量數(shù)據(jù)和算法“訓(xùn)練”機器，讓機器學(xué)會如何執(zhí)行任務(wù)。深度學(xué)習(xí)：實現(xiàn)機器學(xué)習(xí)的技術(shù)“人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks）”是另一種算法方法，神經(jīng)網(wǎng)絡(luò)（NeuralNetworks）的構(gòu)想源自于我們對人類大腦的理解——神經(jīng)元的彼此聯(lián)系。機器學(xué)習(xí)和深度學(xué)習(xí)機器學(xué)習(xí)：抵達(dá)AI目標(biāo)的一條路徑4大數(shù)據(jù)經(jīng)典案例：啤酒與尿布

全球零售業(yè)巨頭沃爾瑪在對消費者購物行為分析時發(fā)現(xiàn)，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己，于是嘗試推出了將啤酒和尿布擺在一起的促銷手段。沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了。如今，“啤酒+尿布”的數(shù)據(jù)分析成果早已成了大數(shù)據(jù)技術(shù)應(yīng)用的經(jīng)典案例，被人津津樂道。微軟大數(shù)據(jù)成功預(yù)測奧斯卡21項大獎

2013年，微軟紐約研究院的經(jīng)濟學(xué)家大衛(wèi)羅斯柴爾德(DavidRothschild)利用大數(shù)據(jù)成功預(yù)測24個奧斯卡獎項中的19個，成為人們津津樂道的話題。2014年羅斯柴爾德再接再厲，成功預(yù)測第86屆奧斯卡金像獎頒獎典禮24個獎項中的21個，繼續(xù)向人們展示現(xiàn)代科技的神奇魔力。大數(shù)據(jù)經(jīng)典案例：啤酒與尿布5大數(shù)據(jù)三大分布式計算系統(tǒng)：Hadoop：離線的復(fù)雜大數(shù)據(jù)處理，存儲在硬盤上。Spark：離線快速的大數(shù)據(jù)處理，存儲在內(nèi)存上。

sparkstreaming實時大數(shù)據(jù)處理。Storm：在線的實時大數(shù)據(jù)處理，存儲在內(nèi)存是上。大數(shù)據(jù)三大分布式計算系統(tǒng)：Hadoop：離線的復(fù)雜大數(shù)據(jù)處理6Hadoop組件介紹MapReduce：分布式計算，對數(shù)據(jù)進行切割，計算，合并。HDFS：分布式存儲。Yarn：集群資源管理系統(tǒng)。Hadoop組件介紹MapReduce：分布式計算，對數(shù)據(jù)進7MapReduce分布式計算介紹：map端對數(shù)據(jù)進行切割reduce端對數(shù)據(jù)進行合并土豆白菜辣椒茄子山藥土豆片白菜片辣椒片茄子片山藥片滿漢全席MapReduce分布式計算介紹：map端對數(shù)據(jù)進行切割8SparkSpark是開源的類HadoopMapReduce的通用的并行計算框架，Spark基于mapreduce算法實現(xiàn)的分布式計算，擁有HadoopMapReduce所具有的優(yōu)點；但自身還有一個優(yōu)勢：rdd（彈性分布式數(shù)據(jù)集）。RDD只讀、可分區(qū)，這個數(shù)據(jù)集的全部或部分可以緩存在內(nèi)存中，在多次計算間重用。所謂彈性，是指內(nèi)存不夠時可以與磁盤進行交換。這涉及到了RDD的另一特性：內(nèi)存計算，就是將數(shù)據(jù)保存到內(nèi)存中。SparkSpark是開源的類HadoopMapReduc9stormStorm是自由開源的分布式實時計算系統(tǒng)，擅長處理海量數(shù)據(jù)，適用于數(shù)據(jù)實時處理而非批處理。storm核心概念：Nimbus：Storm集群主節(jié)點，負(fù)責(zé)資源分配和任務(wù)調(diào)度。我們提交任務(wù)和截止任務(wù)都是在Nimbus上操作的。一個Storm集群只有一個Nimbus節(jié)點。Supervisor：Storm集群工作節(jié)點，接受Nimbus分配任務(wù)，管理所有Worker。Worker：工作進程，每個工作進程中都有多個Task。Task：任務(wù)，每個Spout和Bolt都是一個任務(wù)，每個任務(wù)都是一個線程。Topology：計算拓?fù)?，包含了?yīng)用程序的邏輯。Stream：消息流，關(guān)鍵抽象，是沒有邊界的Tuple序列。Spout：消息流的源頭，Topology的消息生產(chǎn)者。Bolt：消息處理單元，可以過濾、聚合、查詢數(shù)據(jù)庫。Streamgrouping：消息分發(fā)策略，一共6種，定義每個Bolt接受何種輸入。Reliability：可靠性，Storm保證每個Tuple都會被處理。stormStorm是自由開源的分布式實時計算系統(tǒng)，擅長處理10京東大數(shù)據(jù)人工智能京東無人機2016年6月8日上午9點，在江蘇宿遷市曹集鄉(xiāng)同庵村居委會京東大數(shù)據(jù)人工智能京東無人機11京東無人機監(jiān)控屏幕京東無人機監(jiān)控屏幕12京東配送機器人2017年6月18日，京東配送機器人在中國人民大學(xué)順利完成首單配送。京東配送機器人2017年6月18日，京東配送機器人在中國人民13阿里巴巴ET城市大腦

“城市大腦”可以通過大數(shù)據(jù)的分析，來了解車輛頻繁地段。從而智能的控制紅綠燈的長短時間。有效的提升通行速率，減少擁堵。還可以通過車輛的異常運行軌跡，自動分辨出事故現(xiàn)場，提升交警的出勤效率