《智能制造基礎(chǔ)與應(yīng)用》3.6 云計(jì)算與大數(shù)據(jù)

智能制造基礎(chǔ)與應(yīng)用高等職業(yè)教育“十三五”規(guī)劃教材

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

第三章智能制造關(guān)鍵技術(shù)第二節(jié)工業(yè)物聯(lián)網(wǎng)第三節(jié)工業(yè)機(jī)器人第四節(jié)3D打印技術(shù)第五節(jié)RFID射頻技術(shù)第六節(jié)云計(jì)算與大數(shù)據(jù)第七節(jié)虛擬現(xiàn)實(shí)與人工智能技術(shù)第一節(jié)概述第八節(jié)智能制造的信息安全技術(shù)云計(jì)算與大數(shù)據(jù)6第六節(jié)

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)一、

云計(jì)算與大數(shù)據(jù)概述

云計(jì)算（cloudcomputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。因此，云計(jì)算甚至可以讓你體驗(yàn)每秒10萬億次的運(yùn)算能力，擁有這么強(qiáng)大的計(jì)算能力可以模擬核爆炸、預(yù)測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運(yùn)算。

按服務(wù)商提供云服務(wù)的資源所在層次分，云計(jì)算可以分為基礎(chǔ)設(shè)施即服務(wù)(IaaS，InfrastructureasaService)、平臺(tái)即服務(wù)(PaaS，PlatformasaService)和軟件即服務(wù)(SaaS，SoftwareasaService)三個(gè)層面。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)國內(nèi)外主要的云計(jì)算服務(wù)提供商

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

按照運(yùn)營模式云計(jì)算可以分為公共云、私有云和混合云三種。公共云通常是指第三方提供商為用戶提供的通過Internet訪問使用的云，用戶可以使用相應(yīng)的云服務(wù)但并不擁有云計(jì)算資源；私有云是指企業(yè)自行搭建的云計(jì)算基礎(chǔ)架構(gòu)，可以為企業(yè)自身或外部客戶提供獨(dú)享的云計(jì)算服務(wù)，基礎(chǔ)架構(gòu)搭建方擁有云計(jì)算資源的自主權(quán)；混合云是指既有私有云的基礎(chǔ)架構(gòu)，也使用公共云服務(wù)的模式。云計(jì)算的運(yùn)營模式分類

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

大數(shù)據(jù)（bigdata），指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。

云計(jì)算與大數(shù)據(jù)之間是相輔相成，相得益彰的關(guān)系。大數(shù)據(jù)挖掘處理需要云計(jì)算作為平臺(tái)，而大數(shù)據(jù)涵蓋的價(jià)值和規(guī)律則能夠使云計(jì)算更好的與行業(yè)應(yīng)用結(jié)合并發(fā)揮更大的作用。云計(jì)算將計(jì)算資源作為服務(wù)支撐大數(shù)據(jù)的挖掘，而大數(shù)據(jù)的發(fā)展趨勢是對(duì)實(shí)時(shí)交互的海量數(shù)據(jù)查詢、分析提供了各自需要的價(jià)值信息。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

大數(shù)據(jù)的信息隱私保護(hù)是云計(jì)算大數(shù)據(jù)快速發(fā)展和運(yùn)用的重要前提。沒有信息安全也就沒有云服務(wù)的安全。產(chǎn)業(yè)及服務(wù)要健康、快速的發(fā)展就需要得到用戶的信賴，就需要科技界和產(chǎn)業(yè)界更加重視云計(jì)算的安全問題，更加注意大數(shù)據(jù)挖掘中的隱私保護(hù)問題。從技術(shù)層面進(jìn)行深度的研發(fā)，嚴(yán)防和打擊病毒和黑客的攻擊。同時(shí)加快立法的進(jìn)度，維護(hù)良好的信息服務(wù)的環(huán)境。全球互聯(lián)網(wǎng)流量數(shù)據(jù)

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)二、云計(jì)算大數(shù)據(jù)平臺(tái)的主要技術(shù)框架（一）

Hadoop簡介

Hadoop是一個(gè)海量數(shù)據(jù)分布式處理的開源軟件框架，Hadoop能支持PB級(jí)海量數(shù)據(jù)，可擴(kuò)展性強(qiáng)?？煽?、高效、可擴(kuò)展和開源的特性，使Hadoop技術(shù)得到了迅猛發(fā)展，并在2008年成為Apache的頂級(jí)項(xiàng)目。從2003年Google公開發(fā)布MapReduce的思想，到2006年Amazon使用Hadoop成為全球最早提供成熟云計(jì)算服務(wù)的供應(yīng)商之一，再到如今IBM、微軟、DELL、EMC2、阿里巴巴、騰訊各大國內(nèi)外廠商都商用了自己的Hadoop平臺(tái)，Hadoop已經(jīng)取得了輝煌的成績，得到了越來越廣泛的應(yīng)用。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)基于Hadoop的數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（二）Spark簡介Spark是一款開源的基于內(nèi)存計(jì)算的分布式計(jì)算系統(tǒng)，能夠?qū)Υ髷?shù)據(jù)進(jìn)行快速分析處理。Spark項(xiàng)目2010年由加州伯克利大學(xué)AMP實(shí)驗(yàn)室開發(fā)，2014年2月，Spark成為Apache軟件基金會(huì)的頂級(jí)開源項(xiàng)目，Spark基于內(nèi)存計(jì)算實(shí)現(xiàn)，加快了數(shù)據(jù)分析處理速度。Hadoop

MapReduce以批處理方式處理數(shù)據(jù)，每個(gè)任務(wù)都需要HDFS的讀寫，耗時(shí)較大，在機(jī)器學(xué)習(xí)和數(shù)據(jù)庫查詢等數(shù)據(jù)計(jì)算過程中，Spark的處理速度可以達(dá)到Hadoop

MapReduce的100倍以上。因此，對(duì)于實(shí)時(shí)要求較高的分析處理，Spark較為適用；對(duì)于非實(shí)時(shí)的海量數(shù)據(jù)分析應(yīng)用，Hadoop

MapReduce更加合適。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)三、國內(nèi)外大數(shù)據(jù)/云計(jì)算平臺(tái)的應(yīng)用現(xiàn)狀（一）

Hadoop的應(yīng)用1.國外企業(yè)Facebook、Amazon、Yahoo、Twitter和Hulu等互聯(lián)網(wǎng)信息提供商和電商基于Hadoop平臺(tái)為用戶提供快速的服務(wù)和精準(zhǔn)的分析。IBM、甲骨文和HP等解決方案提供商、設(shè)備商，主要基于Hadoop架構(gòu)為企業(yè)客戶提供大數(shù)據(jù)應(yīng)用產(chǎn)品和解決方案。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（1）百度搜索巨頭百度圍繞數(shù)據(jù)而生，通過語義分析精準(zhǔn)理解搜索需求進(jìn)而從海量數(shù)據(jù)中找準(zhǔn)結(jié)果，以及精準(zhǔn)的搜索引擎關(guān)鍵字廣告百度基于Hadoop的海量數(shù)據(jù)處理平臺(tái)，平均每天處理的任務(wù)數(shù)和數(shù)據(jù)量分別超過120000個(gè)和20PB。2.國內(nèi)企業(yè)在此方面，知名國內(nèi)企業(yè)有百度、阿里巴巴、騰訊（BAT）和華為、中興等。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（2）阿里巴巴淘寶是目前中國最大的C2C電子商務(wù)平臺(tái)，也是國內(nèi)第一批采用Hadoop技術(shù)進(jìn)行數(shù)據(jù)平臺(tái)升級(jí)的公司之一。從2008年開始，淘寶就開始研究基于Hadoop的數(shù)據(jù)處理平臺(tái)“云梯(CloudLadder)”云梯使用的Hadoop集群是全國最大的Hadoop集群之一，它支撐了淘寶整個(gè)數(shù)據(jù)分析工作，目前整個(gè)集群達(dá)到1700個(gè)節(jié)點(diǎn)，數(shù)據(jù)總?cè)萘?4.3PB，并且以每天255TB的速度不斷增長。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（3）騰訊騰訊是中國互聯(lián)網(wǎng)行業(yè)的旗艦之一，騰訊業(yè)務(wù)已從最初的即時(shí)通信工具QQ擴(kuò)展到涵蓋社交網(wǎng)絡(luò)、在線游戲、電子商務(wù)、新聞門戶、搜索等各類網(wǎng)絡(luò)服務(wù)。騰訊以其自主開發(fā)的臺(tái)風(fēng)（Typhoon）云計(jì)算平臺(tái)進(jìn)行在線數(shù)據(jù)處理和離線批量數(shù)據(jù)處理。同時(shí)，騰訊內(nèi)部的技術(shù)團(tuán)隊(duì)也應(yīng)用Hadoop技術(shù)解決一些海量數(shù)據(jù)環(huán)境下的特殊問題，例如網(wǎng)頁分析、數(shù)據(jù)挖掘等，騰訊對(duì)臺(tái)風(fēng)云計(jì)算平臺(tái)進(jìn)行了一些擴(kuò)展，以支持Hadoop程序在其上運(yùn)行，提高了資源利用率和Hadoop擴(kuò)展性。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（4）華為華云數(shù)據(jù)于2013年6月份推出了國內(nèi)首個(gè)運(yùn)營型云應(yīng)用平臺(tái)，迄今為止與平臺(tái)簽訂協(xié)議的ISV數(shù)量就已突破3000家。同時(shí)，華云數(shù)據(jù)電商云的打造也吸引來數(shù)千家獨(dú)立電商的進(jìn)駐，部分行業(yè)集聚效應(yīng)的發(fā)揮也進(jìn)一步增添華云數(shù)據(jù)云平臺(tái)的行業(yè)特色。2014年3月，華云數(shù)據(jù)又推出了擁有自主知識(shí)產(chǎn)權(quán)的第四代架構(gòu)云計(jì)算產(chǎn)品。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（5）中興中興將Hadoop應(yīng)用在智能管道的海量流量數(shù)據(jù)分析中，取得了非常不錯(cuò)的效果。該海量流量數(shù)據(jù)分析系統(tǒng)，對(duì)電信運(yùn)營商流量的精細(xì)化管理提供了數(shù)據(jù)分析支持。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)（二）

Spark的應(yīng)用

目前大數(shù)據(jù)在互聯(lián)網(wǎng)公司主要應(yīng)用在廣告、推薦系統(tǒng)等業(yè)務(wù)上，在廣告業(yè)務(wù)方面需要大數(shù)據(jù)做應(yīng)用分析、效果分析、定向投放等；在推薦系統(tǒng)方面則需要大數(shù)據(jù)進(jìn)行排名計(jì)算、個(gè)性化推薦以及熱點(diǎn)點(diǎn)擊分析等。Spark可以滿足這些應(yīng)用場景計(jì)算量大、效率要求高的需求。

*智能制造基礎(chǔ)與應(yīng)用

第三章智能制造關(guān)鍵技術(shù)

（1）騰訊騰訊廣點(diǎn)通是最早使用Spark的應(yīng)用之一，騰訊大數(shù)據(jù)精準(zhǔn)推薦借助Spark快速迭代的優(yōu)勢，圍繞“數(shù)據(jù)+算法+系統(tǒng)”技術(shù)方案，實(shí)現(xiàn)了在數(shù)據(jù)實(shí)時(shí)采集、算法實(shí)時(shí)訓(xùn)練、系統(tǒng)實(shí)時(shí)預(yù)測的全流程實(shí)時(shí)并行高維算法，支持每天上百億的請(qǐng)求量。

（2）YahooYahoo使用Spark完成AudienceEx-pansion算法。目前在Yahoo部署的Spark集群有112臺(tái)節(jié)點(diǎn)，9.2TB內(nèi)存。

（3）淘寶阿里搜索和廣告業(yè)務(wù)使用Mahout或者自主設(shè)計(jì)的MapReduc