從云計算、大數(shù)據(jù)到人工智能-課件

從云計算、大數(shù)據(jù)到人工智能01前言

云計算、大數(shù)據(jù)和人工智能，這三個詞現(xiàn)在非?；?，并且他們之間互相有關(guān)系。

一般談云計算的時候會提到大數(shù)據(jù)、談人工智能的時候會提大數(shù)據(jù)、也會提到云計算。。。。。。感覺三者之間相輔相成又不可分割。

這里我們有必要解釋一下，三者之間的相互關(guān)系。。。

云計算最初目標(biāo)云計算最初目標(biāo)是對資源的管理，管理的主要是計算資源、網(wǎng)絡(luò)資源、存儲資源三個方面。管數(shù)據(jù)中心就像配電腦-比如你要買臺筆記本電腦，是不是要關(guān)心這臺電腦是什么樣的CPU？多大的內(nèi)存？這兩個就被我們稱為計算資源。Compute計算-家的所有的電腦、手機、平板就都可以通過路由器上網(wǎng)了。這就是網(wǎng)絡(luò)資源。Networking網(wǎng)絡(luò)-可能還會問硬盤多大？過去的硬盤都很小，大小如10G之類的；后來即使500G、1T、2T的硬盤也不新鮮了。(1T是1000G)，這就是存儲資源。Storage存儲資源運營數(shù)據(jù)中心的人是怎么把這些設(shè)備統(tǒng)一的管理起來的呢？什么叫計算、網(wǎng)絡(luò)、存儲資源？靈活就是想怎么就怎么想什么時候要就什么時候要，需要的時候一點就出來了。想要多少就有多少。需要一個空間很小的電腦，可以滿足；需要一個特別大的空間例如云盤，云盤給每個人分配的空間動不動就很大很大，隨時上傳隨時有空間，永遠(yuǎn)用不完，也是可以滿足的。管理的目標(biāo)就是要達到時間靈活性和空間靈活性時間靈活性空間靈活性靈活就是想啥時要都有，想要多少都行云計算彈性首先是它缺乏時間靈活性。不能夠達到想什么時候要就什么時候要。其次是它的空間靈活性也不行。不能根據(jù)用戶需求設(shè)置機器大小。物理設(shè)備不靈活每個客戶只能看到自己的那一小塊，但其實每個客戶用的是整個大的設(shè)備上的一小塊。如果事先物理設(shè)備都準(zhǔn)備好，虛擬化軟件虛擬出一個電腦是非?？斓?，基本上幾分鐘就能解決。虛擬化靈活多了空間靈活性和時間靈活性，即我們常說的云計算的彈性。云計算—虛擬化需要比較復(fù)雜的人工配置影響時間靈活性和空間靈活性虛擬化的半自動調(diào)度中心自動在大池子里面找一個能夠滿足用戶需求的地方，把虛擬電腦啟動起來做好配置云計算的全自動虛擬化與云計算調(diào)度云計算—云化私有云：把虛擬化和云化的這套軟件部署在自己的數(shù)據(jù)中心里面。使用私有云的用戶往往很有錢，自己買地建機房、自己買服務(wù)器，然后讓云廠商部署在自己這里。公有云：把虛擬化和云化軟件部署在云廠商自己數(shù)據(jù)中心里面的，用戶不需要很大的投入，只要注冊一個賬號，就能在一個網(wǎng)頁上點一下創(chuàng)建一臺虛擬電腦。。云計算大致分兩種：一個是私有云，一個是公有云。Vmware私有云

公有云：阿里云、騰訊云、網(wǎng)易云、亞馬遜云技術(shù)開源Rackspace和美國航空航天局合作創(chuàng)辦了開源軟件OpenStack，它是一個計算compute、網(wǎng)絡(luò)networking、存儲storage的云化管理平臺。IaaS-InfranstractureAsAService隨著OpenStack的技術(shù)越來越成熟，可以管理的規(guī)模也越來越大，并且可以有多個OpenStack集群部署多套。在這個規(guī)模下，對于普通用戶的感知來講，基本能夠做到想什么時候要就什么時候要，想要多少就要多少。從感覺上來講，就實現(xiàn)了云計算的彈性。其實有點像銀行，給儲戶的感覺是什么時候取錢都有，只要不同時擠兌，銀行就不會垮。到了這個階段，云計算基本上實現(xiàn)了時間靈活性和空間靈活性；實現(xiàn)了計算、網(wǎng)絡(luò)、存儲資源的彈性。資源層面的靈活性云計算不光管資源，也要管應(yīng)用安裝的過程平臺幫不了你的忙，但是可以幫你做到自動化。自己的應(yīng)用自動安裝通用的應(yīng)用不用安裝復(fù)雜度比較高的，都在用的，例如數(shù)據(jù)庫等云計算應(yīng)用解決管理資源的以上的應(yīng)用彈性問題云計算應(yīng)用而容器是能更好地解決這個問題。容器是Container，Container另一個意思是集裝箱，其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點：一是封裝，二是標(biāo)準(zhǔn)云計算不光管資源，也要管應(yīng)用雖說腳本的方式能夠解決自己的應(yīng)用的部署問題，然而不同的環(huán)境千差萬別，一個腳本往往在一個環(huán)境上運行正確，到另一個環(huán)境就不正確了。云計算—容器有了集裝箱以后，所有的貨物都打包在一起了，船員再也不用上岸長時間耽擱了沒有集裝箱的時候，每次換船，船員們都要在岸上待幾天才能走云計算--PaaS容器如何對應(yīng)用打包呢？還是要學(xué)習(xí)集裝箱。首先要有個封閉的環(huán)境，將貨物封裝起來，讓貨物之間互不干擾、互相隔離，這樣裝貨卸貨才方便。好在Ubuntu中的LXC技術(shù)早就能做到這一點。封閉的環(huán)境主要使用了兩種技術(shù)：看起來是隔離的技術(shù)，稱為

Namespace，也即每個Namespace中的應(yīng)用看到的是不同的IP地址、用戶空間、程號等。用起來是隔離的技術(shù)，稱為Cgroups，也即明明整臺機器有很多的

CPU、內(nèi)存，而一個應(yīng)用只能用其中的一部分。有了容器，使得PaaS層對于用戶自身應(yīng)用的自動部署變得快速而優(yōu)雅。大數(shù)據(jù)擁抱云計算結(jié)構(gòu)化數(shù)據(jù)有固定格式和有限長度的數(shù)據(jù)。例如填的表格就是結(jié)構(gòu)化的數(shù)據(jù)，國籍：中華人民共和國，民族：漢，性別：男，這都叫結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)現(xiàn)在非結(jié)構(gòu)化的數(shù)據(jù)越來越多，就是不定長、無固定格式的數(shù)據(jù)，例如網(wǎng)頁，有時候非常長，有時候幾句話就沒了；例如語音，視頻都是非結(jié)構(gòu)化的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)是一些XML或者HTML的格式的，不從事技術(shù)的可能不了解，但也沒有關(guān)系。數(shù)據(jù)類型在PaaS層中一個復(fù)雜的通用應(yīng)用就是大數(shù)據(jù)平臺。大數(shù)據(jù)4V特征結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，對數(shù)據(jù)的處理能力提出了更高要求實時獲取需要的信息比如：在客戶每次瀏覽頁面，每次下訂單過程中都會對用戶進行實時的推薦，決策已經(jīng)變得實時數(shù)據(jù)量巨大全球在2010年正式進入ZB

時代，IDC預(yù)計到2020年，全球?qū)⒖偣矒碛?5ZB

的數(shù)據(jù)量沙里淘金，價值密度低雖然數(shù)據(jù)量很大，但是價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)價值“提純”，是目前大數(shù)據(jù)亟待解決的難題大數(shù)據(jù)產(chǎn)品市場價值解決方案轉(zhuǎn)化1.

海量（Volume）3.速度（

Velocity）4.

價值（value）2.

多樣（Variety）軟件是大數(shù)據(jù)的引擎和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)的驅(qū)動力.軟件改變世界!大數(shù)據(jù)擁抱云計算數(shù)據(jù)的應(yīng)用分這四個步驟：數(shù)據(jù)、信息、知識、智慧你每天跑步帶個手環(huán)收集的也是數(shù)據(jù)，網(wǎng)上這么多網(wǎng)頁也是數(shù)據(jù)，我們稱為Data數(shù)據(jù)數(shù)據(jù)十分雜亂，經(jīng)過梳理和清洗，才能夠稱為信息信息信息會包含很多規(guī)律，我們需要從信息中將規(guī)律總結(jié)出來，稱為知識（Knowledge），而知識改變命運。知識有了知識，然后利用這些知識去應(yīng)用于實戰(zhàn)，有的人會做得非常好，這個東西叫做智慧智慧大數(shù)據(jù)升華為智慧數(shù)據(jù)的處理分以下幾個步驟，完成了才最后會有智慧：數(shù)據(jù)收集數(shù)據(jù)傳輸數(shù)據(jù)存儲數(shù)據(jù)處理和分析數(shù)據(jù)檢索和挖掘大數(shù)據(jù)升華為智慧當(dāng)數(shù)據(jù)量很小的時候，很少的幾臺機器就能解決。慢慢的當(dāng)數(shù)據(jù)量越來越大，最牛的服務(wù)器都解決不了問題的時候，就想怎么辦呢？要聚合多臺機器的力量，大家齊心協(xié)力一起把這個事搞定，眾人拾柴火焰高。大數(shù)據(jù)升華為智慧智慧形成大數(shù)據(jù)獲取當(dāng)數(shù)據(jù)量很小時，很少的幾臺機器就能解決當(dāng)數(shù)據(jù)量越來越大，這時就要聚合多臺機器的力量對于數(shù)據(jù)的收集：就IoT來講，外面部署著成千上萬的檢測設(shè)備，將大量的溫度、濕度、監(jiān)控、電力等數(shù)據(jù)統(tǒng)統(tǒng)收集上來；就互聯(lián)網(wǎng)網(wǎng)頁的搜索引擎來講，需要將整個互聯(lián)網(wǎng)所有的網(wǎng)頁都下載下來。多臺機器組成網(wǎng)絡(luò)爬蟲系統(tǒng)，每臺機器下載一部分，同時工作，才能在有限的時間內(nèi)，將海量的網(wǎng)頁下載完畢。大數(shù)據(jù)調(diào)度對于數(shù)據(jù)的傳輸：一個內(nèi)存里面的隊列肯定會被大量的數(shù)據(jù)擠爆掉，于是就產(chǎn)生了基于硬盤的分布式隊列，這樣隊列可以多臺機器同時傳輸，隨你數(shù)據(jù)量多大，只要我的隊列足夠多，管道足夠粗，就能夠撐得住。大數(shù)據(jù)存儲對于數(shù)據(jù)的存儲：一臺機器的文件系統(tǒng)肯定是放不下的，所以需要一個很大的分布式文件系統(tǒng)來做這件事情，把多臺機器的硬盤打成一塊大的文件系統(tǒng)。大數(shù)據(jù)處理與分析分布式計算的方法，將大量的數(shù)據(jù)分成小份，每臺機器處理一小份，多臺機器并行處理，很快就能算完。例如著名的Terasort對1個TB的數(shù)據(jù)排序，相當(dāng)于1000G，如果單機處理，怎么也要幾個小時，但并行處理209秒就完成了。大數(shù)據(jù)分析流程大數(shù)據(jù)分析-挖掘建模使用廣義角度分類聚類估值預(yù)測關(guān)聯(lián)規(guī)則···數(shù)理基礎(chǔ)角度機器學(xué)習(xí)方法統(tǒng)計方法神經(jīng)網(wǎng)絡(luò)方法決策樹基于范例學(xué)習(xí)規(guī)則歸納遺傳算法···回歸分析時間序列分析關(guān)聯(lián)分析聚類分析粗糙集探索性分析支持向量機最近鄰分析···模糊集前向神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)···感知機可視化數(shù)據(jù)挖掘工具Weka軟件SPSS軟件Clementine軟件RapidMiner軟件其他數(shù)據(jù)挖掘軟件大數(shù)據(jù)技術(shù)體系大數(shù)據(jù)擁抱云計算大數(shù)據(jù)擁抱云計算所以說什么叫做大數(shù)據(jù)？說白了就是一臺機器干不完，大家一起干?？墒请S著數(shù)據(jù)量越來越大，很多不大的公司都需要處理相當(dāng)多的數(shù)據(jù)，這些小公司沒有這么多機器可怎么辦呢？大數(shù)據(jù)需要云計算，云計算需要大數(shù)據(jù)說到這里，大家想起云計算了吧。當(dāng)想要干這些活時，需要很多的機器一塊做，真的是想什么時候要就什么時候要，想要多少就要多少。例如大數(shù)據(jù)分析公司的財務(wù)情況，可能一周分析一次，如果要把這一百臺機器或者一千臺機器都在那放著，一周用一次非常浪費。那能不能需要計算的時候，把這一千臺機器拿出來；不算的時候，讓這一千臺機器去干別的事情？誰能做這個事兒呢？只有云計算，可以為大數(shù)據(jù)的運算提供資源層的靈活性。而云計算也會部署大數(shù)據(jù)放到它的PaaS平臺上，作為一個非常非常重要的通用應(yīng)用。因為大數(shù)據(jù)平臺能夠使得多臺機器一起干一個事兒，這個東西不是一般人能開發(fā)出來的，也不是一般人玩得轉(zhuǎn)的，怎么也得雇個幾十上百號人才能把這個玩起來。所以說就像數(shù)據(jù)庫一樣，還是需要有一幫專業(yè)的人來玩這個東西?，F(xiàn)在公有云上基本上都會有大數(shù)據(jù)的解決方案了。一個小公司需要大數(shù)據(jù)平臺的時候，不需要采購一千臺機器，只要到公有云上一點，這一千臺機器都出來了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺，只要把數(shù)據(jù)放進去算就可以了。云計算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計算，二者就這樣結(jié)合了。人工智能擁抱大數(shù)據(jù)機器什么時候才能懂人心雖說有了大數(shù)據(jù)，人的欲望卻不能夠滿足。雖說在大數(shù)據(jù)平臺里面有搜索引擎這個東西，想要什么東西一搜就出來了。但也存在這樣的情況：我想要的東西不會搜，表達不出來，搜索出來的又不是我想要的。例如音樂軟件推薦了一首歌，這首歌我沒聽過，當(dāng)然不知道名字，也沒法搜。但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當(dāng)人們使用這種應(yīng)用時，會發(fā)現(xiàn)機器知道我想要什么，而不是說當(dāng)我想要時，去機器里面搜索。這個機器真像我的朋友一樣懂我，這就有點人工智能的意思了。人們很早就在想這個事情了。最早的時候，人們想象，要是有一堵墻，墻后面是個機器，我給它說話，它就給我回應(yīng)。如果我感覺不出它那邊是人還是機器，那它就真的是一個人工智能的東西了。讓機器學(xué)會推理如何讓機器學(xué)會推理？讓機器具有學(xué)習(xí)的功能從各種各樣的數(shù)據(jù)中快速獲取有價值信息的能力機器更智能，具有分析能力計算機利用經(jīng)驗改善自身性能的行為機器學(xué)習(xí)的最終目的是從數(shù)據(jù)中獲取知識由計算機代替人去挖掘信息，獲取知識人工智能淺析模擬大腦的工作方式人類的腦子里面不是存儲著大量的規(guī)則，也不是記錄著大量的統(tǒng)計數(shù)據(jù)，而是通過神經(jīng)元的觸發(fā)實現(xiàn)的，每個神經(jīng)元有從其它神經(jīng)元的輸入，當(dāng)接收到輸入時，會產(chǎn)生一個輸出來刺激其它神經(jīng)元。于是大量的神經(jīng)元相互反應(yīng)，最終形成各種輸出的結(jié)果。人工智能淺析用一個數(shù)學(xué)單元模擬神經(jīng)元。這個神經(jīng)元有輸入，有輸出，輸入和輸出之間通過一個公式來表示，輸入根據(jù)重要程度不同(權(quán)重)，影響著輸出。將n個神經(jīng)元通過像一張神經(jīng)網(wǎng)絡(luò)一樣連接在一起。n這個數(shù)字可以很大很大，所有的神經(jīng)元可以分成很多列，每一列很多個排列起來。每個神經(jīng)元對于輸入的權(quán)重可以都不相同，從而每個神經(jīng)元的公式也不相同。當(dāng)人們從這張網(wǎng)絡(luò)中輸入一個東西的時候，希望輸出一個對人類來講正確的結(jié)果。人工智能淺析神經(jīng)網(wǎng)絡(luò)的普遍性定理是這樣說的，假設(shè)某個人給你某種復(fù)雜奇特的函數(shù)，f(x)不管這個函數(shù)是什么樣的，總會確保有個神經(jīng)網(wǎng)絡(luò)能夠?qū)θ魏慰赡艿妮斎離，其值f(x)（或者某個能夠準(zhǔn)確的近似）是神經(jīng)網(wǎng)絡(luò)的輸出。如果在函數(shù)代表著規(guī)律，也意味著這個規(guī)律無論多么奇妙，多么不能理解，都是能通過大量的神經(jīng)元，通過大量權(quán)重的調(diào)整，表示出來的。聽起來也沒有那么有道理，但的確能做到，就是這么任性！人工智能淺析人工智能擁抱云計算由于人工智能算法多是依賴于大量的數(shù)據(jù)的，這些數(shù)據(jù)往往需要面向某個特定的領(lǐng)域(例如電商，郵箱)進行長期的積累。如果沒有數(shù)據(jù)，就算有人工智能算法也白搭，所以人工智能程序很少像前面的IaaS和PaaS一樣，將人工智能程序給某個客戶安裝一套，讓客戶去用。因為給某個客戶單獨安裝一套，客戶沒有相關(guān)的數(shù)據(jù)做訓(xùn)練，結(jié)果往往是很差的。但云計算廠商往往是積累了大量數(shù)據(jù)的，于是就在云計算廠商里面安裝一套，暴露一個服務(wù)接口。比如您想鑒別一個文本是不是涉及黃色和暴力，直接用這個在線服務(wù)就可以了。這種形勢的服務(wù)，在云計算里面稱為軟件即服務(wù)，SaaS(SoftwareASAService)于是人工智能程序作為SaaS平臺進入了云計算。人工智能一覽表

應(yīng)用領(lǐng)域技術(shù)體系人工智能內(nèi)容人工智能的六大關(guān)鍵技術(shù)什么是深度學(xué)習(xí)深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層、甚至10多層的隱層節(jié)點；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而分類或預(yù)測更加容易。人工智能崛起人工智能機器學(xué)習(xí)算法是實現(xiàn)人工智能落地的引擎機器學(xué)習(xí)尤其是深度學(xué)習(xí)/強化學(xué)習(xí)促成了人工智能與商業(yè)場景的結(jié)合深度學(xué)習(xí)對并行計算單位時間數(shù)據(jù)吞吐能力有更高要求GPU/FPGA的發(fā)展及計算能力的提升使得云計算平臺可以快速計算、處理大量的數(shù)據(jù)大量實時產(chǎn)生的數(shù)據(jù)為人工智能的落地應(yīng)用奠定了基礎(chǔ)