先進(jìn)性技術(shù)專題講座報(bào)告-大數(shù)據(jù)云計(jì)算及分布式

1、精選優(yōu)質(zhì)文檔-傾情為你奉上大數(shù)據(jù)、云計(jì)算及分布式淺析先進(jìn)性技術(shù)專題報(bào)告目錄摘要：大數(shù)據(jù)(big data science)和云計(jì)算(cloud computing)是當(dāng)今信息時(shí)代下，最具發(fā)展前景的熱門領(lǐng)域，無疑是信息工業(yè)革命中的又一次令人興奮的技術(shù)浪潮，該領(lǐng)域的迅猛發(fā)展將會在相關(guān)的項(xiàng)目領(lǐng)域帶來概念以及技術(shù)上的顛覆性改變，同時(shí)也會對人類的生活方式和對信息的認(rèn)知模式帶來巨大的沖擊。分布式(distributed system)的發(fā)展為大數(shù)據(jù)與云計(jì)算在技術(shù)上奠定了實(shí)現(xiàn)的基礎(chǔ)，大數(shù)據(jù)的處理分析需要龐大的計(jì)算能力，云計(jì)算為此提供強(qiáng)有力的支持，而云計(jì)算的本質(zhì)就是分布式系統(tǒng)，將無數(shù)在空間上分離的計(jì)算機(jī)資源匯

2、聚到一起，形成一個(gè)巨大的資源池，用戶根據(jù)自己的需要從中獲取所需的云平臺資源，這一過程運(yùn)用到了虛擬化技術(shù)(virtualization),將無數(shù)物理上隔離的并且計(jì)算能力有限的計(jì)算機(jī)虛擬化成了一個(gè)計(jì)算能力相當(dāng)可觀的資源池，對于用戶而言這些物理計(jì)算機(jī)是透明的，他們只需要關(guān)心自己實(shí)際獲取到的資源。事實(shí)上這也正是阿里巴巴在去IOE化過程中應(yīng)用的技術(shù)，采用開源軟件在水平方向上進(jìn)行拆分和分布式部署，具有很強(qiáng)的實(shí)際參考意義。1 大數(shù)據(jù)大數(shù)據(jù)由巨型數(shù)據(jù)集組成，這些數(shù)據(jù)集大小常超出人類在可接受時(shí)間下的收集、庋用、管理和處理能力。大數(shù)據(jù)的大小經(jīng)常改變，截至2012年，單一數(shù)據(jù)集的大小從數(shù)太字節(jié)（TB）至數(shù)十兆億字節(jié)

3、（PB）不等。在一份2001年的研究與相關(guān)的演講中，麥塔集團(tuán)（META Group，現(xiàn)為高德納）分析員道格·萊尼（Doug Laney）指出數(shù)據(jù)增長的挑戰(zhàn)和機(jī)遇有三個(gè)方向：量（Volume，數(shù)據(jù)大?。?、速（Velocity，數(shù)據(jù)輸入輸出的速度）與多變（Variety，多樣性），合稱“3V”或“3Vs”。高德納與現(xiàn)在大部分大數(shù)據(jù)產(chǎn)業(yè)中的公司，都繼續(xù)使用3V來描述大數(shù)據(jù)。高德納于2012年修改對大數(shù)據(jù)的定義：“大數(shù)據(jù)是大量、高速、及/或多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與最優(yōu)化處理?！绷硗猓袡C(jī)構(gòu)在3V之外定義第4個(gè)V：真實(shí)性（Veracity）為第四特點(diǎn)。

4、大數(shù)據(jù)必須借由計(jì)算機(jī)對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、比對、解析方能得出客觀結(jié)果。美國在2012年就開始著手大數(shù)據(jù)，奧巴馬更在同年投入2億美金在大數(shù)據(jù)的開發(fā)中，更強(qiáng)調(diào)大數(shù)據(jù)會是之后的未來石油。大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的形式的信息。在總數(shù)據(jù)量相同的情況下，與個(gè)別分析獨(dú)立的小型數(shù)據(jù)集（data set）相比，將各個(gè)小型數(shù)據(jù)集合并后進(jìn)行分析可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來察覺商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴(kuò)散、打擊犯罪或測定實(shí)時(shí)交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因。截至2012年，技

5、術(shù)上可在合理時(shí)間內(nèi)分析處理的數(shù)據(jù)集大小單位為艾字節(jié)（exabytes）。在許多領(lǐng)域，由于數(shù)據(jù)集過度龐大，科學(xué)家經(jīng)常在分析處理上遭遇限制和阻礙；這些領(lǐng)域包括氣象學(xué)、基因組學(xué)、神經(jīng)網(wǎng)絡(luò)體學(xué)、復(fù)雜的物理模擬，以及生物和環(huán)境研究。這樣的限制也對網(wǎng)絡(luò)搜索、金融與經(jīng)濟(jì)信息學(xué)造成影響。數(shù)據(jù)集大小增長的部分原因來自于信息持續(xù)從各種來源被廣泛收集，這些來源包括搭載感測設(shè)備的移動設(shè)備、高空感測科技（遙感）、軟件記錄、相機(jī)、麥克風(fēng)、無線射頻辨識（RFID）和無線感測網(wǎng)絡(luò)。自1980年代起，現(xiàn)代科技可存儲數(shù)據(jù)的容量每40個(gè)月即增加一倍；截至2012年，全世界每天產(chǎn)生2.5艾字節(jié)（2.5×1018字節(jié)）的數(shù)據(jù)

6、。大數(shù)據(jù)幾乎無法使用大多數(shù)的數(shù)據(jù)庫管理系統(tǒng)處理，而必須使用“在數(shù)十、數(shù)百甚至數(shù)千臺服務(wù)器上同時(shí)平行運(yùn)行的軟件”。大數(shù)據(jù)的定義取決于持有數(shù)據(jù)組的機(jī)構(gòu)之能力，以及其平常用來處理分析數(shù)據(jù)的軟件之能力?！皩δ承┙M織來說，第一次面對數(shù)百GB的數(shù)據(jù)集可能讓他們需要重新思考數(shù)據(jù)管理的選項(xiàng)。對于其他組織來說，數(shù)據(jù)集可能需要達(dá)到數(shù)十或數(shù)百兆字節(jié)才會對他們造成困擾?！彪S著大數(shù)據(jù)被越來越多的提及，有些人驚呼大數(shù)據(jù)時(shí)代已經(jīng)到來了，2012年紐約時(shí)報(bào)的一篇專欄中寫到，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。但是并不是所有人都對big data感興趣，有些人

7、甚至認(rèn)為這是商學(xué)院或咨詢公司用來嘩眾取寵的buzzword，看起來很新穎，但只是把傳統(tǒng)重新包裝，之前在學(xué)術(shù)研究或者政策決策中也有海量數(shù)據(jù)的支撐，大數(shù)據(jù)并不是一件新興事物。1.1 數(shù)據(jù)挖掘(Data Mining)數(shù)據(jù)挖掘（Data mining），又譯為資料探勘、數(shù)據(jù)挖掘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)（英文：Knowledge-Discovery in Databases，縮寫：KDD）中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中自動搜索隱藏于其中的有著特殊關(guān)系性（屬于Association rule learning）的信息的過程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過統(tǒng)計(jì)、在線分析處理、情報(bào)

8、檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)（依靠過去的經(jīng)驗(yàn)法則）和模式識別等諸多方法來實(shí)現(xiàn)上述目標(biāo)。數(shù)據(jù)挖掘有以下這些不同的定義：“從數(shù)據(jù)中提取出隱含的過去未知的有價(jià)值的潛在信息”“一門從大量數(shù)據(jù)或者數(shù)據(jù)庫中提取有用信息的科學(xué)?！北M管通常數(shù)據(jù)挖掘應(yīng)用于數(shù)據(jù)分析，但是像人工智能一樣，它也是一個(gè)具有豐富含義的詞匯，可用于不同的領(lǐng)域。 它與KDD的關(guān)系是：KDD是從數(shù)據(jù)中辨別有效的、新穎的、潛在有用的、最終可理解的模式的過程；而數(shù)據(jù)挖掘是KDD通過特定的算法在可接受的計(jì)算效率限制內(nèi)生成特定模式的一個(gè)步驟。 事實(shí)上，在現(xiàn)今的文獻(xiàn)中，這兩個(gè)術(shù)語經(jīng)常不加區(qū)分的使用。數(shù)據(jù)挖掘的方法包括監(jiān)督式學(xué)習(xí)、非監(jiān)督式學(xué)習(xí)、關(guān)系分組（Af

9、finity Grouping，作關(guān)系性的分析）與購物籃分析（Market Basket Analysis）或者稱為關(guān)聯(lián)規(guī)則分析、聚類（Clustering）與描述（Description）。監(jiān)督式學(xué)習(xí)包括：分類、估計(jì)、預(yù)測。數(shù)據(jù)挖掘是因?yàn)楹Ａ坑杏脭?shù)據(jù)快速增長的產(chǎn)物。使用計(jì)算機(jī)進(jìn)行歷史數(shù)據(jù)分析，1960年代數(shù)字方式采集數(shù)據(jù)已經(jīng)實(shí)現(xiàn)。1980年代，關(guān)系數(shù)據(jù)庫隨著能夠適應(yīng)動態(tài)按需分析數(shù)據(jù)的結(jié)構(gòu)化查詢語言發(fā)展起來。數(shù)據(jù)倉庫開始用來存儲大量的數(shù)據(jù)。因?yàn)槊媾R處理數(shù)據(jù)庫中大量數(shù)據(jù)的挑戰(zhàn)，于是數(shù)據(jù)挖掘應(yīng)運(yùn)而生，對于這些問題，它的主要方法是數(shù)據(jù)統(tǒng)計(jì)分析和人工智能搜索技術(shù)。1.2 機(jī)器學(xué)習(xí)(Machine Le

10、arning)機(jī)器學(xué)習(xí)是近20多年興起的一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、計(jì)算復(fù)雜性理論等多門學(xué)科。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動“學(xué)習(xí)”的算法。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動分析獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測的算法。因?yàn)閷W(xué)習(xí)算法中涉及了大量的統(tǒng)計(jì)學(xué)理論，機(jī)器學(xué)習(xí)與推斷統(tǒng)計(jì)學(xué)聯(lián)系尤為密切，也被稱為統(tǒng)計(jì)學(xué)習(xí)理論。算法設(shè)計(jì)方面，機(jī)器學(xué)習(xí)理論關(guān)注可以實(shí)現(xiàn)的，行之有效的學(xué)習(xí)算法。很多推論問題屬于無程序可循難度，所以部分的機(jī)器學(xué)習(xí)研究是開發(fā)容易處理的近似算法。機(jī)器學(xué)習(xí)已廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學(xué)診斷、檢測信用

11、卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機(jī)器人等領(lǐng)域。機(jī)器學(xué)習(xí)有下面幾種定義： “機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。 “機(jī)器學(xué)習(xí)是對能通過經(jīng)驗(yàn)自動改進(jìn)的計(jì)算機(jī)算法的研究”。 “機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)?！?一種經(jīng)常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P,

12、if its performance at tasks in T, as measured by P, improves with experience E.機(jī)器學(xué)習(xí)可以分成下面幾種類別：監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒有人為標(biāo)注的結(jié)果。常見的無監(jiān)督學(xué)習(xí)算法有聚類。半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間。增強(qiáng)學(xué)習(xí)通過觀察來學(xué)習(xí)做成如何的動作。每個(gè)動作都會對環(huán)境有所影響，學(xué)習(xí)對象

13、根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。具體的機(jī)器學(xué)習(xí)算法有：構(gòu)造條件概率：回歸分析和統(tǒng)計(jì)分類人工神經(jīng)網(wǎng)絡(luò)決策樹高斯過程回歸線性判別分析最近鄰居法感知器徑向基函數(shù)核支持向量機(jī)通過再生模型構(gòu)造概率密度函數(shù)：最大期望算法graphical model：包括貝葉斯網(wǎng)和Markov隨機(jī)場Generative Topographic Mapping近似推斷技術(shù)：馬爾可夫鏈蒙特卡羅方法變分法最優(yōu)化：大多數(shù)以上方法，直接或者間接使用最優(yōu)化算法。2 云計(jì)算云計(jì)算（英語：Cloud Computing），是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備。云計(jì)算是繼1

14、980年代大型計(jì)算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。用戶不再需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié)，不必具有相應(yīng)的專業(yè)知識，也無需直接進(jìn)行控制。云計(jì)算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展而且經(jīng)常是虛擬化的資源。在“軟件即服務(wù)（SaaS）”的服務(wù)模式當(dāng)中，用戶能夠訪問服務(wù)軟件及數(shù)據(jù)。服務(wù)提供者則維護(hù)基礎(chǔ)設(shè)施及平臺以維持服務(wù)正常運(yùn)作。SaaS常被稱為“隨選軟件”，并且通常是基于使用時(shí)數(shù)來收費(fèi)，有時(shí)也會有采用訂閱制的服務(wù)。推廣者認(rèn)為，SaaS使得企業(yè)能夠借由外包硬件、軟件維護(hù)及支持服務(wù)給服務(wù)提供者來降低IT營運(yùn)費(fèi)用。另外，由于應(yīng)用程序是集中供應(yīng)

15、的，更新可以實(shí)時(shí)的發(fā)布，無需用戶手動更新或是安裝新的軟件。SaaS的缺陷在于用戶的數(shù)據(jù)是存放在服務(wù)提供者的服務(wù)器之上，使得服務(wù)提供者有能力對這些數(shù)據(jù)進(jìn)行未經(jīng)授權(quán)的訪問。用戶通過瀏覽器、桌面應(yīng)用程序或是移動應(yīng)用程序來訪問云的服務(wù)。推廣者認(rèn)為云計(jì)算使得企業(yè)能夠更迅速的部署應(yīng)用程序，并降低管理的復(fù)雜度及維護(hù)成本，及允許IT資源的迅速重新分配以因應(yīng)企業(yè)需求的快速改變。云計(jì)算依賴資源的共享以達(dá)成規(guī)模經(jīng)濟(jì)，類似基礎(chǔ)設(shè)施（如電力網(wǎng)）。服務(wù)提供者集成大量的資源供多個(gè)用戶使用，用戶可以輕易的請求（租借）更多資源，并隨時(shí)調(diào)整使用量，將不需要的資源釋放回整個(gè)架構(gòu)，因此用戶不需要因?yàn)槎虝杭夥宓男枨缶唾徺I大量的資源，僅

16、需提升租借量，需求降低時(shí)便退租。服務(wù)提供者得以將目前無人租用的資源重新租給其他用戶，甚至依照整體的需求量調(diào)整租金。基本特征：互聯(lián)網(wǎng)上匯聚的計(jì)算資源、存儲資源、數(shù)據(jù)資源和應(yīng)用資源正隨著互聯(lián)網(wǎng)規(guī)模的擴(kuò)大而不斷增加，互聯(lián)網(wǎng)正在從傳統(tǒng)意義的通信平臺轉(zhuǎn)化為泛在、智能的計(jì)算平臺。與計(jì)算機(jī)系統(tǒng)這樣的傳統(tǒng)計(jì)算平臺比較，互聯(lián)網(wǎng)上還沒有形成類似計(jì)算機(jī)操作系統(tǒng)的服務(wù)環(huán)境，以支持互聯(lián)網(wǎng)資源的有效管理和綜合利用。在傳統(tǒng)計(jì)算機(jī)中已成熟的操作系統(tǒng)技術(shù)，已不再能適用于互聯(lián)網(wǎng)環(huán)境，其根本原因在于：互聯(lián)網(wǎng)資源的自主控制、自治對等、異構(gòu)多尺度等基本特性，與傳統(tǒng)計(jì)算機(jī)系統(tǒng)的資源特性存在本質(zhì)上的不同。為了適應(yīng)互聯(lián)網(wǎng)資源的基本特性，形成

17、承接互聯(lián)網(wǎng)資源和互聯(lián)網(wǎng)應(yīng)用的一體化服務(wù)環(huán)境，面向互聯(lián)網(wǎng)計(jì)算的虛擬計(jì)算環(huán)境（Internet-based Virtual Computing Environment，iVCE）的研究工作，使用戶能夠方便、有效地共享和利用開放網(wǎng)絡(luò)上的資源。互聯(lián)網(wǎng)上的云計(jì)算服務(wù)特征和自然界的云、水循環(huán)具有一定的相似性，因此，云是一個(gè)相當(dāng)貼切的比喻。根據(jù)美國國家標(biāo)準(zhǔn)和技術(shù)研究院的定義，云計(jì)算服務(wù)應(yīng)該具備以下幾條特征：隨需應(yīng)變自助服務(wù)。隨時(shí)隨地用任何網(wǎng)絡(luò)設(shè)備訪問。多人共享資源池?？焖僦匦虏渴痨`活度?？杀槐O(jiān)控與量測的服務(wù)。一般認(rèn)為還有如下特征：基于虛擬化技術(shù)快速部署資源或獲得服務(wù)。減少用戶終端的處理負(fù)擔(dān)。降低了用戶對于I

18、T專業(yè)知識的依賴。2.1 虛擬技術(shù)在計(jì)算機(jī)科學(xué)中，虛擬技術(shù)是一種通過組合或分區(qū)現(xiàn)有的計(jì)算機(jī)資源（CPU、內(nèi)存、磁盤空間等），使得這些資源表現(xiàn)為一個(gè)或多個(gè)操作環(huán)境，從而提供優(yōu)于原有資源配置的訪問方式的技術(shù)。由于目前信息技術(shù)領(lǐng)域的很多企業(yè)都曾在宣傳中將該企業(yè)的某種技術(shù)稱為虛擬技術(shù)，這些技術(shù)涵蓋的范圍可以從Java虛擬機(jī)技術(shù)到系統(tǒng)管理軟件，這就使得準(zhǔn)確的界定虛擬技術(shù)變得困難。因此各種相關(guān)學(xué)術(shù)論文在談到虛擬技術(shù)時(shí)常常提到的便是如前面所提到的那個(gè)不嚴(yán)格的定義。應(yīng)用領(lǐng)域：服務(wù)器集成沙盒（Sandboxing）多運(yùn)行環(huán)境多操作系統(tǒng)測試和性能監(jiān)視應(yīng)用集成虛擬硬件軟件移植系統(tǒng)可管理性測試/質(zhì)量保證3 分布式在計(jì)算機(jī)科學(xué)中，分布式計(jì)算（英語：Distributed computing），又譯為分散式運(yùn)算。這個(gè)研究領(lǐng)域，主要研究分布式系統(tǒng)（Distributed system）如何進(jìn)行計(jì)算。分布式系統(tǒng)是一組電腦（computer），通過網(wǎng)絡(luò)相互鏈接傳遞消息與通訊