“云計(jì)算與海量數(shù)據(jù)處理技術(shù)”公開課

“云計(jì)算與海量數(shù)據(jù)處理技術(shù)”公開課“云計(jì)算與海量數(shù)據(jù)處理技術(shù)”公開課

中國科學(xué)院計(jì)算技術(shù)討論所是國家特地的計(jì)算技術(shù)討論機(jī)構(gòu)，同時(shí)也是中國信息化建設(shè)的重要支撐單位，中科院計(jì)算所培訓(xùn)中心是致力于高端IT類人才培育及企業(yè)內(nèi)訓(xùn)的專業(yè)培訓(xùn)機(jī)構(gòu)。中心憑借科學(xué)院的強(qiáng)大師資力氣，在總結(jié)多年大型軟件開發(fā)和組織閱歷的基礎(chǔ)上，自主研發(fā)出一整套課程體系，其目的是盼望能夠切實(shí)關(guān)心中國軟件企業(yè)培育高級(jí)軟件技術(shù)人才，提升整體研發(fā)力量，迄今為止已先后為國家培育了數(shù)萬名計(jì)算機(jī)專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進(jìn)行過特地的定制培訓(xùn)服務(wù)。

云計(jì)算供應(yīng)了一種對(duì)資源“按需索取服務(wù)”的力量，確保了使用時(shí)間與需要時(shí)間的完全全都，從而建立了一種分布式、高效率、低成本的IT商業(yè)模式。正是這些特點(diǎn)，使云計(jì)算成為IT進(jìn)展的潮流與趨勢(shì)。為解決廣闊系統(tǒng)設(shè)計(jì)人員深化討論與開發(fā)云計(jì)算系統(tǒng)的需要，培訓(xùn)中心特舉辦“云計(jì)算與海量數(shù)據(jù)處理技術(shù)”培訓(xùn)班，詳細(xì)事宜通知如下：

一、培訓(xùn)對(duì)象

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開發(fā)人員。

2，牽涉到海量數(shù)據(jù)處理的機(jī)構(gòu)數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。

3，云服務(wù)運(yùn)營服務(wù)供應(yīng)商規(guī)劃負(fù)責(zé)人。

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。

二、學(xué)員基礎(chǔ)

1，對(duì)IT系統(tǒng)設(shè)計(jì)有肯定的理論與實(shí)踐閱歷。

2，數(shù)據(jù)倉庫與大數(shù)據(jù)處理有肯定的基礎(chǔ)學(xué)問。

三、師資

由業(yè)界知名云計(jì)算專家親自授課：

楊老師主要討論網(wǎng)絡(luò)信息分析以及云計(jì)算相關(guān)技術(shù)，長期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的討論開發(fā)工作，主持和參加了多個(gè)國家和省部級(jí)基金項(xiàng)目，具有豐富的工程實(shí)踐及軟件研發(fā)閱歷。

李老師國內(nèi)知名企業(yè)云平臺(tái)技術(shù)負(fù)責(zé)人，中國云親身實(shí)踐者。

四、培訓(xùn)要點(diǎn)

今日，隨著IT規(guī)模越來越大，數(shù)據(jù)規(guī)模呈幾何級(jí)數(shù)增長，已經(jīng)超出了傳統(tǒng)技術(shù)方法所能解決的范疇。為此，人們把目光轉(zhuǎn)向了剛剛興起的云計(jì)算，盼望通過云計(jì)算來實(shí)施海量數(shù)據(jù)處理解決方案，實(shí)現(xiàn)以更小的成原來處理更大規(guī)模數(shù)據(jù)的目標(biāo)，并成為目前云計(jì)算應(yīng)用所面對(duì)的極大挑戰(zhàn)。本課程基本思想如下：

1，目前，“云計(jì)算”已經(jīng)不是一個(gè)剛剛流行的時(shí)髦概念了，在一些傳統(tǒng)IT方法顯得無能為力的場(chǎng)合，云計(jì)算正在開頭大展拳腳，表現(xiàn)了強(qiáng)大的解決問題的力量，海量數(shù)據(jù)存儲(chǔ)與處理正是屬于這種場(chǎng)合。我們?nèi)绾卧谠朴?jì)算分布式環(huán)境下正確設(shè)計(jì)大數(shù)據(jù)量數(shù)據(jù)模型？如何在設(shè)計(jì)中解決資源、效率、平安性、牢靠性等一系列極難平衡的問題？如何通過云計(jì)算關(guān)心我們解決在傳統(tǒng)IT技術(shù)中看似解決不了的敏感問題？這些都是我們?cè)谠朴?jì)算架構(gòu)設(shè)計(jì)中需要深化討論的鍵問題。

2，理解問題最好的方法是分析勝利案例，本課程分別從多個(gè)角度分析在面對(duì)海量數(shù)據(jù)處理的困難時(shí)，不同的應(yīng)用體系是如何解決問題并獲得勝利的。討論這些已有的體系不是目的，而是盼望學(xué)員能夠通過學(xué)習(xí)這些解決問題的方法和思路，通過歸納整理深化理解，再依據(jù)自己所面對(duì)的領(lǐng)域特征，形成解決詳細(xì)實(shí)際問題的方案。這也是讓云計(jì)算在海量數(shù)據(jù)處理領(lǐng)域真正發(fā)揮作用的有效途徑。

3，云計(jì)算是一種服務(wù)，在云計(jì)算應(yīng)用架構(gòu)設(shè)計(jì)中，就必需考慮作為服務(wù)與一般的產(chǎn)品設(shè)計(jì)有哪些不同？需要考慮的產(chǎn)品的服務(wù)特征有哪些？如何搭建面對(duì)不同層次、合適的服務(wù)平臺(tái)？在這個(gè)過程中，我們需要考慮哪些問題？有哪些勝利的案例？有些什么解決方案？

4，云計(jì)算應(yīng)用最重要的問題是平安問題。平安不是一個(gè)后期需要解決的獨(dú)立問題，而是在前期就需要投入巨大精力來考慮的產(chǎn)品策略?？梢哉f，平安性與可用性是云計(jì)算能否順當(dāng)實(shí)施與應(yīng)用的關(guān)鍵點(diǎn)，也是云計(jì)算架構(gòu)設(shè)計(jì)的關(guān)鍵因素。我們應(yīng)當(dāng)如何考慮平安問題？如何解決諸如數(shù)據(jù)平安、網(wǎng)絡(luò)平安、主機(jī)平安、數(shù)據(jù)管理以及災(zāi)難恢復(fù)等一系列問題？如何制定合適的平安性與可用性策略？在實(shí)踐中有什么閱歷和教訓(xùn)？

5，為了把傳統(tǒng)數(shù)據(jù)中心改造為基于云計(jì)算的服務(wù)系統(tǒng)，虛擬化是一個(gè)重要手段。我們必需深化討論虛擬化技術(shù)是如何實(shí)現(xiàn)的。虛擬化技術(shù)有哪幾個(gè)層面的問題？如何正確應(yīng)用虛擬化技術(shù)來實(shí)現(xiàn)把基礎(chǔ)設(shè)施向服務(wù)轉(zhuǎn)型？各種虛擬化技術(shù)有些什么優(yōu)點(diǎn)？有哪些陷阱？如何規(guī)劃技術(shù)解決方案？如何正確進(jìn)行云計(jì)算體系結(jié)構(gòu)設(shè)計(jì)？

本課程不是一個(gè)泛泛的理論性、概念性的介紹課程，而是針對(duì)問題爭論解決方案的深化課程。老師對(duì)于上述領(lǐng)域有深化的理論討論與實(shí)踐閱歷，在課程中將會(huì)針對(duì)這些問題與學(xué)員一起進(jìn)行討論，在關(guān)鍵點(diǎn)上還會(huì)搭建試驗(yàn)環(huán)境進(jìn)行實(shí)踐討論，以加深對(duì)于這些解決方案的理解。通過本課程學(xué)習(xí)，盼望推動(dòng)國內(nèi)云計(jì)算項(xiàng)目開發(fā)上升到一個(gè)新水平。

五、培訓(xùn)內(nèi)容

第一講云計(jì)算的概念與現(xiàn)狀

1）云計(jì)算的概念

2）云計(jì)算進(jìn)展現(xiàn)狀

3）云計(jì)算實(shí)現(xiàn)機(jī)制

4）云計(jì)算的進(jìn)展環(huán)境

5）云計(jì)算的優(yōu)勢(shì)

其次講從Google云計(jì)算體系，理解海量數(shù)據(jù)處理的方法1）如何構(gòu)建海量存儲(chǔ)文件系統(tǒng)？

GFS系統(tǒng)架構(gòu)

GFS容錯(cuò)機(jī)制

GFS系統(tǒng)管理技術(shù)

MapReduce產(chǎn)生背景

MapReduce編程模型

MapReduce實(shí)現(xiàn)機(jī)制

MapReduce案例分析

2）如何供應(yīng)鎖服務(wù)解決分布式數(shù)據(jù)全都性問題？

Chubby的設(shè)計(jì)思路

Chubby中的Paxos算法

Chubby文件系統(tǒng)

3）如何建立規(guī)模浩大的高性能表結(jié)構(gòu)？

BigTable設(shè)計(jì)目標(biāo)

BigTable系統(tǒng)架構(gòu)

BigTable服務(wù)器

BigTable性能優(yōu)化

4）如何建立高可用性和高可擴(kuò)展性的數(shù)據(jù)系統(tǒng)？

Megastore設(shè)計(jì)目標(biāo)

Megastore數(shù)據(jù)模型

Megastore事務(wù)及并發(fā)掌握

Megastore基本架構(gòu)

Dapper監(jiān)控系統(tǒng)

Dapper關(guān)鍵性技術(shù)

Dapper工具

第三講從Hadoop云計(jì)算項(xiàng)目，進(jìn)一步討論云數(shù)據(jù)處理方法1）HDFS：高牢靠性處理機(jī)制及應(yīng)用

Hadoop項(xiàng)目簡介

HDFS體系結(jié)構(gòu)

HDFS關(guān)鍵運(yùn)行機(jī)制

HadoopvsGoogle

HadoopAPI

Hadoop環(huán)境搭建

2）HBASE：浩大、極其稀疏的可擴(kuò)展性數(shù)據(jù)模型Hbase簡介

HBase的運(yùn)行機(jī)制

HBase與HDFS

HBase的對(duì)外接口

ZooKeeper的數(shù)據(jù)模型

ZooKeeper的讀寫機(jī)制

ZooKeeper的使用方法

第四講從WindowsAzure，理解平臺(tái)即服務(wù)的本質(zhì)

1）微軟云計(jì)算平臺(tái)

2）微軟云操作系統(tǒng)WindowsAzure

3）微軟云關(guān)系數(shù)據(jù)庫SQLAzure

4）AzureAppFabric

5）AzureMarketplace

第五講從Amazon云計(jì)算，爭論如何供應(yīng)云服務(wù)1）Dynamo基礎(chǔ)存儲(chǔ)架構(gòu)

2）彈性計(jì)算云EC2

3）簡潔存儲(chǔ)服務(wù)S3

4）簡潔隊(duì)列服務(wù)SQS

5）簡潔數(shù)據(jù)庫服務(wù)SimpleDB

6）關(guān)系數(shù)據(jù)庫服務(wù)RDS

7）內(nèi)容推送服務(wù)CloudFront

第六講實(shí)施云計(jì)算的關(guān)鍵點(diǎn)：平安策略

1）云計(jì)算平安是一個(gè)必需前期重視的策略

2）云計(jì)算的特征與平安挑戰(zhàn)

3）云計(jì)算的平安體系與關(guān)鍵技術(shù)

4）基礎(chǔ)架構(gòu)云平安框架

5）云計(jì)算平安平臺(tái)

第七講當(dāng)前數(shù)據(jù)中心如何向云計(jì)算環(huán)境轉(zhuǎn)變？1）VMware云產(chǎn)品

2）云管理平臺(tái)vCenter

3）vCloudServiceDirector

4）VMware的網(wǎng)絡(luò)和存儲(chǔ)虛擬化

5）主流商業(yè)云計(jì)算解決方案比較

6）主流開源云計(jì)算系統(tǒng)比較

7）國內(nèi)代表性云計(jì)算平臺(tái)比較

第八講基礎(chǔ)設(shè)施即服務(wù)（IaaS）關(guān)鍵實(shí)現(xiàn)技術(shù)

1）IaaS技術(shù)體系概述

2）服務(wù)器虛擬化技術(shù)

CPU虛擬化

內(nèi)存虛擬化

I/O虛擬化

3）存儲(chǔ)虛擬化技術(shù)

存儲(chǔ)系統(tǒng)概述

存儲(chǔ)設(shè)備層的存儲(chǔ)虛擬化

塊聚合層的存儲(chǔ)虛擬化

文件/記錄層的存儲(chǔ)虛擬化

4）主機(jī)網(wǎng)絡(luò)虛擬化

第九講軟件即服務(wù)（SaaS）關(guān)鍵實(shí)現(xiàn)技術(shù)1）SaaS技術(shù)概述

2）呈現(xiàn)層技術(shù)綜述

3）調(diào)度層技術(shù)

基于DNS的調(diào)度

基于虛擬IP的調(diào)度

基于鏈路聚合的調(diào)度

基于應(yīng)用的調(diào)度

調(diào)度策略

4）業(yè)務(wù)層

5）數(shù)據(jù)層

6）用戶管理和配置管理

7）用戶體驗(yàn)的設(shè)計(jì)