智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案課件

1、智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮 目錄 7:162 虛擬化技術(shù)及平臺(tái)管理 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云計(jì)算 啥是云計(jì)算？據(jù)說(shuō)是IT的一種高大上的東西。 云計(jì)算遙不可及？No，它已經(jīng)悄然進(jìn)入到我們生活中的方方面面。 7:163智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 身邊的云計(jì)算 7:164智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 2014：移動(dòng)互聯(lián)網(wǎng)/物聯(lián)網(wǎng)云 2014物聯(lián)網(wǎng)大會(huì)：大數(shù)據(jù)物聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)時(shí)代是物聯(lián)網(wǎng)的延伸; 云計(jì)算被稱為是繼大型計(jì)算機(jī)、

2、個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)之后的第四次IT 產(chǎn)業(yè)革命,是新一代互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的引擎和神經(jīng)中樞； 2014年，物聯(lián)網(wǎng)與移動(dòng)互聯(lián)網(wǎng)的研究已經(jīng)從應(yīng)用層轉(zhuǎn)移到了中間件云 計(jì)算大數(shù)據(jù)層面。 7:165智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云計(jì)算運(yùn)維模型 7:166 基礎(chǔ)架構(gòu)，服務(wù)器基礎(chǔ)架構(gòu)，服務(wù)器 康康度和開(kāi)銷度和開(kāi)銷 使用率和應(yīng)用使用率和應(yīng)用 可視化可視化 應(yīng)用管理應(yīng)用管理 應(yīng)用發(fā)布、性能管理、可用性、 使用率、開(kāi)銷 云基礎(chǔ)架構(gòu)管理云基礎(chǔ)架構(gòu)管理 基礎(chǔ)架構(gòu)性能，容量，配置， 安全 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 虛擬化 技術(shù) 云平臺(tái) 管理 分布式 大數(shù)據(jù) 編程 模式 分布式 架構(gòu) 服務(wù)器 集

3、群 云計(jì)算核心技術(shù) 7:167 服務(wù)器集群服務(wù)器集群：管理/存儲(chǔ)/計(jì)算/網(wǎng)絡(luò) 虛擬化技術(shù)虛擬化技術(shù)：KVM/Xen/VMware 云平臺(tái)管理云平臺(tái)管理：OpenStack/CloudStack 分布式架構(gòu)分布式架構(gòu)：Hadoop/HDFS 編程模式編程模式：MapReduce/NoSQL 分布式大數(shù)據(jù)分布式大數(shù)據(jù)：HBase/HIVE/Mahout 虛擬化 技術(shù) 云平臺(tái) 管理 服務(wù)器 集群 分布式 架構(gòu) 分布式 大數(shù)據(jù) 編程 模式 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云計(jì)算學(xué)習(xí)內(nèi)容 7:168 云計(jì)算基本理論 主流云計(jì)算應(yīng)用 虛擬化技術(shù)認(rèn)知 分布式計(jì)算認(rèn)知 集群服務(wù)器認(rèn)知 虛擬化技術(shù) KVM

4、/Xen/VMware 部署與使用 CloudStack云計(jì)算平 臺(tái)部署與使用，構(gòu) 建服務(wù)器集群 大數(shù)據(jù)Hadoop系統(tǒng) HDFS/MapReduce編程 HBase/Hive數(shù)據(jù)庫(kù)開(kāi)發(fā) Mahout數(shù)據(jù)挖掘 物聯(lián)網(wǎng)大數(shù)據(jù)中間件 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 虛擬化技術(shù)及平臺(tái)管理虛擬化技術(shù)及平臺(tái)管理 移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮 目錄 7:169 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云虛擬化技術(shù) 虛擬化（平臺(tái)虛擬化技術(shù)）：通過(guò)使用控制程序（Hypervisor），隱 藏特定計(jì)算平臺(tái)的實(shí)際物理特性，為用戶提供抽

5、象的、統(tǒng)一的、模擬 的計(jì)算環(huán)境（虛擬機(jī)）。 虛擬化一般包含以下幾個(gè)方面： 虛擬的內(nèi)容是資源（包括CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)等）； 被虛擬的物理資源有著統(tǒng)一的邏輯表示，而且這種邏輯表示提供給用戶大部分相同 或完全相同的物理資源的功能； 經(jīng)過(guò)一系列的虛擬化過(guò)程，使得資源不受物理限制約束，由此可以帶給我們與傳統(tǒng) IT相比更多的優(yōu)勢(shì)資源整合、提高資源利用率、動(dòng)態(tài)IT等。 虛擬化即是對(duì)資源的邏輯抽象、隔離、再分配、管理的一個(gè)過(guò)程。 7:1610智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 為什么要虛擬化 7:1611 服務(wù)器整合服務(wù)器整合技術(shù)技術(shù)：完成集群服務(wù) 器的資源整合； 克隆克隆技術(shù)技術(shù)：對(duì)大量同等計(jì)算的節(jié)

6、 點(diǎn)進(jìn)行方便快速的克隆； 動(dòng)態(tài)遷移技術(shù)動(dòng)態(tài)遷移技術(shù)； 虛擬快照虛擬快照/ /災(zāi)難恢復(fù)災(zāi)難恢復(fù)； 方便自動(dòng)化管理與使用方便自動(dòng)化管理與使用； 增強(qiáng)安全性增強(qiáng)安全性； 提高效率降低成本提高效率降低成本。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 虛擬化應(yīng)用架構(gòu) 7:1612 傳統(tǒng)架構(gòu)傳統(tǒng)架構(gòu) 硬件層硬件層 虛擬軟件層虛擬軟件層 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng) 應(yīng)用程序應(yīng)用程序 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng) 應(yīng)用程序應(yīng)用程序 虛擬硬件虛擬硬件 操作系統(tǒng)操作系統(tǒng) 應(yīng)用程序應(yīng)用程序 虛擬化架構(gòu)虛擬化架構(gòu) 將一臺(tái)服務(wù)器當(dāng)做將一臺(tái)服務(wù)器當(dāng)做NN臺(tái)服務(wù)器來(lái)使用臺(tái)服務(wù)器來(lái)使用 硬件層硬件層 應(yīng)用程序應(yīng)用程

7、序 操作系統(tǒng)操作系統(tǒng) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 常用虛擬化產(chǎn)品 7:1613 產(chǎn)品產(chǎn)品/ /特性特性KVMKVMXenXenVMwareVMware 虛擬化方式全虛擬化全/半虛擬化全/半虛擬化 GuestOSLinux /WindowsLinux /Windows/Solaris/BSDLinux /Windows 架構(gòu)/硬件平臺(tái)x86/x86_64（Intel-VT/AMD-V） x86/x86_64/安騰/ARMx86/x86_64/安騰/ARM 技術(shù)成熟度 高速發(fā)展中，技術(shù)先進(jìn)，未來(lái) 發(fā)展趨勢(shì) 技術(shù)成熟，歷史久遠(yuǎn)商業(yè)級(jí)技術(shù)，成熟穩(wěn)定 支持廠商 Linux社區(qū)，RedHat，U

8、buntu， Novell，IBM Citrix，Oracle，NovellEMC，VMware 可管理性命令行模式，桌面模式命令行模式，桌面模式 可視化的操作界面，簡(jiǎn)單易 用 企業(yè)級(jí)支持程度 需企業(yè)自己開(kāi)發(fā)，商業(yè)級(jí)的有 RedHat虛擬化產(chǎn)品 需企業(yè)自己開(kāi)發(fā)，商業(yè)級(jí)的 有Cirtix的Xen Server 功能性能最為強(qiáng)大，但價(jià)格 昂貴 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 KVM虛擬化 虛擬化核心： KVM QEMU 管理工具： libvirt virt-manager 7:1614智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Xen虛擬化 虛擬機(jī)管理工具： XenCenter 7:1615智云大

9、數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 VMware虛擬化 虛擬化解決方案： vSphere vSphere核心組件： VMware ESXi 虛擬機(jī)管理工具： VMware vCenter Server VMware vSphere Client Web Client 7:1616智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云自動(dòng)化管理服務(wù) IaaS 有了虛擬化基礎(chǔ)設(shè)施，實(shí)際運(yùn)營(yíng)將通過(guò)自動(dòng)化的技術(shù)解決 方案來(lái)提供全方位的IaaS服務(wù) 7:1617 IaaSIaaSInfrastructureInfrastructureas a Serviceas a Service 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案

10、CloudStack CloudStack是一個(gè)云平臺(tái)管理的項(xiàng)目，旨在為公共及私有云的建設(shè)與 管理提供軟件的開(kāi)源項(xiàng)目，往往作為作為基礎(chǔ)設(shè)施即服務(wù)（簡(jiǎn)稱IaaS） 資源的通用前端。 CloudStack形成的基礎(chǔ)設(shè)施云和數(shù)據(jù)中心運(yùn)營(yíng)商可以快速，輕松地建 立在其現(xiàn)有的基礎(chǔ)設(shè)施提供云服務(wù)的需求，彈性云計(jì)算服務(wù)。 CloudStack用戶可以充分利用云計(jì)算提供更高的效率，無(wú)限的規(guī)模和 更快地部署新服務(wù)和系統(tǒng)的最終用戶。 7:1618智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 CloudStack主要功能 通過(guò)CloudStack可以實(shí)現(xiàn)： 通過(guò)配置、整合一系列軟、硬件設(shè)備為客戶構(gòu)建計(jì)算、存儲(chǔ)資源池 以及相應(yīng)

11、服務(wù)平臺(tái)，使用戶可以按需、彈性獲取計(jì)算及存儲(chǔ)資源。 通過(guò)云平臺(tái)管理系統(tǒng)對(duì)整個(gè)云計(jì)算平臺(tái)進(jìn)行集中管理，實(shí)現(xiàn)對(duì)云平 臺(tái)的軟、硬件資源進(jìn)行統(tǒng)一分配和管理。 構(gòu)建虛擬服務(wù)器，部署各種業(yè)務(wù)系統(tǒng)，通過(guò)云平臺(tái)能對(duì)應(yīng)用系統(tǒng)計(jì) 算資源的動(dòng)態(tài)調(diào)配。 虛擬機(jī)快照管理，批量復(fù)制虛擬節(jié)點(diǎn)，系統(tǒng)備份及災(zāi)難恢復(fù)。 遠(yuǎn)程對(duì)虛擬機(jī)進(jìn)行操作。 7:1619智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 CloudStack產(chǎn)品組件框架 7:1620智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 CloudStack產(chǎn)品部署 7:1621 Management/Secondary Storage CentOS GUI/CloudStack Manag

12、ement/NFS Compute Node KVM/Xen/VMware Compute Node KVM/Xen/VMware Console Proxy VM/Route VM/Secondary Storage VM Primary Storage CentOS/NFS 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 課程設(shè)計(jì)及實(shí)驗(yàn)?zāi)夸?7:1622 ZCloudZCloud云計(jì)算虛擬化技術(shù)實(shí)驗(yàn)指導(dǎo)書云計(jì)算虛擬化技術(shù)實(shí)驗(yàn)指導(dǎo)書 第第1 1章章 虛擬化與云計(jì)算虛擬化與云計(jì)算第第4 4章章 Citrix XenServer Citrix XenServer遷移遷移第第9 9章章 VMware VMw

13、are vSpherevSphere管理管理第第1212章章 cloudstack cloudstack的安裝部署的安裝部署 1.1 虛擬化概述4.1 XenMotion簡(jiǎn)介9.1 使用vCenter克隆虛擬機(jī)12.1 管理服務(wù)器安裝配置 1.2 云計(jì)算概述4.2 移動(dòng)虛擬磁盤9.2 虛擬機(jī)模板12.2 主存儲(chǔ)/二級(jí)存儲(chǔ)安裝配置 第第2 2章章 Citrix Citrix XenServerXenServer安裝配置安裝配置第第5 5章章 KVM KVM的安裝與配置的安裝與配置9.3 大規(guī)模部署虛擬機(jī)12.3 計(jì)算節(jié)點(diǎn)安裝配置 2.1 Citrix XenServer簡(jiǎn)介5.1 KVM簡(jiǎn)介第第

14、1010章章 VMware vSphere VMware vSphere遷移遷移第第1313章章 cloudstack cloudstack 常用操作常用操作 2.2 安裝設(shè)置XenServer5.2 KVM原理簡(jiǎn)介10.1 VMware vMotion簡(jiǎn)介13.1 注冊(cè)ISO、模板 2.3 安裝設(shè)置XenCenter第第6 6章章 KVM KVM虛擬機(jī)的管理虛擬機(jī)的管理10.2 添加vMotion網(wǎng)絡(luò)端口組13.2 利用ISO鏡像模板安裝實(shí)例 2.4 XenServer主機(jī)連接6.1 libvirt10.3 使用vMotion遷移主機(jī)13.3 創(chuàng)建模板 第第3 3章章 Citrix Citr

15、ix XenServerXenServer的的管理管理第第7 7章章 KVMKVM動(dòng)態(tài)動(dòng)態(tài)遷移遷移第第1111章章 cloudstack cloudstack平臺(tái)架構(gòu)平臺(tái)架構(gòu)13.4 模板安裝虛擬機(jī)系統(tǒng) 3.1 使用XenCenter克隆虛擬機(jī)7.1 動(dòng)態(tài)遷移的概念 11.1 cloudstack歷史、架構(gòu)與功能第第1414章章 cloudstack cloudstack 常見(jiàn)問(wèn)題常見(jiàn)問(wèn)題 3.2 虛擬機(jī)快照第8章 VMware vSphere安裝配置11.2 cloudstack各種專有術(shù)語(yǔ)14.1 日志管理方法 3.3 創(chuàng)建虛擬機(jī)模板8.1 VMware vSphere 簡(jiǎn)介11.3 cl

16、oudstack的架構(gòu)14.2 各種常見(jiàn)問(wèn)題 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 CloudStack管理面板 7:1623智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮 目錄 7:1624 虛擬化技術(shù)及平臺(tái)管理 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 云計(jì)算與大數(shù)據(jù) 云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)本質(zhì)是數(shù)據(jù)處理技術(shù)。 數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問(wèn)和計(jì)算。 當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺 乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)

17、值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人 提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。 7:1625 商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng) 云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 大數(shù)據(jù)的定義 IDC定義：為了更為經(jīng)濟(jì)的從高頻率獲取的、大容量的、不同結(jié)構(gòu)和 類型的數(shù)據(jù)中獲取價(jià)值，而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。 7:1626 大數(shù)據(jù)大數(shù)據(jù)海量數(shù)據(jù)海量數(shù)據(jù) 數(shù)量 多樣性 速度 價(jià)值 數(shù)量 “大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低 （Value）”就是“大數(shù)據(jù)”的顯著特征，或者說(shuō)，只有具

18、備這些特點(diǎn)的 數(shù)據(jù)，才是大數(shù)據(jù)。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 大數(shù)據(jù)分析的核心技術(shù) 7:1627 分析技術(shù)：分析技術(shù)： 數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù) 統(tǒng)計(jì)和分析：A/B test/top N排行榜/地域 占比/文本情感分析 數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析/分類/聚類 模型預(yù)測(cè)：預(yù)測(cè)模型/機(jī)器學(xué)習(xí)/建模仿真 存儲(chǔ)存儲(chǔ) 結(jié)構(gòu)化數(shù)據(jù)： 海量數(shù)據(jù)查詢、統(tǒng)計(jì)、更新等操作效率低 非結(jié)構(gòu)化數(shù)據(jù)： 圖片、視頻、word、pdf、ppt等文件存儲(chǔ) 不利于檢索、查詢和存儲(chǔ) 半結(jié)構(gòu)化數(shù)據(jù) 轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ) 按照非結(jié)構(gòu)化存儲(chǔ) 解決方案：解決方案： Hadoop（MapReduce技術(shù)） 數(shù)據(jù)采集 數(shù)據(jù)儲(chǔ)存 數(shù)據(jù)管理

19、數(shù)據(jù)分析與挖掘 大數(shù)據(jù)技術(shù)：大數(shù)據(jù)技術(shù)： 數(shù)據(jù)采集：ETL工具 數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫(kù)/NoSQL/SQL等 基礎(chǔ)架構(gòu)支持：云存儲(chǔ)/分布式文件系統(tǒng) 計(jì)算結(jié)果展現(xiàn)：云計(jì)算/標(biāo)簽云/關(guān)系圖等 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Apache Hadoop Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。 Apache Hadoop 是基于java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組 成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千 個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。 Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算 （MapReduce）等組成 。 7:162

20、8智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Hadoop體系架構(gòu) 7:1629 Zookeeper(coordination) HDFS (Hadoop Distributed ) HBase(Column DB) MapReduce(Job Scheduling/Execution System) Pig (Data Flow)Hive(SQL)Sqoop ETL ToolsBI ReportingRDBMS Pig是一個(gè)大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜 海量數(shù)據(jù)并行計(jì)算提供簡(jiǎn)易的操作和編程接 口 Sqoop是一個(gè)Hadoop（Hive/HDFS/HBase） 和關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)相互遷移的工具

21、 Hive工具提供完整的sql查詢功能，可以將sql 語(yǔ)句轉(zhuǎn)換MapReduce任務(wù)進(jìn)行運(yùn)行 ZooKeeper：一個(gè)分布式的、高可用性的協(xié) 調(diào)服務(wù) HBase是一個(gè)開(kāi)源的，基于列存儲(chǔ)模型的分 布式數(shù)據(jù)庫(kù) HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性 的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上 ，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序 MapReduce是一種編程模型，用于大規(guī)模數(shù) 據(jù)集（大于1TB）的并行運(yùn)算 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 HDFS - 分布式文件系統(tǒng) HDFS是一個(gè)高度容錯(cuò)性的分布式文件系統(tǒng)，能提供高吞吐 量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 7:1630 NameNo

22、deNameNode 可以看作是分布式文件系統(tǒng)中的管理者，存儲(chǔ) 文件系統(tǒng)的meta-data，主要負(fù)責(zé)管理文件系統(tǒng) 的命名空間，集群配置信息，存儲(chǔ)塊的復(fù)制。 DataNodeDataNode 文件存儲(chǔ)的基本單元。它存儲(chǔ)文件塊在本地文 件系統(tǒng)中，保存了文件塊的meta-data，同時(shí)周 期性的發(fā)送所有存在的文件塊的報(bào)告給 NameNode。 ClientClient 獲取分布式文件系統(tǒng)文件的應(yīng)用程序。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 MapReduce - 映射、化簡(jiǎn)編程模型 MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。Map（映射） 和Reduce（化簡(jiǎn)），采用分而治之

23、思想，先把任務(wù)分發(fā)到集群多個(gè)節(jié)點(diǎn)上， 并行計(jì)算，然后再把計(jì)算結(jié)果合并，從而得到最終計(jì)算結(jié)果。多節(jié)點(diǎn)計(jì)算，所 涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等，都由MapReduce框架完成，不需 要編程人員關(guān)心這些內(nèi)容。 7:1631 Map負(fù)責(zé)將job分解成多個(gè)任務(wù)；Reduce負(fù)責(zé)把分解后多任務(wù)的處理結(jié)果合并起來(lái)。 Hadoop將HDFS輸入數(shù)據(jù)分成固定大小的塊，我們稱之為Input Split。 Split中的數(shù)據(jù)作為Map的輸入，每個(gè)split對(duì)于一個(gè)map線程，多個(gè)Map線程組成一個(gè)Map Task ； Split分片數(shù)據(jù)由多個(gè)Map Task處理之后，經(jīng)過(guò)排序、合并輸出處理結(jié)果； Reduce

24、 將Map Task的輸出結(jié)果作為其輸入，通過(guò)多個(gè)Reduce Task并行處理，合并Map Task的輸 出結(jié)果作為整個(gè)Job的輸出。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 MapReduce編程IDE插件 7:1632智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 HBase - 分布式數(shù)據(jù)存儲(chǔ) HBase Hadoop Database，是一個(gè)高 可靠性、高性能、面向列、可伸縮的 分布式存儲(chǔ)系統(tǒng)； HBase位于結(jié)構(gòu)化存儲(chǔ)層，HDFS為 HBase提供高可靠性的底層存儲(chǔ)支持， MapReduce為HBase提供了高性能的 計(jì)算能力，Zookeeper為HBase提供了 穩(wěn)定服務(wù)和故障恢復(fù)機(jī)制； P

25、ig和Hive還為HBase提供了高層語(yǔ)言 支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處 理變的簡(jiǎn)單。 7:1633智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Hive - 數(shù)據(jù)倉(cāng)庫(kù)工具 Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一 張數(shù)據(jù)庫(kù)表，并提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任 務(wù)進(jìn)行運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的 MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng) 計(jì)分析 7:1634 可可擴(kuò)展擴(kuò)展 Hive可以自由的擴(kuò)展集群的規(guī)模，一般情況下不 需要重啟服務(wù) 延展性延展

26、性 Hive支持用戶自定義函數(shù)，用戶可以根據(jù)自己的 需求來(lái)實(shí)現(xiàn)自己的函數(shù) 容錯(cuò)容錯(cuò) 良好的容錯(cuò)性，節(jié)點(diǎn)出現(xiàn)問(wèn)題SQL仍可完成執(zhí)行 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Pig - 數(shù)據(jù)流分析工具 Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，它提供的SQL-like語(yǔ)言叫Pig Latin，該語(yǔ)言的編譯器會(huì)把類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為一系列經(jīng)過(guò)優(yōu)化處理 的MapReduce運(yùn)算。Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和 編程接口。 7:1635 支持嵌套支持嵌套 Pig提供了更加豐富的數(shù)據(jù)結(jié)構(gòu) ，支持值和嵌套的數(shù)據(jù)結(jié) 構(gòu)。 可擴(kuò)展可擴(kuò)展 Pig 被設(shè)計(jì)為可以 擴(kuò)展 的，處理路

27、徑上的每一個(gè)部分，都 是可以使用用戶定義函數(shù)（UDF ）進(jìn)行 修改。 可重用可重用 用戶自定義函數(shù) UDF比MapReducer程序開(kāi)發(fā)的庫(kù)更易于 重用。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Mahout - 數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)類庫(kù) Mahout 是一套具有可擴(kuò)充能力的機(jī)器學(xué)習(xí)類庫(kù)。它提供機(jī)器學(xué)習(xí)框架的同時(shí)， 還實(shí)現(xiàn)了一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，可以幫助開(kāi)發(fā)人員更加 方便快捷地創(chuàng)建智能應(yīng)用程序。通過(guò)和 Apache Hadoop 分布式框架相結(jié)合， Mahout 可以有效地使用分布式系統(tǒng)來(lái)實(shí)現(xiàn)高性能計(jì)算。 7:1636 Mahout 現(xiàn)在提供 4 種使用場(chǎng)景的算法。 推薦引擎算法推

28、薦引擎算法：通過(guò)分析用戶的使用行為的歷 史記錄來(lái)推算用戶最可能喜歡的商品、服務(wù)、套餐 的相關(guān)物品。 聚類算法聚類算法：通過(guò)分析將一系列相關(guān)的物品等劃分 為相關(guān)性相近的群組。 分類算法分類算法：通過(guò)分析一組已經(jīng)分類的物品，將其 他未分類的其他物品按同樣規(guī)則歸入相應(yīng)的分類。 相關(guān)物品分析算法相關(guān)物品分析算法：識(shí)別出一系列經(jīng)常一起出 現(xiàn)的物品組(經(jīng)常一起查詢、放入購(gòu)物 車等)。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 課程設(shè)計(jì)及實(shí)驗(yàn)?zāi)夸?7:1637 ZCloudZCloud云計(jì)算大數(shù)據(jù)技術(shù)實(shí)驗(yàn)指導(dǎo)書云計(jì)算大數(shù)據(jù)技術(shù)實(shí)驗(yàn)指導(dǎo)書 第第1 1章章 認(rèn)識(shí)認(rèn)識(shí)HadoopHadoop第第4 4章章 HDFS

29、HDFS文件文件I/OI/O詳解詳解第第7 7章章 MapReduce MapReduce高級(jí)應(yīng)用高級(jí)應(yīng)用第第1010章章 數(shù)據(jù)倉(cāng)庫(kù)工具數(shù)據(jù)倉(cāng)庫(kù)工具HiveHive 1.1 Hadoop概述4.1 Hadoop文件的數(shù)據(jù)結(jié)構(gòu)7.1 計(jì)數(shù)器10.1 Hive的組成 1.2 Hadoop初體驗(yàn)4.2 HDFS數(shù)據(jù)完整性7.2 自定義數(shù)據(jù)類型10.2 Hive的安裝 第第2 2章章 MapReduce MapReduce快速入門快速入門4.3 文件序列化7.3 自定義輸入格式第第1111章章 Sqoop Sqoop實(shí)戰(zhàn)實(shí)戰(zhàn) 2.1 WordCount實(shí)例第第5 5章章 Eclipse Eclipse

30、插件應(yīng)用插件應(yīng)用第第8 8章章 開(kāi)源數(shù)據(jù)庫(kù)開(kāi)源數(shù)據(jù)庫(kù)HBaseHBase11.1 Sqoop簡(jiǎn)介 2.2 MapReduce代碼實(shí)現(xiàn)5.1 Eclipse下MapReduce開(kāi)發(fā)8.1 Hbase簡(jiǎn)介11.2 Sqoop安裝 2.3 打包、部署和運(yùn)行5.2 MapReduce的Debug調(diào)試8.2 HBase入門第第1212章章 Mahout Mahout算法算法 第第3 3章章 HDFS HDFS實(shí)戰(zhàn)實(shí)戰(zhàn)5.3 單元測(cè)試框架MRUnit8.3 Hbase Shell操作12.1 Mahout的使用 3.1 認(rèn)識(shí)HDFS第第6 6章章 MapReduce MapReduce編程開(kāi)發(fā)編程開(kāi)發(fā)第第

31、9 9章章 Pig Pig詳解詳解12.2 Mahout數(shù)據(jù)表示 3.2 HDFS 文件系統(tǒng)訪問(wèn)6.1 MapReduce簡(jiǎn)介9.1 Pig的基本框架第第1313章章 Hadoop Hadoop安裝安裝 3.3 HDFS API實(shí)戰(zhàn)6.2 WordCount案例分析9.2 Pig的安裝13.1 Hadoop環(huán)境安裝配置 3.4 綜合實(shí)例6.3 綜合實(shí)例9.3 Pig的使用第第1414章章 綜合實(shí)例綜合實(shí)例 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 Hadoop大數(shù)據(jù)部分實(shí)驗(yàn)截圖 7:1638智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮 目錄 7:1639 虛擬化技術(shù)及平臺(tái)管理

32、 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 物聯(lián)網(wǎng)技術(shù) 物聯(lián)網(wǎng)-the Internet Of Things，簡(jiǎn)稱IOT，顧名思義是把所有物品通 過(guò)互聯(lián)網(wǎng)連接起來(lái)，實(shí)現(xiàn)任何物體、任何人、任何時(shí)間、任何地點(diǎn) （4A）的智能化識(shí)別、信息交換與管理。 7:1640 物聯(lián)網(wǎng)應(yīng)用其實(shí)可以歸納為三大領(lǐng)域： 最底層為設(shè)備域，以標(biāo)示為特征，通過(guò)智能終 端、傳感網(wǎng)獲取信息，這被稱之為更透徹的感 知層； 中間為網(wǎng)絡(luò)域-通信網(wǎng)絡(luò)，以互聯(lián)為特征，基 于互聯(lián)網(wǎng)或移動(dòng)互聯(lián)獲取更全面的信息； 最頂層為應(yīng)用層，以智能分析決策為特征

33、進(jìn)行 信息處理，包括云計(jì)算和大數(shù)據(jù)分析，這是更 智能的決策。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 物聯(lián)網(wǎng)與大數(shù)據(jù) 7:1641 物聯(lián)網(wǎng)對(duì)應(yīng)了互聯(lián)網(wǎng)的感覺(jué) 和運(yùn)動(dòng)神經(jīng)系統(tǒng)； 云計(jì)算是互聯(lián)網(wǎng)的核心硬件 層和核心軟件層的集合，也 是互聯(lián)網(wǎng)中樞神經(jīng)系統(tǒng)萌芽； 大數(shù)據(jù)代表了互聯(lián)網(wǎng)的信息 層（數(shù)據(jù)海洋），是互聯(lián)網(wǎng) 智慧和意識(shí)產(chǎn)生的基礎(chǔ)； 包括物聯(lián)網(wǎng)，傳統(tǒng)互聯(lián)網(wǎng)， 移動(dòng)互聯(lián)網(wǎng)在源源不斷的向 互聯(lián)網(wǎng)大數(shù)據(jù)層匯聚數(shù)據(jù)和 接受數(shù)據(jù)。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 物聯(lián)網(wǎng)應(yīng)用模型 7:1642 全全 面面 感感 知知 網(wǎng)網(wǎng) 絡(luò)絡(luò) 傳傳 輸輸 應(yīng)應(yīng) 用用 服服 務(wù)務(wù) 數(shù)數(shù) 據(jù)據(jù) 中中 心心 M2M嵌入式數(shù)據(jù)

34、網(wǎng)關(guān)平臺(tái) 智能汽車智能校園智能環(huán)境智能電網(wǎng)智能交通智能醫(yī)療智能家居智能安防 云計(jì)算服務(wù)器云存儲(chǔ)服務(wù)器應(yīng)用服務(wù)器千兆網(wǎng)絡(luò)交換機(jī) ZCLOUDZCLOUD 中間件中間件 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 物聯(lián)網(wǎng)中間件 7:1643 溫濕度空氣質(zhì)量光敏 可燃?xì)怏w火焰人體紅外 三軸加速超聲波壓力 感知/采集 （嵌入式） 無(wú)線傳感 網(wǎng)絡(luò) 網(wǎng)關(guān)服務(wù)云服務(wù)應(yīng)用服務(wù) 承載物聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)交換（無(wú)線傳感 網(wǎng)與互聯(lián)網(wǎng)）的職能 對(duì)物聯(lián)網(wǎng)項(xiàng)目大數(shù)據(jù)進(jìn)行存儲(chǔ)、檢索、 管理、實(shí)時(shí)分析處理 提供規(guī)范的應(yīng)用編程接口 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 物聯(lián)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)及分析 物聯(lián)網(wǎng)數(shù)據(jù)中心：物聯(lián)網(wǎng)數(shù)據(jù)中心： 物聯(lián)網(wǎng)數(shù)據(jù)中

35、心不僅包括計(jì)算機(jī)系統(tǒng)和配套設(shè)備（如通信/存儲(chǔ)設(shè)備），還包括冗余的數(shù)據(jù)通信 連接/環(huán)境控制設(shè)備/監(jiān)控設(shè)備及安全裝置，是一大型的系統(tǒng)工程。通過(guò)高度的安全性和可靠性 提供及時(shí)持續(xù)的數(shù)據(jù)服務(wù)，為物聯(lián)網(wǎng)應(yīng)用提供良好的支持。 數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)： 物聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)是海量性，多態(tài)性，關(guān)聯(lián)性及語(yǔ)義性，在物聯(lián)網(wǎng)中多種數(shù)據(jù)庫(kù)共存： 關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)作為實(shí)時(shí)數(shù)據(jù)的處理，為物聯(lián)網(wǎng)的數(shù)據(jù)及時(shí)處理提供支撐。 新興數(shù)據(jù)庫(kù)系統(tǒng)（NoSQL數(shù)據(jù)庫(kù)）針對(duì)非關(guān)系型、分布式的數(shù)據(jù)存儲(chǔ)，對(duì)分布式離散歷史數(shù) 據(jù)進(jìn)行處理，并且基于此構(gòu)建大數(shù)據(jù)分析挖掘等技術(shù)。 管理管理運(yùn)維：運(yùn)維： 當(dāng)感知識(shí)別層生成的大量信息經(jīng)過(guò)網(wǎng)絡(luò)層傳輸匯聚到管理服務(wù)層，管理服務(wù)層

36、解決數(shù)據(jù)如何存 儲(chǔ)（數(shù)據(jù)庫(kù)與海量存儲(chǔ)技術(shù)）、如何檢索（搜索引擎）、如何使用（數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)）、 如何不被濫用（數(shù)據(jù)安全與隱私保護(hù)）等問(wèn)題。 7:1644 物聯(lián)網(wǎng)在精準(zhǔn)農(nóng)業(yè)上的應(yīng)用，可以實(shí)時(shí)監(jiān)測(cè)環(huán)境數(shù)據(jù)，挖掘影響產(chǎn)物聯(lián)網(wǎng)在精準(zhǔn)農(nóng)業(yè)上的應(yīng)用，可以實(shí)時(shí)監(jiān)測(cè)環(huán)境數(shù)據(jù)，挖掘影響產(chǎn) 量的重要因素，獲得產(chǎn)量最大化的大數(shù)據(jù)分析處理系統(tǒng)。量的重要因素，獲得產(chǎn)量最大化的大數(shù)據(jù)分析處理系統(tǒng)。 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 智云物聯(lián) - ZCloud-DataCenter 智云物聯(lián)網(wǎng)公共應(yīng)用支撐服務(wù)平臺(tái)，提供ZCloud海量數(shù)據(jù)源的接入服 務(wù)，具備數(shù)據(jù)即時(shí)消息推送處理、數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)與數(shù)據(jù)挖掘等功能； 基于

37、Hadoop集群服務(wù)器進(jìn)行管理，采用分布式數(shù)據(jù)庫(kù)系統(tǒng)。 管理系統(tǒng)架構(gòu)為 B/S 架構(gòu)，通過(guò) Web 瀏覽器訪問(wèn)登錄平臺(tái)對(duì)數(shù)據(jù)中心 進(jìn)行管理和系統(tǒng)運(yùn)營(yíng)監(jiān)控； 軟件系統(tǒng)包含三大主要模塊：即時(shí)消息服務(wù)、數(shù)據(jù)倉(cāng)庫(kù)、監(jiān)控視頻服務(wù)； 即時(shí)消息服務(wù)：能夠接收網(wǎng)關(guān)的實(shí)時(shí)數(shù)據(jù)，采用非輪詢的發(fā)布/訂閱消息隊(duì)列推送 機(jī)制對(duì)數(shù)據(jù)進(jìn)行消息收發(fā)，支持一對(duì)多的消息發(fā)布； 數(shù)據(jù)庫(kù)倉(cāng)庫(kù)：基于HBase/Hive構(gòu)建的分布式數(shù)據(jù)倉(cāng)庫(kù)，可以將用戶數(shù)據(jù)采用服務(wù) 器集群進(jìn)行管理，多處備份，數(shù)據(jù)丟失概率小于0.1%； 監(jiān)控視頻服務(wù)：提供IP云臺(tái)監(jiān)控?cái)z像頭的接入，支持內(nèi)外網(wǎng)地址解析服務(wù)，能夠即 時(shí)抓拍保存圖片，支持視頻的錄制，支持云臺(tái)的自

38、定義轉(zhuǎn)動(dòng)； 軟件系統(tǒng)提供數(shù)據(jù)推送、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘查詢等管理功能，實(shí)時(shí)顯示監(jiān)測(cè)數(shù) 據(jù)（動(dòng)態(tài)實(shí)時(shí)更新），現(xiàn)場(chǎng)視頻，顯示實(shí)時(shí)/歷史數(shù)據(jù)曲線； 支持自動(dòng)控制策略管理，包含觸發(fā)器、定時(shí)器、執(zhí)行器、短信/電話等各個(gè)模塊的 自動(dòng)控制策略管理，可以配置根據(jù)指定的傳感器/定時(shí)器觸發(fā)指定的執(zhí)行動(dòng)作，能 夠監(jiān)測(cè)策略的觸發(fā)記錄等信息； 支持GPS地理位置上傳，輔助對(duì)傳感器設(shè)備的位置定位，支持GIS地圖顯示； 提供私有的數(shù)據(jù)庫(kù)使用權(quán)限，對(duì)多客戶端間共享的私有數(shù)據(jù)進(jìn)行存儲(chǔ)、查詢使用； 提供接入數(shù)據(jù)的跟蹤分析，并支持?jǐn)?shù)據(jù)在線調(diào)試，通過(guò)指令對(duì)硬件數(shù)據(jù)進(jìn)行遠(yuǎn)程 控制管理。 7:1645 數(shù)據(jù)資源調(diào)度及資源分配數(shù)據(jù)資源調(diào)度及

39、資源分配 項(xiàng)目分析決策項(xiàng)目分析決策 HadoopHadoop云計(jì)算云計(jì)算 物聯(lián)網(wǎng)大數(shù)據(jù)處理中心物聯(lián)網(wǎng)大數(shù)據(jù)處理中心 智智云物聯(lián)網(wǎng)中間件系統(tǒng)云物聯(lián)網(wǎng)中間件系統(tǒng) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 智云物聯(lián)大數(shù)據(jù)源 7:1646 智云硬件庫(kù)能夠7*24小時(shí)不間斷為數(shù) 據(jù)中心提供真實(shí)的物理大數(shù)據(jù) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 智云大數(shù)據(jù)處理項(xiàng)目案例 7:1647 基于污水廠的環(huán)境監(jiān)測(cè)系統(tǒng)，能夠?qū)崟r(shí)對(duì)各種水質(zhì)參數(shù)及環(huán)境參數(shù)進(jìn)行采集，并且支持分布式大數(shù)據(jù)的數(shù) 據(jù)存儲(chǔ)，支持?jǐn)?shù)據(jù)分析及挖掘，能夠?qū)Τ瑯?biāo)參數(shù)進(jìn)行及時(shí)示警，并且可以根據(jù)同期參數(shù)對(duì)未來(lái)趨勢(shì)進(jìn)行預(yù)判， 達(dá)到智能處理的目的。 智云大數(shù)據(jù)云計(jì)算

40、信息化實(shí)驗(yàn)室解決方案 移動(dòng)互聯(lián)/物聯(lián)網(wǎng)時(shí)代的云浪潮 目錄 7:1648 虛擬化技術(shù)及平臺(tái)管理 大數(shù)據(jù)倉(cāng)庫(kù)、分析和挖掘 物聯(lián)網(wǎng)海量信息分析處理 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái)智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 智云大數(shù)據(jù)云信息化教學(xué)平臺(tái) 中智訊推出專業(yè)實(shí)用的大數(shù)據(jù)云信息化教學(xué)平臺(tái)，幫助學(xué)生熟悉和 掌握大數(shù)據(jù)及云計(jì)算領(lǐng)域的前沿技術(shù)，掌握云計(jì)算與大數(shù)據(jù)的開(kāi)發(fā) 方法，學(xué)習(xí)云計(jì)算虛擬化、云平臺(tái)管理、服務(wù)器集群、數(shù)據(jù)分析、 數(shù)據(jù)挖掘、數(shù)據(jù)建模、數(shù)據(jù)倉(cāng)庫(kù)、物聯(lián)網(wǎng)大數(shù)據(jù)分析等知識(shí)。 7:1649智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 入云之路 - 云教學(xué)設(shè)備的選擇 7:1650 設(shè)備聯(lián)

41、機(jī)，真實(shí)模擬大設(shè)備聯(lián)機(jī)，真實(shí)模擬大 量數(shù)據(jù)節(jié)點(diǎn)集群場(chǎng)景量數(shù)據(jù)節(jié)點(diǎn)集群場(chǎng)景 按按需采購(gòu)，預(yù)算可控，需采購(gòu)，預(yù)算可控， 升級(jí)方便升級(jí)方便 單單設(shè)備集群主機(jī)，非虛設(shè)備集群主機(jī)，非虛 擬化的偽集群擬化的偽集群 設(shè)備間互不影響，災(zāi)難設(shè)備間互不影響，災(zāi)難 易恢復(fù)，方便維護(hù)易恢復(fù)，方便維護(hù) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 智云旗艦產(chǎn)品：ZCloud-iCorex4a80 7:1651 專業(yè)的云計(jì)算教學(xué)設(shè)備/最小云服務(wù)集群 系統(tǒng) 一人一機(jī)教學(xué)/可視化的云硬件系統(tǒng) 嵌入式系統(tǒng)監(jiān)控集群狀態(tài) 可恢復(fù)集群的一鍵還原系統(tǒng) 可聯(lián)機(jī)實(shí)現(xiàn)多主機(jī)構(gòu)建區(qū)域 大集群云計(jì)算服務(wù) 涵蓋云集群部署、云平臺(tái)管理、大數(shù)據(jù)、 分布式倉(cāng)庫(kù)

42、、分布式編程等全部學(xué)科 主流云架構(gòu)教學(xué)體系/豐富的應(yīng)用案例 CloudStack云自動(dòng)化管理，支持xen /KWM/VMware等虛擬化技術(shù) Hadoop分布式大數(shù)據(jù)系統(tǒng) 框架/數(shù)據(jù)分析挖掘技術(shù) 智云物聯(lián)網(wǎng)海量實(shí)時(shí)傳感數(shù) 據(jù)源/7*24小時(shí)不間斷采集 智云分布式集群倉(cāng)庫(kù)系統(tǒng)和 Hadoop數(shù)據(jù)分析系統(tǒng) ZXBee輕量級(jí)無(wú)線傳感協(xié)議/多種 不同類型無(wú)線設(shè)備接入 智云B/S架構(gòu)專家系統(tǒng)/Android智能應(yīng)用 與高校聯(lián)合共建智云大數(shù) 據(jù)云信息化創(chuàng)新實(shí)驗(yàn)室 智云物聯(lián)開(kāi)放平臺(tái)共享/畢設(shè)、 課設(shè)、大賽、實(shí)訓(xùn)項(xiàng)目輔助開(kāi)發(fā) 輔助課程體系的融合/專業(yè)師資隊(duì)伍 的培養(yǎng)/定期免費(fèi)師資培訓(xùn)班、技術(shù)沙龍 Apache

43、 Hadoop云計(jì)算大數(shù)據(jù)認(rèn)證培訓(xùn) 智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 ZCloud-iCorex4a80技術(shù)參數(shù) 系統(tǒng)主要技術(shù)指標(biāo)：系統(tǒng)主要技術(shù)指標(biāo)： 實(shí)驗(yàn)系統(tǒng)采用工業(yè)機(jī)柜結(jié)構(gòu)設(shè)計(jì)，包含教學(xué)必需的管理、2*計(jì)算、主存儲(chǔ)、二級(jí)存 儲(chǔ)、網(wǎng)絡(luò)等單元，每個(gè)單元分區(qū)獨(dú)立設(shè)計(jì) 節(jié)點(diǎn)主機(jī)采用工業(yè)級(jí)服務(wù)器，支持7*24小時(shí)不間斷穩(wěn)定運(yùn)行，鋁合金外殼包裝 采用Cotex-A8嵌入式系統(tǒng)對(duì)集群主機(jī)進(jìn)行狀態(tài)監(jiān)控，能夠顯示運(yùn)行狀態(tài)、資源消耗、 電源能耗等信息，同時(shí)可以觸摸管理各個(gè)主機(jī)系統(tǒng) 包含19寸以上液晶顯示器 提供五口千兆路由交換機(jī) 支持智云大數(shù)據(jù)源接入，集成ZCloud智云數(shù)據(jù)中心中 間件，能夠?qū)χ窃莆锢頂?shù)

44、據(jù)進(jìn)行數(shù)據(jù)分析、數(shù)據(jù)倉(cāng)儲(chǔ)、 數(shù)據(jù)挖掘等 7:1652智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 ZCloud-iCorex4a80技術(shù)參數(shù) 系統(tǒng)軟件主要指標(biāo)：系統(tǒng)軟件主要指標(biāo)： CentOS- 4.3操作系統(tǒng)，提供一鍵式安裝實(shí)施部署，包含 Linux常用組件，云虛擬化組件，ClouldStack組件 提供KVM、Xen、Vmware等虛擬化軟件及教學(xué)內(nèi)容 提供云虛擬化管理軟件CloudStack-4.3，自動(dòng)化安裝部署實(shí) 施，能夠構(gòu)建虛擬服務(wù)器，部署各種業(yè)務(wù)系統(tǒng)，通過(guò)配置、 整合一系列軟、硬件設(shè)備為客戶構(gòu)建計(jì)算、存儲(chǔ)資源池以及 相應(yīng)服務(wù)平臺(tái)，使用戶可以按需、彈性獲取計(jì)算及存儲(chǔ)資源 提供分布式大數(shù)據(jù)分

45、析系統(tǒng)Hadoop/HDFS，HBase/Hive數(shù) 據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，基于HDFS、MapReduce、HBase等應(yīng) 用程序的集成開(kāi)發(fā)環(huán)境，大數(shù)據(jù)挖掘系統(tǒng)Mahout程序開(kāi)發(fā) 提供基于智云數(shù)據(jù)中間件系統(tǒng)，支持智云數(shù)據(jù)源的數(shù)據(jù)接入 與存儲(chǔ)，能夠基于大數(shù)據(jù)Mahout數(shù)據(jù)挖掘系統(tǒng)開(kāi)發(fā)快速查詢 最近1小時(shí)、最近1周、最近1月、最近1年及任意時(shí)間段數(shù)據(jù) 7:1653智云大數(shù)據(jù)云計(jì)算信息化實(shí)驗(yàn)室解決方案 ZCloud-iCorex4a80技術(shù)參數(shù) 管理管理& &二級(jí)存儲(chǔ)主機(jī)硬件參數(shù)：二級(jí)存儲(chǔ)主機(jī)硬件參數(shù)： CPU：賽揚(yáng) G1840 處理器 (2.80GHz,2MB,含英特爾核芯顯卡 HD Graphic GT1) 內(nèi)存：8GB (2x4GB) Non-ECC DDR3 1600MHz SDRAM Memory 硬盤：500GB 7200 RPM 3.5 512e/4k SATA Hard Drive 支持Intel VT虛擬化技術(shù) 網(wǎng)卡：千兆網(wǎng)卡，Wi-Fi 4 x USB2.0，1 x VGA，1 x PCI，1 x UART 自主工業(yè)級(jí)主板設(shè)計(jì)，防靜電及抗電磁干擾 嵌入式集群監(jiān)控單元（支持電容觸摸操作） 智云zigbee網(wǎng)關(guān)（支持ZClou