搭建云計算平臺說明書

1、云搭建一、搭建前準(zhǔn)備工作1、VMware WorksionVMware Worksion 允許操作系統(tǒng)(OS)和應(yīng)用程序(Application)在一臺虛擬機(jī)運(yùn)行。虛擬機(jī)是獨(dú)立運(yùn)行主機(jī)操作系統(tǒng)的離散環(huán)境。在 VMware Worksion 中，你可以在一個窗口中加載一臺虛擬機(jī)，它可以運(yùn)行自己的操作系統(tǒng)和應(yīng)用程序。你可以在運(yùn)行于桌面上的多臺虛擬機(jī)之間切換，通過一個網(wǎng)絡(luò)共享虛擬機(jī)(例如一個公司局域網(wǎng))，掛起和恢復(fù)虛擬機(jī)以及退出虛擬機(jī)，這一切不會影響你的主機(jī)操作和任何操作系統(tǒng)或者其它正在運(yùn)行的應(yīng)用程序。VMWare 虛擬機(jī)可以使你在一臺機(jī)器上同時運(yùn)行二個或Windows、DOS、LINUX 系統(tǒng)。與

2、“多啟動”系統(tǒng)相比，VMWare 采用了完全不同的概念。多啟動系統(tǒng)在一個時刻只能運(yùn)行一個系統(tǒng)，在系統(tǒng)切換時需要重新啟本系統(tǒng)選擇的安裝是 VMware Works器。ion 10.0.1 下面是該虛擬的一貫傳統(tǒng)，提供專業(yè)技術(shù)的簡介。每天所依賴VMware Worksion 10 延續(xù)了 VMware的創(chuàng)新功能。 它支持 Windows 8.1、平板電腦傳感器和即將過期的虛擬機(jī)，是一款完美的工具，可使您的工作無縫、直觀、更具關(guān)聯(lián)性。先進(jìn)的性能：支持多達(dá) 16 個虛擬 CPU、8 TB SATA 磁盤和 64 GB RAM，新的虛擬 SATA磁盤控制器，現(xiàn)在支持 20 個虛擬網(wǎng)絡(luò)，USB3 流支持更

3、快的文件Windows 虛擬機(jī)啟動時間,固態(tài)磁盤直通。,改進(jìn)型應(yīng)用和加強(qiáng)控制：創(chuàng)建在預(yù)定日期和時間過期的受限虛擬機(jī)。 啟動后，虛擬機(jī)將以指定的時間間隔查詢服務(wù)器，從而將受限虛擬機(jī)的策略文件中的當(dāng)前系統(tǒng)時間的時間戳。為最后受信任您虛擬機(jī)中的平板電腦：業(yè)界第一款提供虛擬平板電腦傳感器的設(shè)備，該傳感器使虛擬機(jī)在平板電腦上運(yùn)行時可以利用加速計、陀螺儀、羅盤甚至是環(huán)境光線傳感器。更好的工作方式：多監(jiān)視器的設(shè)置比以往任何時候都更容易，無論您使用 2 個、3 個還是 4 個監(jiān)視器。VMware-KVM 提供了使用多個虛擬機(jī)的新界面2、CentOS 系統(tǒng)簡介CentOS 是一個基于 Red Hat 企業(yè)級 L

4、inux 提供的可使用的源代碼企業(yè)級的 Linux版本。每個版本的 CentOS 都會獲得十年的支持（通過安全更新方式）。新版本的 CentOS 每兩年一次，而每個版本的 CentOS 會定期（大概每六個月）更新一次，以便支持新的硬件。這樣，建立一個安全、低、穩(wěn)定、高性、高重復(fù)性的 Linux環(huán)境。CentOS（Community Entrise Operating System）是 Linux版之一，它是來自于 Red Hat Entrise Linux 依照開放源代碼規(guī)定釋出的源代碼所編譯而成。由于出3、CentOS 特點(diǎn)4、安裝版本簡介本次安裝選擇 CetOS6.0 版本，下面從幾個方面

5、介紹一下這個版本。集成基于內(nèi)核的虛擬化。CentOS 6.0 集成了基于內(nèi)核的虛擬化，將 KVM 管理程序完全集成到內(nèi)核中。這樣的功能可以幫助 CentOS 6.0 用戶在主機(jī)之間輕松遷移虛擬機(jī)，更加靈活地部署和管理 IT 資源，有效為企業(yè)節(jié)省資源。利用內(nèi)核的硬件抽象使應(yīng)用程序能夠獨(dú)立于底層硬件，并且提高 CPU 和內(nèi)存可擴(kuò)展性，使每個服務(wù)器可容納虛擬機(jī)。系統(tǒng)和資源管理功能。基于標(biāo)準(zhǔn)的 Linux 可管理性規(guī)范（SBLIM）使用基于 Web的企業(yè)管理（WBEM）來管理系統(tǒng)。用 Dracut 取代 mkinitrd，最大限度地減少底層硬件改變的影響，更易于，并使支持第驅(qū)動程序更容易。可以把 Ce

6、ntOS 理解為 Red Hat AS 系列！它完全就是對 Red Hat AS 進(jìn)行改進(jìn)后發(fā)布的！、使用和 RED HAT 沒有區(qū)別！CentOS 完全免費(fèi)，不存在 RED HAT AS4 需要序列號。CentOS 獨(dú)有的 yum 命令支持升級，可以即時更新系統(tǒng)，不像 RED HAT 那樣需要花錢支持服務(wù)！CentOS 修正了許多 RED HAT AS 的 BUG！CentOS 版本說明： CentOS3.1 等同于 RED HAT AS3 Update1 CentOS3.4 等同于 RED HAT AS3 Update4 CentOS4.0 等同于 RED HAT AS4。自同樣的源代碼，

7、因此有些要求高度穩(wěn)定性的服務(wù)器以 CentOS 替代商業(yè)版的 Red Hat Ent rise Linux 使用。兩者的不同，在于CentOS 并不包含封閉源代碼 。CentOS 是一個開源 貢獻(xiàn)者和用戶的社區(qū)。它對 RHEL 源代碼進(jìn)行重新編譯，成為眾多發(fā)布新 版本的社區(qū)當(dāng)中的一個，并且在不斷的發(fā)展過程中，CentOS 社區(qū)不斷與其他的同類社區(qū)合并，使 CentOS Linux 逐漸成為使用最廣泛的 RHEL 兼容版本。CentOS Linux的穩(wěn)定性不比 RHEL 差，唯一 的就是缺乏技術(shù)支持，因?yàn)樗怯缮鐓^(qū)發(fā)布的免費(fèi)版。CentOS Linux 與 RHEL 產(chǎn)品有著嚴(yán)格的版本對應(yīng)關(guān)系，

8、例如使用 RHEL4 源代碼重新編譯發(fā)布的是 CentOS Linux 4.0，RHEL5 對應(yīng)的是 CentOS Linux 5.0，RHEL6 對應(yīng)的是 CentOS Linux 6。由于 RHEL 產(chǎn)品的生命周期較長（通常具有 35 年的 支持），因此 Red Hat公司在 RHEL 系列產(chǎn)品發(fā)布后每隔一段時間，都會將累積的更新程序重新打包成為更新的版進(jìn)行發(fā)布，通常稱為 RHEL Update。例如，RHEL5 的第 1 個更新版本叫做 RHEL 5 Update 1，用戶通常也稱為 RHEL 5.1。對 Red Hat 公司發(fā)布的每一個 RHEL Update CentOS 社區(qū)都會發(fā)

9、布對應(yīng)的更新 版，例如根據(jù) RHEL 5 的 Update 1 更新程序源碼包，CentOS 會重新編譯并打包發(fā)布 CentOS Linux5.1 版。CentOS Linux 和與之對應(yīng)版本號的 RHEL版具有包級別的二進(jìn)制兼容性，即某個 RPM包如果可以安裝運(yùn)行在 RHEL 產(chǎn)品中，就可以正常地安裝運(yùn)行在對應(yīng)版本 的 CentOS Linux 中。CentOS Linux 由于同時具有與 RHEL 的兼容性和企業(yè)級應(yīng)用的穩(wěn)定性，又允許用戶 使用，因此得到了越來越廣泛的應(yīng)用。加強(qiáng)電源管理，按時的內(nèi)核改進(jìn)使 CentOS 6.0 可以將沒有活動任務(wù)的處理器置為空閑狀態(tài)，以達(dá)到降低 CPU 的溫

10、度和更進(jìn)一步減少能耗。在一種叫做控制組（即 cgroups）的新框架的幫助下 CentOS 6.0 提供對硬件資源的細(xì)顆粒度控制、分配和管理。cgroups 運(yùn)行在進(jìn)程組水平上，可被用于為應(yīng)用管理從 CPU、內(nèi)存、網(wǎng)絡(luò)和硬盤 I/O 的資源。增強(qiáng)了系統(tǒng)的可靠性、可用性和適用性。CentOS 6.0 利用新硬件能力提供熱插拔特性，并且可以通過 AER 的 PCIe 設(shè)備的增強(qiáng)錯誤檢查。CentOS 6.0 包級數(shù)據(jù)完整性特性（DIF/DIX）。這類特性通過硬件檢查和檢驗(yàn)來自應(yīng)用的數(shù)據(jù)。自動缺陷工具（ABRT）的引進(jìn)提供了確定和系統(tǒng) 異常情況，包括內(nèi)核故障和用戶空間應(yīng)用等。改進(jìn)了可伸縮性和內(nèi)核性能

11、。CentOS 6.0 提供了適應(yīng)未來系統(tǒng)的可伸縮性，其可伸縮性能力從對大量 CPU 和內(nèi)存配置的優(yōu)化的支持到處理數(shù)量的系統(tǒng)互線和外設(shè)的能力。在虛擬化變得同機(jī)部署一樣無處不在之時，這些能力適合于機(jī)環(huán)境和虛擬化環(huán)境。CentOS 6.0 改進(jìn)了內(nèi)核性能，可以通過讓更高優(yōu)先級的進(jìn)程在最低限度的較低優(yōu)先級處理干擾的條件下，更公平地在處理器之間分配計算時間。同時 CentOS 6.0 將多種多處理器鎖同步進(jìn)行改進(jìn)，以消除不必要的鎖定事件、用睡眠鎖定代替許多旋轉(zhuǎn)（spin）鎖定和采用更高效的鎖定基元。穩(wěn)定的應(yīng)用程序開發(fā)與生產(chǎn)。CentOS 6.0 是一個高性能、高度可擴(kuò)展、分布式、基于內(nèi)存的對象緩存系統(tǒng)

12、，大大提高了動態(tài) Web 應(yīng)用程序的速度。在 Web 基礎(chǔ)架構(gòu)上主要改進(jìn)了 Apache、 Squid 和 Memcached 三個方面的改進(jìn)。在 Java 性能支持上，CentOS 6.0和 OpenJDK 的緊密集成包括在 SystemTap 中支持 Java 探測器，從而可支持更好的 Java 調(diào)試。同時，CentOS 6.0 也在逐步完善 Tomcat 6 的支持。虛擬機(jī) VMware Workshttp:/ion 10.0.1 漢化版的安裝比較簡單常見，詳細(xì)實(shí)際操作可見/article/f25ef25410d1ee482d1b825c.html二、CentOS 安裝配置1、安裝引導(dǎo)在

13、虛擬機(jī)中安裝CentOS。如下圖所示，直接單擊“Skip”按鈕跳過，否則單擊“OK”按鈕檢測安裝盤的完整性。當(dāng)檢測完電腦硬件信息后，進(jìn)入安裝歡迎界面，如下圖所示。單擊“Next”按鈕進(jìn)入如下圖所示的界面，選擇安裝過程中使用的語言，此處選擇“Chi（Simplified）（中文（簡體）”。選擇完安裝過程中的語言后，單擊“下一步”按鈕進(jìn)入如下圖所示的界面，選擇鍵盤類型一般默認(rèn)會選擇“英語式（U.S.English）”，即美式鍵盤，在此使用默認(rèn)的選擇。選擇一種設(shè)備進(jìn)行安裝?！盎驹O(shè)備”作為安裝空間的默認(rèn)選擇，適合哪些不知道應(yīng)該選擇哪個設(shè)備的用戶。而“指定的設(shè)備”則需要用戶將系統(tǒng)安裝指定設(shè)備上，可以是

14、本地某個設(shè)備，當(dāng)然也可以是 SAN（到特定的局域網(wǎng)）。用戶一旦選擇了這個選項(xiàng)，可以添加 FCoE/iSCSI/zFCP 磁盤，并且能夠過濾掉安裝程序應(yīng)該忽略的設(shè)備。這里選擇“基本設(shè)備”，單擊“下一步”按鈕。安裝程序會提示您提供和為這臺計算機(jī)的主機(jī)名格式，設(shè)置主機(jī)名和。如下圖所示，你可以選擇，或直接用鼠標(biāo)在地圖上選擇。要特別注意，它與“夏令時”有關(guān)，間與本地時間不同。不需要選擇這個選項(xiàng)，否則會造成時區(qū)，導(dǎo)致系統(tǒng)顯示的時下面是最重要的“系統(tǒng)管理員的口令”設(shè)置，如下圖所示。在Linux 中，系統(tǒng)管理員的默認(rèn)名稱為root，這個口令很重要。至少 6 個字符以上，最好含有特殊符號。為方便分區(qū)硬盤，Cen

15、tOS 預(yù)設(shè)給了分區(qū)模式，分別為：選擇安裝的包：可選的服務(wù)器類型，而且默認(rèn)安裝是一個非常小的甚至不完整的系統(tǒng)。選中“現(xiàn)在自定義”，然后單擊“下一步”按鈕，如下圖所示。首先，選中基本系統(tǒng)中的基本和Java。然后，選中開發(fā)中的開發(fā)工具。接著，在語言支持中選在這里一并選擇。文支持。如果您有支持其他語言的需要，也可以最后為了方便后來的系統(tǒng)操作，務(wù)必要把桌面全部點(diǎn)上，最后點(diǎn)擊“下一步”，開始安裝。開始安裝。在安裝的畫面中，會顯示還需要多少時間，每個包的名稱，以及該軟件包的簡單說明。等到安裝完之后，一切就都完成了。2、環(huán)境設(shè)置root 用戶擁有系統(tǒng)的最高權(quán)限，如果在一般的操作中用 root 來進(jìn)行，很容易

16、不對系統(tǒng)造成誤刪、誤更改等操作，所以首先建立一般用戶，用一般用戶來應(yīng)付日常的系統(tǒng)操作。關(guān)閉 SELinux用下面命令執(zhí)行，并修改內(nèi)容如下所示： vim /etc/sysconfig/selinux SELINUX=enforcingSELINUX=disabled接著在執(zhí)行如下命令：setenforce 0 getenforce使用下面命令進(jìn)行關(guān)閉不需要的服務(wù)：for SERVImessagebusin abrtd acauditd avahi-daemoncpuspeedhaldaemonmdmonitorudev-t; do chkconfig $SERVI off; done三、Hado

17、op 運(yùn)行環(huán)境搭建1.節(jié)點(diǎn)部署本文使用的是centos6.3final。集群中包括 3 個節(jié)點(diǎn)：1 個Master,2 個Slave,節(jié)點(diǎn)地址如下： 01 hd00102 hd00203 hd003其中hd001 是 Master,hd002 和hd003 是Slave修改主機(jī)名字首先通過命令 hostname 產(chǎn)看主機(jī)名字，然后進(jìn)入/etc/sysconfig/network 修改其中的”HOSTNMAE”值，如 HOSTNAME=hd001修 改 當(dāng) 前 主 機(jī) IP地 址 ： ifconfigeth001 。 或 者 進(jìn) 入/etc/sysconfig/network-scripts 文

18、件夾下 ifcfg-eth0 里面的 IPADDR=01 或者通過vim /etc/sysconfig/network-scripts/ifcfg-eth0 進(jìn)行編輯。配置hosts 文件：進(jìn)入/etc/hosts 寫入010203localhost hd001 hd002hd0032、JDK安裝：本文使用的是Linux x86:jdk-7u45-linux-i586.gz把文件到/usr/java 文件夾下：mkdir /usr/java/新建java 文件夾/usr/java/cpjdk 位置然后進(jìn)入/usr/java/下:tar zxvf jdk-7u45-linux-i586.進(jìn)入/e

19、tc/profile 中配置環(huán)境變量，再最后加入： JAVA_HOME=/usr/java/jdk1.7.0_45 ClASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATHExport JAVA_HOME CLASSPATH PATH運(yùn)行source /etc/profile 使之生效Java ver測試是否配置成功。.gz四、SSH 無驗(yàn)證配置1.安裝 ssh 并啟動rpm qa | grep openssh rpm qa | grep rsyncservishd restart/啟動服務(wù)2.配置 Master 無登錄所有的

20、 Slave:在master 上的配置如下：生成公私鑰 ssh-keygen t rsa P 將公鑰寫到配置文件authorized_keyscat /.ssh/id_rsa.pub/.ssh/authorized_keys3.修改文件權(quán)限od 600 /.ssh/authorized_keys 4.進(jìn)入/etc/ssh/ssh-config 文件： RSAAuthentication yes PubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys重啟 ssh:servishd restart5.把 master 公鑰傳到

21、 hd002scp /.ssh/id_rsa.pub root02:/ yes123456()進(jìn)入 hd002 中查看llmkdir /.sshod 700 /.sshcat /id_rsa.pub /.ssh/authorized_keys od 600/.ssh/authorized_keys同時修改 hd002 的 ssh_config 文件并重啟 ssh 服務(wù)。在 Master 測試 hd002:ssh 02(不需要輸入在 hd002 上刪除 id_rsa.pubrm r /.id_rsa.pub)至此實(shí)現(xiàn)了由 master 向 hd002 的無登錄，hd003 同樣配置。6.配置所有

22、的 Slave 無登錄 Master在 hd002 上面：ssh-kekygen t rsa P cat /.ssh/id_rsa.pub /.ssh/authorized_keys傳給 Master:scp /.ssh/id_rsa.pub root01:/在 Master 上面:cat /id_rsa.pub /.ssh/authorized_keys rm /id_rsa.pub在 hd002 測試 Master:ssh 01(無需同理 hd003)四Hadoop 集群安裝： 1.新建 hadoop 用戶： useradd m hadooppassword hadoop 123456()

23、hd002 和 hd003 都需要建立，并且一樣。到/usr/下面2.hadoop-1.2.1.tar.gz在 Master 下面：cd /usrtar zxvf hadoop-1.2.1.tar.gz mv hadoop-1.2.1 hadoop /重命名n R hadoop:hadoop hadoop 將 hadoop 文件夾的讀權(quán)限給 hadoop rm rfhadoop-1.2.1.tar.gz然后進(jìn)入/etc/profile，在最后加入#seexpor exportdoop pathDOOP_HOME=/usr/hadoop（根據(jù)目錄來定）PATH=$PATH:$HADOOP_HOME/binexporDOOP_HOME_WARN_SUPPRESS=1運(yùn)行 source /etc/profile同時 mkdir /usr/hadoop/tmp 新建 tmp 2.配置 hadoop:usr/hadoop/config1.hadoop-env.sh:export JAVA_HOME=/usr/java/jdk1.7.0_45 2.core-site.xmlhadoop.tmp.dir/usr/hadoop/tmphdfs:/01:9000 3.hdfs-site.xml 文件dfs.replic