播客hadoop課程詳細(xì)筆記--第1天

2建開發(fā)環(huán)我們的開發(fā)是在虛擬機(jī)下進(jìn)行的。在windows操作系統(tǒng)中安裝虛擬機(jī)軟件，在虛擬機(jī)中l(wèi)inux操作系統(tǒng)稱為“客戶機(jī)”。我們使用的OracleVirtualBox作為虛擬機(jī)RedHat公司linux版本。虛擬機(jī)軟件的安VirtualBox簡VirtualBox號稱是免費(fèi)虛擬機(jī)軟件中最強(qiáng)的，擁有豐富的特色和出色的性能，在虛擬機(jī)我們選擇它的理由是十兆的安裝程序，安裝完成后也只有120多兆，太小巧了。功能簡單實用。配置簡單、克隆系統(tǒng)、共享文件、虛擬化等一樣不免費(fèi)。這是最大的VirtualBox安讀者根據(jù)自己的電腦情況適合自己操作系統(tǒng)的安裝程序，作者的系統(tǒng)是WindowsXP32位，以下截圖是來自WindowsXP的。安裝完成后，在電腦的“網(wǎng)絡(luò)連接”中，會多出一個網(wǎng)絡(luò)連接，如圖2-12-點擊桌面上的VirtualBox圖標(biāo)，就可以打開VirtualBox了，如圖2-2所示2-定”命令，如2-3所示。2-一個磁盤空間較大的位置，如2-4所示。2-2-選擇“擴(kuò)展”選項，點擊安裝符號，選擇一個擴(kuò)展包進(jìn)行安裝，如圖2-62-至此，虛擬機(jī)安裝結(jié)操作系統(tǒng)的安該公司發(fā)布的Linux是基于開源產(chǎn)品的，如果我們使用是免費(fèi)的，如果進(jìn)行升級或者接收技術(shù)支持，那就需要了。RedHat主要應(yīng)用于服務(wù)器領(lǐng)域，在服務(wù)器市場占有很大的我們使用虛擬機(jī)安裝RedHat新建虛擬機(jī)并配置參數(shù)2-內(nèi)存大小默認(rèn)值是512，修改為1024，如圖2-8所示，點擊“下一2-設(shè)置是否創(chuàng)建虛擬硬盤，使用默認(rèn)值，如圖2- 所示，點擊“創(chuàng)建”按鈕2-選擇虛擬磁盤類型，我們使用默認(rèn)值，如圖2- 所示，點擊“下一步”按鈕2-設(shè)置是否動態(tài)分配磁盤空間，使用默認(rèn)值，如圖2- 所示，點擊“下一步”按鈕2-設(shè)置磁盤文件大小和存放位置，使用默認(rèn)值，如圖2- 所示，點擊“創(chuàng)建”按鈕2-彈出窗口框關(guān)閉，如圖2-13所示2-點擊的設(shè)置，會彈出一個針對本操作系統(tǒng)設(shè)置的窗口，如圖2- 所示2-選擇“常規(guī)”選項，修改允許雙向粘貼和拖放功能，如圖2-15所示2-選擇“”選項，增加光驅(qū)，如圖2-16所示，點擊“選擇磁盤”，把我們的操作系統(tǒng)的iso文件選中2-這樣系統(tǒng)啟動的時候會從虛擬光驅(qū)引導(dǎo)，進(jìn)行安裝，這一步很重要選擇“網(wǎng)絡(luò)”選項，將網(wǎng)絡(luò)連接方式修改為“僅主機(jī)適配器”，如圖2- 所示2-點擊彈出窗口框右下角的“確定”按鈕，關(guān)閉彈出窗口框，如圖2- 所示2-Host-Only連接方式，使得宿主機(jī)和客戶機(jī)可以單獨(dú)構(gòu)造一個網(wǎng)絡(luò)，不同于宿主機(jī)所在的網(wǎng)絡(luò)。這樣，兩個網(wǎng)絡(luò)完全。新搭建的網(wǎng)絡(luò)的網(wǎng)段是192.168.56。操作系統(tǒng)的安裝點擊虛擬機(jī)的“啟動”，就會彈出窗口，進(jìn)入操作系統(tǒng)的安裝界面，如圖2- 示2-用鼠標(biāo)點擊窗口，然后按回車鍵，就進(jìn)入了RedHat安裝的引導(dǎo)過程宿主機(jī)操作。如果要退出獨(dú)占，按組合鍵“Ctrl”+“Alt2-5中已經(jīng)設(shè)置。如圖2-20，詢問是否檢查磁盤，選擇“Skip”，然后按回車鍵。如圖221，點擊“Next”2-如圖2-21所示，選擇點擊“Next”按鈕2-選擇安裝語言，讀者可以根據(jù)自己的喜好選擇，建議使用英文，如圖2-22所示，點擊2-選擇鍵盤類型，這里使用默認(rèn)值，如圖2-23所示，點擊“Next2-選擇設(shè)備類型，這里使用默認(rèn)值，如圖2-24所示，點擊“Next2-詢問是否格式化磁盤空間，選擇“Yes”，如圖2-25所示，點擊“Next2-小提示windows系統(tǒng)的空間數(shù)據(jù)丟失，只是對空間修改主機(jī)名稱，我們使用“hadoop0”，如圖2-26所示，點擊“Next2-注意：在以后的章節(jié)中，會使用這里設(shè)定的主機(jī)名，如果讀者不使用“hadoop0”，請選擇時區(qū)，我們修改為“Asia/Shanghai”，如圖2-27所示，點擊“Next”按鈕2-2-注意：該是以后登錄linux系統(tǒng)時必須使用的，請讀者牢記。這里的設(shè)置過于簡單，是為了學(xué)習(xí)方便。在正式生產(chǎn)服務(wù)器中絕對不能這么設(shè)置，很容易被攻破，應(yīng)該設(shè)置為數(shù)字、大小寫字母、特殊符號的組合。警告過于簡單，不用理會，點擊“UseAnyway”按鈕，如圖2-29所示2-選擇安裝類型，我們使用默認(rèn)值，如圖2-30所示，點擊“Next2-出現(xiàn)確認(rèn)信息，詢問這樣做會造成磁盤數(shù)據(jù)丟失。由于是新的虛擬機(jī)磁盤，沒有數(shù)據(jù)，我們同意，點擊“iechagestoisk”按鈕，如圖2-31所示。2-“Customizenow2-32所示，點擊“Next”按鈕。2-在軟件定制部分，我們選擇安裝MySQL數(shù)據(jù)庫，如圖2-33所示，在我們以后學(xué)習(xí)時會用到，點擊“Next”按鈕2-然后進(jìn)入操作系統(tǒng)的安裝過程，如圖2-34，會持續(xù)很長時間，讀者不要隨時操作虛擬機(jī)，防止安裝失敗，請耐心等待。2-經(jīng)過漫長的等待，終于安裝完了，如圖2- 所示，點擊右下角的“Reboot”按鈕2-系統(tǒng)的初始配置系統(tǒng)重啟后進(jìn)入系統(tǒng)初始配置頁面，如圖2-36所示，點擊“Forward”按鈕2-這是關(guān)于操作系統(tǒng)的使用協(xié)議，我們當(dāng)然同意了，如圖2- 所示，點擊“Forward”鈕2-進(jìn)行軟件的自動更新，我們沒有聯(lián)網(wǎng)，沒有，不能更新，如圖2-38所示，點擊2-詢問是否創(chuàng)建一個非管理員用戶，如圖2-39所示，我們不打算這里不創(chuàng)建，點擊2-詢問是否修改系統(tǒng)時間，我們不做修改，如圖2-40所示，點擊“Foward2-提示內(nèi)存不足，我們不用例會理會，如圖2-41所示，點擊“OK”按鈕2-2-系統(tǒng)加載剛才的配置信息，終于進(jìn)入登錄頁面了，如圖2-43所示2-點擊“Other…”，輸入用戶名root，如圖2-44所示，點擊“Login2-輸入wuchao，如圖2-45所示，點擊“Login”按鈕2-注意：root用戶具有最高權(quán)限，操作方便，本書所有操作都是以root用戶進(jìn)行的，實際工作中一般不會直接使用root用戶。讀者如果對linux權(quán)限不熟悉，請一定使用root用這樣，就看到了RedHat的桌面，如圖2-462-現(xiàn)右鍵菜單，如2-47所示。，2-點擊“EditConnections…”，彈出窗口框，如圖2-48所示2-選中連接，點擊右側(cè)“Edit…”，出現(xiàn)彈出窗口框，如圖2-49所示2-左上角有個復(fù)選框，請選中，表示啟用自動連接，然后點擊右下角的“Apply…”，然后依次關(guān)閉彈出窗口。會發(fā)現(xiàn)桌面右上的紅叉了，這表明網(wǎng)絡(luò)已經(jīng)連通了。是01，如圖2-50所示。2-至此，RedHat安裝完畢關(guān)于RedHat的 操作的只是，可以查看本書的附錄部分 連接工具的安Putty作為連接linux的工具，支持SSH和 該軟件不需要安裝，直接打開使用即可，如圖2-51所示2-HostNameRedHatip地址，其余設(shè)置使用默認(rèn)值，然后點擊最wuchao即可連接。本操作就是使用PieTTY完成的。文件傳輸工具的安WinSCP是一個Windows環(huán)境下SSH的開源SFTP客戶端，同SCP協(xié)議。全球最大開源軟件托管平臺SourceForge。安裝分成非常簡單，按照提示一步步操作即可，中間沒有需要做出選擇、判斷的地方。安裝完成后，打開軟件，點擊右上方的“新建”按鈕，如圖-52所示，彈出新的窗口框，如圖2-532-2-具就會連接的機(jī)器。如果成功，會看到如圖2-54所示。2-可以使用該工具進(jìn)行宿主機(jī)和客戶機(jī)之間的文件傳輸，類似FTP。下面章節(jié)，在RedHat中使用的很多軟件就是通過WinSCP從Windows傳輸過去的我們使用的版本是Oracle的jdk-6u24-linux-i586.binjdk移動到/usr/local下。進(jìn)入到/usr/local下，通過“.”解壓文件，如圖2-55所示。2-解壓縮完成后，我們可以查看到新產(chǎn)生的jdk1.6.0_24mvjdk，目的是方便以后，如圖2-56所示。2-接下來把jdk令配置到環(huán)境變量中在linux下，有很多配置環(huán)境變量的地方，分為全局環(huán)境變量和局部環(huán)境變量。linux加載的時候，會先找全局環(huán)境變量，如果找不到，就找局部變量。本書中，我們只設(shè)置全局環(huán)境變量。2-export在文件最后增加以下內(nèi)容，讀者可以粘貼我的export環(huán)境下執(zhí)行命令如下命令保存關(guān)閉后，需要在 我解釋一下保存關(guān)閉后，需要在 個是PATH。對于環(huán)境變量的，使用“$”，多個環(huán)境變量之間的連接，使用“:”。大家在設(shè)置環(huán)境變量的時候，一定與windows下的操作區(qū)分開，不要。命令“source”是為了讓現(xiàn)在使用“java-version”命令，如果看到如圖2-58的輸出，那就證明一切2-關(guān)閉RedHat內(nèi)置一個文本行的管理工具，可以管理、ip地址、各類服務(wù)等信息的設(shè)置。使用setup命令調(diào)出該工具，如圖2-59所示。注意：該工具不支持鼠標(biāo)操作，以下所有操作都需要使用鍵盤2-選擇“Firewallconfiguration”，然后按回車，你會看到如圖2-60所示2-會看到中間的方括號中有“*，只需要按一下空格鍵，符號“*”就會。最后使用“ab”鍵移動到“OK回車，一步步退出就行了。那么，是否真的被關(guān)閉了哪？使用如圖2-61中令驗證2-在linux下稱作“iptables”。該命令的含義是查看服務(wù)iptables的狀態(tài)。如果提示信息如上圖所示，說明已經(jīng)被關(guān)閉。注意：的目的是關(guān)閉盡可能不用的端口，避免被，保證服務(wù)器運(yùn)行安全。我們這里是實驗環(huán)境，為了避免無謂的錯誤，選擇關(guān)閉。在實際工作中，盡可能不這么做。因為hadoop集群之間通過主機(jī)名互相，所以必須設(shè)置dns解析。使用gedit編2-在文本最后追加一行，“01hadoop0ip與主機(jī)名之間使用空格分開，如圖2-63所示2-保存并關(guān)閉編都是命令行，所以只能使用net了。net的缺點是通信不加密，非常不安全，只適合于內(nèi)網(wǎng)。為解決這個問題，推出了加密的通信協(xié)議，即SSH。SSH的全稱是SecureS，使用非對稱，傳輸內(nèi)容使用rsa或者dsa加密，可以有效避免網(wǎng)絡(luò)。hadoop的進(jìn)程之間通信使用ssh方式，需要每次都要輸入。為了實現(xiàn)自動化操作，我們下面配置SSH的免登錄方式。首先到用戶主下，如圖2-64所示2-現(xiàn)在執(zhí)行命令，生成密鑰，如圖2-652-解釋一下 rsa”表示使用rsa生成密鑰，回車后，會提示三次輸然后進(jìn)入密鑰文件夾，執(zhí)行命令，如圖2-66所示2-其中，命令“cpid_rsa.pubauthorized_keys”用于生成文件。至此，配置部分完注意：文件夾“.ssh”中的三個文件的權(quán)限，是有要求的，“自己之外的任何人對每個文件都沒有寫權(quán)限”。另外，“.ssh”文件夾是700權(quán)限。如果權(quán)限有問題，會造成SSH現(xiàn)在開始驗證SSH無登錄，如圖2-67所示2-執(zhí)行“sshlocalhost”意味著使用“ssh”通信協(xié)議主機(jī)“l(fā)ocalhost”，第一次執(zhí)行時需要確認(rèn)；第二次不再確認(rèn)了。這就是無登錄。當(dāng)?shù)卿浀綄Ψ綑C(jī)器后，退出使用命令exit”。這兩次操作時，注意觀察主機(jī)名變化。讀者可以執(zhí)行命令“sshbook0”，驗證dns對book0解析是否正確。注意：使用命令ssh時，一定要觀察主機(jī)名的變化。很多同學(xué)在操作ssh時，由于大量的使用ssh登錄退