Linux系統(tǒng)命令與相關(guān)概念

1、一、 Bash Shell涉及到的概念和基本操作 本章的主要內(nèi)容是介紹如何通過Bash shell提供的基本命令操作Linux系統(tǒng)的文件和目錄，以及Bash Shell的一些基本特性。涉及到的內(nèi)容包括Shell的概念和Linux系統(tǒng)的目錄結(jié)構(gòu)，對于Linux不同目錄的存放的文件內(nèi)容和功能做簡要的說明。2.1 命令解析器Shell Linux系統(tǒng)重要的工具軟件是Shell，Shell是為用戶提供的操作平臺軟件(命令解析器)。它類似于DOS下的cmd.exe。它接收用戶命令，然后調(diào)用相應(yīng)的應(yīng)用程序執(zhí)行操作。如下圖：Shell又是一種程序設(shè)計腳本語言。作為命令語言，它交互式解釋和執(zhí)行用戶輸入的命令，

2、也可以自動地解釋和執(zhí)行預(yù)先編好的一連串的命令集。作為程序設(shè)計語言，它定義了各種變量和參數(shù)，并提供了許多在高級語言中才具有的控制結(jié)構(gòu)，包括循環(huán)和分支。Shell是操作系統(tǒng)最外面的一層。Shell管理用戶與操作系統(tǒng)之間的交互，等待用戶輸入，向操作系統(tǒng)解釋解釋用戶的輸入，操作系統(tǒng)執(zhí)行后并輸出結(jié)果。如下圖所示：2.2 Linux文件系統(tǒng) Linux系統(tǒng)區(qū)別于Windows系統(tǒng)，將所有的文件存儲在單個目錄結(jié)構(gòu)中，也就是所有的目錄都基于一個根目錄。下面的表格列出了不同發(fā)行版本的Linux系統(tǒng)通用的目錄結(jié)構(gòu)。 Linux系統(tǒng)基本的目錄結(jié)構(gòu)：目錄說明/虛擬目錄的根目錄，所有的目錄都在根目錄下/bin存放可執(zhí)行

3、命令的二進制文件，如：cp命令、cat命令，這些命令都是二進制命令。在/usr/bin目錄目錄下也存放著一些二進制命令。/boot內(nèi)核和加載內(nèi)核所需的文件。系統(tǒng)啟動目錄，存放系統(tǒng)啟動文件，存放的是啟動Linux 時使用的一些核心文件，包括一些連接文件以及鏡像文件。/devdev是Device(設(shè)備)的縮寫。該目錄下存放的是Linux 的外部設(shè)備，在Linux 中訪問設(shè)備的方式和訪問文件的方式是相同的。/etc系統(tǒng)啟動文件和配置文件的目錄。這個目錄用來存放所有的系統(tǒng)管理所需要的配置文件和子目錄，如/etc/profile、/etc/passwd等文件。/home在Linux 中，每個用戶都有一個

4、自己的工作目錄，用來存放一些自己的文件，并且在這個目錄中用戶具有所有的權(quán)限。一般該目錄名是以用戶的賬號命名的。例如用戶yarn 的主目錄就是/home/yarn，因為所有用戶都有自己的主目錄。/lib庫文件目錄，用于存放系統(tǒng)和應(yīng)用程序的庫文件，這個目錄里存放著系統(tǒng)最基本的動態(tài)連接共享庫，其作用類似于Windows 里的DLL文件。幾乎所有的應(yīng)用程序都需要用到這些共享庫。/media可移動設(shè)備的掛載點。Linux 系統(tǒng)會自動識別一些設(shè)備，例如U 盤、光驅(qū)等等，當識別后，Linux 會把識別的設(shè)備掛載到這個目錄下。/mnt掛載目錄，用于存放設(shè)備掛載點，用戶臨時掛載別的文件系統(tǒng)的，我們可以將光驅(qū)掛載

5、在/mnt/上，然后進入該目錄就可以查看光驅(qū)里的內(nèi)容了。/opt用于安裝三方軟件，這是給主機額外安裝軟件所擺放的目錄。比如您安裝一個ORACLE 數(shù)據(jù)庫則就可以放到這個目錄下。默認是空的。/rootroot管理員的主工作目錄。/sbin引導、修復和恢復系統(tǒng)的命令目錄。存放可執(zhí)行命令的二進制文件，管理員級別的命令工具。/tmp臨時目錄，用于存放臨時創(chuàng)建的文件。通常在啟動時，清理/tmp 目錄下的空間，所以你不能在/tmp 存儲需要長期保留的內(nèi)容。/usr用戶安裝軟件的目錄，用戶相關(guān)的程序和只讀數(shù)據(jù)駐留的位置，這是一個非常重要的目錄，用戶的很多應(yīng)用程序和文件都放在這個目錄下，類似與windows

6、下的program files 目錄。在 /usr 中存在整個目錄層次結(jié)構(gòu)。例如，/usr/bin 目錄包含二進制文件和應(yīng)用程序，而 /usr/share/doc 包含與這些應(yīng)用程序相關(guān)的文檔。/var用于存放經(jīng)常變化的文件，如日志文件。/lost+found這個目錄一般情況下是空的，當系統(tǒng)非法關(guān)機后，這里就存放了一些文件碎片，用于系統(tǒng)恢復。/proc所有正在運行進程的映像目錄。這個目錄是一個虛擬的目錄，它是系統(tǒng)內(nèi)存的映射，這個目錄的內(nèi)容不在硬盤上而是在內(nèi)存里。/selinux這個目錄是Redhat/CentOS 所特有的目錄，Selinux 是一個安全機制，類似于windows的防火墻，但是

7、這套機制比較復雜，這個目錄就是存放selinux 相關(guān)的文件的。/sysLinux文件系統(tǒng)信息。/usr/bin系統(tǒng)用戶使用的應(yīng)用程序。/usr/sbin超級用戶使用的比較高級的管理程序和系統(tǒng)守護程序。/usr/src內(nèi)核源代碼默認的放置目錄。2.3 啟動Bash Shell 當打開一個終端模擬器后會啟動一個Shell進程，并且會定位在登錄用戶的工作目錄下，如：yarn用戶的工作目錄是：/home/yarn。多數(shù)情況下系統(tǒng)會為每個用戶創(chuàng)建一個工作目錄，目錄名稱是用戶的登錄名稱。在工作目錄下，用戶具有創(chuàng)建、刪除文件及所有文件操作權(quán)限。 在Linux系統(tǒng)中，所有登錄系統(tǒng)的用戶信息都保存在/etc/

8、passwd文件中，在這個文件中保存了每個用戶的基本配置信息，并且用戶登錄系統(tǒng)時登錄程序會訪問這個文件，判斷登錄用戶是否合法，在/etc/passwd文件中，每個用戶信息占用一行，可以通過cat命令查看文件的信息。cat /etc/passwd 如：yarn用戶的配置信息：yarn:x:500:500:yarn:/home/yarn:/bin/bash 這條信息包含七部分：字段說明用戶名yarn用戶密碼x 注：在其他文件中加密保存，此處是占位符用戶ID：UID500用戶組ID：GID500用戶全名yarn用戶默認工作目錄/home/yarn用戶的默認Shell程序/bin/bash 當用戶每次

9、啟動一個終端或使用bash命令啟動一個新的Shell進程時，系統(tǒng)都會執(zhí)行用戶工作目錄下的.bashrc配置文件，此文件可以配置用戶專用的環(huán)境變量、自定義函數(shù)和命令別名等信息，后面的章節(jié)會詳細講解。2.4 文件系統(tǒng)目錄切換 從本節(jié)開始，主要的內(nèi)容是文件和目錄的常用操作命令。在Linux系統(tǒng)上，如果從一個目錄切換到另一個目錄需要用到cd命令。 cd命令格式：cd /home/yarn/dircd yarn/dircd .cd ./.cdcd cd - 命令cd后面可以跟相對路徑和絕對路徑，cd .是返回上一級目錄。cd ./.返回上兩級目錄。cd、cd 命令是定位到當前用戶的工作目錄，如yarn用

10、戶會定位到/home/yarn目錄下。cd -命令回到最近的上一個工作目錄。 絕對路徑： 絕對路徑定義了目錄或文件在整個文件系統(tǒng)中的確切位置，如：cd /etc/profile.d，系統(tǒng)會從根上開始找，在/下找到etc目錄，然后在/etc目錄下找profile.d目錄。 相對路徑： 相對路徑是基于當前位置的定位方式，也就是系統(tǒng)會從當前位置為基點開始找需要定位的目錄。如：cd bash01，系統(tǒng)會在當前目錄下找bash01目錄，如果找不到會提示警告信息到控制臺。2.5 顯示文件和目錄信息 如何顯示當前目錄下存或指定的目錄下存在哪些文件和目錄信息，這就需要使用ls命令，ls命令是常用到的命令，可以

11、查看目錄下存在的文件信息。但是使用的方式有幾種，下面通過例子說明ls命令的常用使用方式。2.5.1 基本顯示 ls命令格式： ls 控制臺顯示：bash01 bash01.sh class20151221 hdfs01 mapreduce01 mapreduce02 公共的 模板 視頻 圖片 文檔 下載 音樂 桌面 ls命令執(zhí)行后只顯示了當前目錄下存在哪些文件(注意：不包含隱藏文件)，但沒有顯示文件的詳細信息，不能看出哪些是目錄，哪些是文件。如果希望區(qū)分文件類型可以采用下面的方式。 命令格式：ls -F 控制臺顯示：bash01/ class20151221/ mapreduce01/ 公共的

12、/ 視頻/ 文檔/ 音樂/bash01.sh* hdfs01/ mapreduce02/ 模板/ 圖片/ 下載/ 桌面/ 參數(shù)-F將文件的基本類型顯示到控制臺，帶/符號的是目錄文件，帶*號的是可執(zhí)行的文件(bash腳本)。這種使用方式可以顯示文件的類型，但隱藏文件并沒有顯示出來，如果想顯示所有的文件信息包括隱藏文件信息，需要使用-a參數(shù)。 命令格式：ls -F -als -Fa 控制臺顯示：./ .bash_logout .dbus/ .gnome2_private/ .lesshst .pulse/ .xsession-errors.old ./ .bash_profile .dmrc .g

13、tk-bookmarks .local/ .pulse-cookie .bashrc .esd_auth .gvfs/ mapreduce01/ .ssh/ 在Linux系統(tǒng)中，隱藏文件都以.符號開始。 如果想將當前目錄下的目錄文件內(nèi)的文件信息也同時顯示，需要用到參數(shù)-R，采用遞歸的方式顯示文件信息。 命令格式：ls -R 參數(shù)-R將當前目錄下的存在的目錄內(nèi)的信息也同時顯示到控制臺。2.5.2 顯示文件和目錄的詳細信息 ls命令常用的參數(shù)：參數(shù)說明-a并且顯示隱藏文件-A不輸出.和.-c按最后修改時間排序-l以列表的方式顯示-R遞歸顯示子目錄下的文件-F顯示文件類型-i顯示文件索引值 顯示文件

14、或目錄的詳細信息。 命令格式：ls -l 控制臺顯示：drwxrwxr-x. 3 yarn yarn 4096 2月 16 17:06 bash01-rwxrw-r-. 1 yarn yarn 224 2月 16 17:07 bash01.shdrwxrwxr-x. 2 yarn yarn 4096 12月 24 10:01 class20151221drwxrwxr-x. 4 yarn yarn 4096 1月 20 12:05 hdfs01drwxrwxr-x. 3 yarn yarn 4096 11月 24 14:40 mapreduce01drwxrwxr-x. 3 yarn yarn

15、 4096 11月 3 19:59 mapreduce022.5.3 過濾顯示 如果想在多個文件中只顯示相關(guān)的文件信息，可以采用下面的幾種方式。 命令格式： ls -l bash01.shls bash01.sh -l 控制臺顯示：-rwxrw-r-. 1 yarn yarn 224 2月 16 17:07 bash01.sh 也可以采用模式匹配過濾顯示文件信息。 命令格式：ls -l bash*ls -l bash? ?號占位符代表一個字符，*號占位符代表零個到多個字符。 命令ls還可以指定顯示某個目錄下存在的文件內(nèi)容。ls -l /usr/local 命令會以列表形式顯示/usr/loca

16、l目錄下存在的文件信息，注意，不顯示隱藏文件。2.6 文件管理 Linux提供了操作文件的常用命令，通過這些命令可以對文件系統(tǒng)上的文件進行操作，下面通過例子說明。2.6.1 創(chuàng)建一個空文件 通過命令touch可以創(chuàng)建一個空的文本文件，如用戶的配置文件。也可以創(chuàng)建一個日志文件，記錄程序運行過程中的特定信息。 命令格式：touch test01ls -li test01 控制臺顯示：1708251 -rw-rw-r-. 1 yarn yarn 0 2月 16 18:04 test01 touch命令創(chuàng)建的是一個大小為0的空文件，參數(shù)-i會顯示文件的索引值，在系統(tǒng)中，每個文件都有一個唯一的索引值，并

17、且文件的屬主是當前用戶。2.6.2 復制文件 可以通過命令將文件或目錄復制到其他的目標目錄而不改變原來的文件或目錄?？梢酝ㄟ^cp命令對文件或目錄進行復制。 命令格式：cp source dest 復制文件：cp test01 test02ls -li test01 test02 控制臺顯示：1708256 -rw-rw-r-. 1 yarn yarn 0 2月 16 18:21 test011708251 -rw-rw-r-. 1 yarn yarn 0 2月 16 18:22 test02 可以看到文件索引值不同，說明是兩個獨立的文件，在這個例子中我們使用的是相對路徑，在當前用戶得工作目錄下

18、，也可以使用絕對路徑，如下：cp /home/yarn/test01 /home/yarn/test02 也可以將一個文件復制到一個其他的目錄中。 復制文件：cp test01 bash01cp /home/yarn/test01 /home/yarn/bash01 上面的兩種方式都可以，在目錄bash01下如果存在了一個與test01同名的文件，也也可以同時為目標文件改名，如下：cp test01 bash01/test03 cp命令常用的參數(shù)：參數(shù)說明-r遞歸拷貝-i操作文件時提示 復制目錄：cp -r bash01 bash02 如果使用cp命令拷貝目錄需要使用-r參數(shù)，如果將bash0

19、1目錄包括目錄下的文件全部拷貝到其他目錄需要使用-r參數(shù)，如果沒有使用-r參數(shù)，系統(tǒng)會提示警告信息。上面的命令將當前目錄下的bash01目錄在當前目錄下作了一個備份，因為在同一個目錄下，所有目標目錄需要改變名稱。 使用通配符復制：cp bashTest* bash03 上面的命令將當前目錄下以bashTest開頭的所有文件拷貝到bash03目錄下。這也是常用到的命令。2.6.3 重命名文件 在Linux中文件的重命名和移動文件使用的是相同的命令mv，類似于Windows中的剪切功能。 命令格式：mv source dest 重命名文件：mv test01 test01bak 將當前目錄下的te

20、st01文件更名為test01bak，需要的注意的是原來的文件不存在了。 移動文件：mv test01 bash01 將文件test01剪切到bash01目錄下。 移動目錄：mv bash01 bash02 可以將整個目錄剪切到其他的目錄，同時可以為目錄更名。注意，使用mv命令移動目錄不需要-r參數(shù)，不需要遞歸操作。2.6.4 刪除文件 系統(tǒng)中刪除文件或目錄可以使用rm命令，如刪除臨時文件或目錄。也是常用到的命令，在使用過程中有要注意的地方。刪除一個普通文件的語法格式如下。 命令格式：rm 參數(shù) filename 刪除文件：rm -i test01 刪除當前目錄下的文件test01，參數(shù)-i是

21、刪除文件是提示確認，如果輸入y，執(zhí)行刪除操作，否則終止刪除操作?？刂婆_提示信息：rm：是否刪除普通文件 "test01"？y刪除目錄：rm -r bash02 刪除當前目錄下的bash02目錄，注意：要有參數(shù)-r，采用遞歸的方式刪除目錄，否則提示不能刪除。刪除文件時也可以使用通配符，但是要謹慎使用，因為文件一旦刪除不可恢復。 刪除文件：rm -i test* 如果使用root權(quán)限刪除其他用戶的目錄或文件時，刪除操作會有提示信息，確認是否刪除，-f參數(shù)會忽略這些提示信息，直接將文件刪除。如果刪除的是當前用戶的文件，不會有提示信息，系統(tǒng)會直接刪除。說明如果用戶具有操作其他用戶的

22、文件時，需要注意。rm -rf dir12.7 目錄管理 命令cp、mv和rm都可以對目錄進行操作，因為在Linux系統(tǒng)中，目錄也是文件。但是目錄的創(chuàng)建和刪除還有特定的命令，mkdir命令用于創(chuàng)建目錄，rmdir命令用于刪除空的目錄，如果目錄非空，就只能使用rm命令才可以刪除。2.7.1 創(chuàng)建目錄 命令格式：mkdir dirname 創(chuàng)建目錄：mkdir dir1mkdir /home/yarn/dir1 在當前目錄創(chuàng)建一個目錄dir1，注意：此命令只能創(chuàng)建單級目錄，一次只能創(chuàng)建一個目錄，如果想同時創(chuàng)建多級目錄，需要參數(shù)-p。創(chuàng)建多級目錄：mkdir -p dir2/dir3/dir4mkd

23、ir -p /home/yarn/dir2/dir3/dir4 同時創(chuàng)建多級目錄，如果父目錄不存在，首先創(chuàng)建父目錄然后在創(chuàng)建子目錄。2.7.2 刪除目錄 rm命令可以刪除非空的目錄，rmdir命令只能刪除空的目錄，如果目錄非空，rmdir命令不能刪除，會提示目錄非空。 命令格式：rmdir dirname 刪除空目錄：mkdir tmpdirrmdir tmpdir 新創(chuàng)建的目錄tmpdir是空目錄，使用rmdir命令將tmpdir空目錄刪除。如果要刪除非空目錄可以使用rm命令，要帶參數(shù)-r，-r參數(shù)是遞歸方式。 刪除非空目錄：rm -r dir2 命令將遞歸刪除目錄，將目錄下的文件包括目錄同

24、時刪除。2.8 查看文件內(nèi)容 查看文件內(nèi)容可以使用文本編輯器，但Linux還提供了其他的命令用來查看文件內(nèi)容，但只能瀏覽文件內(nèi)容而不能編輯文件內(nèi)容。下面通過例子說明每個命令的使用方式和各自的特點。2.8.1 cat命令 cat命令可以顯示文本文件內(nèi)容到控制臺，使用方法如下。命令格式：cat filename cat命令的特點是一次將文件內(nèi)容全部顯示到控制臺，當文件內(nèi)容很多時只能看到文件的最后部分，文件的前面內(nèi)容無法看到，如日志文件通常內(nèi)容很多，如果使用cat命令，很多信息看不到，這就很不方便，所以，當文件很大時可以采用其他的命令查看文件內(nèi)容。2.8.2 more命令 more命令會顯示文件的內(nèi)

25、容到控制臺，但是與cat命令的區(qū)別是按頁顯示，當顯示一屏 后會停下來，等用戶下一步操作。 命令格式：more filename 查看日志：more startlogs.log 控制臺顯示：01/15/16 16:01:40 YARN: hadoop-config.sh | HADOOP_COMMON_LIB_NATIVE_DIR = ''01/15/16 16:01:40 YARN: hadoop-config.sh | HADOOP_COMMON_LIB_NATIVE_DIR = 'lib/native'01/15/16 16:01:40 YARN: hado

26、op-config.sh | HDFS_DIR = ''01/15/16 16:01:40 YARN: hadoop-config.sh | HDFS_DIR = 'share/hadoop/hdfs'01/15/16 16:01:40 YARN: hadoop-config.sh | HDFS_LIB_JARS_DIR = ''-More-(0%) 命令執(zhí)行后，從文件開始部分顯示到控制臺，顯示滿一屏后停下來等待用戶下一步的操作，并且在最下面一行顯示以顯示內(nèi)容百分比。 more命令常用的鍵盤命令：參數(shù)說明h顯示幫助菜單z顯示文本的下一屏空格鍵顯示

27、文本的下一屏b顯示文本的上一屏回車鍵顯示下一行q退出v啟動文本編輯器=顯示當前文本的行號2.8.3 less命令 less命令是more命令的升級版本，使用方式上和more命令相似，一次只顯示一屏文件內(nèi)容到控制臺并等待用戶的下一步操作，less命令支持more命令的所有參數(shù)并且可以通過上下鍵翻頁。另外，less命令不同于cat命令和more命令的重要特點是不讀取整個文件到內(nèi)存，如果文件很大，less命令的性能要優(yōu)于cat命令和more命令。 2.8.4 tail命令 如果只關(guān)心文本文件的最后的部分內(nèi)容，如日志文件，就可以考慮使用tail命令，當然使用cat、more和less命令都能達到同樣的

28、效果。tail命令只顯示文件的最后部分內(nèi)容，默認情況下是最后十行，如下所示： 顯示日志文件：tail logs 控制臺顯示：yarnYARN bash02$ tail logs01/13/16 11:06:04 YARN: hadoop-config.sh | Set log level. Default to INFO01/13/16 11:06:04 YARN: hadoop-config.sh | HADOOP_LOGLEVEL='INFO'01/13/16 11:06:04 YARN: hadoop-config.sh | DEFAULT_CONF_DIR = '

29、;'01/13/16 11:06:04 YARN: hadoop-config.sh | DEFAULT_CONF_DIR = 'etc/hadoop'01/13/16 11:06:04 YARN: hadoop-config.sh | export HADOOP_CONF_DIR = '/usr/local/hadoop/etc/hadoop'01/13/16 11:06:04 YARN: hadoop-config.sh | if ( '' != '' ) && ( '' != '

30、;' ) then error! and exit01/13/16 11:06:04 YARN: hadoop-config.sh | 進程命令行選項，指定主機或文件01/13/16 11:06:04 YARN: hadoop-config.sh | if ( '' != '' ) && ( '' != '' ) then error! and exit01/13/16 11:06:04 YARN: hadoop-config.sh | if -f '/usr/local/hadoop/etc/ha

31、doop'/hadoop-env.sh' 1/13/16 11:06:04 YARN: hadoop-config.sh | '/usr/local/hadoop/etc/hadoop'/hadoop-env.sh yarnYARN bash02$ 默認情況下只顯示最后十行內(nèi)容到控制臺，當然可以通過參數(shù)指定輸出的行數(shù)，如果想要輸出文件的最后二十行數(shù)據(jù)到控制臺，可以通過下面的參數(shù)實現(xiàn)。 輸出二十行內(nèi)容：tail -n 20 logstail命令常用的參數(shù)：參數(shù)說明-n lines指定顯示的行數(shù)-f顯示文件的新增加內(nèi)容 tail命令的-f參數(shù)可以我們監(jiān)控日志文件，如果有新的額日志文件產(chǎn)生，會同時打印到控制臺。2.8.5 head命令 head命令和tail命令相似，只是顯示的文件的開頭內(nèi)容，默認情況下顯示十行，可以通過-n參數(shù)指定顯示的行數(shù)，注意：head命令不支持-f參數(shù)。使用方式和tail命令相同。mkdir dir1cd dir1mkdir di