大數(shù)據(jù)綜合實訓(xùn)實驗手冊-項目實施

高職大數(shù)據(jù)綜合實訓(xùn)實驗手冊–項目實施高職大數(shù)據(jù)綜合實訓(xùn)實驗手冊項目實施

目錄TOC\o"1-5"\u1 設(shè)定項目經(jīng)理及項目組成員角色 132 實驗一：運行環(huán)境安裝與配置 132.1 實驗?zāi)康?132.2 實驗要求 132.3 實驗環(huán)境 132.4 試驗過程 142.4.1 實驗任務(wù)一：安裝和配置CentOS操作系統(tǒng) 步驟一：安裝CentOS操作系統(tǒng) 步驟二：配置主機(jī)名 步驟三：配置系統(tǒng)IP及網(wǎng)關(guān) 步驟四：配置存儲空間 步驟五：配置防火墻 步驟六：創(chuàng)建賬號及密碼，修改賬號權(quán)限 192.4.2 實驗任務(wù)二：安裝和配置JDK 步驟一：上傳JDK安裝包 步驟二：解壓安裝JDK 步驟三：配置環(huán)境變量 步驟四：激活環(huán)境變量 步驟五：驗證安裝結(jié)果 203 實驗二：基礎(chǔ)中間件的安裝和配置 203.1 實驗?zāi)康?203.2 實驗要求 213.3 實驗環(huán)境 213.4 試驗過程 213.4.1 實驗任務(wù)一：安裝和配置MySQL 步驟一：刪除系統(tǒng)自帶的MariaDB： 步驟二：安裝依賴的組件 步驟三：上傳MySQL安裝包 步驟四：解壓MySQL安裝包 步驟五：安裝MySQL組件 步驟六：起停數(shù)據(jù)庫 步驟七：初始化root帳號密碼 步驟八：設(shè)置允許遠(yuǎn)程連接 233.4.2 實驗任務(wù)二：簡單操作MySQL 步驟一：連接數(shù)據(jù)庫 步驟二：查看當(dāng)前登錄用戶 步驟三：查看數(shù)據(jù)庫清單 步驟四：創(chuàng)建數(shù)據(jù)庫 步驟五：使用數(shù)據(jù)庫、查看當(dāng)前數(shù)據(jù)庫 步驟六：創(chuàng)建一張表 2 步驟七：查看數(shù)據(jù)庫的表清單 2 步驟八：查看表結(jié)構(gòu) 2 步驟九：插入一條數(shù)據(jù) 20 步驟十：查詢表數(shù)據(jù) 273.4.3 實驗任務(wù)二：使用MySQL常用工具集 273.4.4 實驗任務(wù)四：備份與恢復(fù)MySQL數(shù)據(jù)庫 2 步驟一：備份數(shù)據(jù)庫 2 步驟二：重建數(shù)據(jù)庫 2 步驟三：從備份文件恢復(fù)數(shù)據(jù)庫 303.4.5 實驗任務(wù)五：安裝和配置Redis 3 步驟一：安裝gcc 3 步驟二：上傳redis安裝包 3 步驟三：解壓安裝包并移動到redis目錄 3 步驟四：編譯安裝redis 3 步驟五：修改redis配置 3 步驟六：啟動redis 333.4.6 實驗任務(wù)六：使用Redis 3 步驟一：使用redis-cli連接redis 3 步驟二：簡單使用redis數(shù)據(jù)結(jié)構(gòu) 343.4.7 實驗任務(wù)七：維護(hù)Redis 3 步驟一：簡單配置Redis 3 步驟二：使用命令維護(hù)redis 353.4.8 實驗任務(wù)八：安裝和配置zookeeper(偽集群模式) 40 步驟一：上傳zookeeper安裝包 40 步驟二：解壓安裝三個節(jié)點 40 步驟三：修改zookeeper1節(jié)點的配置文件 40 步驟四：配置zookeeper1節(jié)點的serverid 4 步驟三：修改zookeeper2節(jié)點的配置文件 4 步驟四：配置zookeeper2節(jié)點的serverid 4 步驟三：修改zookeeper3節(jié)點的配置文件 4 步驟四：配置zookeeper3節(jié)點的serverid 4 步驟五：啟動zookeeper 40 步驟五：驗證安裝結(jié)果 433.4.9 實驗任務(wù)九：安裝和配置kafka 4 步驟一：上傳kafka安裝包 4 步驟二：解壓安裝kafka 4 步驟三：修改節(jié)點1的配置 4 步驟四：新增并修改節(jié)點2的配置 4 步驟五：新增并修改節(jié)點3的配置 4 步驟六：啟動kafka 4 步驟七：驗證安裝結(jié)果 4 步驟八：驗證發(fā)送消息 4 步驟八：驗證接收消息 464 實驗三：大數(shù)據(jù)集群環(huán)境安裝、配置與基本管理 474.1 實驗?zāi)康?474.2 實驗要求 474.3 實驗環(huán)境 474.4 試驗過程 474.4.1 實驗任務(wù)一：部署前準(zhǔn)備 4 步驟一：禁用防火墻 4 步驟二：禁用SELinux 4 步驟三：安裝輔助工具 4 步驟四：安裝節(jié)點及目錄規(guī)劃 4 步驟五：安裝包及同步環(huán)境準(zhǔn)備 504.4.2 實驗任務(wù)二：安裝和配置Hadoop 5 步驟一：解壓安裝Hadoop 5 步驟二：配置環(huán)境變量 5 步驟三：激活環(huán)境變量 5 步驟四：準(zhǔn)備數(shù)據(jù)目錄 5 步驟五：修改master1的配置文件 5 步驟六：將配置同步到其他節(jié)點 5 步驟七：格式化NameNode 5 步驟八：起停Hadoop 5 步驟九：驗證安裝結(jié)果 554.4.3 實驗任務(wù)三：安裝和配置Hive 5 步驟一：解壓安裝Hive 5 步驟二：配置環(huán)境變量 5 步驟三：激活環(huán)境變量 5 步驟四：修改master1的配置文件 5 步驟五：將配置同步到其他節(jié)點 5 步驟六：初始化Hive倉庫 5 步驟七：啟動并連接Hive 594.4.4 實驗任務(wù)四：安裝和配置Scala 60 步驟一：上傳Scala安裝包 60 步驟二：解壓安裝Scala 60 步驟三：配置環(huán)境變量 6 步驟四：激活環(huán)境變量 6 步驟五：驗證安裝結(jié)果 6 步驟六：在其他節(jié)點上安裝Scala 614.4.5 實驗任務(wù)五：安裝和配置Spark 6 步驟一：上傳Spark安裝包 6 步驟二：解壓安裝Spark 6 步驟三：配置環(huán)境變量 6 步驟四：激活環(huán)境變量 6 步驟四：復(fù)制spark-env.sh.template模板文件 6 步驟五：編輯spark-env.sh文件 6 步驟六：復(fù)制spark-defaults.conf.template模板文件 6 步驟七：編輯spark-defaults.conf文件 6 步驟八：復(fù)制slaves.template文件 60 步驟九：編輯slaves文件 61 步驟十：配置slave1節(jié)點 62 步驟十一：配置slave2節(jié)點 63 步驟十二：啟動Spark 64 步驟十三：驗證安裝結(jié)果 655 實驗四：基于網(wǎng)頁爬蟲的數(shù)據(jù)采集、處理和數(shù)據(jù)存儲 665.1 實驗?zāi)康?665.2 實驗要求 665.3 實驗環(huán)境 665.4 試驗過程 675.4.1 實驗任務(wù)一：安裝Scrapy運行環(huán)境 6 步驟一：安裝EPEL源 6 步驟二：安裝pip包管理工具 6 步驟三：安裝Scrapy爬蟲框架 6 步驟四：安裝輔助工具 675.4.2 實驗任務(wù)二：網(wǎng)站結(jié)構(gòu)分析及爬蟲算法設(shè)計 6 步驟一：選取目標(biāo)網(wǎng)站 6 步驟二：分析網(wǎng)站結(jié)構(gòu) 6 步驟三：設(shè)計資源抓取算法 705.4.3 實驗任務(wù)三：搭建爬蟲項目 7 步驟一：創(chuàng)建項目 7 步驟二：新建爬蟲程序 7 步驟二：定義結(jié)構(gòu)化數(shù)據(jù) 7 步驟三：修改spiders/books.py 7 步驟四：配置爬蟲 7 步驟五：運行爬蟲 755.4.4 實驗任務(wù)四：將爬取的數(shù)據(jù)存儲到MySQL 7 步驟一：編寫Pipeline處理類 7 步驟二：修改爬蟲配置 7 步驟三：重新運行爬蟲 765.4.5 實驗任務(wù)五：將爬取的數(shù)據(jù)存儲到文件 7 步驟一：修改爬蟲配置 7 步驟二：重新運行爬蟲 775.4.6 實驗任務(wù)六：安裝flume-ng 7 步驟一：上傳flume安裝包 7 步驟二：解壓安裝flume 7 步驟三：配置環(huán)境變量 7 步驟四：激活環(huán)境變量 7 步驟五：驗證安裝結(jié)果 795.4.7 實驗任務(wù)六：通過flume-ng將文件數(shù)據(jù)導(dǎo)入到kafka 7 步驟一：創(chuàng)建數(shù)據(jù)源目錄 7 步驟二：準(zhǔn)備數(shù)據(jù)文件 7 步驟三：配置從文件到kafka的任務(wù) 7 步驟四：執(zhí)行任務(wù) 80 步驟五：驗證執(zhí)行結(jié)果 805.4.8 實驗任務(wù)七：通過flume-ng將kafka數(shù)據(jù)導(dǎo)出到文件 80 步驟一：創(chuàng)建接收文件目錄 80 步驟二：配置從kafka到文件的任務(wù) 80 步驟四：執(zhí)行任務(wù) 8 步驟五：驗證執(zhí)行結(jié)果 816 實驗五：ETL工具的使用 816.1 實驗?zāi)康?816.2 實驗要求 826.3 實驗環(huán)境 826.4 實驗過程 826.4.1 試驗任務(wù)一：安裝Kettle 8 步驟一：下載Kettle 8 步驟二：解壓安裝Kettle 836.4.2 實驗任務(wù)二：新建從MySQL到文件的轉(zhuǎn)換 8 步驟一：啟動KettleSpoon 8 步驟二：新建轉(zhuǎn)換 8 步驟三：新建輸入步驟 8 步驟四：新建輸出步驟 8 步驟五：測試轉(zhuǎn)換 906.4.3 實驗任務(wù)三：新建和配置作業(yè) 9 步驟一：新建作業(yè) 9 步驟二：測試作業(yè) 9 步驟三：通過Kitchen命令后臺運行作業(yè) 946.4.4 實驗任務(wù)四：安裝和配置Sqoop 9 步驟一：檢查Hadoop2.X是否已經(jīng)安裝 9 步驟二：上傳Sqoop安裝包 9 步驟三：解壓安裝Sqoop 9 步驟四：驗證安裝結(jié)果 9 步驟五：修改Sqoop配置 9 步驟六：驗證修改配置的結(jié)果 9 步驟七：上傳MySQL數(shù)據(jù)庫驅(qū)動包 9 步驟八：將MySQL驅(qū)動包添加到Sqoop的lib目錄 976.4.5 實驗任務(wù)五：將MySQL數(shù)據(jù)導(dǎo)入到HDFS 9 步驟一：檢查HDFS中目錄是否存在 9 步驟二：將MySQL數(shù)據(jù)導(dǎo)入到HDFS 9 步驟三：查看導(dǎo)入結(jié)果 986.4.6 實驗任務(wù)六：將HDFS數(shù)據(jù)導(dǎo)出到MySQL 9 步驟一：檢查數(shù)據(jù)庫中表中是否存在數(shù)據(jù) 9 步驟二：將HDFS數(shù)據(jù)導(dǎo)出到MySQL 9 步驟三：查看導(dǎo)出結(jié)果 1007 實驗六：數(shù)據(jù)清洗 1007.1 實驗?zāi)康?1007.2 實驗要求 1007.3 實驗環(huán)境 1007.4 實驗過程 1017.4.1 實驗任務(wù)一：Spark實現(xiàn)數(shù)據(jù)清洗 10 步驟一：搭建項目框架 10 步驟二：添加Maven依賴 10 步驟三：Spark讀取kafka數(shù)據(jù) 10 步驟四：Spark處理字段非法值 10 步驟五：Spark移除重復(fù)數(shù)據(jù) 10 步驟六：Spark將數(shù)據(jù)寫入HDFS 10 步驟七：完整代碼實現(xiàn) 1037.4.2 實驗任務(wù)三：發(fā)布Spark數(shù)據(jù)清洗服務(wù) 10 步驟一：本地打包 10 步驟二：上傳至服務(wù)器 10 步驟三：運行服務(wù) 1067.4.3 實驗任務(wù)二：MapReduce實現(xiàn)離線分析 10 步驟一：配置本地環(huán)境 10 步驟二：搭建項目框架 10 步驟三：添加Maven依賴 10 步驟四：實現(xiàn)mapreduce分組儲存 10 步驟五：實現(xiàn)mapreduce統(tǒng)計 10 步驟六：分組完整代碼實現(xiàn) 10 步驟六：統(tǒng)計完整代碼實現(xiàn) 1137.4.4 實驗任務(wù)四：發(fā)布MapReduce離線分析服務(wù) 1 步驟一：本地打包 1 步驟二：上傳至服務(wù)器 1 步驟三：運行服務(wù) 1168 實驗七：數(shù)據(jù)倉庫的建立 1168.1 實驗?zāi)康?1168.2 實驗要求 1178.3 實驗環(huán)境 1178.4 實驗過程 1178.4.1 實驗任務(wù)一：檢查Hive運行環(huán)境 1 步驟一：檢查Hadoop環(huán)境 1 步驟二：檢查Hive環(huán)境 1 步驟三：檢查數(shù)據(jù)是否準(zhǔn)備好 1188.4.2 試驗任務(wù)二：設(shè)計數(shù)據(jù)結(jié)構(gòu) 1 步驟一：查看HDFS源數(shù)據(jù)結(jié)構(gòu) 1 步驟二：根據(jù)返回結(jié)果確定數(shù)據(jù)結(jié)構(gòu) 1188.4.3 實驗任務(wù)三：創(chuàng)建庫和表 1 步驟一：進(jìn)入Hive環(huán)境 1 步驟二：創(chuàng)建數(shù)據(jù)庫 1 步驟三：創(chuàng)建表 1198.4.4 實驗任務(wù)二：數(shù)據(jù)入庫 1 步驟一：登錄數(shù)據(jù)庫 1 步驟二：裝載數(shù)據(jù)入庫 1 步驟三：驗證數(shù)據(jù)入庫結(jié)果 1209 實驗八：數(shù)據(jù)挖掘 1209.1 實驗?zāi)康?1219.2 實驗要求 1219.3 實驗環(huán)境 1219.4 實驗過程 1219.4.1 實驗任務(wù)一：檢查Hive及表數(shù)據(jù) 1 步驟一：登錄數(shù)據(jù)庫 1 步驟二：檢查表數(shù)據(jù) 1 步驟三：退出Hive運行環(huán)境 1229.4.2 實驗任務(wù)二：建立匯聚視圖 1 步驟一：按月統(tǒng)計教材發(fā)布數(shù)量 1 步驟二：驗證統(tǒng)計結(jié)果 1229.4.3 實驗任務(wù)三：建立分析視圖 1 步驟一：分析最受歡迎的10本教材 1 步驟二：驗證分析結(jié)果 1229.4.4 實驗任務(wù)四：將分析結(jié)果導(dǎo)出到MySQL 1 步驟一：在MySQL中創(chuàng)建表 1 步驟二：導(dǎo)出數(shù)據(jù)到MySQL 1 步驟三：驗證導(dǎo)出結(jié)果 12410 實驗九：數(shù)據(jù)可視化 12410.1 實驗?zāi)康?12410.2 實驗要求 12410.3 實驗環(huán)境 12410.4 實驗過程 12510.4.1 實驗任務(wù)一：準(zhǔn)備基礎(chǔ)開發(fā)環(huán)境、組件和數(shù)據(jù) 125 步驟一：下載Echarts 125 步驟二：下載jQuery 125 步驟三：下載Tomcat 126 步驟四：檢查可視化數(shù)據(jù)源的數(shù)據(jù)情況 12710.4.2 實驗任務(wù)二：開發(fā)WEB可視化項目 127 步驟一：創(chuàng)建WEB項目 127 步驟二：修改Maven配置，添加項目依賴 128 步驟三：調(diào)整項目目錄結(jié)構(gòu) 129 步驟四：新建項目啟動類 130 步驟五：新建JavaBean類 13 步驟六：新建數(shù)據(jù)庫訪問類 13 步驟七：新建控制器類 13 步驟八：新建資源文件 133 步驟九：實現(xiàn)WEB界面 1340 附件：完整的項目代碼 13510.4.3 實驗任務(wù)三：本地運行項目 135 步驟一：安裝Tomcat 135 步驟二：添加Tomcat運行配置 136 步驟三：啟動Tomcat項目并發(fā)布應(yīng)用 13811 實驗十：大數(shù)據(jù)運維 13911.1.1 實驗任務(wù)一：備份NameNode的元數(shù)據(jù) 140 步驟一：設(shè)置冗余地址 14011.1.2 實驗任務(wù)二：DataNode塊掃描器 140 步驟一：查看完整性 14011.1.3 實驗任務(wù)三：負(fù)載器均衡調(diào)整 140 步驟一：調(diào)整-threshold 140 步驟二：調(diào)整dfs.balance.bandwidthPerSec 14111.1.4 實驗任務(wù)四：例行停止機(jī)器 14 步驟一：停止命令 14111.1.5 實驗任務(wù)五：集群添加服務(wù)器及服務(wù)節(jié)點 14 步驟一：新服務(wù)器啟動DataNode 14 步驟二：新服務(wù)器啟動jobtracker 14311.1.6 實驗任務(wù)六：集群節(jié)點性能測試 143 步驟一：磁盤IO 14311.1.7 實驗任務(wù)七：平臺日志查看及審計 14411.1.8 實驗任務(wù)八：設(shè)置日志級別 14411.1.9 實驗任務(wù)九：清理臨時日志 14411.1.10 實驗任務(wù)十：定期執(zhí)行數(shù)據(jù)均衡腳本 14411.1.11 實驗任務(wù)十一：Namenode的高可靠性 14411.1.12 實驗任務(wù)十二：HDFSHA 14411.1.13 實驗任務(wù)十三：大數(shù)據(jù)管理平臺HA 14411.1.14 實驗任務(wù)十五：Ganglia監(jiān)控軟件 144 步驟一：中心節(jié)點的安裝 144 步驟二：被監(jiān)測節(jié)點的安裝 144 步驟三：Ganglia配置 144 步驟四：Ganglia啟動 146 步驟五：界面訪問 14611.1.15 實驗任務(wù)十六：操作系統(tǒng)調(diào)優(yōu) 146 步驟一：避免使用swap分區(qū) 146 步驟二：調(diào)整內(nèi)存分配策略 146 步驟三：修改net.core.somaxconn參數(shù) 147 步驟四：增大同時打開文件描述符的上限 147 步驟五：關(guān)閉THP 14711.1.16 實驗任務(wù)十七：JVM調(diào)優(yōu) 147 步驟一：mapred-site.xml調(diào)優(yōu) 147 步驟二：Hive調(diào)優(yōu) 14711.1.17 實驗任務(wù)十八：HDFS調(diào)優(yōu) 148 步驟一：設(shè)置dfs.replication 148 步驟二：設(shè)置dfs.block.size 148 步驟三：設(shè)置mapred.local.dir和dfs.data.dir 14811.1.18 實驗任務(wù)十九：MapReduce調(diào)優(yōu) 148 步驟一：修改Reduce個數(shù) 148 步驟二：I/O相關(guān) 148 步驟三：reuduceshuffle階段并行傳輸數(shù)據(jù)的數(shù)量 149 步驟四：一個tasktracker并發(fā)執(zhí)行的reduce數(shù) 149 步驟五：可并發(fā)處理來自tasktracker的RPC請求數(shù) 14911.1.19 實驗任務(wù)二十：Yarn調(diào)優(yōu) 149 步驟一：內(nèi)存調(diào)優(yōu) 14911.1.20 實驗任務(wù)二十一：Hive性能調(diào)優(yōu) 149 步驟一：并行執(zhí)行 149 步驟二：設(shè)置執(zhí)行引擎 150 步驟三：設(shè)置mapreduce個數(shù) 15011.1.21 實驗任務(wù)二十二：HBASE調(diào)優(yōu) 150 步驟一：垃圾回收器調(diào)優(yōu) 150 步驟二：MemStore-LocalAllocationBuffer 150

設(shè)定項目經(jīng)理及項目組成員角色項目經(jīng)理系統(tǒng)架構(gòu)師大數(shù)據(jù)工程師可視化工程師測試工程師運維工程師實驗一：運行環(huán)境安裝與配置實驗?zāi)康耐瓿杀緦嶒灒鷳?yīng)該能夠：掌握CentOS系統(tǒng)的安裝和配置掌握J(rèn)DK的安裝和配置實驗要求熟悉CentOS系統(tǒng)的安裝和基本配置熟悉常用Linux操作系統(tǒng)命令熟悉JDK的安裝和環(huán)境變量配置實驗環(huán)境本實驗所需資源環(huán)境如表1-1所示。表1-1資源環(huán)境服務(wù)器最低配置：雙核CPU、8GB內(nèi)存、100G硬盤操作系統(tǒng)CentOS-7-x86_64-Everything-1810服務(wù)和組件JDK試驗過程實驗任務(wù)一：安裝和配置CentOS操作系統(tǒng)步驟一：安裝CentOS操作系統(tǒng)本實驗采用CentOS7部署各服務(wù)器環(huán)境。選擇“InstallCentOS7”：選擇語言：設(shè)置時間：設(shè)置root帳號密碼、用戶帳號密碼及權(quán)限：等待安裝完成：完成后重啟，輸入帳號密碼進(jìn)入系統(tǒng)：步驟二：配置主機(jī)名步驟三：配置系統(tǒng)IP及網(wǎng)關(guān)步驟四：配置存儲空間步驟五：配置防火墻停止防火墻：[root@localhost~]#systemctlstopfirewalld[root@localhost~]#禁用防火墻：[root@localhost~]#systemctldisablefirewalldRemovedsymlink/etc/systemd/system/multi-user.target.wants/firewalld.service.Removedsymlink/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.[root@localhost~]#步驟六：創(chuàng)建賬號及密碼，修改賬號權(quán)限實驗任務(wù)二：安裝和配置JDK步驟一：上傳JDK安裝包通過文件上傳工具將安裝文件jdk-8u201-linux-x64.tar.gz上傳到/opt/hadoop目錄步驟二：解壓安裝JDK執(zhí)行以下命令創(chuàng)建安裝目錄：mkdir/usr/java執(zhí)行以下命令解壓JDK安裝包tar-zxf/opt/hadoop/jdk-8u201-linux-x64.tar.gz-C/usr/java執(zhí)行以下命令創(chuàng)建鏈接cd/usr/java&&ln-s/usr/java/jdk1.8.0_201/usr/java/latest步驟三：配置環(huán)境變量新增或編輯/etc/profile.d/java.sh文件，添加以下內(nèi)容：exportJAVA_HOME=/usr/java/latestexportPATH=$JAVA_HOME/bin:$PATH步驟四：激活環(huán)境變量執(zhí)行以下命令激活環(huán)境變量：source/etc/profile.d/java.sh步驟五：驗證安裝結(jié)果執(zhí)行以下命令檢查java版本信息，驗證是否安裝成功：java-version實驗二：基礎(chǔ)中間件的安裝和配置實驗?zāi)康耐瓿杀緦嶒?，您?yīng)該能夠：掌握MySQL的安裝和基本配置掌握Redis的安裝和基本配置掌握kafka的安裝和基本配置實驗要求熟悉常用Linux操作系統(tǒng)命令熟悉MySQL的安裝和基本操作熟悉Redis的安裝和基本操作熟悉kafka的安裝和基本操作實驗環(huán)境本實驗所需資源環(huán)境如下表所示：服務(wù)器最低配置：雙核CPU、8GB內(nèi)存、100G硬盤操作系統(tǒng)CentOS-7-x86_64-Everything-1810組件MySQL、redis、jdk、zookeeper、kafka、gcc及其依賴包試驗過程實驗任務(wù)一：安裝和配置MySQL步驟一：刪除系統(tǒng)自帶的MariaDB：執(zhí)行以下命令刪除系統(tǒng)自帶MariaDB：yumremovemariadb查詢已安裝的MariaDB組件：rpm-qa|grepmariadb根據(jù)查詢結(jié)果依次執(zhí)行以下命令刪除查詢到的組件：rpm-e--nodeps（查詢到的組件名）步驟二：安裝依賴的組件在線安裝net-tools：yuminstall-ynet-tools或者離線安裝net-tools，將net-tools-2.0-0.24.20131004git.el7.x86_64.rpm上傳到/opt目錄，然后執(zhí)行以下命令：rpm-Uvhnet-tools-2.0-0.24.20131004git.el7.x86_64.rpm--nodeps--force步驟三：上傳MySQL安裝包通過文件上傳工具將安裝文件mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar上傳到/opt目錄步驟四：解壓MySQL安裝包執(zhí)行以下命令解壓MySQL安裝包cd/opttar-xvfmysql-5.7.26-1.el7.x86_64.rpm-bundle.tar步驟五：安裝MySQL組件執(zhí)行以下命令安裝MySQL相關(guān)組件：rpm-ivhmysql-community-common-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-client-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-server-5.7.26-1.el7.x86_64.rpm步驟六：起停數(shù)據(jù)庫查看MySQL是否啟動：servicemysqldstatus啟動MySQL：servicemysqldstart停止MySQL：servicemysqldstop重啟MySQL：servicemysqldrestart步驟七：初始化root帳號密碼查看臨時密碼：greppassword/var/log/mysqld.log登錄數(shù)據(jù)庫：mysql-p，然后根據(jù)提示符輸入臨時密碼執(zhí)行命令修改密碼：mysql>setpassword=password("Gzdsj_1234");mysql_upgrade-uroot-pgzdsj1234步驟八：設(shè)置允許遠(yuǎn)程連接登錄MySQL，執(zhí)行以下命令：mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'Gzdsj_1234'WITHGRANTOPTION;mysql>flushprivileges;實驗任務(wù)二：簡單操作MySQL步驟一：連接數(shù)據(jù)庫[root@master2usr]#mysql-hlocalhost-P3306-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis964Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>步驟二：查看當(dāng)前登錄用戶mysql>selectcurrent_user();++|current_user()|++|root@localhost|++1rowinset(0.00sec)步驟三：查看數(shù)據(jù)庫清單mysql>showdatabases;++|Database|++|information_schema||hive||mysql||performance_schema||scrapy||sys|++6rowsinset(0.00sec)mysql>步驟四：創(chuàng)建數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫：mysql>createdatabasegzdsj;QueryOK,1rowaffected(0.00sec)mysql>查看創(chuàng)建結(jié)果：mysql>showdatabases;++|Database|++|information_schema||gzdsj||hive||mysql||performance_schema||scrapy||sys|++7rowsinset(0.00sec)mysql>步驟五：使用數(shù)據(jù)庫、查看當(dāng)前數(shù)據(jù)庫使用數(shù)據(jù)庫：mysql>usegzdsjDatabasechangedmysql>查看當(dāng)前數(shù)據(jù)庫：mysql>selectdatabase();++|database()|++|gzdsj|++1rowinset(0.00sec)mysql>步驟六：創(chuàng)建一張表mysql>createtablet_file_info(->idvarchar(128),->namevarchar(256)->);QueryOK,0rowsaffected(0.04sec)mysql>步驟七：查看數(shù)據(jù)庫的表清單mysql>showtables;++|Tables_in_gzdsj|++|t_file_info|++1rowinset(0.00sec)mysql>步驟八：查看表結(jié)構(gòu)mysql>desct_file_info;+++++++|Field|Type|Null|Key|Default|Extra|+++++++|id|varchar(128)|YES||NULL|||name|varchar(256)|YES||NULL||+++++++2rowsinset(0.01sec)mysql>步驟九：插入一條數(shù)據(jù)mysql>insertintot_file_info(id,name)values('abc','test_file');QueryOK,1rowaffected(0.00sec)mysql>步驟十：查詢表數(shù)據(jù)mysql>select*fromt_file_info;+++|id|name|+++|abc|test_file|+++1rowinset(0.00sec)mysql>實驗任務(wù)二：使用MySQL常用工具集步驟一：修改帳號密碼[root@localhostopt]#mysqladmin-uroot-poldpasswordpassword'newpassword'步驟二：檢查MySQLServer是否可用[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234pingmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.mysqldisalive[root@localhostopt]#步驟三：查詢服務(wù)器版本[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234versionmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.mysqladminVer8.42Distrib5.7.26,forLinuxonx86_64Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Serverversion 5.7.26Protocolversion 10Connection LocalhostviaUNIXsocketUNIXsocket /var/lib/mysql/mysql.sockUptime: 3hours18min10secThreads:2Questions:2848Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.239[root@localhostopt]#步驟四：檢查服務(wù)器的當(dāng)前狀態(tài)每個兩秒查看一次服務(wù)器的狀態(tài)，總共重復(fù)5次：[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234-i2-c5statusEnterpassword:Uptime:10913Threads:2Questions:2826Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.258Uptime:10915Threads:2Questions:2827Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10917Threads:2Questions:2828Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10919Threads:2Questions:2829Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10921Threads:2Questions:2830Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259[root@localhostopt]#步驟五：查看執(zhí)行的SQL語句信息[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234processlistmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.+++++++++|Id|User|Host|db|Command|Time|State|Info|+++++++++|5|root|localhost||Sleep|11810||||18|root|localhost||Query|0|starting|showprocesslist|+++++++++[root@localhostopt]#步驟六：管理數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫：[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234createdbname顯示服務(wù)器上所有數(shù)據(jù)庫：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.++|Databases|++|information_schema||gzdsj||mysql||performance_schema||sys|++[root@localhostopt]#顯示數(shù)據(jù)庫的表清單：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysqlmysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.Database:mysql++|Tables|++|columns_priv||db||engine_cost||event||func||general_log||gtid_executed||help_category||help_keyword||help_relation||help_topic||innodb_index_stats||innodb_table_stats||ndb_binlog_index||plugin||proc||procs_priv||proxies_priv||server_cost||servers||slave_master_info||slave_relay_log_info||slave_worker_info||slow_log||tables_priv||time_zone||time_zone_leap_second||time_zone_name||time_zone_transition||time_zone_transition_type||user|++[root@localhostopt]#統(tǒng)計數(shù)據(jù)庫中各表的列數(shù)和行數(shù)：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysql-v-vmysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.Database:mysql++++|Tables|Columns|TotalRows|++++|columns_priv|7|0||db|22|2||engine_cost|6|2||event|22|0||func|4|0||general_log|6|0||gtid_executed|3|0||help_category|4|41||help_keyword|2|699||help_relation|2|1413||help_topic|6|643||innodb_index_stats|8|7||innodb_table_stats|6|2||ndb_binlog_index|12|0||plugin|2|1||proc|20|48||procs_priv|8|0||proxies_priv|7|1||server_cost|4|6||servers|9|0||slave_master_info|25|0||slave_relay_log_info|9|0||slave_worker_info|13|0||slow_log|12|0||tables_priv|8|2||time_zone|2|0||time_zone_leap_second|2|0||time_zone_name|2|0||time_zone_transition|3|0||time_zone_transition_type|5|0||user|45|4|++++31rowsinset.[root@localhostopt]#步驟七：關(guān)閉MySQL服務(wù)[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234shutdown實驗任務(wù)四：備份與恢復(fù)MySQL數(shù)據(jù)庫步驟一：備份數(shù)據(jù)庫備份數(shù)據(jù)庫：[root@master2usr]#mysqldump-uroot-pGzdsj_1234gzdsj>/usr/gzdsj.sqlmysqldump:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.[root@master2usr]#查看備份文件：[root@master2usr]#moregzdsj.sql--MySQLdump10.13Distrib5.7.25,forLinux(x86_64)Host:localhostDatabase:gzdsj--Serverversion 5.7.25/*!40101SET@OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT*/;/*!40101SET@OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS*/;/*!40101SET@OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION*/;/*!40101SETNAMESutf8*/;/*!40103SET@OLD_TIME_ZONE=@@TIME_ZONE*/;/*!40103SETTIME_ZONE='+00:00'*/;/*!40014SET@OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS,UNIQUE_CHECKS=0*/;/*!40014SET@OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS,FOREIGN_KEY_CHECKS=0*/;/*!40101SET@OLD_SQL_MODE=@@SQL_MODE,SQL_MODE='NO_AUTO_VALUE_ON_ZERO'*/;/*!40111SET@OLD_SQL_NOTES=@@SQL_NOTES,SQL_NOTES=0*/;Tablestructurefortable`t_file_info`--DROPTABLEIFEXISTS`t_file_info`;/*!40101SET@saved_cs_client=@@character_set_client*/;/*!40101SETcharacter_set_client=utf8*/;CREATETABLE`t_file_info`(`id`varchar(128)DEFAULTNULL,`name`varchar(256)DEFAULTNULL)ENGINE=InnoDBDEFAULTCHARSET=latin1;/*!40101SETcharacter_set_client=@saved_cs_client*/;Dumpingdatafortable`t_file_info`--LOCKTABLES`t_file_info`WRITE;/*!40000ALTERTABLE`t_file_info`DISABLEKEYS*/;INSERTINTO`t_file_info`VALUES('abc','test_file');/*!40000ALTERTABLE`t_file_info`ENABLEKEYS*/;UNLOCKTABLES;/*!40103SETTIME_ZONE=@OLD_TIME_ZONE*/;/*!40101SETSQL_MODE=@OLD_SQL_MODE*/;/*!40014SETFOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS*/;/*!40014SETUNIQUE_CHECKS=@OLD_UNIQUE_CHECKS*/;/*!40101SETCHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT*/;/*!40101SETCHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS*/;/*!40101SETCOLLATION_CONNECTION=@OLD_COLLATION_CONNECTION*/;/*!40111SETSQL_NOTES=@OLD_SQL_NOTES*/;--Dumpcompletedon2019-03-0311:49:12[root@master2usr]#步驟二：重建數(shù)據(jù)庫登錄數(shù)據(jù)庫：[root@master2usr]#mysql-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis969Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>刪除并重建數(shù)據(jù)庫：mysql>dropdatabasegzdsj;QueryOK,1rowaffected(0.01sec)mysql>showdatabases;++|Database|++|information_schema||hive||mysql||performance_schema||scrapy||sys|++6rowsinset(0.00sec)mysql>createdatabasegzdsj;QueryOK,1rowaffected(0.00sec)mysql>檢查數(shù)據(jù)庫為空并退出：mysql>usegzdsj;Databasechangedmysql>showtables;Emptyset(0.00sec)mysql>quitBye[root@master2usr]#步驟三：從備份文件恢復(fù)數(shù)據(jù)庫恢復(fù)數(shù)據(jù)庫：[root@master2usr]#mysql-uroot-pGzdsj_1234gzdsj<gzdsj.sqlmysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.[root@master2usr]#檢查恢復(fù)結(jié)果：[root@master2usr]#mysql-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis971Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>usegzdsj;ReadingtableinformationforcompletionoftableandcolumnnamesYoucanturnoffthisfeaturetogetaquickerstartupwith-ADatabasechangedmysql>showtables;++|Tables_in_gzdsj|++|t_file_info|++1rowinset(0.00sec)mysql>select*fromt_file_info;+++|id|name|+++|abc|test_file|+++1rowinset(0.01sec)mysql>實驗任務(wù)五：安裝和配置Redis步驟一：上傳gcc安裝包通過文件上傳工具將gcc離線安裝文件gcc.tar.gz上傳到/opt目錄步驟二：解壓gcc安裝包[root@localhostmysql]#cd/opt[root@localhostopt]#tar-zxvfgcc.tar.gz-C./gcc/gcc/cpp-4.8.5-36.el7.x86_64.rpmgcc/gcc-4.8.5-36.el7.x86_64.rpmgcc/gcc-c++-4.8.5-36.el7.x86_64.rpmgcc/glibc-2.17-222.el7.x86_64.rpmgcc/glibc-common-2.17-222.el7.x86_64.rpmgcc/glibc-devel-2.17-222.el7.x86_64.rpmgcc/glibc-headers-2.17-222.el7.x86_64.rpmgcc/kernel-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-devel-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-headers-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-tools-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-tools-libs-3.10.0-862.11.6.el7.x86_64.rpmgcc/kexec-tools-2.0.15-13.el7.x86_64.rpmgcc/libgcc-4.8.5-36.el7.x86_64.rpmgcc/libgomp-4.8.5-36.el7.x86_64.rpmgcc/libmpc-1.0.1-3.el7.x86_64.rpmgcc/libstdc++-4.8.5-36.el7.x86_64.rpmgcc/libstdc++-devel-4.8.5-36.el7.x86_64.rpmgcc/mpfr-3.1.1-4.el7.x86_64.rpm[root@localhostopt]#步驟三：RPM離線安裝gcc以及依賴的包：[root@localhostopt]#cdgcc[root@localhostgcc]#rpm-Uvh*.rpm--nodeps--forcePreparing...#################################[100%]Updating/installing...1:libgcc-4.8.5-36.el7#################################[3%]2:glibc-common-2.17-222.el7#################################[7%]3:glibc-2.17-222.el7#################################[10%]4:mpfr-3.1.1-4.el7#################################[14%]5:libmpc-1.0.1-3.el7#################################[17%]6:libstdc++-4.8.5-36.el7#################################[21%]7:libstdc++-devel-4.8.5-36.el7#################################[24%]8:cpp-4.8.5-36.el7#################################[28%]9:kernel-tools-libs-3.10.0-862.11.6#################################[31%]10:libgomp-4.8.5-36.el7#################################[34%]11:kernel-headers-3.10.0-862.11.6.el#################################[38%]12:glibc-headers-2.17-222.el7#################################[41%]13:glibc-devel-2.17-222.el7#################################[45%]14:gcc-4.8.5-36.el7#################################[48%]15:gcc-c++-4.8.5-36.el7#################################[52%]16:kernel-tools-3.10.0-862.11.6.el7#################################[55%]17:kexec-tools-2.0.15-13.el7#################################[59%]18:kernel-devel-3.10.0-862.11.6.el7#################################[62%]19:kernel-3.10.0-862.11.6.el7#################################[66%]Cleaningup/removing...20:kernel-3.10.0-957.12.2.el7#################################[69%]21:kernel-3.10.0-957.el7#################################[72%]22:kernel-tools-3.10.0-957.12.2.el7#################################[76%]23:libstdc++-4.8.5-36.el7_6.2#################################[79%]24:kernel-tools-libs-3.10.0-957.12.2#################################[83%]25:libgomp-4.8.5-36.el7_6.2#################################[86%]26:kexec-tools-2.0.15-21.el7_6.3#################################[90%]27:glibc-common-2.17-260.el7_6.5#################################[93%]28:glibc-2.17-260.el7_6.5#################################[97%]29:libgcc-4.8.5-36.el7_6.2#################################[100%][root@localhostgcc]#步驟四：上傳redis安裝包通過文件上傳工具將安裝文件redis-5.0.3.tar.gz上傳到/opt目錄步驟五：解壓安裝包并移動到redis目錄執(zhí)行以下命令解壓JDK安裝包：tar-zxvf/opt/redis-5.0.3.tar.gz-C/usr/local執(zhí)行以下命令移動到redis目錄：cd/usr/local/mvredis-5.0.3redis步驟四：編譯安裝redis進(jìn)入redis解壓目錄：cd/usr/local/redis執(zhí)行以下命令編譯redis：makeMALLOC=libc執(zhí)行以下命令安裝redis：cdsrcmakeinstallPREFIX=/usr/local/redis步驟五：修改redis配置將配置文件移動到etc目錄mkdir/usr/local/redis/etcmv/usr/local/redis/redis.conf/usr/local/redis/etc/redis.conf修改配置文件，以守護(hù)縣城的形式運行：vi/usr/local/redis/etc/redis.conf將bind注釋掉，表示允許通過所有接口地址訪問將文件中的daemonize改為yes，表示允許在后臺運行將文件中requirepass配置開始，并將后面的字符串設(shè)置為需要設(shè)置的密碼，這里我們設(shè)置衛(wèi)gzdsj1234步驟六：啟動redis執(zhí)行以下命令啟動redis：/usr/local/redis/bin/redis-server/usr/local/redis/etc/redis.conf實驗任務(wù)六：使用Redis步驟一：使用redis-cli連接redis執(zhí)行以下命令連接redis：/usr/local/redis/bin/redis-cli連接之后出現(xiàn)以下提示符，輸入認(rèn)證信息登錄redis：:6379>authgzdsj1234OK步驟二：簡單使用redis數(shù)據(jù)結(jié)構(gòu)設(shè)置key的value：:6379>setkey1value1OK獲取key的value：:6379>getkey1"value1"刪除key：:6379>delkey1(integer)1從List左邊添加一個或多個元素：:6379>lpushlistkey1value1value2(integer)2從List左邊出隊一個元素：:6379>lpoplistkey1"value2"設(shè)置hash里面的一個字段值：:6379>hsethashkey1subkey1value1(integer)1獲取hash里面字段值：:6379>hgethashkey1subkey1"value1"添加一個或多個元素到集合：:6379>saddsetkey1value1value2(integer)2獲取集合的所有元素：:6379>smemberssetkey11)"value1"2)"value2"從集合刪除一個或多個元素：:6379>sremsetkey1value1(integer)1實驗任務(wù)七：維護(hù)Redis步驟一：簡單配置Redis配置文件路徑為：/usr/local/redis/etc/redis.conf基本配置說明：bind#綁定一個外部訪問的地址，如果注釋掉則綁定所有地址protected-modeyes#是否開啟保護(hù)模式port6379#端口號daemonizeyes#是否以daemon的方式運行requirepassgzdsj1234#需要密碼訪問appendonlyno#是否開啟AOF持久化模式appendfilename"appendonly.aof"#AOF存儲文件名步驟二：使用命令維護(hù)redis查看服務(wù)器信息：:6379>info#Serverredis_version:5.0.3redis_git_sha1:00000000redis_git_dirty:0redis_bui