GBase 8A MPP Cluster 產(chǎn)品培訓(xùn)-日常維護(hù)

1、GBASE版權(quán)所有版權(quán)所有2004-2013GBase 8a MPP Cluster 日常維護(hù)維護(hù)管理規(guī)范介紹維護(hù)管理規(guī)范介紹目錄2一數(shù)據(jù)庫日常維護(hù)數(shù)據(jù)庫日常維護(hù)二問題解答問題解答三維護(hù)管理規(guī)范介紹維護(hù)管理規(guī)范介紹目錄3一數(shù)據(jù)庫日常維護(hù)數(shù)據(jù)庫日常維護(hù)二問題解答問題解答三 檢查集群狀態(tài) 查詢磁盤空間 監(jiān)控內(nèi)存使用情況 帳號(hào)、權(quán)限管理 系統(tǒng)日志查看日常維護(hù)4集群狀態(tài)集群狀態(tài) 使用gcadmin命令查看正常的集群狀態(tài)（命令行方式） 上圖為正常的集群狀態(tài)和節(jié)點(diǎn)狀態(tài)。 當(dāng)集群/節(jié)點(diǎn)某個(gè)狀態(tài)不正常時(shí)，相應(yīng)文字會(huì)閃爍。5集群狀態(tài)集群狀態(tài) 集群的工作狀態(tài)分為: ACTIVED 狀態(tài)：當(dāng)前集群中Online 的

2、節(jié)點(diǎn)個(gè)數(shù)大于1/2 時(shí)，集群總的狀態(tài)為ACTIVED 狀態(tài)。 LOCKED 狀態(tài)：當(dāng)前集群中Online 的節(jié)點(diǎn)個(gè)數(shù)小于等于1/2 時(shí)，集群總的狀態(tài)為 LOCKED 狀態(tài)。集群不再執(zhí)行SQL操作。 集群的模式分為: normal ：正常，能執(zhí)行所有SQL操作 readonly：只讀，只能執(zhí)行查詢SQL，用于數(shù)據(jù)備份操作。 recovery：恢復(fù)，不能進(jìn)行任何SQL操作，用于數(shù)據(jù)恢復(fù)操作。6節(jié)點(diǎn)節(jié)點(diǎn)狀態(tài)狀態(tài) 節(jié)點(diǎn)的工作狀態(tài)分為: Online 狀態(tài)：節(jié)點(diǎn)為正常狀態(tài) 。 Offline 狀態(tài)：則表示節(jié)點(diǎn)斷線或者集群 gcware 服務(wù)未啟動(dòng)。 各模組進(jìn)程的工作狀態(tài)分為: Open 狀態(tài)：該模組進(jìn)程

3、為正常狀態(tài) 。 Close 狀態(tài)：則表示該模組進(jìn)程啟動(dòng)失敗或消失。 datastate 數(shù)據(jù)的一致性狀態(tài)分為: 0：該節(jié)點(diǎn)數(shù)據(jù)一致性正常。 1 ：該節(jié)點(diǎn)數(shù)據(jù)一致性已不正常。 nodestate 節(jié)點(diǎn)的一致性狀態(tài)分為: 0：該節(jié)點(diǎn)正常。 1 ：該節(jié)點(diǎn)不正常（長期故障）。7模組進(jìn)程故障排除模組進(jìn)程故障排除 節(jié)點(diǎn)的工作狀態(tài)為Offline 狀態(tài) 排查是否掉電、斷網(wǎng)等硬件、網(wǎng)絡(luò)問題。 重新啟動(dòng)該節(jié)點(diǎn)的gcware服務(wù)。service gcware start 整體集群重啟操作172.17.254.101節(jié)點(diǎn)root用戶Cexecs service gcware restart 查看gcware日志分析

4、原因。vi /var/log/corosync.log 查找lost的記錄8模組進(jìn)程模組進(jìn)程closeclose狀態(tài)故障排除狀態(tài)故障排除 節(jié)點(diǎn)服務(wù)啟動(dòng)后，正常有以下模組進(jìn)程啟動(dòng)： gcluster進(jìn)程名：gclusterd gnode進(jìn)程名：gbased gcsync同步進(jìn)程名：gc_sync_server gcware進(jìn)程名：corosync 監(jiān)控工具：monit 元數(shù)據(jù)恢復(fù)工具：gcmetarecover 數(shù)據(jù)恢復(fù)工具：gcdatarecover 檢查進(jìn)程是否正常命令ps ef |grep 進(jìn)程名 如果有進(jìn)程不存在，需重新啟動(dòng)該節(jié)點(diǎn)gcware服務(wù)service gcware restar

5、t(service gcware restart 會(huì)啟動(dòng)所有模組進(jìn)程，需使用root帳號(hào)啟動(dòng)服務(wù))9模組進(jìn)程模組進(jìn)程closeclose狀態(tài)故障排除狀態(tài)故障排除 查看模組進(jìn)程狀態(tài)命令：service 進(jìn)程名 status 單獨(dú)啟動(dòng)/停止各模組進(jìn)程命令如下：(需使用root帳號(hào)啟動(dòng)服務(wù)) gcluster進(jìn)程啟停命令： service gclusterd start/stop gnode進(jìn)程啟停命令： service gbased start/stop gcsync同步進(jìn)程啟停命令： service gcsync start/stop gcware進(jìn)程啟停命令： service corosync

6、 start/stop monit監(jiān)控工具啟停命令： service monit start/stop 元數(shù)據(jù)恢復(fù)工具啟停命令： service gcmetarecover start/stop 數(shù)據(jù)恢復(fù)工具啟停命令： service gcdatarecover start/stop10數(shù)據(jù)恢復(fù)數(shù)據(jù)恢復(fù)datastate狀態(tài)為狀態(tài)為1 1的的故障排除故障排除 當(dāng)某個(gè)節(jié)點(diǎn)執(zhí)行命令失敗后，數(shù)據(jù)恢復(fù)工具可監(jiān)控到錯(cuò)誤日志，然后調(diào)用同步工具，自動(dòng)修復(fù)節(jié)點(diǎn)數(shù)據(jù)不一致的情況，確保各節(jié)點(diǎn)數(shù)據(jù)的一致性。數(shù)據(jù)恢復(fù)數(shù)據(jù)恢復(fù)datastate狀態(tài)為狀態(tài)為1 1的故障排除的故障排除 說明：1.同步工具是將safegro

7、up組另一個(gè)好的節(jié)點(diǎn)上的數(shù)據(jù)拷貝到locked節(jié)點(diǎn)上。2.適用于節(jié)點(diǎn)出現(xiàn)offline狀態(tài)，故障恢復(fù)后需數(shù)據(jù)恢復(fù)。3.執(zhí)行加載、DDL&DML語句導(dǎo)致數(shù)據(jù)狀態(tài)不一致時(shí)，Lock節(jié)點(diǎn)發(fā)起自動(dòng)恢復(fù)。4.集群支持自動(dòng)恢復(fù)方式，恢復(fù)時(shí)先恢復(fù)ddl操作，然后恢復(fù)dml操作。DDLDDL自動(dòng)恢復(fù)自動(dòng)恢復(fù)datastate狀態(tài)為狀態(tài)為1 1的的故障排除故障排除 DDL自動(dòng)恢復(fù)實(shí)現(xiàn)過程：1.如果有節(jié)點(diǎn)執(zhí)行DDL操作失敗，gcware會(huì)把失敗記錄寫入到ddlevent日志；2.Gcmetarecover恢復(fù)進(jìn)程定時(shí)的從gcware檢索ddlevent日志；3.發(fā)現(xiàn)有錯(cuò)誤信息，則會(huì)將表上鎖；4.重新執(zhí)行DDL操作

8、；5.執(zhí)行成功后，清除錯(cuò)誤日志記錄；6.解除表鎖。數(shù)據(jù)自動(dòng)恢復(fù)數(shù)據(jù)自動(dòng)恢復(fù)datastate狀態(tài)為狀態(tài)為1 1的故障排除的故障排除 數(shù)據(jù)自動(dòng)恢復(fù)實(shí)現(xiàn)過程：1.如果有節(jié)點(diǎn)執(zhí)行dml/loader操作失敗，gcware會(huì)把失敗記錄寫入到dmlevent日志；2.Gcdatarecover恢復(fù)進(jìn)程定時(shí)的從gcware檢索dmlevent日志；3.發(fā)現(xiàn)有錯(cuò)誤信息，則會(huì)將表上鎖；4.進(jìn)行數(shù)據(jù)恢復(fù)，自動(dòng)調(diào)用同步工具，將同組中另一個(gè)好的節(jié)點(diǎn)上的表的副本分片數(shù)據(jù)（非整個(gè)表分片數(shù)據(jù)）拷貝過來；5.同步成功后，清除錯(cuò)誤日志記錄；6.解除表鎖。節(jié)點(diǎn)故障排除 當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，短時(shí)間無法修復(fù)，需設(shè)置節(jié)點(diǎn)狀態(tài)fai

9、luregcadmin setnodestate nodeip 192.168.12.53 failure 當(dāng)故障修復(fù)完畢，則將節(jié)點(diǎn)狀態(tài)設(shè)置為normalgcadmin setnodestate nodeip 192.168.12.53 normal 數(shù)據(jù)會(huì)自動(dòng)恢復(fù)。1515集群命令行集群命令行g(shù)cadmingcadmin管理工具管理工具 命令行工具gcadmin可以為管理員提供管理集群的操作，包括：添加SafeGroup、查看集群狀態(tài)、切換集群狀態(tài)、查詢集群表鎖等常用功能。 主要功能：gcadmin -help 列出所有命令gcadmin addsg -nodes -names name1,

10、name2 增加組gcadmin removesg 移除組（有數(shù)據(jù)時(shí)慎用）gcadmin showcluster 查看集群信息gcadmin switchmode normal|readonly|recovery 切換集群模式gcadmin showlock 查看集群鎖（表級(jí)）gcadmin setnodestate normal|failure節(jié)點(diǎn)出現(xiàn)故障時(shí)，設(shè)置節(jié)點(diǎn)狀態(tài)為failure，修好以后，設(shè)置節(jié)點(diǎn)狀態(tài)為normal16gcadmin切換集群模式 集群模式集群模式分為：normal ：正常，能執(zhí)行所有SQL操作readonly：只讀，只能執(zhí)行查詢SQL，用于數(shù)據(jù)備份操作。recove

11、ry：恢復(fù)，不能進(jìn)行任何SQL操作，用于數(shù)據(jù)恢復(fù)操作。 舉例：備份之前設(shè)置集群模式為readonly。gcadmin switchmode readonly備份結(jié)束之后，將集群模式設(shè)置為normalgcadmin switchmode normal1717gcadmin查看集群鎖 查看集群鎖 命令: gcadmin showlock 功能：查看目前集群中的表級(jí)鎖。 示例： Table name：鎖加在哪個(gè)表上 Owner: 哪個(gè)節(jié)點(diǎn)加的這把鎖 Content: 鎖的備注 Create time: 鎖的創(chuàng)建時(shí)間(以加鎖的節(jié)點(diǎn)的時(shí)間為準(zhǔn)) Orphan: 是否是孤兒鎖。 Type: 鎖的類型，S:

12、 共享鎖 E: 獨(dú)占鎖18gcadmin查看集群鎖 查看集群鎖 gcadmin showlock19檢查內(nèi)存使用率 使用top（LINUX）, nmon（/opt/gnode/server/bin/目錄下)等工具進(jìn)行監(jiān)控 /opt/gnode/server/bin/nmon20檢查磁盤空間使用情況檢查磁盤空間使用情況 使用 df h 命令 查看磁盤的使用率和剩余空間 如果空間快滿，需考慮是否增加磁盤或者集群擴(kuò)容。rootTEST10138 # df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup00-LogVol

13、00 209G 113G 86G 57% /dev/sda6 92M 24M 64M 27% /boottmpfs 2.0G 0 2.0G 0% /dev/shm21連接集群連接集群數(shù)據(jù)庫幾種方法數(shù)據(jù)庫幾種方法 通過通過GBaseGBase Shell Shell方式連接集群（命令行方式）方式連接集群（命令行方式）$ gccli -ugbase -pgbase20110531 h172.17.254.106(101-108,111-118) -P5258$ /opt/gcluster/server/bin/gbase -ugbase -pgbase20110531 -P5258 批處理批處理S

14、QLSQL文件文件$ gccli -ugbase -pgbase20110531 -Dtest -vvv -f sql/result.txt 2 sql/result.err 企業(yè)管理器可連接（企業(yè)管理器可連接（windowswindows下的圖形化客戶端）下的圖形化客戶端） 應(yīng)用程序訪問應(yīng)用程序訪問22實(shí)用實(shí)用SQLSQL語句語句- -帳號(hào)帳號(hào)管理管理 創(chuàng)建用戶：CREATE USER admin IDENTIFIED BY 123456; admin是新用戶名，123456是密碼 刪除用戶DROP USER admin; 修改用戶名RENAME USER old_user TO new_u

15、ser 設(shè)置/修改密碼SET PASSWORD = PASSWORD(adminnew);SET PASSWORD FOR admin1 = PASSWORD(admin); 查詢用戶：SELECT TRIM(host) host, TRIM(user) user,password FROM gbase.user;用戶管理23實(shí)用實(shí)用SQLSQL語句語句- -帳號(hào)帳號(hào)管理管理 GRANT 和REVOKE 語句允許系統(tǒng)管理員創(chuàng)建8a 集群用戶帳號(hào)，并處理用戶權(quán)限的賦予與收回。 授權(quán)語法：GRANT ALL ON TEST.* TO admin WITH MAX_QUERIES_PER_HOUR

16、20MAX_UPDATES_PER_HOUR 10 MAX_CONNECTIONS_PER_HOUR 5MAX_USER_CONNECTIONS 2 ;MAX_QUERIES_PER_HOUR：每節(jié)點(diǎn)上限制每用戶每小時(shí)發(fā)出的查詢數(shù)MAX_UPDATES_PER_HOUR：每節(jié)點(diǎn)上限制每用戶每小時(shí)發(fā)出的更新數(shù)MAX_CONNECTIONS_PER_HOUR：每節(jié)點(diǎn)上限制每用戶每小時(shí)可連接服務(wù)器的次數(shù)MAX_USER_CONNECTIONS：每節(jié)點(diǎn)上限制每用戶可同時(shí)連接的最大連接數(shù)。24實(shí)用實(shí)用SQLSQL語句語句- -帳號(hào)帳號(hào)管理管理權(quán)限列表權(quán) 限意 義ALL PRIVILEGES設(shè)置除GRAN

17、T OPTION之外的所有簡單權(quán)限ALTER允許使用ALTER TABLEALTER ROUTINE更改或取消已存儲(chǔ)的子程序CREATE允許使用CREATE TABLECREATE ROUTINE創(chuàng)建已存儲(chǔ)的子程序CREATE TEMPORARY TABLES允許使用CREATE TEMPORARY TABLECREATE USER允許使用CREATE USER, DROP USER, RENAME USER和REVOKE ALL PRIVILEGES。CREATE VIEW允許使用CREATE VIEWDELETE允許使用DELETEDROP允許使用DROP TABLEEXECUTE允許用戶

18、運(yùn)行已存儲(chǔ)的子程序FILE允許使用SELECT.FROM TABLE_NAME INTO OUTFILE等INDEX允許使用CREATE INDEX和DROP INDEXINSERT允許使用INSERTPROCESS允許使用SHOW FULL PROCESSLISTREFERENCES未被實(shí)施SELECT允許使用SELECTSHOW DATABASESSHOW DATABASES顯示所有數(shù)據(jù)庫SHOW VIEW允許使用SHOW CREATE VIEWSHUTDOWN允許使用gbaseadmin shutdownUPDATE允許使用UPDATEGRANT OPTION允許授予權(quán)限25實(shí)用實(shí)用SQ

19、LSQL語句語句- -帳號(hào)帳號(hào)管理管理 查看用戶授權(quán)的語句SHOW GRANTS FOR user ; 收回語法：REVOKE ALL PRIVILEGES, GRANT OPTION FROM user;收回權(quán)限管理26查看服務(wù)器運(yùn)行語句查看服務(wù)器運(yùn)行語句 查看本節(jié)點(diǎn)正在運(yùn)行的線程（SQL語句)：SHOW FULL PROCESSLIST; -如果有SUPER 權(quán)限，可以看到所有線程。 顯示8a集群的系統(tǒng)變量的值：SHOW GLOBAL | SESSION VARIABLES LIKE pattern; 舉例：顯示集群壓縮相關(guān)的系統(tǒng)變量的值SHOW VARIABLES LIKE %compr

20、ess%;27查看服務(wù)器運(yùn)行語句查看服務(wù)器運(yùn)行語句 顯示警告或錯(cuò)誤信息：SHOW WARNINGS; - 顯示由最后一個(gè)語句產(chǎn)生的錯(cuò)誤，警告和注意信息。SHOW ERRORS; - 顯示由最后一個(gè)語句產(chǎn)生的錯(cuò)誤信息。 顯示集群中節(jié)點(diǎn)信息：SHOW NODES; -如果有SUPER 權(quán)限，可以看到所有節(jié)點(diǎn)信息。SHOW LOCAL NODE; - 顯示集群中客戶端正在訪問節(jié)點(diǎn)的信息。28查詢數(shù)據(jù)庫信息查詢數(shù)據(jù)庫信息show databases; -查看系統(tǒng)中數(shù)據(jù)庫名的語句（根據(jù)權(quán)限顯示）use db_name; -數(shù)據(jù)庫作為以后查詢的缺省數(shù)據(jù)庫。show tables; -列出給定數(shù)據(jù)庫的所有非臨時(shí)表desc test.t; -查看test庫t表的列信息show index from test.t; -查看test庫t表的索引信息29查詢創(chuàng)建數(shù)據(jù)的信息查詢創(chuàng)建數(shù)據(jù)的信息SHOW CREATE DATABASE test; -查看test的