數(shù)據(jù)庫運維流程20150721

1、數(shù)據(jù)庫運維流程工作流標(biāo)準文件修訂記錄表日期作者修訂類型修訂內(nèi)容版本2015.7.20新增制定本方案1.0目錄 TOC o 1-5 h z 數(shù)據(jù)庫運維流程1工作流標(biāo)準1 HYPERLINK l bookmark5 o Current Document 目錄2 HYPERLINK l bookmark8 o Current Document 服務(wù)器配置標(biāo)準2 HYPERLINK l bookmark11 o Current Document 安裝標(biāo)準3 HYPERLINK l bookmark14 o Current Document 監(jiān)控標(biāo)準3 HYPERLINK l bookmark20 o

2、Current Document 業(yè)務(wù)保障標(biāo)準4 HYPERLINK l bookmark23 o Current Document 慢查詢標(biāo)準4 HYPERLINK l bookmark26 o Current Document 配合開發(fā)評估SQL標(biāo)準4 HYPERLINK l bookmark85 o Current Document 故障處理流程和故障報告標(biāo)準5 HYPERLINK l bookmark104 o Current Document 備份數(shù)據(jù)庫標(biāo)準6 HYPERLINK l bookmark112 o Current Document 數(shù)據(jù)批量處理流程標(biāo)準7 HYPERLI

3、NK l bookmark118 o Current Document 災(zāi)備、高可用標(biāo)準7 HYPERLINK l bookmark127 o Current Document 數(shù)據(jù)庫訪問權(quán)限管理標(biāo)準8服務(wù)器配置標(biāo)準根據(jù)DBA提出的需求來采購、安裝、配置數(shù)據(jù)庫服務(wù)器，硬件標(biāo)準如下：2U機架式；CPU型號INTEL Xeon系列2.4GHz或以上；數(shù)量2顆;內(nèi)存32GB或64GB；硬盤 600GB*6 塊 10KB SAS 硬盤，RAID 10；如果IO存在瓶頸，可以配置PCIe SSD固態(tài)硬盤；軟件標(biāo)準如下：CentOS release 6.6 (Final) 2.6.32 x86_64 GN

4、U/Linux安裝標(biāo)準用戶名稱Oracle數(shù)據(jù)庫用戶為：oracleMysql數(shù)據(jù)庫用戶為：mysql安裝位置：Oracle 軟件：/oracle/product/11.2.0/db_1Oracle 數(shù)據(jù)：/oracleMysql 軟件：/data/womai/mysqlMysql 數(shù)據(jù)：/data內(nèi)存使用（32GB）Oracle SGA 使用 20GBOracle PGA 使用 3GBMysql buffer_pool 使用 20GBMysql key_buffer 使用 512MB監(jiān)控標(biāo)準系統(tǒng)自動收集數(shù)據(jù)庫中告警日志中的錯誤信息，以郵件形式發(fā)送至郵箱，數(shù)據(jù)庫管理員需 每日查看該郵件，并及時

5、處理。每日查看Nagios數(shù)據(jù)庫告警信息。當(dāng)手機信息、郵件收到Nagios告警信息時，需第一時間告知領(lǐng)導(dǎo)和相關(guān)項目人員，并及 時進行處理。具體監(jiān)控項目如下：Check current users logged in；Check load average;Check disk;Check processes;Check net bps;Check cpu utilization;Check memory;Check swap;Check iostat;Check tcp stats;Check ssh login;Check database portCheck database Uptime;

6、Threads;Opens;locksCheck database sessions;業(yè)務(wù)保障標(biāo)準根據(jù)業(yè)務(wù)優(yōu)先級劃分如下：一類業(yè)務(wù)：網(wǎng)站、手機。建議在五分鐘內(nèi)恢復(fù)業(yè)務(wù)；二類業(yè)務(wù)：CC。建議數(shù)據(jù)庫故障不要影響接電話，并在十五分鐘內(nèi)恢復(fù)業(yè)務(wù);三類業(yè)務(wù)：WMS。建議在十五分鐘內(nèi)恢復(fù)業(yè)務(wù)；四類業(yè)務(wù)：其他業(yè)務(wù)建議在六十分鐘內(nèi)恢復(fù)業(yè)務(wù)；慢查詢標(biāo)準Oracle部分慢查詢定義，抓取每個類別的top 3,然后進行優(yōu)化。SQL ordered by Elapsed TimeSQL ordered by CPU TimeSQL ordered by ExecutionsSQL ordered by Parse Ca

7、llsMysql部分慢查詢定義，抓取每個類別的top 3,然后進行優(yōu)化。SQL ordered by Record CountSQL ordered by Elapsed TimeSQL ordered by Lock TimeSQL ordered by Fetch Back配合開發(fā)評估SQL標(biāo)準(1) sql語句盡可能簡單大的sql想辦法拆成小的sql語句(充分利用QUERY CACHE和充分利用多核CPU)事務(wù)要簡單，整個事務(wù)的時間長度不要太長避免使用觸發(fā)器、函數(shù)、存儲過程 降低業(yè)務(wù)耦合度，為sacle out、sharding留有余地避免在數(shù)據(jù)庫中進行數(shù)學(xué)運算(MySQL不擅長數(shù)學(xué)運算

8、和邏輯判斷) 不要用select *，查詢哪幾個字段就select這幾個字段sql中使用到OR的改寫為用IN()(or的效率沒有in的效率高)in里面數(shù)字的個數(shù)建議控制在1000以內(nèi)limit分頁注意效率。Limit越大，效率越低。可以改寫limit，比如例子改寫：select id from tlimit 10000, 10; = select id from t where id 10000 limit10;使用 union all 替代 union避免使?大表的JOIN使用group by分組、自動排序?qū)?shù)據(jù)的更新要打散后批量更新，不要一次更新太多數(shù)據(jù)減少與數(shù)據(jù)庫的交互次數(shù)注意使用性能分

9、析工具Sql explain / showprofile / mysqlslaSQL語句要求所有研發(fā)，SQL關(guān)鍵字全部是大寫，每個詞只允許有一個空格SQL語句不可以出現(xiàn)隱式轉(zhuǎn)換，比如select id from表where id=1IN條件里面的數(shù)據(jù)數(shù)量要少，我記得應(yīng)該是500個以內(nèi)，要學(xué)會使用exist代替in，exist 在一些場景查詢會比in快能不用NOT IN就不用NOTIN，坑太多了。會把空和NULL給查出來在SQL語句中，禁止使用前綴是的like不使用負向查詢，如not in/like關(guān)于分頁查詢：程序里建議合理使用分頁來提高效率limit，offset較大要配合子查詢使 用禁止在

10、數(shù)據(jù)庫中跑大查詢使用預(yù)編譯語句，只傳參數(shù)，比傳遞SQL語句更高效；一次解析，多次使用；降低SQL 注入概率禁止使用 order by rand()禁止單條SQL語句同時更新多個表故障處理流程和故障報告標(biāo)準數(shù)據(jù)庫負責(zé)人職責(zé)梳理：1、數(shù)據(jù)庫出現(xiàn)故障后，由相關(guān)責(zé)任人進行處理。2、第一責(zé)任人負責(zé)準備切換文檔，并登錄遠程服務(wù)器，執(zhí)行切換任務(wù);3、第二責(zé)任人登錄遠程管理卡，檢查硬件和服務(wù)器的狀態(tài)，記錄或截圖后重啟服務(wù)器，并 配合第一責(zé)任人切換。數(shù)據(jù)庫切換流程梳理：1、收到告警，登錄后發(fā)現(xiàn)數(shù)據(jù)庫故障，且影響業(yè)務(wù)?；蛘邿o法登錄主機，無法登錄遠程管 理卡，或發(fā)現(xiàn)遠程管理卡有故障日志導(dǎo)致服務(wù)器故障?？傊畼I(yè)務(wù)停掉了

11、。2、第一時間通知宋經(jīng)理和項目人員3、數(shù)據(jù)庫主機無法恢復(fù)后，向宋哥確認切換主機4、登陸備機機開始切換(根據(jù)實際情況，首選switchover)附件為CC (oracle)項目和CMS (mysql)項目的切換文檔。同CC_10.5.1.71_00000_zlwmw_CC 切換MCMS_10.6.14.176_10014 _手機商城切撰寫故障報告，每月為一個文檔，文檔名稱為數(shù)據(jù)庫組故障報告表YYYYMM.xlsx。打 開故障文檔，首頁為索引，記錄每次故障的編號，所屬項目，狀態(tài)，時間，相關(guān)人員。后面 每個表單記錄一次具體故障，這里會詳細記錄故障表現(xiàn)和處理方法等。附件為2015年4月的故障報告。數(shù)據(jù)

12、庫組故障報告表201504.xlsx備份數(shù)據(jù)庫標(biāo)準每周一至周六進行增量備份，周日進行全量備份。備份統(tǒng)一由遠程備份至備份存儲機器。備份由凌晨十二點開始，分項目分時段備份，不得重疊備份。備份集需保留2周數(shù)據(jù)。兩周后由腳本自動刪除。每季度將數(shù)據(jù)保存至移動存儲介質(zhì)做永久保存。數(shù)據(jù)批量處理流程標(biāo)準大批量操作（增、刪、改）數(shù)據(jù)流程：為避免數(shù)據(jù)庫大批量操作數(shù)據(jù)時產(chǎn)生長時間的鎖、等待、數(shù)據(jù)不一致、數(shù)據(jù)庫壓力太大、 數(shù)據(jù)庫容災(zāi)備庫日志恢復(fù)緩慢等現(xiàn)象，特制訂本流程望各位遵守。所有大批量操作數(shù)據(jù)時，需要提前告知數(shù)據(jù)庫管理員， 數(shù)據(jù)庫管理員會同時間跟蹤該數(shù)據(jù)庫及災(zāi)備數(shù)據(jù)庫狀況。在刪除操作時，為減小對線上生產(chǎn)造成的壓力

13、，刪除工作時間段盡量選擇在夜里業(yè)務(wù)清閑 時做（可執(zhí)行數(shù)據(jù)庫job）。刪除大批量數(shù)據(jù)時，需將大事務(wù)縮減為小事務(wù)，分批提交，每1000條提交一次。減少對 數(shù)據(jù)庫的壓力。DECLARECURSOR MYCURSOR IS SELECT ROWID FROM table_name WHERE xxx = xxx ORDER BY ROWID; 按 ROWID 排序的 CURSOR，刪除條件是 XXX=XXXX，根據(jù)實際情況寫TYPE ROWID_TABLE_TYPE IS TABLE OF ROWID INDEX BY PLS_INTEGER;V_ROWID ROWID_TABLE_TYPE;BEGI

14、NOPEN MYCURSOR;LOOPFETCH MYCURSOR BULK COLLECT INTO V_ROWID LIMIT 1000;每次處理1000行，也就是每1000行一提交EXIT WHEN V_ROWID.COUNT=0;FORALL I IN V_ROWID.FIRST.V_ROWID.LASTDELETE FROM table_name WHERE ROWID=V_ROWID（I）;COMMIT;END LOOP;CLOSE MYCURSOR;END;/災(zāi)備、高可用標(biāo)準所有數(shù)據(jù)庫必須排除單點，實行主、備（從）機制。備庫與主庫實現(xiàn)實時同步機制，將提交數(shù)據(jù)同時在備庫執(zhí)行恢復(fù)，保證主備庫數(shù)據(jù)一直。每周檢查主備庫同步情況。備庫服務(wù)器環(huán)境盡量保持與主庫一直，巡檢時關(guān)注備庫壓力，并預(yù)測備庫是否可以支撐業(yè) 務(wù)壓力。數(shù)據(jù)庫出現(xiàn)壓力過大時，需實現(xiàn)讀寫分離架構(gòu)。將