DSGRealSync日常維護手冊

/日常維護手冊迪思杰（北京）數(shù)碼技術有限公司\o"1-3"\h\z\u\l"175548818"1數(shù)據(jù)同步175548818\h3\l"175548819"1.1首次全同步及環(huán)境概述175548819\h3\l"175548820"1.1.1首先在目標端初始化復制進程175548820\h3\l"175548821"1.1.2在源端初始化復制進程175548821\h4\l"175548822"1.1.3全同步過程中源端日志監(jiān)控175548822\h4\l"175548823"1.1.4全同步過程中目標端的日志監(jiān)控175548823\h6\l"175548824"1.2單獨同步1張或幾張表175548824\h7\l"175548825"2如何設置日志分析間隔175548825\h8\l"175548826"3日常運行過程中的日志監(jiān)控175548826\h8\l"175548827"3.1源端日常分析的進度175548827\h8\l"175548828"3.2目標端日常裝載的進度175548828\h9\l"175548829"3.3源端日常傳送的進度175548829\h10\l"175548830"3.4目標端日常接收的進度175548830\h10\l"175548831"3.5源端日常是否1積壓175548831\h11\l"175548832"3.6目標端日常是否1積壓175548832\h11\l"175548833"3.7源端傳送的具體信息175548833\h12\l"175548834"3.8目標端裝載的具體信息175548834\h12\l"175548835"4維護需要過濾的操作175548835\h13\l"175548836"4.1過濾操作的意義175548836\h13\l"175548837"4.2支持的過濾操作種類175548837\h13\l"175548835"5出現(xiàn)停機情況時軟件的維護操作175548835\h14數(shù)據(jù)同步首次全同步及環(huán)境概述此種情況操作發(fā)生在首次初始化同步或是發(fā)生了如程序出現(xiàn)問題、或歸檔數(shù)據(jù)時開啟了大量不寫日志的操作等特殊情況下，需要重新全同步所進行的操作。首先在目標端初始化復制進程$執(zhí)行停止當前復制進程初始化復制環(huán)境，注意該命令只在需要進行全同步時才運行，執(zhí)行該命令后現(xiàn)有的復制關系將被清空，只能重新發(fā)起全同步操作后才能開始同步工作。啟動復制進程. 檢查復制進程啟動狀態(tài)[]$124991009:46200:00:00400012500124991009:46200:05:204000125191009:46200:00:001000011252112519009:46200:00:00100001125181009:46200:00:000112522125181709:46200:09:0901125091009:46200:00:001112511125091909:46200:09:5211125231009:46200:00:002112524125232209:46200:11:3221125121009:46200:00:003112516125122709:46200:13:5531124931009:46?00:00:000043200上圖為4個并發(fā)進程的啟動情況，現(xiàn)場–s進程啟動個數(shù)可能根據(jù)現(xiàn)場啟動的并發(fā)數(shù)不同而不同。在源端初始化復制進程$執(zhí)行停止當前復制進程初始化復制環(huán)境，注意該命令只在需要進行全同步時才運行，執(zhí)行該命令后現(xiàn)有的復制關系將被清空，只能重新發(fā)起全同步操作后才能開始同步工作。啟動復制進程檢查復制進程啟動狀態(tài)[]$194451009:45500:00:004002194611009:45500:00:00400019469194614409:45500:22:004000194551009:45500:00:0011945619455009:45500:00:001194341009:45?00:00:0043200194331009:45?00:00:0043200如上圖所有進程均正常啟動表明復制進程正常啟動3)源端下執(zhí)行$$>即可正常發(fā)起全同步操作全同步過程中源端日志監(jiān)控$1）通過–f命令查看全同步抓取日志進程的日志信息在同步導出的過程中顯示導出百分之多少和導出多少M，可以監(jiān)控到源端同步導出的進度。/*開始抽取表，顯示百分比（0.81%），已經抽取的大?。?0），讀取速度（R9:1.11），壓縮速度（C0:0.00），寫速度（W0:0.13），平均速度（P:1.11），總共耗時（E:322）*/1.63%20(R9:3.331:16.581:0.05:1.66:0:651)2.44%30(R9:3.335:11.111:0.06:2.00:0:1010)3.25%40(R9:3.332:11.112:0.04:2.22:0:1411)4.07%50(R9:3.333:7.144:0.03:2.38:0:1699)4.88%60(R9:3.331:12.502:0.08:2.50:0:2022)5.69%70(R9:3.332:0.002:0.00:2.59:0:2297)()12621441554025122621451120262145(0)線程、日志大小、號、標志位、塊大小、下一塊、標志位（8為當前日志）15545-100245(0)-112849/*正在處理15545號日志，在100245塊，偏移量0*/6.50%80(R9:3.330:40.001:0.06:2.67:0:2586)0x0000.0045612004-8-19:12:36:30(U:1:1:400):15545,:110484,:4480x0000.0045b72004-8-19:12:36:40(U:1:0:718)$7.32%90(R9:1.880:0.000:0.06:2.55:0:2882)2）查看導出結束的標志在日志中出現(xiàn)如下的打印信息：1950(2938)14175248011094130185.6930539.13131418.00111625.83(63.00%)575.91(s)......顯示導出完成3）通過–f命令查看發(fā)送數(shù)據(jù)進程的信息進程會把同步期間產生新交易的1進行發(fā)送，看這個文件是否有傳送新的1全同步過程中目標端的日志監(jiān)控1）$通過–f0命令查看目標端目錄下的0、15文件，看是否同步的文件在正常裝載以及每個隊列裝載到的具體1文件個數(shù)，以開始的文件為首次同步產生的日志文件。2）$通過命令查看目標端目錄下的0、1、目錄中源端同步導出傳到這些目錄下的1文件是否在減少，文件有兩列第一列的數(shù)字表示裝載了多少個1文件，第二列的數(shù)字表示從源端接收到了多少個1文件，所以可以通過判斷第一列的數(shù)字是否增長，來確定目標端同步裝載的進度。3）$通過查看目標端目錄下的文件，如果這個文件不斷的增大說明源端導出傳送過來的數(shù)大于目標端同步裝載的1個數(shù)；如果這個文件在不斷的減少說明源端傳送過來的數(shù)小于目標端同步裝載的1個數(shù)，或源端導出完畢不再傳送目標端在不斷的裝載1文件；當文件里面的數(shù)表示源端導出傳送到目標端，目標端還有多少個1未裝的個數(shù)，所以當文件里面的數(shù)為零時，表示目標端同步裝載完成。4）$通過–f0查看目標端目錄下的0文件，以開始的文件為增量裝載的日志文件:112007-06-12:17:31:41:6000(2086):212007-06-12:17:31:41:0060(2086):312007-06-12:17:31:41:0600(2086):412007-06-12:17:31:41:56000(2086):512007-06-12:17:31:41:56000(2086):612007-06-12:17:31:41:56000(2086)的日志，說明目標端同步裝載完成。5)$通過查看目標端的裝載情況。單獨同步1張或幾張表由于只是想單獨同步1張或幾張表，并且不影響其他現(xiàn)在正在復制表的正常復制，而且要單獨同步的表已經在下面文件中中的項中，所以只需要修改＝中中的內容，改為要單獨同步1張或幾張表的表名即可。操作步驟如下：$當前文件內容為：’’’’如果需要單獨同步用戶下的表，需要修改文件’’’’’’按需求修改完文件后進入源端目錄$$>注：只有執(zhí)行此命令后，才會再此查詢里配置信息，只是修改完或起停進程并不重新讀取里配置信息查看源端文件如果有出現(xiàn)表示源端新加的表同步完成，查看目標端0進行實時裝載后，表示新同步的表目標端同步完成，進入實時同步階段如何設置日志分析間隔$$>:5000013該日志間隔可以在1－5秒間任意設置，設置成幾秒中每隔幾秒鐘就會去讀取一次在證券行業(yè)推薦使用3秒注：3讀取日志間隔日常運行過程中的日志監(jiān)控源端日常分析的進度1）查看源端目錄下的文件，可以查到源端已經分析完的數(shù)據(jù)庫日志文件。第一列表示主機節(jié)點，第二列表示已經分析完的數(shù)據(jù)庫日志文件號。2）查看源端目錄下的文件，可以查看源端分析到什么時間的交易。如下的日志：2007/06/1217:26:2012048002355122047990110x54c92235.187048.02007-06-12:17:26:20:235.187048.0(:235.204799)...2007-06-12:17:26:21:235.197287.460(:235.204799)0x0000.054c92d42007-6-12:17:26:15(U:1:2488842:0:0)紅色時間表示源端數(shù)據(jù)庫交易操作時間藍色時間表示源端分析此交易的時間兩者相減可以得出源端分析滯后的時間3）查看源端目錄下的文件，可以知道源端分析出交易的具體信息。如下的日志：2007-06-12:17:26:37:5242864804440002007-06-12:17:26:38:1290520195560002007-06-12:17:28:19:5242864804440002007-06-12:17:28:20:129052019556000紅色部分表示：源端傳送此1文件的系統(tǒng)時間藍色部分表示：源端傳送此1文件的大小紫色部分表示：源端傳送此1文件的具體交易類型及相應交易類型的個數(shù)目標端日常裝載的進度查看目標端目錄下的0文件。如如下0文件：:112007-06-12:17:31:41:19556000(2086):212007-06-12:17:31:41:01955600(2086):312007-06-12:17:31:41:00019556(2086)紅色部分表示：目標端裝載相應1文件的編號藍色部分表示：目標端裝載此1文件的系統(tǒng)時間紫色部分表示：此1文件的具體操作的類型及相應的個數(shù)綠色部分表示：裝載此1花費的時間2）查看目標端目錄下的文件，可以知道目標端裝載的具體信息。如如下的文件：0/4038331::2007-07-2413:21:31(),0x002839c9,2007-07-2413:21:02(),0x0028394,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:03(),0x0028396,2007-07-2413:21:03(),0x00283914,2007-07-2413:21:032007-07-24:13:21:33:3561220100140/4038341::2007-07-2413:21:33(),0x002839d7a2,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:04(),0x0028396b,2007-07-2413:21:042007-07-24:13:21:33:48371592014紅色部分表示：目標端日常接收到的1文件編號及在目標端保存創(chuàng)建此1文件目標端的系統(tǒng)時間藍色部分表示：目標端日常接收到此1在源端內部的號和在源端交易的源端系統(tǒng)時間紫色部分表示：目標端日常接收到此1在目標端裝載完的目標端系統(tǒng)時間及相應此1文件的大小和相應交易的類型和相關交易的個數(shù)紫色時間減去藍色時間：表示源端在數(shù)據(jù)庫里真正交易時間和目標端真正裝載到數(shù)據(jù)庫時間的相差時間（當然要保持源端主機和目標端主機系統(tǒng)時間一致）源端日常傳送的進度查看源端目錄下的文件，查看源端日常傳送的進度。如如下文件：2007-07-24:11:30:28:2.3763821(14295646742266)...2007-07-24:11:30:28:2.3763821252007-07-24:11:30:32:2.3763831(14295646742266)...2007-07-24:11:30:32:2.376383111紅色部分表示：源端日常傳送此1文件的系統(tǒng)時間藍色部分表示：源端傳送此1文件的具體編號紫色部分表示：源端傳送此1文件的時間目標端日常接收的進度查看目標端目錄下的文件，查看目標端日常接受的進度。如如下文件：2007-07-24:11:37:21:,0,136...332007-07-24:11:37:21:,0,198...58紅色部分表示：目標端日常接收此1文件的系統(tǒng)時間藍色部分表示：目標端日常接收此1文件的類型。表示實時，表示紫色部分表示：目標端日常接收此1文件的所在隊列。多隊列分0，1，2等綠色部分表示：目標端日常接收此1文件的大小棕色部分表示：目標端日常接收此1文件花費的時間源端日常是否1積壓查看源端目錄下是否有大量1文件積壓，正常的情況下目錄下不會有很多1文件存在。如果存在不過數(shù)量不多，并且1文件的最小編號始終在變化，說明可能是傳送的慢；查看源端目錄下的文件，看是否有變化（而且不是重試的信息）查看源端目錄下的2文件，看是否第一列和第二列數(shù)值是否相差很大。第二列比第一列大很多說明源端日常1有積壓，另外第一列數(shù)值不再變化，說明源端日常1文件有積壓（當然這兩種情況在同步某張或某些表的時候，會有這種情況發(fā)生，因為在這同步某張或某些表的沒有完成時，新生成的1文件是不會傳送到目標端的，源端會造成1文件的階段時間積壓）造成源端積壓的可能原因：源端目標端之間的網絡故障目標端進程停止源端發(fā)送停止或出錯目標端日常是否1積壓1）查看目標端目錄下的0目錄下是否有大量1文件積壓查看目標端目錄下的0文件是否有日志累加寫入（不是重復信息）查看目標端0目錄下的文件，第一列和第二列的數(shù)值是否相差很大，如果第二列比第一列數(shù)值大很多說明目標端日常1文件有累積，同時如果第一列數(shù)值長時間不變動，說明目標端日常1文件有累積。源端傳送的具體信息1）查看源端目錄下的文件，可以知道源端分析出交易的具體信息。如如下的日志：2007-06-12:17:26:37:5242864804440002007-06-12:17:26:38:1290520195560002007-06-12:17:28:19:5242864804440002007-06-12:17:28:20:129052019556000紅色部分表示：源端傳送此1文件的系統(tǒng)時間藍色部分表示：源端傳送此1文件的大小紫色部分表示：源端傳送此1文件的具體交易類型及相應交易類型的個數(shù)目標端裝載的具體信息查看目標端目錄下的文件，可以知道目標端裝載的具體信息。如如下的文件：0/4038331::2007-07-2413:21:31(),0x002839c9,2007-07-2413:21:02(),0x0028394,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:03(),0x0028396,2007-07-2413:21:03(),0x00283914,2007-07-2413:21:032007-07-24:13:21:33:3561220100140/4038341::2007-07-2413:21:33(),0x002839d7a2,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:04(),0x0028396b,2007-07-2413:21:042007-07-24:13:21:33:48371592014紅色部分表示：目標端日常接收到的1文件編號及在目標端保存創(chuàng)建此1文件目標端的系統(tǒng)時間藍色部分表示：目標端日常接收到此1在源端內部的號和在源端交易的源端系統(tǒng)時間紫色部分表示：目標端日常接收到此1在目標端裝載完的目標端系統(tǒng)時間及相應此1文件的大小和相應交易的類型和相關交易的個數(shù)紫色時間減去藍色時間：表示源端在數(shù)據(jù)庫里真正交易時間和目標端真正裝載到數(shù)據(jù)庫時間的相差時間（當然要保持源端主機和目標端主機系統(tǒng)時間一致）維護需要過濾的操作過濾操作的意義提供過濾操作功能是為了有效的防止生產系統(tǒng)上由于誤操