銀行卡統(tǒng)計分析系統(tǒng)后臺操作維護手冊

銀行卡統(tǒng)計分析系統(tǒng)PAGE銀行卡統(tǒng)計分析系統(tǒng)銀行卡統(tǒng)計分析系統(tǒng)操作維護手冊（后臺）銀行卡統(tǒng)計分析系統(tǒng)項目組PAGE1文檔信息編寫者編寫日期審核者審核日期批準人批準日期變更歷史日期變更描述批準文檔資料分發(fā)姓名職位機構目錄TOC\o"1-5"\h\z\u1 概述 12 名詞解釋 13 后臺作業(yè)調度 13.1 調度前提 13.1.1 相應的程序及服務已啟動 13.1.2 數(shù)據(jù)文件準備完畢 1. 創(chuàng)建數(shù)據(jù)文件目錄 1. 拷貝數(shù)據(jù)文件 23.2 初始調度 33.2.1 目的 33.2.2 數(shù)據(jù)文件 33.2.3 運行 3. 運行2006年12月31日的數(shù)據(jù) 3. 檢查2006年12月31日的運行情況 5. 垃圾機構初始化 5. 運行CUBE全量數(shù)據(jù) 6. 重建CUBE調度作業(yè)鏈 73.2.4 進入日常調度 73.3 日常調度 83.3.1 目的 83.3.2 運行 8. 關閉系統(tǒng) 8. 初始化系統(tǒng) 80. 啟動系統(tǒng) 93.4 系統(tǒng)運行監(jiān)控 93.5 系統(tǒng)日志 123.5.1 后臺系統(tǒng)有哪些日志 123.5.2 如何查看某個作業(yè)的日志 133.6 異常處理 133.6.1 作業(yè)運行異常處理 133.6.2 Cognos作業(yè)運行異常處理 143.7 后臺文件系統(tǒng)目錄說明 144 系統(tǒng)備份恢復 154.1 系統(tǒng)備份 154.1.1 數(shù)據(jù)庫備份 154.1.2 報表文件備份 154.2 系統(tǒng)恢復 16第16頁第1頁概述本文檔主要描述銀行卡統(tǒng)計分析系統(tǒng)后臺部分的操作、維護說明。本文檔提供給各行的系統(tǒng)管理人員、系統(tǒng)維護人員等參考使用。名詞解釋節(jié)點號：用以標記一類作業(yè)的代碼。例如：TT01代碼標記所有加載作業(yè)。作業(yè)：對某一文件或數(shù)據(jù)庫表進行的一步操作。作業(yè)號：用以標記一個作業(yè)的代碼。作業(yè)鏈：作業(yè)以及作業(yè)間執(zhí)行先后關系組成集合。作業(yè)鏈重建：重新建立作業(yè)間的執(zhí)行先后關系。后臺作業(yè)調度調度前提要運行后臺作業(yè)調度，必須具備條件如下：相應的程序及服務已啟動SybaseIQ數(shù)據(jù)庫已啟動SybaseASE數(shù)據(jù)庫已啟動后臺應用程序安裝完成調度系統(tǒng)管理監(jiān)控臺已啟動數(shù)據(jù)文件準備完畢準備數(shù)據(jù)文件分為兩個步驟：1.創(chuàng)建數(shù)據(jù)文件目錄2.拷貝數(shù)據(jù)文件至創(chuàng)建完的數(shù)據(jù)目錄以下分別介紹這兩個步驟創(chuàng)建數(shù)據(jù)文件目錄在初始調度中需要操作人員在/wkfile/ap/zhbkdata目錄下手工創(chuàng)建數(shù)據(jù)文件目錄。該數(shù)據(jù)文件目錄名為日期+bk。例如：如果要運行2006年12月31日的數(shù)據(jù)，需要先在/wkfile/ap/zhbkdata目錄下創(chuàng)建目錄20061231bk在以后的日常調度過程中，系統(tǒng)會自動創(chuàng)建這樣的目錄，無須人工干預拷貝數(shù)據(jù)文件拷貝數(shù)據(jù)文件至上一步創(chuàng)建完的數(shù)據(jù)目錄，數(shù)據(jù)文件必須符合以下格式：行號+數(shù)據(jù)文件名（大寫）+日期.gz，控制文件名必須符合以下格式：行號+數(shù)據(jù)文件名（大寫）+日期.gz.ctl。例如：如果要山東運行2006年12月31日的數(shù)據(jù)，CSD文件的格式應該為：15CSD20061231.gz，15CSD20061231.gz.ctl。系統(tǒng)提供一個名為csas_file_trans的程序為銀行卡系統(tǒng)傳遞文件。該程序用法如下：在源數(shù)據(jù)文件所在的機器上部署解壓程序包csas_file_trans.tar，該程序包包含一個csas目錄及該目錄下的程序和配置文件。在源數(shù)據(jù)文件所在的機器上創(chuàng)建日期目錄，存放該日期的數(shù)據(jù)文件舉例：現(xiàn)有目錄/csas/data，在該目錄下創(chuàng)建一個日期目錄20070101。所有日期是2007年1月1日的數(shù)據(jù)都應該放在這個目錄下。設置csas目錄下的REMOTE_HOST.cfg配置文件其中FTP_DEST_PATH不需要需改FTP_IP為銀行卡系統(tǒng)所在機器IPFTP_USER為銀行卡系統(tǒng)所在機器的用戶名FTP_USER_PWD為銀行卡系統(tǒng)所在機器的用戶密碼４．運行腳本./css_file_trans省市代碼日期參數(shù)源數(shù)據(jù)公共目錄日期參數(shù)為需要傳輸?shù)奈募掌?，例如：如果要傳?007年1月1日的數(shù)據(jù)20070101，需要輸入。源數(shù)據(jù)公共目錄為第２步創(chuàng)建的日期目錄的上級目錄，例如：在這個例子中是/csas/data初始調度目的系統(tǒng)初始調度(第一次運行)的目的是為了完成一下工作：初始化垃圾機構初始化前臺(ASE數(shù)據(jù)庫)的機構信息初始化Cube令作業(yè)調度系統(tǒng)進入日常調度數(shù)據(jù)文件系統(tǒng)第一次運行的數(shù)據(jù)必須是一個月底全量數(shù)據(jù)，本次運行的數(shù)據(jù)只作為系統(tǒng)打底使用。系統(tǒng)要求第一次運行2006年12月31日的數(shù)據(jù)。系統(tǒng)將第一次運行的數(shù)據(jù)稱之為“初始日數(shù)據(jù)”，第一次運行系統(tǒng)的過程稱為初始調度。初始調度，需要準備好“初始日數(shù)據(jù)”。下面我們將2006年12月31日的數(shù)據(jù)作為“初始日數(shù)據(jù)”，2007年1月1日作為系統(tǒng)正式運行的起始數(shù)據(jù)日期為例來說明運行的操作步驟。運行在初始調度前，請參照3.1的調度前提，檢查系統(tǒng)已經(jīng)符合調度前提的規(guī)定，再執(zhí)行以下步驟。運行2006年12月31日的數(shù)據(jù)在IE中輸入調度系統(tǒng)監(jiān)控臺的url，登錄調度系統(tǒng)監(jiān)控臺進入“基本表維護作業(yè)鏈重建程序狀態(tài)表維護”功能,修改列表中的所有的記錄的“程序運行狀態(tài)”為S進入“進入下一天工作初始化操作”功能,選擇“作業(yè)執(zhí)行日期”為2006年12月31日點擊“提交”，系統(tǒng)給出操作成功的提示框。進入“進入下一天工作啟動系統(tǒng)”功能,系統(tǒng)進入如下界面：點擊“確定”，則系統(tǒng)開始運行2006年12月31日的數(shù)據(jù)。檢查2006年12月31日的運行情況查看2006年12月31日的數(shù)據(jù)是否運行結束，步驟如下：登陸調度系統(tǒng)監(jiān)控臺進入“基本表維護節(jié)點信息表維護”查看界面中的“作業(yè)執(zhí)行日期”列，如果該列的日期為20070101，則說明2006年12月31日的數(shù)據(jù)已經(jīng)運行結束。如果2006年12月31日的數(shù)據(jù)還沒有運行結束，那么原因有兩種情況：一是數(shù)據(jù)確實還沒有運行完成；一是數(shù)據(jù)運行過程中出錯了。為了確定數(shù)據(jù)還沒有運行結束的原因，請使用“調度系統(tǒng)監(jiān)控臺”的相關功能進行查看，具體的查看操作詳見“3.4 系統(tǒng)運行監(jiān)控”運行完2006年12月31日的數(shù)據(jù)后，系統(tǒng)會自動停止。垃圾機構初始化在2006年12月31日的數(shù)據(jù)運行結束后，需要初始化垃圾機構表的數(shù)據(jù)，此工作只需在系統(tǒng)上線時做一次即可。垃圾機構是“借記卡信息表”和“信用卡信息表”中的開卡網(wǎng)點編號不在“行部表”中的網(wǎng)點。這需要業(yè)務人員手工找出這些垃圾機構目前對應的新機構編號，建立映射關系，分行技術人員將這些映射關系存入數(shù)據(jù)庫中，以便系統(tǒng)統(tǒng)計匯總時使用。請按照如下步驟去初始化垃圾機構：在UNIX主機上，運行/wkfile/cardInstall/GetNOBR，產(chǎn)生垃圾機構清單文件/wkfile/cardInstall/NOBR.Data，該文件的內容形式如下：(0rowsaffected)(5rowsaffected)<<<存在以下網(wǎng)點需要設置>>>PROCODOPNBR150101150201150801151001151401(5rowsaffected)2.將文件中的垃圾機構獲取出來，由業(yè)務人員定義映射關系，如下：<<<存在以下網(wǎng)點需要設置>>>PROCOD(省市代碼)OPNBR(垃圾機構編號)新網(wǎng)點編號150101100215020110021508011002151001100215140110023.定義完映射關系后，將數(shù)據(jù)插入SybaseIQ數(shù)據(jù)庫的表CM_NOBR中PROCOD(省市代碼)Pro_CodeOPNBR(垃圾機構編號)Old_Opn_Br新網(wǎng)點編號New_Opn_Br運行CUBE全量數(shù)據(jù)在2006年12月31日的數(shù)據(jù)運行結束后，需要運行CUBE全量數(shù)據(jù)，此工作只需在系統(tǒng)上線時做一次即可。步驟如下：登錄Cognos服務器。進入命令行模式。在命令行模式下分別運行如下命令：buildcube.batAGENTDbuildcube.batAGENTbuildcube.batCARDbuildcube.batRISKbuildcube.batIN_OUTbuildcube.batISSUEDbuildcube.batISSUE每個命令運行完成后，顯示如下如果成功，則顯示如下類似信息：UpdateModelIN_OUT.mdcSuccessfullyBuildingCubeIN_OUT.mdcSuccessfullyPublishingCubeIN_OUT.mdcSuccessfully如果失敗，則顯示如下類似信息：UpdateModelIN_OUT.mdcerrorBuildingCubeIN_OUT.mdcerror PublishingCubeIN_OUT.mdcerror如果失敗，那么請查詢相應的日志，具體請參考《銀行卡統(tǒng)計分析系統(tǒng)多維分析平臺部署和維護》重建CUBE調度作業(yè)鏈運行腳本/wkfile/ap/bin/cbrun_job.sh運行完該腳本后，如果出現(xiàn)信息“重建CUBE作業(yè)鏈成功?。?！”，則說明運行成功，如果出現(xiàn)信息“重建CUBE作業(yè)鏈失?。。?！”，則說明運行失敗。如果失敗，請檢查ASE數(shù)據(jù)庫是否已啟動，并能正常連接。進入日常調度系統(tǒng)初始化結束，可以令系統(tǒng)開始運行2007年1月1日的數(shù)據(jù)。操作步驟如下：登錄調度系統(tǒng)監(jiān)控臺。修改作業(yè)鏈重建狀態(tài)表的程序運行狀態(tài)為S。點擊進入下一天工作，再點擊初始化操作，選擇作業(yè)執(zhí)行日期2007年1月1日。點擊提交。監(jiān)控臺彈出一個操作成功的提示框后，點擊啟動系統(tǒng)，則系統(tǒng)開始運行2007年1月1日的數(shù)據(jù)。日常調度目的由于作業(yè)調度是全封閉式運行的，因此不需要系統(tǒng)人員對其進行日常的調度（啟動系統(tǒng)、關閉系統(tǒng)、初始化操作）。只有在系統(tǒng)出現(xiàn)異常/停止的情況下，才會進入日常調度的維護流程。具體的維護流程如下：運行關閉系統(tǒng)銀行卡統(tǒng)計分析系統(tǒng)設計成為封閉式運行系統(tǒng)，所以不推薦使用關閉系統(tǒng)這一功能。只有在碰到特殊情況時，才使用該功能。例如：需要重新運行某一天的數(shù)據(jù)時，首先要關閉系統(tǒng)，然后初始化系統(tǒng)(詳見：.初始化系統(tǒng))，再啟動系統(tǒng)（詳見：0.啟動系統(tǒng)）。按照如下步驟關閉系統(tǒng)1.登錄調度監(jiān)控系統(tǒng)。2.點擊進入下一天工作。3.點擊關閉系統(tǒng)當調度監(jiān)控系統(tǒng)彈出一個操作成功的提示框時，系統(tǒng)關閉成功。初始化系統(tǒng)在后臺作業(yè)調度監(jiān)控系統(tǒng)里，點擊基本表維護，修改作業(yè)鏈重建狀態(tài)表的程序運行狀態(tài)為S，再點擊進入下一天工作，然后點擊下拉菜單中的初始化菜單，接著在作業(yè)執(zhí)行日期的方框里選擇一個日期，最后點擊確定。具體可參考文檔《后臺作業(yè)調度監(jiān)控系統(tǒng)用戶手冊》。當后臺作業(yè)調度監(jiān)控系統(tǒng)彈出一個操作成功的提示框時，系統(tǒng)初始化成功。此時可以進行啟動系統(tǒng)的操作。啟動系統(tǒng)啟動系統(tǒng)前檢查系統(tǒng)已經(jīng)初始化為指定的日期。請確定以下內容：1．點擊基本表維護，然后點擊節(jié)點信息表維護，在節(jié)點信息表里查看作業(yè)執(zhí)行日期是否指定的日期；2．在節(jié)點信息表里查看已使用過的并發(fā)數(shù)是否都等于0；3．點擊基本表維護，點擊作業(yè)關系處理狀態(tài)維護表，查看父作業(yè)是'-'的那條記錄的本作業(yè)完成標志是否是'S'，父作業(yè)完成標志是否是'C'。以上內容確定完畢，則可以啟動系統(tǒng)，否則重新初始化系統(tǒng)。按照如下步驟啟動系統(tǒng)1.登錄調度監(jiān)控系統(tǒng)。2.點擊進入下一天工作。3.點擊啟動系統(tǒng)當調度監(jiān)控系統(tǒng)彈出一個操作成功的提示框時，系統(tǒng)啟動成功。系統(tǒng)運行監(jiān)控通過后臺作業(yè)調度監(jiān)控系統(tǒng)，確保銀行卡統(tǒng)計分析系統(tǒng)的正常運行1．查看系統(tǒng)運行處理的數(shù)據(jù)日期：點擊基本表維護，然后點擊節(jié)點信息表維護，在節(jié)點信息表里查看到的作業(yè)執(zhí)行日期即為系統(tǒng)運行處理的數(shù)據(jù)日期。圖1：在上圖的節(jié)點信息表中可看出作業(yè)執(zhí)行日期列是"20070531"，則系統(tǒng)運行處理的數(shù)據(jù)日期為2007年5月31日。2．查看系統(tǒng)運行處理的作業(yè)狀態(tài)：點擊基本表維護，點擊作業(yè)關系處理狀態(tài)維護表，查看本作業(yè)運行標志，如果本作業(yè)運行標志都是'N','S','P'或'C'，說明系統(tǒng)運行正常，否則系統(tǒng)運行異常。圖2：如上圖所示，系統(tǒng)運行正常，當前系統(tǒng)有4個作業(yè)處于運行狀態(tài)，2個作業(yè)正處于可以執(zhí)行階段，其余所看到的作業(yè)都處于等待執(zhí)行狀態(tài)。圖3：如上圖所示，系統(tǒng)當前有1個作業(yè)處于重復執(zhí)行的狀態(tài)，3個作業(yè)處于執(zhí)行狀態(tài)，2個作業(yè)處于可以執(zhí)行狀態(tài)，其余所看到的作業(yè)處于等待執(zhí)行狀態(tài)。作業(yè)完成標志代表了作業(yè)當前處于的狀態(tài)。以下是各個作業(yè)完成標志及其代表的含義。'N'作業(yè)等待執(zhí)行'S'作業(yè)可以執(zhí)行'C'作業(yè)成功萬成'P'作業(yè)正在執(zhí)行'R'作業(yè)正在重復執(zhí)行'E'作業(yè)出錯系統(tǒng)日志后臺系統(tǒng)有哪些日志后臺系統(tǒng)運行時會產(chǎn)生如下的日志：在卡系統(tǒng)后臺作業(yè)調度過程中，各個階段的作業(yè)會產(chǎn)生相應的日志，具體如下：階段名稱日志路徑日志說明文件解壓/wkfile/ap/log/${date}/ER01節(jié)點號為ER01的所有作業(yè)都屬于該階段文件清洗/wkfile/ap/log/${date}/EE01節(jié)點號為EE01的所有作業(yè)都屬于該階段文件加載(日源區(qū)數(shù)據(jù)生成)/wkfile/ap/log/${date}/TT01節(jié)點號為TT01的所有作業(yè)都屬于該階段數(shù)據(jù)轉換(基礎區(qū)數(shù)據(jù)生成)/wkfile/ap/log/${date}/LL01節(jié)點號為LL01的所有作業(yè)都屬于該階段應用區(qū)數(shù)據(jù)生成/wkfile/ap/log/${date}/TRANP節(jié)點號為TRANP的所有作業(yè)都屬于該階段報表區(qū)數(shù)據(jù)生成/wkfile/ap/log/${date}/TRANF節(jié)點號為TRANF的所有作業(yè)都屬于該階段,子日志目錄/wkfile/ap/log/${date}bk/FRONTXML文件生成/wkfile/ap/log/${date}/CRXML節(jié)點號為CRXML的所有作業(yè)都屬于該階段,子日志目錄/wkfile/ap/log/${date}bk/sql2xml多維區(qū)數(shù)據(jù)生成/wkfile/ap/log/${date}/CFRUN節(jié)點號為CFRUN的所有作業(yè)都屬于該階段立方體數(shù)據(jù)生成/wkfile/ap/log/${date}/CBRUN節(jié)點號為CBRUN的所有作業(yè)都屬于該階段報表區(qū)數(shù)據(jù)生成和XML文件生成兩個階段的每個作業(yè)有兩個日志，分別放在兩個目錄下。注釋：${date}為一個日期變量。系統(tǒng)運行時，根據(jù)運行數(shù)據(jù)的日期建立每天的運行日志，因此，每天的運行日志都放在一個日期目錄下。例如：2006年12月31日的文件解壓日志都存放在目錄/wkfile/ap/log/20061231bk/ER01下如何查看某個作業(yè)的日志查看一個作業(yè)的運行日志，需要首先知道如下信息：1．系統(tǒng)運行處理的數(shù)據(jù)日期；2．本作業(yè)節(jié)點號，本作業(yè)作業(yè)號；首先，查看系統(tǒng)運行處理的數(shù)據(jù)日期：點擊基本表維護，然后點擊節(jié)點信息表維護，在節(jié)點信息表里查看到的作業(yè)執(zhí)行日期即為系統(tǒng)運行處理的數(shù)據(jù)日期。接著，查看本作業(yè)節(jié)點號，本作業(yè)作業(yè)號：點擊基本表維護，點擊作業(yè)關系處理狀態(tài)維護表，在節(jié)點號列和作業(yè)號列中找到該作業(yè)的本作業(yè)節(jié)點號，本作業(yè)作業(yè)號。獲取了以上信息后，進入后臺/wkfile/ap/log目錄，再進入本目錄下的一個日期目錄（該日期即為系統(tǒng)運行處理的數(shù)據(jù)日期），接著進入一個節(jié)點目錄（該節(jié)點即為本作業(yè)節(jié)點號），最后找到文件名匹配本作業(yè)作業(yè)號的文件，該文件即為該作業(yè)的運行日志。舉例說明，根據(jù)圖1和圖3，我們可知在2007年5月31日，節(jié)點號為TRANP，作業(yè)號為CA_AGENT_QRY_MLY的作業(yè)出現(xiàn)異常情況。開始查找該作業(yè)的日志，步驟如下：1.根據(jù)日期找到目錄/wkfile/ap/log/200705312.根據(jù)節(jié)點號找到目錄/wkfile/ap/log/20070531/TRANP3.根據(jù)作業(yè)號找到日志文件/wkfile/ap/log/20070531/TRANP/CA_AGENT_QRY_MLY.sub/wkfile/ap/log/20070531/TRANP/CA_AGENT_QRY_MLY.20070531異常處理作業(yè)運行異常處理如果在作業(yè)關系處理狀態(tài)維護表發(fā)現(xiàn)有作業(yè)運行標志為'R'或'E'，則表明系統(tǒng)中有作業(yè)處理不正常。其中如果本作業(yè)運行標志為'R'，則表明該作業(yè)處于重復處理狀態(tài)；如果本作業(yè)運行標志為'E'，則表明作業(yè)運行出錯。為了找出具體錯誤原因，請查看后臺作業(yè)運行日志。文件處理階段（節(jié)點號ER01）異常處理：該階段常見的問題是對應得文件或控制文件不存在，需要把相應文件拷貝至相應目錄。立方體生成階段（節(jié)點號CBRUN）異常處理：該階段常見問題及其解決辦法請參看3.6.3Cognos作業(yè)運行異常處理。其他階段如出現(xiàn)異常情況，請聯(lián)系銀行卡統(tǒng)計分析系統(tǒng)項目組。Cognos作業(yè)運行異常處理如果發(fā)現(xiàn)作業(yè)號等于'SS_CBRUN_START'的本作業(yè)運行標志為'R'，則登陸到cognos服務器，啟動cognos服務器。具體操作如下：1．登錄cognos服務器；2．點擊右下方的開始，在彈出的菜單中點擊運行，在打開的運行方框中輸入cmd，點擊確認，進入命令行操作模式；3．在命令行操作模式中進入目錄C:\CSAS\Bin4．運行命令startcube如果發(fā)現(xiàn)作業(yè)號等于SE_CBRUN_END'的本作業(yè)運行標志為'R'，則登陸到cognos服務器，啟動cognos服務器。具體操作如下：1．登錄cognos服務器；2．點擊右下方的開始，在彈出的菜單中點擊運行，在打開的運行方框中輸入cmd，點擊確認，進入命令行操作模式；3．在命令行操作模式中進入目錄C:\CSAS\Bin4．運行命令stopcube后臺文件系統(tǒng)目錄說明/wkfile系統(tǒng)工作目錄/wkfile/ap/bin主程序目錄/wkfile/ap/script腳本目錄/wkfile/ap/jlib解析器目錄/wkfile/ap/zhbkdata數(shù)據(jù)文件目錄/wkfile/ap/srcdata臨時文件目錄/wkfile/ap/mlddata中間文件目錄/wkfile/ap/l