通用組件系統(tǒng)設(shè)計(jì)之日志系統(tǒng)方案

1、.專業(yè)整理.通用組件系統(tǒng)設(shè)計(jì)之日志系統(tǒng)1 .文檔歷史日期作者備注2017-10-14陽(yáng)榮安創(chuàng)建2017-10-17局男增加系統(tǒng)概述一節(jié)2 .系統(tǒng)概述針對(duì)目前從運(yùn)維側(cè)看到的一些問(wèn)題（文件過(guò)大，打印信息缺乏標(biāo)準(zhǔn)），希望對(duì)日志系統(tǒng)進(jìn)行規(guī)范。提供統(tǒng)一的API,定義一定的規(guī)則，并為有效支撐后續(xù)日志系統(tǒng)的發(fā)展提供支撐。2.1. 功能定義日志的主要作用是用來(lái)還原現(xiàn)場(chǎng)，協(xié)助我們分析問(wèn)題，幫助重現(xiàn)歷史。在日常具體工作中，用得最多的是協(xié)助我們直接定義問(wèn)題的系統(tǒng)維護(hù)類日志，以及用來(lái)統(tǒng)計(jì)分析系統(tǒng)的運(yùn)行狀態(tài)的數(shù)據(jù)上報(bào)類日志。我們的日志未來(lái)也要具備這類能力。2.1.1. 系統(tǒng)維護(hù)類日志系統(tǒng)維護(hù)類日志界別的分類如下。編p級(jí)

2、別描述1DEBUG調(diào)試應(yīng)用程序使用2INFO突出強(qiáng)調(diào)關(guān)鍵動(dòng)作3WARN出現(xiàn)了預(yù)知的錯(cuò)誤4ERROR出現(xiàn)不期望的故障，還能hold住5FATAL嚴(yán)重問(wèn)題，搞小定J為了輔助我們回溯相關(guān)問(wèn)題，考慮到多個(gè)模塊、多機(jī)器、多進(jìn)程、多線程的問(wèn)題，對(duì)日志進(jìn) 行區(qū)分，并設(shè)定一些參考格式，便于日志檢索，如下供開(kāi)發(fā)人員參考。編P內(nèi)容備注1日志級(jí)別DEBUG2日期時(shí)間20171017-155600-1233機(jī)器節(jié)點(diǎn)192.168.0.14模塊名ORDER5文件名Main.cpp6文件彳丁號(hào)127進(jìn)程號(hào)1238線程號(hào)119日志消息體靈活定義，建議控制大小在一定范圍內(nèi)2.1.2. 數(shù)據(jù)上報(bào)類日志數(shù)據(jù)上報(bào)類日志嚴(yán)格遵從制定

3、的格式，便于分析匯總。如下是以調(diào)用者身份上報(bào)被調(diào)用服務(wù)使用狀態(tài)的日志格式。每一項(xiàng)之間用|分割，供參考。編R內(nèi)容例子1版本12日期時(shí)用力IDCGI4調(diào)用方所在節(jié)點(diǎn)IDWX15被調(diào)方IDORDERSVR6被調(diào)方節(jié)點(diǎn)IDLG17服務(wù)與方法IDCreate8返回碼09耗時(shí)10ms2.2. 性能定義03并融不寫入會(huì)成淺也影響05OtAPBF5C+ . PHPifre后端日志應(yīng)該統(tǒng)一規(guī)范， 通過(guò)API達(dá)成共識(shí)，并實(shí)現(xiàn)易用性。并發(fā)保持不交叉，寫入能 力應(yīng)該發(fā)揮系統(tǒng)能力，并不再并發(fā)時(shí)降低。日志的格式應(yīng)該統(tǒng)一。Q 4定義統(tǒng)一的招式,支寰艮務(wù)壬呈量上評(píng)位匚或表的用成，I選宅位驗(yàn)收辦法，如

4、下表:編R并發(fā)用例場(chǎng)景完成時(shí)長(zhǎng)(ms)檢查11線程單線程打印1000萬(wàn)行日志210線程每線程打印100萬(wàn)行日志310進(jìn)程每進(jìn)程打印100萬(wàn)行日志4100線程每線程打印10萬(wàn)行日志5100進(jìn)程每線程打印10萬(wàn)行日志2.3. 系統(tǒng)設(shè)計(jì)日志整體如下圖,服務(wù)器節(jié)點(diǎn)PHP應(yīng)用H志分析服務(wù)器服務(wù)器 節(jié)點(diǎn)2服務(wù)器 節(jié)點(diǎn)3職務(wù)器 節(jié)點(diǎn)4節(jié)點(diǎn)1數(shù)據(jù)上 報(bào)日志攵 iljJ 服有命節(jié)點(diǎn)n日志AGENT，;定時(shí)任務(wù)小程序日志倉(cāng)庫(kù)編p模塊職責(zé)1日志API:按統(tǒng)一規(guī)范打印日志，確保單臺(tái)節(jié)點(diǎn)并發(fā)不亂，性能高2系統(tǒng)維護(hù)日志應(yīng)用借助日志 API輸出的日志文件，用于系統(tǒng)維護(hù)3數(shù)據(jù)上報(bào)日志;應(yīng)用借助日志 API輸出的日志文件，用于

5、數(shù)據(jù)上報(bào)4日志AGENT在單臺(tái)節(jié)點(diǎn)上，處理并上報(bào)結(jié)果到隊(duì)列1 .對(duì)數(shù)據(jù)上報(bào)日志進(jìn)行匯總處理，并形成結(jié)果2 .對(duì)系統(tǒng)維護(hù)日志踐行檢查預(yù)處理，并形成結(jié)果5:日志收集隊(duì)列Kafuka ,用來(lái)匯總分散的日志6日志分析服務(wù)器從隊(duì)列獲取單節(jié)點(diǎn)日志結(jié)果，形成最終日志結(jié)果，輸出到日志倉(cāng)庫(kù)7日志倉(cāng)庫(kù)按制定格式存放日志，并建立索引8模塊間調(diào)用門戶呈現(xiàn)模塊健康狀態(tài)，供管理參考9集中日志呈現(xiàn)門戶集中檢索日志，供定位分析問(wèn)題2.4. 門戶UI參考2.4.1. 集中日志呈現(xiàn)門戶輸入日志文件名，或者模塊名，日期范圍，給出所有日志列表。2.4.2. 模塊間調(diào)用門戶用來(lái)描述系統(tǒng)間調(diào)用健康狀態(tài)，同樣也可以用來(lái)表達(dá)掉級(jí)的2.4.2

6、.1. 查詢指定服務(wù)間調(diào)用情況服務(wù)調(diào)用概況，:輸入Caller, Callee1 日期I日期CallerCallee調(diào)用次最平均時(shí)長(zhǎng)成功率2012-08*13Cg bhi storyCfs-getrecs100000looms9/2.4.2.2. 查看調(diào)用者依賴的被調(diào)使用情況羸務(wù)調(diào)用概況；輸入GIKr,日期H期CallerCallee調(diào)用次效平均時(shí)箕成功率2012-08-13Cgi-traceGmc-getpos1000000looms9嵌2012-08-13CeitraceSid-profile10000loooms78%2.423.查看按返回碼和服務(wù)節(jié)點(diǎn)分布的情況服務(wù)調(diào)用詳細(xì)時(shí)間Calle

7、rCallee調(diào)用次散平均時(shí)長(zhǎng)成功率12:30Cgi-traceSid-profile 200010m599%12；無(wú)Cgi-traceSid-profile 2200100 ms78X12：4。Cgi-traceSid-profile 2too10ms9艱 10. 11. 206. |1 1,3OG. 5力 13 IL 3QM M 10. 11.206.2.424.系統(tǒng)調(diào)用關(guān)系圖3.建設(shè)范圍編P內(nèi)容備注1-期搞定日志API,解決系統(tǒng)維護(hù)日志的輸出問(wèn)題4.系統(tǒng)設(shè)計(jì)日志庫(kù)功能設(shè)計(jì)要點(diǎn)1 .日志通用組件滿足的需求。1 . C+林口 PH喙一日志目錄和格式規(guī)范。2 .依據(jù)IP/服務(wù)名稱/上下文編號(hào)，

8、聚合和追溯日志。3 .記錄服務(wù)接口，請(qǐng)求返回?cái)?shù)據(jù)，正確性，響應(yīng)時(shí)間等信息。4 .記錄調(diào)用方，請(qǐng)求返回?cái)?shù)據(jù)，正確性，響應(yīng)時(shí)間等信息。2 .日志庫(kù)的未來(lái)架構(gòu)圖。1 .規(guī)劃設(shè)計(jì)圖市價(jià)訂單j nn支付BOSS系統(tǒng)C+PHP3 .日志庫(kù)概要設(shè)計(jì)1 .日志級(jí)別1. 所有級(jí)別的日志輸出到同一個(gè)日志文件中；2. DEBUG開(kāi)發(fā)人員調(diào)試日志）/INFO （業(yè)務(wù)流程日志）/WARN （警告信息日志）/ERROR（系統(tǒng)錯(cuò)誤日志）；.學(xué)習(xí)幫手.3. ERRO吸別日志，屬于嚴(yán)重錯(cuò)誤，需要開(kāi)發(fā)人員及時(shí)處理, 反映系統(tǒng)服務(wù)質(zhì)量和穩(wěn)定性的重要指標(biāo)；2.3.4.定義通用返回碼 接口調(diào)用方日志記錄1. log_client_re

9、q2. log_client_rsp接口服務(wù)方日志記錄1. log_server_req2. log_server_rsp（客戶端請(qǐng)求接口數(shù)據(jù)）（客戶端請(qǐng)求后返回?cái)?shù)據(jù)）（服務(wù)端接收請(qǐng)求數(shù)據(jù)）（服務(wù)端返回請(qǐng)求數(shù)據(jù)）4.開(kāi)發(fā)階段分解和本期實(shí)現(xiàn)內(nèi)容1 .日志基礎(chǔ)組件庫(kù)開(kāi)發(fā)（C+PH既一調(diào)用）（一期，本期實(shí)現(xiàn)）2 .日志分析上報(bào)和聚合（統(tǒng)一查詢多臺(tái)服務(wù)器日志，區(qū)分IP/hostname ）（二期）3 .日志分析統(tǒng)計(jì)運(yùn)行質(zhì)量（接口調(diào)用次數(shù)，正確率，響應(yīng)時(shí)間等）（三 期）日志庫(kù)目錄結(jié)構(gòu)設(shè)計(jì)?自動(dòng)讀取etc目錄下的所有xml配置文件，xml文件以業(yè)務(wù)系統(tǒng)模塊劃分, 新增的xml文件，在重啟服務(wù)后，可以自動(dòng)生

10、成寫日志文件。? xml配置文件起到，服務(wù)日志先注冊(cè)后使用。?日志文件采用，日期自動(dòng)更換回滾的寫入方式。/huishoubao/loglib/lib log4cplus, properties libhsbcpluslog.so lilDlisbphplog. so etc估價(jià)服務(wù).xml訂單服務(wù).xml產(chǎn)品素統(tǒng),xml一支付率繞EOSJS系統(tǒng).xmllog估價(jià)服務(wù)日志目錄*evaluate . Log. yyyymmdd1evludte . Log. yyyyirandd. 11evaluate . Log. yyyymnLdd. 2一訂單服務(wù)日志目錄一產(chǎn)品系統(tǒng)日志目錄一支付素統(tǒng)日志目錄一 BOSS系統(tǒng)目錄接口通用返回碼返回碼類型返回碼編碼返回碼說(shuō)明0調(diào)用成功請(qǐng)求方錯(cuò)誤1xxx請(qǐng)求方錯(cuò)誤1001請(qǐng)求參數(shù)字段缺失1002請(qǐng)求參數(shù)字段類型錯(cuò)誤1003請(qǐng)求參數(shù)字段為空100