大數(shù)據(jù)應(yīng)用系統(tǒng)監(jiān)控與日志分析

大數(shù)據(jù)運(yùn)用-系統(tǒng)監(jiān)控與日志分析1/7/2024目錄網(wǎng)易有道簡(jiǎn)介在線效力監(jiān)控離線日志分析1/7/2024有道的發(fā)起者是一群執(zhí)著于搜索技術(shù)的年輕人，我們發(fā)現(xiàn)中文網(wǎng)絡(luò)中的搜索還遠(yuǎn)未到達(dá)理想，所以希望經(jīng)過(guò)我們?nèi)缃窈臀磥?lái)的努力，把想象中的效力一點(diǎn)點(diǎn)變成現(xiàn)實(shí)，分享給大家運(yùn)用，讓他更快一秒找到想要的好東西。關(guān)于有道1/7/2024有道產(chǎn)品搜索類1/7/2024有道產(chǎn)品翻譯類其他產(chǎn)品1/7/2024在線監(jiān)控與離線分析1/7/2024設(shè)計(jì)原那么不影響正常效力水表不能把水堵了通用性假設(shè)不夠通用…1/7/20241/7/2024目錄有道產(chǎn)品簡(jiǎn)介在線效力監(jiān)控離線日志分析1/7/2024在線效力監(jiān)控訪問(wèn)控制系統(tǒng)性能監(jiān)控系統(tǒng)異常報(bào)警系統(tǒng)1/7/2024訪問(wèn)控制系統(tǒng)主要目的：防止非用戶抓取沖擊系統(tǒng)效力影響訪問(wèn)統(tǒng)計(jì)非法運(yùn)用數(shù)據(jù)挑戰(zhàn)靈敏的控制規(guī)那么減小對(duì)產(chǎn)品效力的影響1/7/2024訪問(wèn)控制規(guī)那么過(guò)濾規(guī)那么Key:Header字段，parameterKey:正那么表達(dá)式例子：Ip=123\.45\..*,agent=“firefox.*〞頻度控制統(tǒng)計(jì)時(shí)間〔span〕次數(shù)的閾值〔threshold〕例子：span:3600000threshold:10001/7/2024訪問(wèn)控制系統(tǒng)總體構(gòu)造旁路統(tǒng)計(jì)規(guī)那么封禁訪問(wèn)控制效力器維護(hù)規(guī)那么庫(kù)按規(guī)那么進(jìn)展統(tǒng)計(jì)為產(chǎn)品生成封禁列表產(chǎn)品效力端轉(zhuǎn)發(fā)懇求同步封禁列表實(shí)施訪問(wèn)控制1/7/2024訪問(wèn)控制系統(tǒng)1/7/2024性能監(jiān)控系統(tǒng)功能：實(shí)時(shí)統(tǒng)計(jì)效力中的性能參數(shù)如處置時(shí)間、吞吐率等特點(diǎn)通用性集中的數(shù)據(jù)分析與存儲(chǔ)直觀的展現(xiàn)方式1/7/2024性能監(jiān)控的需求通用性各種產(chǎn)品不同的需求自定的統(tǒng)計(jì)量不同的編程言語(yǔ)性能要求減小對(duì)產(chǎn)品效力的影響大數(shù)據(jù)量的分析與存儲(chǔ)1/7/2024監(jiān)控系統(tǒng)的設(shè)計(jì)松耦合經(jīng)過(guò)日志文件交換數(shù)據(jù)文本格式自定義統(tǒng)計(jì)量<產(chǎn)品名,變量名,取值>的三元組大數(shù)據(jù)量多分辨率緊縮存儲(chǔ)1/7/2024監(jiān)控系統(tǒng)構(gòu)造圖1/7/20241/7/20241/7/2024異常報(bào)警系統(tǒng)功能自動(dòng)篩查日志中的Exception發(fā)現(xiàn)問(wèn)題自動(dòng)發(fā)信報(bào)警優(yōu)點(diǎn)通用性強(qiáng)運(yùn)用簡(jiǎn)單1/7/2024目錄有道產(chǎn)品簡(jiǎn)介在線效力監(jiān)控離線日志分析1/7/2024離線日志統(tǒng)計(jì)主要的目的用戶運(yùn)用習(xí)慣用戶對(duì)產(chǎn)品的好感度系統(tǒng)運(yùn)轉(zhuǎn)形狀市場(chǎng)推行情況1/7/2024日志搜集集中的日志效力器產(chǎn)品的效力器是分布式的，需求一致分析一切產(chǎn)品公用，降低運(yùn)營(yíng)復(fù)雜度大數(shù)據(jù)量存儲(chǔ)效力器建立本地緩存最終保管在分布式文件系統(tǒng)中緊縮存儲(chǔ)防止日志喪失支持備份效力器分布式文件系統(tǒng)保證可靠性1/7/2024日志搜集系統(tǒng)1/7/2024日志分析主要的挑戰(zhàn)超大數(shù)據(jù)量運(yùn)算時(shí)間的要求組合統(tǒng)計(jì)處理方法分布式計(jì)算1/7/2024分布式分析程序1/7/2024常規(guī)統(tǒng)計(jì)訪問(wèn)量時(shí)間地域用戶新用戶：推行與傳播的效果老用戶：真正運(yùn)用這個(gè)產(chǎn)品功能切換頁(yè)面切換產(chǎn)品切換1/7/2024一些有意思的統(tǒng)計(jì)規(guī)律周末與非周末什么時(shí)候流量更大？1/7/2024周末與非周末工具〔網(wǎng)頁(yè)搜索、海量詞典〕vs文娛〔視頻搜索、音樂(lè)搜索〕平常需求工具，周末需求文娛1/7/2024一些有意思的統(tǒng)計(jì)規(guī)律不同的時(shí)段訪問(wèn)有區(qū)別嗎？搜索和吃飯的關(guān)系？1/7/2024工具vs文娛白天需求工具，晚上需求放松1/7/2024公網(wǎng)vs教育網(wǎng)白領(lǐng)和中小學(xué)生要早睡，大學(xué)生都是夜貓子1/7/2024更多的分析<有道閱讀的12個(gè)有趣的發(fā)現(xiàn)>訂閱博客范圍，新老各有地盤職業(yè)和閱讀習(xí)慣閱讀真的變成快餐了明星博客