日志分析軟件需求說明

日志分析軟件需求說明我?，F(xiàn)有多套應用系統(tǒng)在線運行，這些系統(tǒng)分布在Windows、Linux、以及公共云等多種操作系統(tǒng)上，大多數(shù)業(yè)務系統(tǒng)的日志都落到服務器本地，對日志的敏感信息的保護，日志訪問權(quán)限的控制，日志生命周期的管理以及日志對于業(yè)務系統(tǒng)監(jiān)控分析等方面較為薄弱。與應用系統(tǒng)相關(guān)的中間件日志，操作系統(tǒng)日志，硬件日志等未實現(xiàn)有效利用；同時操作人員需逐臺登陸服務器查看日志定位故障時效率差，缺乏查詢和報表展現(xiàn)，難以支持審計、統(tǒng)計分析、業(yè)務性能調(diào)優(yōu)等更高管理需求。故需要建設(shè)一個對業(yè)務日志實時集中搜索、監(jiān)控、分析的日志分析軟件產(chǎn)品，產(chǎn)品能對分布在不同環(huán)境中的應用日志進行集中操作管理，實現(xiàn)統(tǒng)一管理、分權(quán)限操作和分析，提升快速故障定位和統(tǒng)計用戶訪問行為的能力；能夠通過日志快速分析出訪問量，訪問地域分布、瀏覽器類型等信息，最終提升整體服務質(zhì)量和用戶訪問體驗。一）產(chǎn)品功能參數(shù)要求功能模塊功能描述日志上傳支持對裝有Linux、Windows操作系統(tǒng)的服務器進行日志進行采集并做流式上傳；支持對網(wǎng)絡設(shè)備的日志進行采集并做流式上傳；支持通過(Linux)SSH端口批量接入Agent；支持AIX操作系統(tǒng)日志接入和實時采集；支持采集Docker內(nèi)應用日志（含stdout標準輸出及文件日志）；支持主機IPMI（智能平臺管理接口）數(shù)據(jù)采集；支持天翼云、阿里云的資源數(shù)據(jù)接入。性能數(shù)據(jù)采集支持操作系統(tǒng)、數(shù)據(jù)庫等性能數(shù)據(jù)采集，包括CPU、內(nèi)存、IO、網(wǎng)絡及其磁盤空間等。Agent管控主機列表：支持接入日志主機列表；支持Agent及管控容器化；文件列表：支持服務器日志文件列表同步；日志接入：支持多種格式和系統(tǒng)的日志接入；資源限制：支持Agent采集客戶端的資源限制功能；性能監(jiān)控：監(jiān)控宿主機CPU、內(nèi)存、網(wǎng)絡流量性能，統(tǒng)計圖展示；主機目錄監(jiān)聽、文件預覽、自定義換行；配置文件可視化修改、下發(fā)；支持Linux、Windows平臺等Agent管控；數(shù)據(jù)轉(zhuǎn)發(fā)，支持多個機房網(wǎng)絡不通情況下，通過添加轉(zhuǎn)發(fā)器代理，實現(xiàn)多機房數(shù)據(jù)的統(tǒng)一采集。解析規(guī)則智能解析：支持只針對需要的字段做解析；支持多解析單元，解析同一文件多種格式日志等復雜格式日志；解析規(guī)則主動關(guān)聯(lián)文件，選擇作用域哪些文件；支持鼠標劃選自動生成正則表達式，并捕獲對應字段；支持查看規(guī)則關(guān)聯(lián)文件日志解析成功率；支持多種類型的數(shù)據(jù)解析，包括正則、Json、拆分、Key-value、IP、UserAgent等解析方式，并提供官方解析模板，包括Nginx、Apache、MySQL等；解析方式：支持多種解析規(guī)則，提供友好的規(guī)則配置流程向?qū)?。日志搜索搜索范圍：支持通過自定義組織結(jié)構(gòu)快速選擇查詢范圍，通過數(shù)據(jù)結(jié)構(gòu)自定義組合查詢范圍；時間范圍搜索：支持點擊日歷控件生成時間范圍，提供最近1天、7天；今天、昨天、本周、上周、本月、上月等快捷生成范圍；在日志全文中搜索短語，短語內(nèi)的多個詞都必須都出現(xiàn)，而且保持同樣的順序及相鄰狀況，系統(tǒng)不區(qū)分大小寫；搜索歷史：記錄用戶過去曾經(jīng)使用過的搜索語句的完整列表可選擇再執(zhí)行；快速解析：支持直接選擇日志樣例進入解析環(huán)節(jié)，配置并關(guān)聯(lián)該文件；原文模式：支持顯示日志原文，可自定義顯示日志上下文行數(shù)；日志上下文：支持查看對應日志上下文；高級搜索：二維表格形態(tài)展示高級搜索指令返回的數(shù)據(jù)集合，在字段列表中點擊字段名稱，浮層展現(xiàn)即時的字段統(tǒng)計排序；搜索標簽：支持在搜索界面添加一個新的日志展現(xiàn)標簽頁，在搜索界面刪除一個已有的日志展現(xiàn)標簽頁；搜索語法關(guān)聯(lián)提示，自動補充查詢語法；數(shù)據(jù)摘要，系統(tǒng)按照日志輸出文件層級展示。儀表盤儀表盤用來自定義可視化監(jiān)控場景，比如通過web服務器日志，可以分析和展現(xiàn)頁面訪問量、獨立訪客數(shù)、異常請求次數(shù)、web流量、響應時間、請求趨勢、請求訪問碼分布、異常請求的分布、異常的鏈路等圖形；儀表盤管理：支持私有不對其他用戶可見，根據(jù)應用、儀表盤名稱查詢；應用、儀表盤支持置頂排序；支持全屏查看儀表盤；支持儀表盤自動更新；支持導出儀表盤數(shù)據(jù)；儀表盤編輯：支持數(shù)字面板、柱狀圖、折線圖、條形圖、面積圖、餅圖、文本；支持搜索框、下拉菜單（單選、多選）、分段控制器、時間選擇器；支持用戶指定某個圖表的查詢時間范圍，指定儀表盤內(nèi)所有圖表統(tǒng)一采用某個查詢時間范圍；儀表盤支持通過SQL查詢，借助groovy進行數(shù)據(jù)轉(zhuǎn)換；同時支持SPL/SQL/DSL等查詢語句；支持配置儀表盤間聯(lián)動關(guān)系；支持儀表盤皮膚切換；支持面板大小和位置自由拖拽；自持數(shù)據(jù)源支持SQL、DSL進行查詢；支持通過對結(jié)果集進行再次運算；支持配置圖表標簽、間隔等樣式。監(jiān)控告警支持基于搜索條件進行告警，包含全文檢索、SQL、SPL索引查詢；告警規(guī)則管理：顯示告警規(guī)則、創(chuàng)建者、創(chuàng)建時間、觸發(fā)時間；支持啟動、停止告警歷史查詢：支持曾經(jīng)觸發(fā)的告警，保存成歷史記錄查看；支持根據(jù)告警規(guī)則名稱進行搜索；支持統(tǒng)計圖展示對應時間告警觸發(fā)趨勢；執(zhí)行計劃：支持設(shè)定每次間隔多長時間執(zhí)行一次檢測；告警推送：支持發(fā)送短信、郵件、釘釘方式來通知相關(guān)人員；接收設(shè)置：支持告警接收人及接收信息，告警接收人分配置對應組，根據(jù)組進行告警。實時追蹤實時查詢：支持實時日志同步顯示，可選擇暫停；可支持日志實時tail前臺展示；日志搜索：支持搜索框標準查詢，支持And、Or、Not基本邏輯運算；支持聚焦搜索框下方提示系統(tǒng)字段查詢語法；支持智能提示該查詢范圍內(nèi)包含的文件或字段值，選擇即自動補充；日志過濾：支持輸入“關(guān)鍵詞”結(jié)果高亮；增刪窗口：支持增加或者刪除實時追蹤的窗口；模式切換：日志以原始方式展示，便于與其他日志進行區(qū)分；日志清屏：支持一鍵清除全部內(nèi)容；搜索查詢：支持攜帶查詢條件進入搜索頁面查看詳細內(nèi)容。數(shù)據(jù)投遞可支持maxcomputer、datahub、關(guān)系型數(shù)據(jù)庫MySQL、Oracle的數(shù)據(jù)實時投遞同步；任務管理：支持任務總數(shù)，進行中、失敗、配置失敗、停止數(shù)量統(tǒng)計；支持異常狀態(tài)信息上報；支持任務操作、啟動、停止、重試、編輯、刪除；支持根據(jù)狀態(tài)篩選對應任務，根據(jù)任務名稱、描述進行搜索；Access_key管理：支持管理Access_key并進行加密，定義別名，創(chuàng)建任務使用別名，保證信息安全；任務創(chuàng)建：支持根據(jù)解析規(guī)則（文件類型）篩選數(shù)據(jù)源，預覽所選文件；支持項目名稱、表名稱配置，支持分區(qū)格式配置，支持層級分區(qū)；支持MaxCompute連通性測試，支持定義字段類型。數(shù)據(jù)脫敏脫敏規(guī)則管理：支持系統(tǒng)默認給的常用脫敏規(guī)則，支持該規(guī)則被作用于哪些日志文件；支持啟動、停止、編輯、刪除脫敏規(guī)則；命中統(tǒng)計：支持當前規(guī)則命中率最高的文件，以及被脫敏日志的統(tǒng)計圖呈現(xiàn)；脫敏規(guī)則編輯：支持全局匹配脫敏規(guī)則，針對文件進行脫敏；支持針對日志類型（logtype）進行脫敏；支持系統(tǒng)提供常用脫敏模版（正則表達式），可直接選擇使用；支持填寫日志樣例，并對實時查看脫敏效果；支持設(shè)置脫敏規(guī)則對哪些目標用戶生效或不生效（白名單、黑名單）；支持可選擇是否開啟統(tǒng)計模式，統(tǒng)計含敏感字段的日志；保存原日志，讀取、下載時進行脫敏，通過權(quán)限控制原數(shù)據(jù)可見。數(shù)據(jù)源管理數(shù)據(jù)源列表：支持顯示當前上傳的日志文件；分類管理：支持通過自定義組織結(jié)構(gòu)管理數(shù)據(jù)源，依據(jù)結(jié)構(gòu)進行快速定位；IP搜索：支持搜索IP查看具體機器下的數(shù)據(jù)源；支持跳轉(zhuǎn)至搜索頁面查看日志詳情；保存周期：支持顯示對應文件的保存周期；備份/恢復備份：支持平臺內(nèi)數(shù)據(jù)以索引為單位主動備份至指定文件系統(tǒng)；支持配置“索引過期自動備份”；恢復：支持備份至指定文件系統(tǒng)的數(shù)據(jù)，可恢復至日志系統(tǒng)供必要時使用。容量管理日志用量界面：支持直方圖形式展現(xiàn)本月日志總用量的趨勢；支持直方圖形式展現(xiàn)本月各應用用量的趨勢；日志保存周期：支持不同保存類型對應不同保存周期，通過修改日志保存周期來調(diào)整日志的保存周期。運維管理主機服務管理：支持日志中心各服務與主機的狀態(tài)監(jiān)控；監(jiān)控告警：支持提供監(jiān)控告警項自定義配置，可設(shè)置觸發(fā)條件。權(quán)限管理用戶管理：支持當前所有用戶基本信息展示，標識普通成員、管理員、超級管理員身份，指定用戶授予功能、數(shù)據(jù)源權(quán)限；支持超級管理員可將普通用戶置為管理員，根據(jù)用戶賬號進行模糊搜索；功能權(quán)限：支持列表展示功能權(quán)限分組，對應用戶數(shù)，編輯或刪除功能組；支持選擇功能權(quán)限點創(chuàng)建為功能組，功能組權(quán)限授予用戶；數(shù)據(jù)源權(quán)限：支持列表展示數(shù)據(jù)源權(quán)限分組，對應用戶數(shù)；編輯或刪除數(shù)據(jù)源權(quán)限組；支持根據(jù)數(shù)據(jù)源結(jié)構(gòu)，選擇數(shù)據(jù)源節(jié)點創(chuàng)建為數(shù)據(jù)源組，數(shù)據(jù)源組權(quán)限授予用戶。用戶中心個人中心：支持設(shè)置用戶電話、手機號碼、郵箱；支持查看當前登錄的時間、IP和地理位置信息；支持查看上次登錄的時間、IP和地理位置信息；支持密碼重置；角色管理：支持新增角色，并配置該角色擁有的菜單權(quán)限和數(shù)據(jù)源權(quán)限；支持修改角色對應的菜單權(quán)限和數(shù)據(jù)源權(quán)限。二）產(chǎn)品非功能性要求1.日志處理性能要求產(chǎn)品提供日增量不低于100G/每日的日志處理能力。2.實時性要求對于日志的使用、統(tǒng)計、展示等功能要求延時率極低（30秒之內(nèi)），保證監(jiān)控、告警的及時性，方便運維人員第一時間感知。3.可用性要求對數(shù)據(jù)的采集，中轉(zhuǎn)，存儲的系統(tǒng)都是使用服務器集群，小量的服務器故障不會影響整個系統(tǒng)的可靠性。日志分析系統(tǒng)在遇到故障時能自動隔離和阻斷，保障不會對其他系統(tǒng)造成影響，同時系統(tǒng)關(guān)鍵信息及數(shù)據(jù)也按照多副本來存儲，保證系統(tǒng)的可靠穩(wěn)定工作。對于自身系統(tǒng)模塊提供圖形化的管理方式，方便提供服務指標和運維監(jiān)控。4.擴展性要求日志系統(tǒng)的容量是可動態(tài)擴展，能滿足對日志存儲周期的整體要求以及更多各類日志接入之后存儲需求的快速增長。日志系統(tǒng)的部署可靈活搭配，能滿足后續(xù)的技術(shù)架構(gòu)和部署架構(gòu)，滿足跨中心日志查詢和搜索。5.開放性要求可提供標準Restfulapi接口給其他系統(tǒng)使用，將原始日志信息，或統(tǒng)計結(jié)果，告警信息，發(fā)送給第三方系統(tǒng)。可將日志進行合并過濾后，將統(tǒng)計結(jié)果發(fā)送到第三方系統(tǒng)?？蓪⑷罩具M行格式化處理后，會自動回寫一份格式化后的日志到消息隊列