splunk簡易教程

1、splunk Copyright 2011, Splunk Inc.Listen to your data.2 Splunk = Splunkweb + Splunkd Copyright 2011, Splunk Inc.Listen to your data.3 索引任何的機器數(shù)據(jù) 實時從日志文件獲取事件 運行腳本獲取系統(tǒng)參數(shù), 連接到 API 和數(shù)據(jù)庫 監(jiān)聽 syslog 或獲取 Windows 事件 通用方式索引任何內(nèi)容格式的數(shù)據(jù), 不需要連接器 Windows Registry Event logs File system sysinternals Linux/Unix Config

2、urations Syslog File system Ps, iostat, top Virtualization Hypervisor Guest OS Guest Apps Applications Web logs Log4J, JMS, JMX .NET events Code and scripts Databases Configurations Audit/query logs Tables Schemas Network Configurations syslog SNMP netflow Copyright 2011, Splunk Inc.Listen to your d

3、ata.4 Splunk 有四個主要功能組件 索引和搜索服務(wù)(Indexer) 本地和分布式管理 (Deployment Server) 數(shù)據(jù)收集和轉(zhuǎn)發(fā)(Forwarder) 搜索和報表(Search Head) 一個 Splunk 安裝可以是其中一個或者多個角色 Copyright 2011, Splunk Inc.Listen to your data.5 安裝和啟動 1.安裝過程很簡單 2. Splunk啟動后，你可以打開瀏覽器登錄進入Splunk。默認的情況下 Splunk 會使用 8000 端口，如果是在本機登錄 Splunk，你可以直接在地址欄輸入 http:/localhost:

4、8000 Copyright 2011, Splunk Inc.Listen to your data.6 添加數(shù)據(jù) 回到Splunk的 Web 界面，在頁面右上角選擇“管理”,選擇所需添加日志的 類型,或者可以選擇從文件和目錄導(dǎo)入數(shù)據(jù). Copyright 2011, Splunk Inc.Listen to your data.7 添加數(shù)據(jù) 網(wǎng)絡(luò)設(shè)備添加數(shù)據(jù),通過udp 514端口定向轉(zhuǎn)發(fā)syslog Copyright 2011, Splunk Inc.Listen to your data.8 添加數(shù)據(jù) 通過指定路徑添加日志文件,如我們通過指定路徑收集IIS日志 Copyright 2

5、011, Splunk Inc.Listen to your data.9 Serach應(yīng)用的介紹 在應(yīng)用欄選擇serach,可以打開serach界面. Copyright 2011, Splunk Inc.Listen to your data.10 Search應(yīng)用的介紹 開始一個搜索,展現(xiàn)結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.11 Serach應(yīng)用的介紹 開始搜索,可以進一步添加搜索條件,例如添加一個ip,相關(guān)結(jié)果會高亮顯示. Copyright 2011, Splunk Inc.Listen to your data.12

6、 添加字段 點擊edit按鈕,可以添加自己想要的字段,圖中實例添加action、category_id、 product_id 三個字段,按字段搜索可以更加精確定位搜索結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.13 保持搜索結(jié)果 搜索可以保存,方便以后快速找到結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.14 搜索語句簡介 Splunk 不只是提供簡單的條件匹配搜索，還可以通過對搜索結(jié)果做進一步的 處理從而進行各種復(fù)雜的數(shù)據(jù)分析。例如在樣例數(shù)據(jù)中，如果我希望了解到： 在線商店賣的

7、最好的產(chǎn)品是哪些？有多少客戶購買了鮮花？每個客戶購買了 多少鮮花？這些問題都可以通過 Splunk提供的強大的搜索命令來進行分析得 到最終的結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.15 搜索語句簡介 管道符（“ | ”）與top sourcetype=access_* action=purchase | top category_id 例如，如果希望知 道所有購買商品的 日志記錄中，最多 的產(chǎn)品類別是哪些， 我可以先篩選出有 購買命令動作的日 志事件，然后使用 top 這個命令來對結(jié) 果中的 category_id 字段進行排序 C

8、opyright 2011, Splunk Inc.Listen to your data.16 搜索語句簡介 對搜索結(jié)果進一步鉆取 通過鼠標點擊 category_id 中 的 FLOWERS， Splunk會自動把 這個條件添加 到搜索條件中， 打開新的搜索 結(jié)果頁面 Copyright 2011, Splunk Inc.Listen to your data.17 搜索語句簡介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats dc(clientip) 有多少獨立客 戶購買了鮮花 類商品？（設(shè)

9、定一個 clientip 即為一個客戶 來源） stats是用于統(tǒng)計的命令，后面可以有多種不同的統(tǒng)計方法，dc（或 distinct_count）是其中一個計算去重后的數(shù)量 Copyright 2011, Splunk Inc.Listen to your data.18 搜索語句簡介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count BY clientip 每個獨立客戶 各購買的鮮花 數(shù)量是多少？ stats是用于統(tǒng)計的命令，后面可以有多種不同的統(tǒng)計方法，dc（或 distinct_co

10、unt）是其中一個計算去重后的數(shù)量 Copyright 2011, Splunk Inc.Listen to your data.19 搜索語句簡介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count AS 購買的鮮花數(shù)量 by clientip | rename clientip AS 客戶 我們還可以對 輸出展現(xiàn)的樣 式進行調(diào)整， 使用 rename命 令將每列的表 頭名稱修改為 比較易于理解 的描述文字. Splunk提供了上百個不同的搜索命令以便于用戶可以對所獲取的數(shù)據(jù)進行各種 不同

11、維度的分析,詳細參見請見Search Reference手冊. Copyright 2011, Splunk Inc.Listen to your data.20 創(chuàng)建報表 sourcetype=access_* method=GET | chart count AS views, count(eval(action=purchase) AS purchases by category_id | rename views AS 查看, purchases AS 購買, category_id AS 產(chǎn)品類別 我們用下面的 chart 命令創(chuàng)建 一個報表，展現(xiàn)查看和購買 的商品類別數(shù)量。然后選擇

12、 創(chuàng)建” !Report 打開報表編輯 器 Copyright 2011, Splunk Inc.Listen to your data.21 創(chuàng)建報表 sourcetype=access_* | timechart count(eval(action=purchase) by product_name usenull=f 1.用 timechart 命令做一個基 于時間的報表。這個例子中 我們會使用到之前做的查找 對照定義字段 2.timechart 命令自動會使用最合適的一 個時間間隔來做出報表，如果你有自己 指定的時間間隔，可以在 timechart 后 面增加span=xxx來定義間隔

13、，例如 span=1d、span=1h， 等等，具體可參考 timechart 命令的詳細說明。 選擇創(chuàng)建Report 生成報表，填入 報表標題，在“堆疊模式”中選 擇“堆疊圖”，并應(yīng)用保存。 Copyright 2011, Splunk Inc.Listen to your data.22 創(chuàng)建儀表板 儀表板是一個展現(xiàn)多個報表和搜索結(jié)果的視圖。一個儀表板由多個面板內(nèi)容 組成，Splunk允許用戶自己創(chuàng)建并組織儀表板的內(nèi)容和樣式。下面我們首先 通過Dashboard & Views 菜單創(chuàng)建一個儀表板: 創(chuàng)建一個新儀表板后是一個空白的視圖， 我們可以通過儀表板右上角的“啟用”、 “停用” 來編

14、輯儀表板上的面板內(nèi)容。 Copyright 2011, Splunk Inc.Listen to your data.23 創(chuàng)建儀表板 我們點擊“新建面板”來增加幾個剛剛保存過的報表和搜索。選擇“各種產(chǎn) 品購買趨勢”報表，報表面板添加到儀表板后，選擇 Edit!Edit Visualization， 選擇“直條圖”，在“堆疊模式”處選擇“stacked” （堆疊） Copyright 2011, Splunk Inc.Listen to your data.24 創(chuàng)建儀表板 繼續(xù)添加其他兩個報表，用鼠標拖拽排列面板的位置，最終我們就生成了一 個完整的儀表板 Copyright 2011, Sp

15、lunk Inc.Listen to your data.25 Splunk應(yīng)用管理 官網(wǎng)提供很多免費的,常用的應(yīng)用下載,在”管理-應(yīng)用”菜單里我們可以點擊互 聯(lián)網(wǎng)查找更多應(yīng)用或者選擇從文件安裝應(yīng)用 安裝應(yīng)用,選擇從文件安裝, 選擇路徑點擊上載即可 Copyright 2011, Splunk Inc.Listen to your data.26 Splunk for windows應(yīng)用 安裝好for Windows的應(yīng)用之后,可以在應(yīng)用菜單中選擇windwos應(yīng)用 Copyright 2011, Splunk Inc.Listen to your data.27 Splunk for win

16、dows應(yīng)用 安裝應(yīng)用的好處是,我們不需要去編寫麻煩的search語句,只需點擊一個按鈕就 可以得到自己想要的結(jié)果 例如我們選擇搜 索和報表,選擇 cpu使用閥值 得到cpu設(shè)定閥 值觸發(fā)的次數(shù) 統(tǒng)計 Copyright 2011, Splunk Inc.Listen to your data.28 Splunk for linux應(yīng)用 Splunk for linux應(yīng)用,和for windows應(yīng)用類似,我們可以很方便的查找到系統(tǒng)硬 件(cpu,內(nèi)存)等的使用狀態(tài),還可以查找到用戶的登錄情況(失敗次數(shù),用戶添加, 用戶修改密碼記錄)等等. Copyright 2011, Splunk In

17、c.Listen to your data.29 更多應(yīng)用 更多應(yīng)用請登錄http:/splunk- 作,需根據(jù)實際情況而定. Copyright 2011, Splunk Inc.Listen to your data.30 創(chuàng)建告警 可以根據(jù)實際環(huán)境要求,創(chuàng)建告警通知 根據(jù)需求,編寫搜索語句,然后 在右邊的創(chuàng)建按鈕處,選擇創(chuàng) 建alert(告警) Copyright 2011, Splunk Inc.Listen to your data.31 創(chuàng)建告警 配置接收告警郵箱 創(chuàng)建完alert后,可以在收 索與報表中看到剛才創(chuàng) 建的告警 在管理器-搜索和報表 中可以看到剛創(chuàng)建的報 表,點擊進入

18、設(shè)置項 Copyright 2011, Splunk Inc.Listen to your data.32 創(chuàng)建告警 配置接收告警郵箱 進入告警之后可以設(shè)置 時間,默認是實時監(jiān)控的. 只要有符合搜索條件的 日志就會觸發(fā)告警. 填寫接收警告的郵箱,按 保存完成. Copyright 2011, Splunk Inc.Listen to your data.33 創(chuàng)建告警 配置發(fā)送告警郵箱,在菜單管理器-系統(tǒng)設(shè)置-電子郵箱通知設(shè)置目錄下. 配置發(fā)送郵件服務(wù)器信 息,以及發(fā)送郵件的賬戶 信息. 這里的電子郵件發(fā)送方 式可以填發(fā)送郵箱名, 點擊保存按鈕,完畢. Copyright 2011, Splunk Inc.Listen to