阿里云-日志服務用戶指南-D

1、日志服務用戶指南日志服務/用戶指南日志服務/用戶指南 PAGE 109 PAGE 109用戶指南日志服務（Log Service，Log）是針對日志垂直場景的一站式服務，在阿里巴巴集團內(nèi)部被廣泛使用。目前版本提供如下功能：日志中樞（LogHub）：通過Agent/API實時收集、訂閱、消費日志數(shù)據(jù)日志投遞（LogShipper）：將日志定時投遞至存儲類服務（ODPS/OSS)日志查詢（LogSearch）：提供基于時間、關鍵詞查詢用以定位及分析問題其中日志中樞為基礎功能，用戶可根據(jù)需求選擇日志投遞及日志查詢功能。日志服務提供健全API及Web控制 臺方便用戶使用。日志服務與阿里云其他產(chǎn)品關系如

2、下：上游：下游：ECS：云主機（ECS）是用戶日志產(chǎn)生的重要場所。Log和ECS緊密集成，讓用戶便捷管理云主機上產(chǎn)生的日志數(shù)據(jù)EMR：通過Spark Stream實時消費LogHub中實時數(shù)據(jù)ODPS：通過LogShipper，日志可以定時投遞到ODPS表中，進行離線分析云監(jiān)控：云監(jiān)控可直接對LogHub中日志進行監(jiān)控項配置、及報警（即將推出）OSS：通過LogShipper，日志可以準實時投遞到OSS中，并通過EMR(MR)進行離線分析其他：用戶可以通過Storm、程序、或第三方應用消費LogHub中日志數(shù)據(jù)下圖是產(chǎn)品大圖:一切皆日志半世紀前說起日志，想到的是船長、操作員手里厚厚的筆記。如今

3、計算機誕生使得日志產(chǎn)生與消費無處不在：服務器、路由器、傳感器、GPS、訂單、及各種IoT設備通過不同角度描述著我們生活的世界。借助于計算力 量，通過收集、處理、使用日志，我們不斷更新對整個世界以及體系的認知。日志是什么?從船長日志中我們可以發(fā)現(xiàn)，日志除了帶一個記錄的時間戳外，可以包含幾乎任意的內(nèi)容，例如：一段記錄文 字、一張圖片、天氣狀況、船行方向等。幾個世紀過去了，船長日志的方式已經(jīng)擴展到一筆訂單、一項付款 記錄、一次用戶訪問、一次數(shù)據(jù)庫操作等多樣的領域。日志這種廣泛使用模式之所以經(jīng)久不衰，在于：日志是一種簡單的不能再簡單的存儲抽象。它是一個只能增 加的，完全按照時間排序的一系列記錄。日志(

4、時間序列數(shù)據(jù)）看起來如下：我們可以給日志末尾添加記錄，并且可以從左到右讀取日志記錄。每一條記錄都指定了一個唯一的有一定順序 的日志記錄編號。日志順序由時間來確定，從圖上可以看到日志從右到左的時間順序，新產(chǎn)生的事件被記錄，過去的事件漸漸 遠去，但它記錄了什么時間發(fā)生了什么事情，這無論對于計算機、人類、還是整個世界而言，是認知與推理的 基礎。核心概念為方便理解整個日志服務服務并順利使用，這里首先介紹其中的幾個基本概念。地域（Region）地域為阿里云的服務節(jié)點。用戶通過在不同的阿里云Region部署服務，讓自己的服務距離客戶更近，獲得更低 的訪問延時及更好的用戶體驗。目前阿里云在全國各地擁有多個R

5、egion。項目（Project）項目為日志服務中的基本管理單元，用于資源隔離和控制。用戶可以通過項目來管理某一個應用的所有日志及 相關的日志源。日志庫（Logstore）日志庫為日志服務中日志數(shù)據(jù)的收集、存儲和查詢單元。每個日志庫隸屬于一個項目，且每個項目可以創(chuàng)建多 個日志庫。用戶可以根據(jù)實際需求為某一個項目生成多個日志庫，其中常見的做法是為一個應用中的每類日志 創(chuàng)建一個獨立的日志庫。例如，假如用戶有一個big-game游戲應用，服務器上有三種日志：操作日志（operation_log），應用程序日志（application_log）以及訪問日志（access_log），用戶可以首先創(chuàng)建名

6、為big-game的項目，然后在該項目下面為這三種日志創(chuàng)建三個日志庫，分別用于它們的收集、存儲和查詢。分區(qū)（Shard）分區(qū)（shard）是每個日志庫下讀寫基本單元，用戶可以指定每個日志庫下分區(qū)數(shù)目。每個分區(qū)能承載一定量的 服務能力：- 寫入：5MB/S，2000次/S- 讀取：10MB/S，100次/Sshard有兩種狀態(tài)：readwrite：shard處于可讀可寫狀態(tài)readonly：shard只能讀，不能寫每個shard都是有一個range，取值范圍可用MD5方式來表示，用于支持指 定hashkey的模式寫入，以及shardsplit和merge操作inclusiveBeginKey：s

7、hard起始的rangekey（包含）exclusiveEndKey：shard的結束rangekey（不包含）在向Shard讀寫數(shù)據(jù)過程中，讀必須指定對應shard，而寫的過程中可以使用負載均衡模式或者指定hash key的模式。負載模式下，每個數(shù)據(jù)包，隨機寫入某一個當前可用的shard中，在指定hash key模式下，數(shù)據(jù)寫入shard range包含這個key的shard。日志（Log）日志為日志服務中處理的最小數(shù)據(jù)單元。日志服務采用半結構數(shù)據(jù)模式定義一條日志，具體數(shù)據(jù)模型如下：主題（Topic）：用戶自定義字段，用以標記一批日志（例如：訪問日志根據(jù)不同的站點進行標記）。默認該字段為空字

8、符串（空字符串也為一個有效的主題）。時間（Time）：日志中保留字段，用以表示日志產(chǎn)生的時間（精度為秒，從1970-1-1 00:00:00 UTC計算起的秒數(shù)），一般由日志中的時間直接生成。內(nèi)容（Content）：用以記錄日志的具體內(nèi)容。內(nèi)容部分由一個或多個內(nèi)容項組成，每一個內(nèi)容項由Key、Value對組成。來源（Source）：日志的來源地，例如產(chǎn)生該日志機器的IP地址。默認該字段為空。與此同時，日志服務對日志各字段的取值有不同要求，具體如下表描述：數(shù)據(jù)域要求time整型，Unix標準時間格式，最小單位為秒topic任意不超過128字節(jié)的字符串source任意不超過128字節(jié)的字符串con

9、tent一個或多個Key-Value對。其中Key為僅包含字母、下劃線、數(shù)字，不以數(shù)字開頭，不超過128字節(jié)的UTF-8編碼字符串。Value為不超過1024*1024字節(jié)的任意字符串上表content中的key不可以使用如下關鍵字： time ， source ， topic , partition_time ，_extract_others_, extract_others 日志組（LogGroup）一組日志的集合，寫入與讀取的基本單位。日志組限制為：最大4096行日志，或10MB空間。日志主題（Topic）一個日志庫內(nèi)的日志可以通過日志主題（Topic）來劃分。用戶可以在寫入時指定日志主

10、題，并在查詢時必須指 定查詢的日志主題。例如，一個平臺用戶可以使用用戶編號作為日志主題寫入日志。這樣在查詢時可利用日志 主題讓不同用戶僅看到自己的日志。如果不需要劃分一個日志庫內(nèi)日志，讓所有日志使用相同的日志主題即可。注意：空字符串是一個有效的日志主題（Topic），且無論是寫入還是查詢?nèi)罩緯r，默認的日志主題都是 空字符串。所以，如果不需要使用日志主題，最簡單的方式就是在寫入和查詢?nèi)罩緯r都使用默認日志主題，即空字符串。下圖描述了日志庫、日志主題和日志之間的關系：實際使用場景中，日志的格式多樣。為了幫助理解，以下以一條nginx原始訪問日志如何映射到日志服務日志數(shù) 據(jù)模型為例說明。假設用戶ngi

11、nx服務器的IP地址為17,下面為其上的一條原始日志：93 - - 01/Mar/2012:16:12:07 +0800 GET /Send?AccessKeyId=8225105404 HTTP/1.1 200 5 -93 - - 01/Mar/2012:16:12:07 +0800 GET /Send?AccessKeyId=8225105404 HTTP/1.1 200 5 -Mozilla/5.0 (X11; Linux i686 on x86_64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2把該條原始日志映射到日志服務日志數(shù)據(jù)模型，如下：數(shù)據(jù)域

12、內(nèi)容說明topic沿用默認值（空字符串）time1330589527日志產(chǎn)生的精確時間（精確到秒）,從原始日志中的時間戳轉換而來。source17使用服務器IP地址作為日志源contentKey-Value對日志具體內(nèi)容用戶可以自己決定如何提取日志原始內(nèi)容并組合成Key-Value對，例如下表：keyvalueip93methodGETstatus200length5ref_url-browserMozilla/5.0 (X11; Linux i686 on x86_64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2管理控制臺日志服務控制臺是幫助用戶操作日

13、志服務中各種資源的交互界面。你可以在控制臺上管理所有的項目（Project）、日志庫（Logstore），配置日志收集的策略，管理需要收集日志的機器等。本部分文檔將詳細描 述如何利用控制臺完成如下操作：創(chuàng)建、管理項目創(chuàng)建、管理項目下的日志庫管理需要收集日志的服務器配置日志收集客戶端（Logtail）的收集策略日志投遞啟用、投遞任務狀態(tài)查詢及失敗重試目前，日志服務的項目（Project）操作僅可在控制臺完成。所以，請登陸阿里云控制臺首頁，并從產(chǎn)品菜單中 選擇日志服務，如下：日志服務控制臺分成Project管理和離線投遞任務管理兩個主要部分。默認情況下，控制臺會直接進入Project管理模塊，它也

14、是所有項目管理的入口。項目創(chuàng)建進入控制臺的Project管理界面，點擊右上方創(chuàng)建Project按鈕開始創(chuàng)建項目，如下：按照對話框提示填寫項目信息，點擊確認按鈕即成功創(chuàng)建項目。成功創(chuàng)建后，該項目會在項目列表中列出。項目的名稱必須要符合Project命名規(guī)則，且創(chuàng)建后無法修改。創(chuàng)建項目時必須指定所屬區(qū)域（即阿里云Region），且創(chuàng)建后無法修改，也無法在多個區(qū)域遷 移項目。項目列表Project管理界面的項目列表會列出當前阿里云賬號下的所有項目，如下圖用戶可以通過項目列表操作相應的項目，具體如下：管理項目：點擊項目名稱或者項目列表右邊的管理按鈕都可以對該項目進行日志庫管理和機器組管 理。刪除項目：

15、點擊項目列表右邊的刪除按鈕可刪除當前項目。另外，當鼠標移動到項目名稱上，會彈出浮動窗口顯示該項目的更多細節(jié)，如下圖項目刪除如上所述，通過項目列表右邊的刪除按鈕即可刪除項目。為了保證用戶的數(shù)據(jù)安全，刪除項目需要二次安全 認證。點擊刪除按鈕后會彈出如下二次驗證對話框：正確通過二次安全驗證后，相應的項目就會被成功刪除，且所有數(shù)據(jù)也不可恢復。如項目操作所述，可以通過項目列表進入該項目的日志庫管理界面，如下圖：如上圖所示，用戶可以對于一個項目進行日志庫管理和機器組管理兩類操作。默認情況下，用戶從項 目列表直接進入日志庫管理界面。本章節(jié)僅關注日志庫管理，關于機器組管理的操作請參看下一節(jié)。日志庫的創(chuàng)建在日志

16、庫管理頁面直接點擊右上方的創(chuàng)建按鈕即開始日志庫創(chuàng)建流程，彈出如下對話框：按照對話框提示填寫日志庫信息，點擊確認按鈕即成功創(chuàng)建日志庫。成功創(chuàng)建后，該日志庫會在日志庫列表 中顯示。在創(chuàng)建日志時需要注意如下幾點：日志庫名稱需要遵循日志庫命名規(guī)范，且創(chuàng)建后無法修改。目前，日志服務對于存入日志庫內(nèi)的數(shù)據(jù)提供三種消費模式：日志消費，日志投遞和日志索引 2天的日 志數(shù)據(jù)。關于如何消費日志的更多信息，請參考日志查詢。如果用戶選中日志投遞中ODPS，則會提示用戶指定投遞的ODPS Project和Table名稱。關于日志投遞到ODPS的更多信息，請參考投遞日志到ODPS。如果用戶選中日志投遞中OSS，則會提示用

17、戶指定投遞的OSS Bukcet和訪問控制角色名稱等屬性，關于日志投遞到OSS的更多信息，請參考投遞日志到OSS。如果用戶選擇開啟日志索引功能，則會提示用戶指定索引的保存時間以及分詞屬性，設置完成后1min左右生效，之后會對實時流入的數(shù)據(jù)建立索引。在創(chuàng)建完日志庫后， 控制臺會主動彈出對話框幫助用戶繼續(xù)為該日志庫創(chuàng)建Logtail配置。用戶可以選擇繼續(xù)創(chuàng)建Logtail配置，也可以選擇取消，暫時不創(chuàng)建該日志庫的Logtail配置。關于如何創(chuàng)建Logtail配置請參考Logtail收集日志。每個日志服務項目可創(chuàng)建最多100個日志庫。日志保存時長僅可在創(chuàng)建日志庫時選擇，創(chuàng)建完后就不可更改。日志庫列表

18、日志庫管理頁面的LogStore列表會列出該項目下的所有日志庫（如下圖），并提供進一步配置、管理的入口。具體來說，用戶可以通過日志庫列表做如下操作：點擊列表中LogStore名稱可進入日志查詢頁面，具體請參考日志查詢操作。點擊日志數(shù)據(jù)收集模式列下的創(chuàng)建（如果已經(jīng)創(chuàng)建，則為修改）鏈接進行當前日志庫的Logtail配置Logtail收集日志并寫入該日志庫，用戶需要進行該項配置，具體請參考Logtail收集日 志。點擊日志數(shù)據(jù)收集模式列下的查看鏈接了解日志服務的API文檔，通過API或者SDK向該日志庫寫入 日志。點擊日志數(shù)據(jù)消費模式列下日志消費的修改鏈接可以修改日志庫的shard個數(shù)，目前只支持增

19、加，如下圖點擊日志數(shù)據(jù)消費模式列下日志投遞的ODPS創(chuàng)建鏈接設置導入ODPS對應的數(shù)據(jù)表，如下圖：點擊日志數(shù)據(jù)消費模式列下日志投遞的OSS創(chuàng)建連接設置導入OSS對應的Bucket，如下圖：點擊日志庫列表中最右邊的刪除鏈接刪除對應的日志庫。日志庫刪除如上所述，點擊刪除鏈接即開始刪除日志庫流程。在刪除日志庫前會彈出如下對話框讓用戶確認刪除操作：日志庫刪除后，其保存的日志數(shù)據(jù)不可恢復日志服務通過機器組的方式管理所有需要通過Logtail客戶端收集日志的ECS云機器。用戶可以通過日志服務項 目列表進入該項目的機器組管理頁面，如下：創(chuàng)建機器組點擊機器組管理頁面右上方的創(chuàng)建機器組按鈕即會彈出如下對話框：按

20、照如上對話框提供機器組信息，點擊確認即可開始機器組創(chuàng)建過程。在創(chuàng)建機器組時，需要特別注意以下問 題：請確保你填寫的云主機為此登陸云賬號所有。請確保你填寫的云主機和當前日志服務Project在一個阿里云Region。請確保使用ECS云主機的內(nèi)網(wǎng)IP（不是外網(wǎng)IP），且多個IP請用換行分割。請不要把Windows云主機和Linux云主機添加到同一機器組。目前日志服務已經(jīng)關閉云盾遠程安裝Logtail客戶端功能，請用戶按照自助安裝Logtail文檔進行操作。機器組列表（如下圖），并且該列表也是對機器組進行各種操作的 入口。具體來說，用戶可以通過機器組列表進行如下操作：點擊修改機器組鏈接來修改機器組中

21、的云主機列表（注：機器組名稱在創(chuàng)建時選定后就不可以更改）。點擊查看狀態(tài)鏈接了解當前機器組內(nèi)各個云主機上Logtail客戶端心跳狀態(tài)是否正常。點擊管理配置鏈接配置機器組內(nèi)所有云主機的日志收集配置，具體請參考Logtail收集日志點擊刪除鏈接可以刪除相應的機器組。下面將詳細說明這些功能的操作方式。修改機器組在創(chuàng)建完機器組后，用戶可以隨時調(diào)整該機器組內(nèi)的云主機列表。如前所述，點擊機器組列表中的修改機器組 即會彈出如下對話框：修改機器列表（IP列表）并確認保存。查看狀態(tài)為驗證Logtail客戶端已經(jīng)在機器組內(nèi)的所有云主機安裝成功，用戶可以點擊機器組列表中的查看狀態(tài)鏈接，查看Logtail客戶端的心跳信

22、息，具體如下：如果所有云主機上的Logtail客戶端都安裝成功，則心跳信息應該都為OK。如果心跳信息為Fail，建議首先 按照頁面提示進行自查。如自查仍無法解決問題，可通過工單尋求幫助。心跳OK指Logtail與日志服務連接正常。機器加入機器組后可能會有幾分鐘左右的延時才能看到 心跳OK狀態(tài)，請耐心等待。如云主機心跳一直Fail，請按照自助安裝Logtail文檔進行操作。管理配置日志服務利用機器組管理所有需要收集日志的云主機，這其中的一個重要管理項目就是Logtail客戶端的收集配 置（請參考Logtail收集日志）。用戶可以通過給一個機器組應用、刪除Logtail配置來決定每臺云主機上的Lo

23、gtail收集哪些日志，如何解析這些日志，發(fā)送日志到哪個日志庫等。點擊機器組列表中的管理配置即可管 理相應機器組應用哪些Logtail收集配置，如下圖：如上圖所示，配置管理對話框可以幫助用戶在機器組上添加、移除LogStore。當添加LogStore時，該Logtail客戶端。當移除LogStore時，該LogStore對 應的Logtail配置會從Logtail客戶端移除。刪除機器組如上所述，通過機器組列表右邊的刪除按鈕即可刪除機器組。為了保證用戶的數(shù)據(jù)安全，刪除機器組需要二 次安全認證。點擊刪除按鈕后會彈出如下二次驗證對話框：正確通過二次安全驗證后，相應的機器組就會被成功刪除。ECS云主機

24、上的日志。除了安裝Logtail客戶端 外，為Logtail客戶端創(chuàng)建日志收集配置也非常關鍵。如日志庫管理所述，可以通過日志庫列表可以給相應日志 庫創(chuàng)建、修改Logtail配置。在日志庫列表中，有無創(chuàng)建Logtail配置的日志庫顯示有所不同，如下圖：如圖所示，在未給日志庫創(chuàng)建Logtail配置時，日志庫列表顯示Logtail未配置，對于已經(jīng)配置Logtail的日志庫，日志庫列表顯示Logtail已配置，點擊管理鏈接即可進入Logtail配置列表進行配置管理。本章節(jié)分創(chuàng)建 和修改Logtail配置說明其操作方式。如果需要收集IIS的訪問日志，請參考IIS日志收集最佳實踐來進行配置。Logtail

25、配置列表通過管理鏈接進入后，該頁面列出了指定Logstore對應的所有配置，其中包含三部分內(nèi)容：配置名稱、數(shù)據(jù)來源（目前僅支持文本文件，近期會上上線syslog支持）和配置詳情，其中當數(shù)據(jù)來源為文本文件時，配置詳情展示了文件路徑和文件名稱，如下圖：請注意一個文件只能被一個配置收集。創(chuàng)建Logtail配置用戶有兩個途徑開始創(chuàng)建Logtail配置。首先，在創(chuàng)建完日志庫后控制臺會主動彈出如下對話框引導用戶創(chuàng)建，Logtail配置列表點 擊創(chuàng)建按鈕進入配置向?qū)Чδ堋?chuàng)建Logtail配置目前分為三個步驟：選擇數(shù)據(jù)源，指定收集模式和應用機器組，具體如下說明：選擇數(shù)據(jù)源/指定收集模式目前數(shù)據(jù)源僅支持文本文

26、件（后續(xù)支持syslog日志收集），指定收集模式方法如下： 文本文件日志收集Logtail目前已不提供windows文件內(nèi)容收集，如果需要在windows系統(tǒng)收集日志請使用Logstash或者SDK。Logtail配置適合所有支持的Linux64位發(fā)行版本。具體可參考使用Logtail寫入日志。應用機器組在完成Logtail配置之后，整個向?qū)н€會提升用戶應用該配置到相應機器組，如下圖：用戶可以選擇需要應用的機器組并點擊應用到機器組按鈕來完成配置應用。當然，用戶也可以點擊取消按 鈕暫時不應用配置。如機器組管理所述，用戶可以在任何時候向一個機器組應用指定配置。修改Logtail配置如前所述，用戶可

27、以通過日志庫列表中的修改鏈接開始修改一個已經(jīng)創(chuàng)建的Logtail配置。整個配置修改的流 程和創(chuàng)建完全相同，需要注意的是用戶要通過向?qū)в蚁路降纳弦徊胶拖乱徊桨粹o轉到希望修改的步驟并重 新開始配置。刪除Logtail配置刪除指定Logtail配置請?zhí)刂罫ogtail配置列表頁面，點擊指定Logtail配置的刪除鏈接，成功后即會將該配 置與之前應用機器組解除綁定，Logtail也會停止收集該配置對應的日志文件內(nèi)容。刪除指定LogStore前必須刪除其對應的所有Logtail配置。投遞日志到ODPS投遞日志到ODPS是日志服務的一個功能，能夠幫助用戶最大化數(shù)據(jù)價值。如日志庫管理所述，用戶可以自己 決

28、定對某個日志庫是否啟用該功能。一旦啟用該功能，日志服務后臺會定時把寫入到該日志庫內(nèi)的日志投遞到如上圖所示，通過日志投遞任務管理，用戶可以查看過去兩天內(nèi)的所有日志投遞任務，了解其狀態(tài)。投遞任務狀態(tài)可以是成功、進行中和失敗 。失敗狀態(tài)則表示用戶的投遞任務出現(xiàn)了因外部原因而無法重試的錯誤（如ODPS表結構不符合日 志服務規(guī)范、無授權等），需要用戶參與解決問題。用戶可以參考投遞日志到ODPS的投遞任務管理 部分了解更多細節(jié)。對于投遞失敗任務（創(chuàng)建兩天內(nèi)），用戶可在任務列表中查看導致失敗的外部原因。修復好這些外部 原因后，用戶可以逐一或者整體重試所有失敗任務。投遞日志到OSS投遞日志到OSS是日志服務提

29、供的另一項功能，能夠幫助用戶做數(shù)據(jù)長期存儲或聯(lián)合其它系統(tǒng)（如E-消費數(shù)據(jù)。如日志庫管理所述，用戶可以自己決定對某個日志庫是否啟用該功能。一旦啟用該功 能，日志服務后臺會定時把寫入到該日志庫內(nèi)的日志投遞到OSS對應的Bucket中。為方便用戶及時了解投遞進 度，處理線上問題，日志服務控制臺提供了日志投遞任務管理頁面：如上圖所示，通過日志投遞任務管理，用戶可以查看過去兩天內(nèi)的所有日志投遞任務，了解其狀態(tài)。投遞任務狀態(tài)可以是成功、進行中和失敗 投遞日志到OSS的投遞任務管理部 分。對于投遞失敗任務（創(chuàng)建兩天內(nèi)），用戶可在任務列表中查看導致失敗的外部原因。修復好這些外部 原因后，用戶可以逐一或者整體重

30、試所有失敗任務。日志服務控制臺提供專門的查詢頁面幫助用戶在瀏覽器內(nèi)直接查詢?nèi)罩?。如日志庫管理所述，用戶可以通過點 擊日志庫列表中的日志庫名稱進入查詢頁面，見下圖：如上圖所示，用戶可以在日志查詢頁面指定查詢?nèi)罩镜闹黝}，限定查詢條件（參考查詢語法）及日志時間區(qū) 域。如此同時，日志查詢頁面通過日志分布圖（柱狀圖）和原始數(shù)據(jù)列表兩種方式向用戶展示查詢結果。由于每次查詢能力的限制，查詢大量數(shù)據(jù)時有可能一次沒有辦法獲取完整結果。在這種情況下，日志查詢 頁面的查詢結果分布圖會用粉紅色柱形標示查詢結果不完整的時間段（另外，綠色柱形標示對應時間段 的日志查詢結果已完整）。需要用戶重復提交相同查詢才能夠逐步得到完

31、整查詢結果。詳情請參考查詢?nèi)?志。日志服務控制臺提供專門的預覽頁面幫助用戶在瀏覽器內(nèi)直接預覽日志庫中部分日志。如日志庫管理所述，用 戶可以通過點擊日志庫列表中日志消費模式下日志消費的預覽按鈕進入頁面，見下圖：如上圖所示，用戶可以在日志查詢頁面指定查詢?nèi)罩編斓腟hard，限定日志時間區(qū)域。如此同時，日志預覽頁 面原始數(shù)據(jù)列表兩種方式向用戶展示指定時間區(qū)間開始的10個數(shù)據(jù)包的數(shù)據(jù)。使用云監(jiān)控查看日志服務日志服務提供了監(jiān)控項反映端對端的工作狀況，并且可以對監(jiān)控項設置報警。操作步驟打開云監(jiān)控選擇日志服務產(chǎn)品根據(jù)日志服務Project（項目）Logstore（日志庫）點擊監(jiān)控圖表。監(jiān)控項含義請參考日志服

32、務監(jiān)控項含義。文本文件日志收集流程指定文件路徑名稱 = 指定日志行分割方式 = 提取日志字段內(nèi)容 = 指定日志時間Logtail收集文本文件按照如下步驟收集日志內(nèi)容：指定文件路徑名稱 = 指定日志行分割方式 = 提取日志字段內(nèi)容 = 指定日志時間指定日志行分割方式 - - 13/Mar/2016:10:00:10 +0800 GET / HTTP/1.1 0.011 180 404 570 - Mozilla/4.0 (compatible; MSIE6.0; Windows NT 5.1; 360se) - - 13/Mar/2016:10:00:11 +0800 GET / HTTP/1.

33、1 0.011 180 404 570 - Mozilla/4.0 (compatible; MSIE - - 13/Mar/2016:10:00:10 +0800 GET / HTTP/1.1 0.011 180 404 570 - Mozilla/4.0 (compatible; MSIE6.0; Windows NT 5.1; 360se) - - 13/Mar/2016:10:00:11 +0800 GET / HTTP/1.1 0.011 180 404 570 - Mozilla/4.0 (compatible; MSIE6.0; Windows NT 5.1; 360se)但是對

34、于java應用中的程序日志，一條日志通常會跨越多行，因此只能通過日志開頭開頭的特征區(qū)分每條日志 行首，下面即為一條java程序日志：2016-03-18T14:16:16,0002016-03-18T14:16:16,000INFOSessionTrackerSessionTrackerImpl.java:148Expiringsessions 0 x152436b9a12aecf,500000 x152436b9a12aed2, 500000 x152436b9a12aed1, 500000 x152436b9a12aed0, 50000如上java日志可以觀察開頭都是以固定的時間格式，即行

35、首正則表達式為：d+-d+-w+:d+:d+,d+s.*。如下：提取日志字段內(nèi)容根據(jù)日志服務數(shù)據(jù)模型要求，一條日志的內(nèi)容包含一個或者多個Key-Value對，如果需要提取指定字段進行分 析處理，需要設置正則表達式提取指定內(nèi)容，如果不需要對日志內(nèi)容進行處理，可以將整條日志做為一對Key-Value對。對于如上訪問日志：正則表達式：(S+)s-s-s(S+)s+s(w+).*提取內(nèi)容：1）；2）13/Mar/2016:10:00 ；3）GET正則表達式：(S+)s-s-s(S+)s+s(w+).*提取內(nèi)容：1）；2）13/Mar/2016:10:00 ；3）GET正則表達式：(.*)提取內(nèi)容：1）

36、 - - 13/Mar/2016:10:00:10 +0800 GET / HTTP/1.1 0.011 180 404 570 -正則表達式：(.*)提取內(nèi)容：1） - - 13/Mar/2016:10:00:10 +0800 GET / HTTP/1.1 0.011 180 404 570 -Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; 360se)指定日志時間根據(jù)日志服務數(shù)據(jù)模型要求，一條日志必須要有時間(time)字段，并且格式為unix時間戳。目前提供使用系統(tǒng)時間：13/Mar/2016:10:00:10時間表達式：%d/%b/

37、%Y:%H:%M:%S時間（即Logtail抓取該條日志的時間）或者日志內(nèi)容中的時間做為日志的時間。對于如上訪問日志： 時間：13/Mar/2016:10:00:10時間表達式：%d/%b/%Y:%H:%M:%S時間：抓取日志時的時間戳抓取日志時間時間：抓取日志時的時間戳控制臺配置文件日志收集模式以上一節(jié)的訪問日志為例，控制臺進行Logtail配置可通過極簡模式和完整模式進行設置，具體流程如下：指定配置名稱首先需要指定配置的具體名稱，并且名稱不能進行修改。配置名稱只能包含小寫字母，數(shù)字，橫線（-）和下劃線（_），并且必須以小寫字母或者數(shù)字作為開頭和 結尾，長度限制在3-63個字節(jié)。指定配置模式

38、如果選擇數(shù)據(jù)源為文本文件，首先需要指定文件目錄和文件名稱。指定文件夾下所有符合文件名稱的文件都會被監(jiān)控到(包含所有層次的目錄)，其中文件夾必須填寫完整路 徑，文件名稱可以是完整名，也支持通配符模式匹配。例如：/apsara/nuwa/./app.Log極簡模式為了降低用戶配置文本文件日志內(nèi)容收集的難度，提供極簡配置方式，只需要提供文件指定完成文件目錄和文 件名稱，Logtail即會按照每行為一條日志，并且不會對日志內(nèi)容中字段進行提取，同時將日志時間設定為抓取 該條日志的時間，如下：設置完成后，應用到指定機器組即可完成Logtail收集的配置，收集到服務端的日志如下：如上面的索引查詢結果頁面，每

39、條日志所有內(nèi)容都在名為content的key之下。目前極簡模式即默認選擇了單行模式，不提取字段（即正則表達式為(.*)）和使用系統(tǒng)時間三個功能，如果后續(xù)需要對極簡模式進行更詳細的設置可以通過修改配置進入完整模式逐項調(diào)整。完整模式如果需要對內(nèi)容做更多個性化的抓取設置（比如跨行日志，提取字段等），選擇完整模式即可進行個性化定 制。用戶可以參考使用Logtail寫入日志了解這些參數(shù)的具體含義和設置方式。下面將對每項功能進行具體描述：單行模式目前完整模式中默認選擇了單行模式，即按照一行為一條日志進行分割，如果需要收集如上跨行 日志（比如java程序日志），需要關閉單行模式，然后設置行首正則表達式，行首

40、正則表達式提 供自動生成和手動輸入兩種功能，填寫完成日志樣例后，點擊自動生成即會生成正則，如果無法自 動生成，可以切換為手動模式輸入進行驗證。在配置Logtail時需要用戶提供日志樣例的目的是方便日志服務控制臺自動提取其中的正則匹配模 式，請務必使用實際場景的日志。提取字段如果需要對日志內(nèi)容中的字段單獨分析處理，可以使用使用提取字段功能將指定字段變成Key- Value對后發(fā)送到服務端，所以需要用戶指定解析一條日志內(nèi)容的方式（具體來說，就是正則表達式）。日志服務控制臺提供兩種方式讓用戶指定解析正則表達式。第一種方式是通過簡單交互自動生成 正則表達式，如下圖：用戶通過劃選的方式操作日志樣例，告知

41、需要提取的字段。日志服務控制臺會自動生成正則表達式。關于劃選的具體交互方式請參考如下動畫：盡管第一種方式避免了用戶自己寫正則表達式的困擾，但是自動生成的正則表達式很多時候并不是最 優(yōu)化的，所以日志服務控制臺仍然提供用戶手動直接輸入正則的途徑。用戶只需點擊上圖中的手動輸 入正則表達式鏈接即可切換到手動輸入模式，如下圖：手動輸入完成后，點擊圖上驗證按鈕即會驗證用戶輸入的正則表達式是否可以解析、提取日志樣例。無論使用自動生成還是手動輸入方式產(chǎn)生日志解析正則表達式后，日志服務控制臺都會要求用戶給 每個提取字段命名（設定對于字段的Key），如下圖：對于極簡模式中的訪問日志樣例，可以通過提取字段功能提取訪

42、問ip，訪問時間，http方法，訪問 地址和訪問延時等字段，如下：使用系統(tǒng)時間默認設置使用系統(tǒng)時間，如果關閉使用系統(tǒng)時間功能，Logtail在解析一條日志字符串時就要求用 戶指定提取字段中的某一個為時間字段，并命名為time（如上圖）。在選取time字段后，用戶可以 點擊上圖中的自動生成按鈕生成解析該時間字段的方式。關于日志時間格式的更多信息請參考Logtail日期格式。根據(jù)如上的完整模式生成的配置保存后即會同步至Logtail客戶端，收集到服務端的日志內(nèi)容如下：如上面的查詢頁面結果，每條日志都按照設定的Key-Value收集到了服務端。完成解析日志的配置后，點擊完成配置按鈕即可以完成該Log

43、tail配置的全部創(chuàng)建過程。之后回到應用機器組。什么是索引KEY_1 ORKEY_2KEY_1 ORKEY_2日志中出現(xiàn)KEY_1 或 KEY_2KEY_1 ANDKEY_2日志中同時出現(xiàn)KEY_1和KEY_2KEY_1 NOTKEY_2日志中出現(xiàn)KEY_1但不出現(xiàn)KEY_2(KEY_1 OR KEY_2) AND KEY_3 NOTKEY_4日志中出現(xiàn)KEY_1或KEY_2，并且出現(xiàn)KEY_3但不出現(xiàn)KEY_4如何設置索引在日志服務控制臺Project列表頁面選擇指定Project點擊即可進入LogStore列表頁面，在日志消費模式下 可以通過創(chuàng)建或者修改進行索引配置，如圖示：如果需要為te

44、st-index日志庫創(chuàng)建索引，點擊創(chuàng)建鏈接顯示如下對話框：其中test-index寫入的日志內(nèi)容如下：索引屬性配置說明數(shù)據(jù)保存時間支持7天、30天和90天，一旦創(chuàng)建無法修改。全文索引屬性- 開關全文索引屬性默認打開，如果所有查詢都指定Key名稱可以關閉全文索引屬性全文索引屬性和鍵值屬性必須至少設置一種大小寫敏感選擇false表示不區(qū)分，則查詢INTERNALERROR和internalerror都能查詢到樣例日志，如果選擇true，則只能通過internalError查詢到樣例日志。分詞符日志內(nèi)容：a,b;c;D-F如果設置分隔符為：逗號，分號和短橫線，則切分出來5個關鍵詞： 日志內(nèi)容：a,

45、b;c;D-F如果設置分隔符為：逗號，分號和短橫線，則切分出來5個關鍵詞： a b c D F鍵值索引屬性默認的索引會查詢?nèi)罩局兴衚ey對應的內(nèi)容，只要有一個命中，就會被查詢到。比如日志樣例中，如果查詢internalError，在error和code兩個key中都滿足該查詢條件，如果只需要查詢error為internalError的日志內(nèi)容，需要設置鍵值索引，如下圖示：error:internalError其中鍵名稱即為用戶指定日志內(nèi)容特定字段Key，其它兩項屬性大小寫敏感和分詞符與全文索 引屬性中的功能一致，創(chuàng)建完成如上圖的索引屬性后，可根據(jù)如下查詢獲取error字段為internalE

46、rror的日志內(nèi)容：error:internalError合理配置索引根據(jù)具體的查詢業(yè)務需求，可以選擇合適的索引方法，既能達到高效查詢的需求，也能節(jié)省使用費用。所有查詢不需要指定鍵名稱（Key）可以只設置全文索引屬性無需設置鍵值索引屬性部分查詢需要指定鍵名稱（Key）根據(jù)需求，對特定鍵（Key）創(chuàng)建鍵值索引所有查詢都會指定鍵名稱（Key）關閉全文索引屬性根據(jù)需求，特定的Key創(chuàng)建鍵值索引屬性項目（Project）是日志服務中的資源管理單元。它管理著用戶的所有日志庫（Logstore），采集日志的機器配 置等信息，同時它也是用戶訪問日志服務資源的入口。具體來說，Project提供用戶如下功能：幫

47、助用戶組織、管理不同的Logstore。在實際使用中，用戶可能需要使用日志服務集中收集、存儲不 同項目、產(chǎn)品或者環(huán)境的日志。用戶可以把不同項目、產(chǎn)品或者環(huán)境的日志分類管理在不同的Project中，方便后續(xù)的日志消費、導出或者索引。同時，Project還是日志訪問權限管理的載體。提供用戶日志服務資源的訪問入口。每創(chuàng)建一個Project，日志服務會為該Project分配一個獨有的訪 問入口。該訪問入口支持通過網(wǎng)絡寫入、讀取及管理日志。本章接下來將詳細解釋如何操作和使用日志服務Project。創(chuàng)建項目目前，日志服務僅提供控制臺方式創(chuàng)建Project。你可以參考項目操作了解如何使用控制臺創(chuàng)建項目。在創(chuàng)

48、建項 目時需要注意如下幾點：內(nèi)）。如果你選擇的Project名稱已經(jīng)被別人使用，系統(tǒng) 會及時提醒。Project創(chuàng)建時需要指定所在的阿里云Region。你需要根據(jù)需要收集的日志來源和其他實際情況選擇 合適的阿里云Region。如果你需要收集來自阿里云ECS虛擬機的日志，建議在ECS虛擬機相同的（不占用ECS虛擬機公網(wǎng) 帶寬）收集日志。Project一旦創(chuàng)建完成則無法改變其所屬Region，且日志服務目前也不支持Project的遷移，所以請謹慎選擇Project的所屬Region。1. 一個用戶在所有阿里云Region總計最多可創(chuàng)建10個Project。訪問項目.成功創(chuàng)建完Project后，日志

49、服務后端即給該Project分配了唯一的訪問入口。該訪問入口的格式如下：.其中，即為創(chuàng)建的Project名稱，而為Project所屬阿里云Region的日志 服務入口。目前已有多個阿里云Region已開通日志服務（服務入口），現(xiàn)假設用戶在華東 1 (杭州)Region創(chuàng)建了名稱為myslsproject的Project，則該項目的訪問入口為：如果在阿里云的ECS機器內(nèi)使用日志服務API，還可以使用內(nèi)網(wǎng)服務入口（使用內(nèi)網(wǎng)服務入口訪問日志服務不消 耗ECS公網(wǎng)流量，可以節(jié)約寶貴的ECS公網(wǎng)帶寬），各個Region的日志服務內(nèi)網(wǎng)根服務入口。 如上例，其內(nèi)網(wǎng)訪問地址如下：在獲得該訪問入口后，用戶就可以

50、通過日志服務的API或者SDK來訪問該Project下面的日志庫、向具體日志庫 寫入日志，消費日志內(nèi)容或者查詢?nèi)罩拘畔?。同時，你也可以通過日志服務的控制臺列出Project下的所有日志 庫，創(chuàng)建日志庫等。具體可以參考項目操作。管理項目如前所述，Project為日志服務的資源管理單元，用戶可以通過Project來管理自己的各種日志庫，需要采集日志 的機器。具體來說，用戶可以如下管理日志服務的Project：創(chuàng)建和刪除Project內(nèi)的日志庫（Logstore）。日志庫為日志服務內(nèi)的日志存儲單元，它用于存儲一類 日志。而一個用戶實際項目中可能需要收集的日志類型可能有多種，如前端Web服務器的訪問日

51、志（access log），后端應用程序生成的應用日志（application log）等。用戶則可以在Project創(chuàng)建獨立的日志庫并把不同類型的日志寫入不同的日志庫。關于日志庫的更多信息請參考管理日志庫。 Group）的方式幫助用戶管理需要采集日志的服務器。用戶可以在一個Project中創(chuàng)建和刪除機器組，同樣機器IP把需要采集的服務器歸類到相應的機器組中。一種常見的 實踐就是讓需要寫入一個Logstore的所有日志源（如所有前端Web服務器）加入到一個機器組進行管 理。目前，日志服務僅提供控制臺方式幫助用戶管理Project。你可以通過控制臺完成如上所述的所有管理操作。具 體可以參考項目操

52、作。刪除項目在某些情況下（如關閉日志服務，銷毀Project的所有日志等），用戶可能需要刪除整個Project。日志服務允許 用戶在控制臺上方便地刪除整個Project。當用戶的Project被刪除后，其管理的所有日志數(shù)據(jù)及配置信息都會永 久釋放，不可恢復。所以，在刪除Project前請仔細確認，避免數(shù)據(jù)丟失。具體如何在控制臺刪除Project，請參 考項目操作。日志庫（Logstore）是日志服務中的日志存儲和查詢單元，通常用于存儲一類日志數(shù)據(jù)。在日志服務中，無論 是寫入或者查詢?nèi)罩荆脩舳夹枰付ú僮鞯娜罩編?。如果用戶希望投遞日志數(shù)據(jù)到ODPS做離線分析，其數(shù) 據(jù)投遞也是以Logstore

53、為單元進行數(shù)據(jù)同步（即一個Logstore內(nèi)的日志數(shù)據(jù)投遞到一張ODPS的Table）。具 體來說，Logstore提供如下功能：收集日志，支持實時日志寫入。存儲日志，支持實時消費。建立索引，支持日志實時查詢。提供投遞到ODPS的數(shù)據(jù)通道。本章接下來將詳細解釋如何操作和使用Logstore。創(chuàng)建Logstore目前，日志服務支持在控制臺或者通過API創(chuàng)建Logstore。你可以參考日志庫操作了解如何在控制上創(chuàng)建一個Logstore，使用API創(chuàng)建Logstore請參考CreateLogstore。在創(chuàng)建Logstore時需要注意如下幾點：任何一個Logstore必須在某一個Project下創(chuàng)建

54、，且一個Project下最多可以創(chuàng)建100個Logstore。（-）和下劃線（_），必須以小寫字母或者數(shù)字開 頭和結尾，長度必須在3-63字節(jié)以內(nèi)。且Logstore名稱在其所屬項目內(nèi)必須唯一。日志數(shù)據(jù)的消費模式指用戶打算使用日志數(shù)據(jù)的方式。其中日志消費模式支持利用日志服務 PullLogs數(shù)doc/1用戶指南/7查詢?nèi)罩?md)，其中日志 消費模式是默認打開的，且用戶無法禁用。而日志據(jù)，日志投遞模式支持把該日志庫收集的 ODPS表格中（請參考投遞日志到ODPS)，日志索引模式支持 利用日志服務的實時查詢接口查詢該Logstore內(nèi)的日志數(shù)據(jù)（請參考查詢?nèi)罩?投遞模式可 以由用戶自己確定是否打

55、開，日志索引模式目前處于內(nèi)測階段，具體開放時間請關注阿里云 官網(wǎng)通知。在創(chuàng)建Logstore時，用戶需指定日志存儲周期（目前只支持2天）。一旦用戶日志數(shù)據(jù)超過存 儲周期則會被日志服務自動刪除，且無法恢復（因此，Logstore上的在線實時查詢也只可能 查詢在存儲周期內(nèi)的數(shù)據(jù)）。所以請仔細評估需求后選擇合適的存儲周期。除此之外還需要指 定shard個數(shù)，目前每個Logstore最大支持創(chuàng)建10個shard，并且無法減少，關于shard詳細處 理能力請參考核心概念說明。一旦用戶啟用了日志投遞消費模式，則需要用戶指定離線投遞到的ODPS Project和Table。用戶需要提前在ODPS控制臺中創(chuàng)建

56、好相應的ODPS Project及符合日志服務Schema要求的Table來接收數(shù)據(jù)，具體其參考如何開啟日志投遞ODPS功能。對于日志索引（內(nèi)測）消費模式，用戶需指定日志存儲周期（7天、30天或者90天）。用戶 可以按照自身需求靈活選擇需要保存的日志存儲周期。但是一旦創(chuàng)建時指定存儲周期后，以后 就無法修改該日志存儲周期。一旦用戶日志數(shù)據(jù)超過存儲周期則會被日志服務自動刪除，且無 法恢復（因此，Logstore上的在線實時查詢也只可能查詢在存儲周期內(nèi)的數(shù)據(jù)）。所以請仔 細評估需求后選擇合適的存儲周期。向Logstore寫入日志在創(chuàng)建完Logstore之后，用戶就可以向該Logstore寫入日志。目

57、前，日志服務支持通過API或者SDK來寫入日 ECS服務器的數(shù)據(jù)，日志服務提供的Logtail日志收集服務可以幫助用戶非常 方便的收集到日志數(shù)據(jù)。正如核心概念章節(jié)所述，日志服務的日志數(shù)據(jù)模型為一個半結構化格式。用戶需要按照日志數(shù)據(jù)模型組織日志 數(shù)據(jù)，然后寫入指定的Logstore。消費Logstore中的日志如前面所述，日志消費消費模式是默認開啟的，因此用戶可以實時通過指定游標（Cursor）和分區(qū)（shard大批量消費日志數(shù)據(jù)。你可以通過日志服務的API或者SDK查詢Logstore中的日志。同時，日志服務控制臺 也提供了日志預覽界面，直觀顯示日志內(nèi)容等。具體請參考日志消費預覽。關鍵詞查詢L

58、ogstore中的日志在啟動日志索引消費模式后，用戶的每條寫入日志都會被日志服務端建立索引。因此，用戶得以在海量日志 數(shù)據(jù)上完成近實時的日志查詢操作。日志服務提供靈活的查詢語法讓用戶可以方便、快速的檢索出感興趣的日 志數(shù)據(jù)。為了幫助用戶在日志索引模式內(nèi)更好組織日志，日志服務支持日志主題（Topic）。用戶在寫入日志的時候可 以指定該日志所屬Topic。在寫入后即可以限制在一個Topic內(nèi)進行查詢。例如，平臺廠商可能需要收集其平臺 上的不同用戶的日志并按照用戶處理和展示，這時可以用平臺上的不同用戶ID作為日志Topic向一個Logstore寫入不同用戶的同類型日志（如access log）。在進

59、行索引查詢時，日志服務也支持通過Topic來查詢一個Logstore中的日志，從而實現(xiàn)按用戶處理和展示日志的目的。如果用戶在寫入日志時沒有指定日志Topic，則該條日志的topic為默認值：空字符串（注意：空字符串也 是一個有效的日志主題）。在查詢?nèi)罩緯r，用戶可以指定topic為空字符串（日志服務API中相應接口的 參數(shù)未指定時即為查詢topic為空字符串日志）。如果用戶不需要 在一個Logstore內(nèi)做進一步的日志劃分，可以在寫入和查詢?nèi)罩緯r都可忽略日志主題（在日志服務實現(xiàn)層 會認為所有的日志主題都為空字符串）。API或者SDK查詢Logstore中的日志。同時，日志服務控制臺也提供了強大的

60、日志查詢 頁面幫助用戶查詢?nèi)罩?，直觀顯示查詢結果等。具體請參考日志查詢。管理分區(qū)(shard)分區(qū)（shard）是每個日志庫下讀寫基本單元，用戶可以指定每個日志庫下分區(qū)數(shù)目。每個分區(qū)能承載一定量的服務能力：寫入：5MB/S，2000次/S讀?。?0MB/S，100次/S每個分區(qū)(shard)都有一個md5表示的范圍，當用戶指定一個md5寫入日志時，日志會落到這一個分區(qū)中。如果 不指定md5寫入日志，服務端會把日志按照負載均衡的方式選擇一個分區(qū)(shard)寫入。擴容分區(qū)(shard)擴容分區(qū)通過分裂(split)操作。在分裂操作時，指定一個處于readwrite狀態(tài)的hardId，和一個md5