阿里雲日誌服務基礎

2021-07-11 12:43:23 字數 1375 閱讀 2769

標籤(空格分隔): 阿里雲

地域為阿里雲的服務節點。使用者通過在不同的阿里雲region部署服務,讓自己的服務距離客戶更近,獲得更低的訪問延時及更好的使用者體驗。目前阿里雲在全國各地擁有多個region。

專案為日誌服務中的基本管理單元,用於資源隔離和控制。使用者可以通過專案來管理某乙個應用的所有日誌及相關的日誌源。

分割槽(shard)是每個日誌庫下讀寫基本單元,使用者可以指定每個日誌庫下分割槽數目。

日誌為日誌服務中處理的最小資料單元。日誌服務採用半結構資料模式定義一條日誌,具體資料模型如下:

logtail的安裝

開通日誌服務(目前是公測免費的)

建立乙個日誌project,用於管理某個地域的日誌收集查詢。

建立時選擇所屬區域(這個區域跟一下的機器組管理以及日誌投遞oos有關),建立後無法修改,也無法在多個區域遷移專案。

在專案下建立日誌庫logstore,日誌庫儲存資料的時間為兩天(如需要更長儲存時間請設定日誌投遞/日誌索引)

建立日誌庫成功之後會提示配置logtail,我們可以配置多個logtail,下面以乙個為例

配置名稱和路徑就不用說了,主要是日誌格式的配置,分為極簡模式和完整模式。極簡模式只需要配置名稱和路徑特別簡單。完成模式需要有日誌樣例以及根據日誌樣例生成正規表示式(會的也可以自己寫),輸入日誌樣例之後會有乙個提取字段,指定key/value,如下圖:

當我們在管理控制台查詢的時候,每條日誌以key:value的形式顯示出來。接下來就是機器組配置:

需要指定機器組名稱以及ip,需要注意事項請參照上圖1234條(1.本地域的ecs,2,內網ip,如果ecs設定了主機名並繫結了外網ip,這裡就需要填外網ip)。成功之後,logtail需要應用到機器組,logtail大概就配置完了。回到日誌庫列表

5.接下來是日誌投遞配置,有兩種方式odps和oos,我們現在使用的是oos

投遞日誌到oos配置(參考)

6.日誌索引建立

全文索引屬性和鍵值索引屬性,建立之後,我們可以查詢logtail收集到的日誌列表。

一些點:

1.當你建立了日誌project以後就確定了地域,以後機器組的配置ip必須是屬於此區域,以及建立的oos也必須指定是此區域的,跨區域不能投遞。

2.日誌樣例以及與之匹配的正規表示式必須正確,以及跟所要收集的日誌檔案格式相似,否則會收集不到日誌

參考文件:

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...