阿里雲日誌服務使用教程

2021-09-11 12:40:19 字數 1739 閱讀 1022

日誌服務(log service,簡稱 log)是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集、消費、投遞以及查詢分析等功能,提公升運維、運營效率,建立 dt 時代海量日誌處理能力。

核心功能如下:

實時採集與消費(loghub)

功能:通過ecs、容器、移動端,開源軟體,js等接入實時日誌資料(例如metric、event、binlog、textlog、click等)

提供實時消費介面,與實時計算及服務對接

用途:資料清洗(etl),流計算(stream compute),監控與報警, 機器學習與迭代計算

投遞數倉(logshipper)

穩定可靠的日誌投遞。將日誌中樞資料投遞至儲存類服務進行儲存與大資料分析。支援壓縮、自定義partition、以及行列等各種儲存方式。

查詢與實時分析(search/analytics)

實時索引、查詢分析資料。

統計:sql聚合等豐富查詢手段

視覺化:dashboard + 報表功能

對接:grafana,jdbc/sql92

用途:devops/線上運維,日誌實時資料分析,安全診斷與分析,運營與客服系統

產品優勢

全託管服務

易用性強,5分鐘即可接入服務進行使用,agent支援任意網路下資料採集

loghub覆蓋kafka 100%功能,並提供完整監控、報警等功能資料,彈性伸縮等(可支援pb/day規模),使用成本為自建50%以下

logsearch/analytics 提供儲存查詢、儀錶盤和報警功能、使用成本為自建 20%以下

30+ 接入方式,與雲產品 (oss/e-mapreduce/maxcompute/table store/mns/cdn/arms等)、開源軟體(storm、spark)無縫對接

生態豐富

loghub 支援30+採集端,包括logstash、fluent等,無論是從嵌入式裝置,網頁,伺服器,程式等都能輕鬆接入。在消費端,支援與spark streaming、storm、雲監控、arms等對接

logshipper 支援豐富資料格式(textfile、sequencefile、parquet等),支援自定義partition,資料可以直接被presto、hive、spark、hadoop、e-mapreduce、maxcompute、hybriddb等儲存引擎

logsearch/analytics 查詢分析語法完整,相容sql92,即將提供:jdbc協議與grafana對接

實時性強

loghub:寫入即可消費;logtail(採集agent)實時採集傳輸,1秒內到服務端(99.9%情況)

logsearch/analytics:寫入即可查詢分析,在多個查詢條件下1秒可查詢10億級資料,多個聚合條件下1秒可分析1億級資料

完整api/sdk

輕鬆支援自定義管理及二次開發

所有功能均可通過api/sdk實現,提供多種語言sdk,可輕鬆管理服務和百萬級裝置

查詢分析語法簡單便捷(相容sql92),介面友好適合與生態軟體對接(即將提供grafana對接方案)

關於阿里雲日誌服務的詳細內容:

阿里雲日誌服務使用教程

(日誌服務(log service,簡稱log)是針對日誌類資料一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。使用者無需開發就能快捷完成資料採集、消費、投遞以及查詢分析等功能,幫助提公升運維、運營效率,建立dt時代海量日誌處理能力。)

阿里雲大學官網(阿里雲大學 - 官方**,雲生態下的創新人才工場)

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...

阿里雲日誌服務使用教程

日誌服務 log service,簡稱 log 是針對日誌類資料的一站式服務,在阿里巴巴集團經歷大量大資料場景錘煉而成。您無需開發就能快捷完成日誌資料採集 消費 投遞以及查詢分析等功能,提公升運維 運營效率,建立 dt 時代海量日誌處理能力。核心功能如下 實時採集與消費 loghub 功能 通過ec...