通過LogShipper對接資料倉儲

日誌服務logshipper功能可以便捷地將日誌資料投遞到oss、tablestore、maxcompute等儲存類服務，配合e-mapreduce（spark、hive）、maxcompute進行離線計算。

資料倉儲+離線計算是實時計算的補充，兩者針對目標不同：

模式優勢

劣勢使用領域

實時計算

快速計算較為簡單

增量為主，監控、實時分析

離線計算（資料倉儲）

精準、計算能力強

較慢全量為主，bi、資料統計、比較

目前對於資料分析類需求，同乙份資料會同時做實時計算+資料倉儲（離線計算）。例如對訪問日誌：

網際網路領域有兩種經典的模式討論：

日誌服務提供模式比較偏向lamdba architecture。

在建立logstore後，可以在控制台配置logshipper支援資料倉儲對接，當前支援如下：

tablestore(nosql資料儲存服務):

maxcompute(大資料計算服務):

logshipper提供如下功能：

準實時：分鐘級進入資料倉儲

資料量大：無需擔心併發量

自動重試：遇到故障自動重試、也可以通過api手動重試

任務api：通過api可以獲得時間段日誌投遞狀態

自動壓縮：支援資料壓縮、節省儲存頻寬

小a維護了乙個論壇，需要對論壇所有訪問日誌進行審計和離線分析

小a使用日誌服務（log）收集伺服器上日誌資料，並且開啟了日誌投遞（logshipper）功能，日誌服務就會自動完成日誌收集、投遞、以及壓縮。有審查需要時，可以將該時間段日誌授權給第三方。需要離線分析時，利用e-mapreduce跑乙個30分鐘離線任務，用最少的成本辦了兩件事情。

小b是乙個開源軟體愛好者，喜歡利用spark進行資料分析，他的需求如下：

通過今天log+oss+emr+ram組合，可輕鬆應對這類需求。