log4j與hadoop的簡單結合

2021-09-05 10:24:06 字數 1336 閱讀 1526

最近使用了一種資料儲存的方法,就是使用log4j的logback將資料進行儲存,然後將資料上傳到hive表中,進行相關的資料分析操作。

不多比比,感謝大佬。logback的使用和logback.xml詳解。這篇部落格寫的比較詳細,關於logbak的相關配置檔案說明。

先在業務邏輯層中提取關鍵資訊。

這裡我是簡單定義乙個字串陣列,將資訊儲存。如果有別的需求,可以自行更改提取方法。

public static string getlogmessage(string a,string b,string c,string d)

;}

public class testbhlogger

stringbuilder sb = new stringbuilder();

for (string str : array)

if (sb.length() >= 1)

}}

1)指定要列印日誌的類及日誌級別

2)將日誌輸出到定義目錄的日誌檔案中

3)定義日誌回滾策略及日誌檔案格式

目錄/logs/test/event-%d.txt

%msg%n

info

accept

deny

<?xml version="1.0" encoding="utf-8" ?>

目錄/logs/operator-%d.log

%d %-5level %logger [%thread] - %msg%n

info

accept

deny

目錄/logs/test/event-%d.txt

%msg%n

info

accept

deny

由於日誌回滾需要列印日誌去啟用,故編寫乙個根據需要日誌回滾的時間間隔的定時啟用程式。

這裡我直接採用了sping自帶的定時任務註解@enablescheduling

@configuration

@enablescheduling

public class alivetask

}

根據不同需求獲取需要的時間格式,載入到相應的hive表的相應分割槽中

hiveutil工具類網上一堆,就不細寫了

public void loaddata()

catch (exception e)

}

至此就將需要的資料儲存到hive表中了,接下來就是根據需求進行資料分析了。log4j真的強大。

log4j簡單分析

最近在學習開源 學習了log4j,就其中一些知識點分享。針對的是apache log4j 1.2.17 commons logging 1.2。1.log4j中日誌重複列印問題 設定為如下即不會重複列印,最後必須是類名。log4j.additivity.test.testclass false 2....

log4j日誌系統 Log4j

1.1 log4j的三大核心元件 1.2 loggers 記錄器 1.4 layouts 布局 org.apache.log4j.htmllayout 以html 形式布局 org.apache.log4j.patternlayout 可以靈活地指定布局模式 org.apache.log4j.lay...

Log4j的簡單運用

在src目錄下建立log4j.properties檔案,做如下配置 log4j.rootlogger info,a1,a2 info是日誌記錄的優先順序,分為off fatal error warn info debug all和自定義級別,常用的優先順序有四個,從高到低分別為error,warn,...