本地檔案到通過flume到hdfs

2021-09-08 12:22:57 字數 1062 閱讀 4283

配置檔案

#agent1 name

agent1.sources=source1

agent1.sinks=sink1

agent1.channels=channel1

建立linux目錄建立hadoop目錄啟動配置檔案

檢視啟動程序: 

建立資料測試

檢視hdfs資料測試路徑沒有資料 

將測試資料放入監控路徑,flume讀完資料之後,檔案會自動更名 

檢視hdfs資料測試路徑,flume輸出的資料 

備註

本地檔案到通過flume到kafka

配置檔案 agent1 name agent1.sources source1 agent1.sinks sink1 agent1.channels channel1 建立linux目錄建立kakfa的topicname 啟動flume的配置檔案 flume ng agent n agent1 c ...

Flume監聽上傳Hive日誌檔案到HDFS 02

把agent起個名叫a2,sources叫r2,sinks叫k2.hdfs,channels叫c2 a2.sources r2 a2.sinks k2 a2.channels c2 監聽資料 為本地的4444埠 describe configure the source a2.sources.r2....

檔案通過flume匯入到kafka

a1 agent flume三大元件 source channel sink a1.sources f1 a1.channels c1 a1.sinks k1 檔案 a1.sources.f1.type spooldir a1.sources.f1.channels c1 將users.csv檔案備...