Flume 入門案例

案例需求：使用 flume 監聽乙個埠，收集該埠資料，並列印到控制台。

安裝 netcat 工具

判斷 44444 埠是否被占用

sudo netstat -nlp | grep 44444

mkdir job

cd job

vim flume-netcat-logger.conf

# name the components on this

agent
a1.sources =r1
a1.sinks =k1
a1.channels =c1
# describe/configure the source
a1.sources.r1.type =netcat
a1.sources.r1.bind =localhost
a1.sources.r1.port = 44444
# describe the sink
a1.sinks.k1.type =logger
# use a channel which buffers events 
inmemory
a1.channels.c1.type =memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# bind the source and sink to the channel
a1.sources.r1.channels =c1
a1.sinks.k1.channel = c1

先開啟 flume 監聽埠

bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -dflume.root.logger=info,console

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -dflume.root.logger=info,console

--conf/-c：表示配置檔案儲存在 conf/目錄

--name/-n：表示給 agent 起名為 a1

--conf-file/-f：flume 本次啟動讀取的配置檔案是在 job 資料夾下的 flume-telnet.conf檔案。

-dflume.root.logger=info,console ：-d 表示 flume 執行時動態修改 flume.root.logger引數屬性值，並將控制台日誌列印級別設定為 info 級別。日誌級別包括:log、info、warn、error。

需要再開乙個終端，使用 netcat 工具向本機的 44444 埠傳送內容

nc localhost 44444

另一邊接收訊息

這樣環境搭建測試完成

Flume 入門案例1

監控埠資料官方案例 1 案例需求 使用 flume 監聽乙個埠，收集該埠資料，並列印到控制台。2 需求分析 在這裡插入描述 3 實現步驟 1.安裝 netcat 工具 yum install y nc2.判斷 44444 埠是否被占用 netstat tunlp grep 444443.建立 flu...

Flume安裝啟動，入門案例

1，上傳解壓 tar zxvf apache flume 1.9.0 bin.tar.gz c ok，完成，解壓即用 2，啟動 根據資料採集的需求配置採集方案，描述在配置檔案中 檔名可任意自定義 啟動命令示例 bin flume ng agent c conf f agentconf taildir...

flume採集案例

1 採集目錄到hdfs 採集需求 某伺服器的某特定目錄下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去 根據需求，首先定義以下3大要素 採集源，即source 監控檔案目錄 spooldir 下沉目標，即sink hdfs檔案系統 hdfs sink source和sink之...