flume簡單案例

從指定網路埠輸出資料到控制台：

編寫example.conf檔案在flume的conf資料夾下：

#name the components on this

agent
a1.sources =r1
a1.sinks =k1
a1.channels =c1
# describe/configure the source
a1.sources.r1.type =netcat
a1.sources.r1.bind =hadoop102
a1.sources .r1.port = 44444
#describe the sink
a1.sinks.k1.type =logger
# use a channel which buffers events 
inmemory
a1.channels.c1.type =memory
#bind the source and sink to the channel
a1.sources.r1.channels =c1
a1.sinks.k1.channel = c1

訪問hadoop102的44444埠測試：

使用telnet hadoop102 44444測試

但是沒有成功，嘗試了很多方法，花費了很多時間，只能先放一放，進行下乙個。

flume採集案例

1 採集目錄到hdfs 採集需求 某伺服器的某特定目錄下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去 根據需求，首先定義以下3大要素 採集源，即source 監控檔案目錄 spooldir 下沉目標，即sink hdfs檔案系統 hdfs sink source和sink之...

Flume 入門案例

案例需求 使用 flume 監聽乙個埠，收集該埠資料，並列印到控制台。安裝 netcat 工具 判斷 44444 埠是否被占用 sudo netstat nlp grep 44444在 flume 目錄下建立 job 資料夾並進入 job 資料夾。mkdir job cd job在 job 資料夾下...

Flume（03） Flume採集案例

需求分析 採集需求 某伺服器的某特定目錄 export servers dirfile下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去。需求分析 通過flume採集資料，最重要的就是配置三大元件。這裡可以通過source來監控檔案目錄。通過channel，來將source採集...