大資料技術之Flume(監控埠資料)

2021-09-26 21:31:41 字數 1350 閱讀 2257

目標:flume監控一端console,另一端console傳送訊息,使被監控端實時顯示。分步實現:

1) 安裝telnet工具

2) 建立flume agent配置檔案flume-telnet.conf

#定義agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

#定義netcatsource

a1.sources.r1.type = netcat

a1.sources.r1.bind = xk1

a1.sources.r1.port = 44445

# 定義sink

a1.sinks.k1.type = logger

# 定義channel

a1.channels.c1.type = memory

a1.channels.c1.capacit=1000

a1.channels.c1.transactioncapacity = 100

# 雙向鏈結

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

3) 判斷44444埠是否被占用

$ netstat -tunlp | grep 44445

4) 啟動flume配置檔案

方法一:

/opt/module/flume-1.8.0/bin/flume-ng agent

–conf /opt/module/flume1.8.0/conf/ --name a1

–conf-file /opt/module/flume-1.8.0/jobconf/flume-telnet.conf

-dflume.root.logger==info,console

方法二:

bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-telnet.conf -dflume.root.logger==info,console

5) 使用telnet工具向本機的44444埠傳送內容

$ telnet bigdata111 44445

大資料技術之Flume安裝記錄

202003 05這個還沒有安裝 將rpm軟體包 xinetd 2.3.14 40.el6.x86 64.rpm telnet 0.17 48.el6.x86 64.rpm和telnet server 0.17 48.el6.x86 64.rpm 拷入 opt software資料夾下面。執行rpm...

大資料Flume資料流監控

2 操作 flume 測試監控 ganglia 由 gmond gmetad 和 gweb 三部分組成。gmond ganglia monitoring daemon 是一種輕量級服務,安裝在每台需要收集指標資料的節點主機上。使用 gmond,你可以很容易收集很多系統指標資料,如 cpu 記憶體 磁...

Flume 1 監控本機埠資料

首先,flume監控本機44444埠,然後通過telnet工具向44444埠傳送訊息,最後flume將監聽的資料實時顯示在控制台。dflume 動態修改引數。a 檢測telnet server的rpm包是否安裝 ck hadoop102 rpm qa telnet serverb.安裝xinetd ...