新手入門Flume搭建部署

2022-04-12 05:02:17 字數 2661 閱讀 4766

在root的使用者下

1):• 前提 安裝jdk環境

注意:1):乙個檔案可以配置多個**,一般配置key採用多段式配置,第二段則 為agent的別名,

agent可配置多個source,channel,sink,每個agent都 必須需要配置sources,channels,

sinks三個屬性,如:agent.sources=s1,s2 

2): 每個agent的source,channel與sink在agent上下文中都有乙個唯一個名 稱,

可以通過「**.配置元件.名稱.屬性名」配置各種元件的屬性,

如 agent.channels.c1.type=memory

下面三個properties檔案(不用全部匯入進去) ,命令 rz 可以把檔案匯入進去

3):把檔案拉要到conf下的路徑才可以哦(不用全部匯入進去)

//source的型別為spooldir

agent.sources.s1.type =spooldir

agent.sources.s1.channels =c1

//spooling directory

agent.sources.s1.spooldir = /data/log/flumespool

agent.sources.s1.fileheader = true

agent.sources.s1.filesuffix =.completed

agent.channels.c1.type =memory

agent.sinks.k1.type =logger

agent.sinks.k1.channel =c1

#cp /data/demo_sql/data_op/order.data /data/log/flumespool/

命令:bin/flume-ng agent -n agent -c ./conf -f conf/hello-world.properties-dflume.root.logger=info,console

紅色是剛剛你匯入的檔名稱

5):如果你匯入的是第乙個 hello-world.properties檔案 ,它的port(埠號是)12345 那麼

使用 命令 ss -natal   看一下是否有 12345 的埠號 有則可以執行

命令 :telnet localhost 12345 

6):ctrl+c 退出了flume 程序自動銷毀

7):如想它flume退出了,不銷毀, 那麼就要改為後台程序了

命令:nohup bin/flume-ng agent -n agent -c ./conf -f conf/hello-world.properties -dflume.root.logger=info,console &

回車 =》再回車

8)檢視是否可以後台了

命令:jps -m 

9):kill -9 程序id

搭建部署Docker

docker安裝準備 首先看下伺服器是否有舊版本,如果有需要解除安裝並且安裝依賴 yum remove docker docker client docker client latest docker common docker latest docker latest logrotate dock...

zabbix 客戶端部署 新手入門)

機器環境部署 我準備的一台zabbix客戶端 可以準備多台 ip root server1 rpm uvh root server1 yum install zabbix agent y root server2 systemctl enable now zabbix agent.service 安...

ubuntu新手入門

ubuntu使用設定之介面篇 ubuntu系統裝好了,不過怎麼看上則呢麼醜醜的?好像mr徐的介面和我的不一樣呢,怎麼設定的呢?首先,讓我們來設定工具條。ubuntu預設2條工具條,讓我們來把他設定成和windows下一樣的吧。先讓我們在上面的工具條的空白的地方,選擇刪除面板。然後,讓我們在底下的面板...