flume 偽分布式配置設定方法

2021-09-01 17:16:10 字數 821 閱讀 6343

在flume有兩類流程,一類是master,另一類是node,

master控制著所有的node節點。

master 可以察看到所有node資訊,並且可以配置 資料在node之間的流程。

node 的主要作用是 event的資料流路徑控制。 有三個主要處理內容,資料生產者, 資料流通管道,資料消費者。

master與node之間會通過心跳操作,做資料的同步,

一、node向master詢問,我的config是否有改動了,如果有改動就重新做配置的操作。

二、node把當前的狀態資訊傳送給master。

為了是模擬分布式flume的系統,就必須要開乙個master和至少乙個node。

接下來將要介紹的是,如何來實現這個系統的操作。 假設機器上已經安裝成功flume了。

一、開啟master

$ flume master

succeeded, failed, or pending

二、開啟node

$ flume node_nowatch

node_nowatch 引數是為了能通過stdin 向node傳輸資訊

判斷node是否已經開啟成功,也可向對master的驗證一樣,來訪問http://localhost:35862/ 會顯示當前node的診斷資訊,指標資料資訊,資料流路徑,所在系統的各類指標資訊。如果在同一臺物理機上同時執行多個node,網頁訪問的埠號就會遞增第二node的埠35863、第三個是 35864,以此類推。

node name:hostsource:consolesink:console

配置hadoop偽分布式模式

1.修改core site.xml新增 檔案系統訪問位址,其中vv.com在etc hosts中配置 fs.defaultfs hdfs 為分布式檔案系統訪問路徑 hadoop.tmp.dir opt cdh hadoop 2.5.0 cdh5.3.6 data tmp 2.修改hdfs site....

zookeeper偽分布式

wget解壓 tar zxvf zookeeper 3.4.5 cdh5.9.3.tar.gz c opt 進入 opt 目錄修改檔名 mv zookeeper 3.4.5 cdh5.9.3 zookeeper01進入 opt zookeeper01 conf目錄設定配置檔案 cp zoo samp...

hadoop偽分布式

首先是本機模式的搭建,如 1 hdfs dfs ls 檢視本地分布式檔案系統,查詢結果為你本機linux檔案系統,說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下,進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...