大資料Flume資料流監控

2 操作 flume 測試監控

ganglia 由 gmond、gmetad 和 gweb 三部分組成。gmond（ganglia monitoring daemon）是一種輕量級服務，安裝在每台需要收集指標資料的節點主機上。使用 gmond，你可以很容易收集很多系統指標資料，如 cpu、記憶體、磁碟、網路和活躍程序的資料等。gmetad（ganglia meta daemon）整合所有資訊，並將其以 rrd 格式儲存至磁碟的服務。gweb（ganglia web）ganglia 視覺化工具，gweb 是一種利用瀏覽器顯示 gmetad 所儲存資料的 php 前端。在 web 介面中以圖表方式展現集群的執行狀態下收集的多種不同指標資料。

（1）規劃

hadoop102: web gmetad gmod

hadoop103: gmod
hadoop104: gmod

[atguigu@hadoop102 flume]$ sudo yum -y install epel-release

（3）在 102 安裝

[atguigu@hadoop102 flume]$ sudo yum -y install ganglia-gmetad

[atguigu@hadoop102 flume]$ sudo yum -y install ganglia-web
[atguigu@hadoop102 flume]$ sudo yum -y install ganglia-gmond

[atguigu@hadoop102 flume]$ sudo yum -y install ganglia-gmond

2 ）在 102 修改配置檔案 /etc/httpd/conf.d/ganglia.conf

修改為紅顏色的配置：

# ganglia monitoring system php web frontend

#alias /ganglia /usr/share/ganglia
# require local
# 通過 windows 訪問 ganglia,需要配置 linux 對應的主機(windows)ip 位址
require ip
192.168.9.1
# require ip 10.1.2.3
# require host example.org

[atguigu@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf

修改為：

data_source 「my cluster」 hadoop102

6 ）在 在 102 103 104 修改配置檔案 /etc/ganglia/gmond.conf

[atguigu@hadoop102 flume]$ sudo vim /etc/ganglia/gmond.conf

修改為：

cluster 

udp_send_channel 
udp_recv_channel 

[atguigu@hadoop102 flume]$ sudo vim /etc/selinux/config

修改為：

# this file controls the state of selinux on the system.

# selinux= can take one of these three values:
# enforcing - selinux security policy is enforced.
# permissive - selinux prints warnings instead of enforcing.
# disabled - no selinux policy is loaded.
selinux
=disabled
# selinuxtype= can take one of these two values:
# targeted - targeted processes are protected,
# mls - multi level security protection.
selinuxtype
=targeted

（1）在 102 103 104 啟動

[atguigu@hadoop102 flume]$ sudo systemctl start gmond

（2）在 102 啟動

9 ） 開啟網頁瀏覽 a ganglia 頁面

圖例說明：

Flume 資料流監控

安裝 httpd 服務與 php yum y install httpd php安裝其他依賴 yum y install rrdtool perl rrdtool rrdtool devel yum y install apr devel 安裝 ganglia rpm uvhyum y instal...

Flume資料流監控

注 此安裝的背景是 3臺伺服器 1 三颱機器安裝epel源 mark hadoop102 flume sudo yum install y epel release2 在102安裝web,meta和monitor mark hadoop102 flume sudo yum y install gan...

大資料技術之Flume（監控埠資料）

目標 flume監控一端console，另一端console傳送訊息，使被監控端實時顯示。分步實現 1 安裝telnet工具 2 建立flume agent配置檔案flume telnet.conf 定義agent a1.sources r1 a1.sinks k1 a1.channels c1 定...