Flume資料流監控

2021-10-23 13:19:10 字數 3541 閱讀 1952

注：此安裝的背景是：3臺伺服器

1）三颱機器安裝epel源

[mark@hadoop102 flume]$ sudo yum install -y epel-release
2) 在102安裝web,meta和monitor

[mark@hadoop102 flume]$ sudo yum -y install ganglia-gmetad ganglia-web ganglia-gmond
3) 在103、104安裝monitor

[mark@hadoop103 flume]$ sudo yum -y install ganglia-gmond


[mark@hadoop104 flume]$ sudo yum -y install ganglia-gmond


ganglia由gmond、gmetad和gweb三部分組成。


gmond（ganglia monitoring daemon）是一種輕量級服務，安裝在每台需要收集指標資料的節點主機上。使用gmond，你可以很容易收集很多系統指標資料，如cpu、記憶體、磁碟、網路和活躍程序的資料等。


gmetad（ganglia meta daemon）整合所有資訊，並將其以rrd格式儲存至磁碟的服務。


gweb（ganglia web）ganglia視覺化工具，gweb是一種利用瀏覽器顯示gmetad所儲存資料的php前端。在web介面中以圖表方式展現集群的執行狀態下收集的多種不同指標資料。
4）修改配置檔案/etc/httpd/conf.d/ganglia.conf

[mark@hadoop102 flume]$ sudo vim /etc/httpd/conf.d/ganglia.conf
修改為紅顏色的配置：

#


# ganglia monitoring system php web frontend


#alias /ganglia /usr/share/ganglia


#require local


require ip 192.168.5.1


require all granted


# require ip 10.1.2.3


# require host example.org
5）修改配置檔案/etc/ganglia/gmetad.conf

[mark@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf
修改為：

data_source "hadoop102" hadoop102
6）修改配置檔案/etc/ganglia/gmond.conf

[mark@hadoop102 flume]$ sudo vim /etc/ganglia/gmond.conf
修改為：

cluster 


udp_send_channel 


udp_recv_channel
將修改後的檔案同步到103，104。

7）修改配置檔案/etc/selinux/config

[mark@hadoop102 flume]$ sudo vim /etc/selinux/config
修改為：

# this file controls the state of selinux on the system.


# selinux= can take one of these three values:


#     enforcing - selinux security policy is enforced.


#     permissive - selinux prints warnings instead of enforcing.


#     disabled - no selinux policy is loaded.


selinux=disabled


# selinuxtype= can take one of these two values:


#     targeted - targeted processes are protected,


#     mls - multi level security protection.


selinuxtype=targeted


[atguigu@hadoop102 flume]$ sudo setenforce 0
8）102啟動ganglia三個後台，103，104啟動gmond

9）開啟網頁瀏覽ganglia頁面

[mark@hadoop102 flume]$ sudo chmod -r 777 /var/lib/ganglia
1）啟動flume任務

[mark@hadoop102 flume]$ bin/flume-ng agent \


--conf conf/ \


--name a1 \


--conf-file job/flume-netcat-logger.conf \


-dflume.root.logger=info,console \


-dflume.monitoring.type=ganglia \


-dflume.monitoring.hosts=hadoop102:8649
2）傳送資料觀察ganglia監測圖

[mark@hadoop102 flume]$ nc localhost 44444
樣式如圖：

Flume 資料流監控

安裝 httpd 服務與 php yum y install httpd php安裝其他依賴 yum y install rrdtool perl rrdtool rrdtool devel yum y install apr devel 安裝 ganglia rpm uvhyum y instal...

大資料Flume資料流監控

2 操作 flume 測試監控 ganglia 由 gmond gmetad 和 gweb 三部分組成。gmond ganglia monitoring daemon 是一種輕量級服務，安裝在每台需要收集指標資料的節點主機上。使用 gmond，你可以很容易收集很多系統指標資料，如 cpu 記憶體 磁...

監控系統體系1 資料流監控系統

監控系統整體設計 總結 通常當乙個系統的作用越來越重要的時候，對系統的穩定性和系統資料的準確性的要求就會越來越高時，需要引入監控系統 監控系統多種多樣，但是包含兩個要素 資料正確性驗證邏輯 告警 如一般的微服務架構 1.資料接收節點 2.訊息中介軟體 kafka 3.資料計算節點 4.資料持久化節點...