hadoop集群監控工具ambari

2021-06-28 23:36:25 字數 543 閱讀 5378

apache ambari是一種基於web的工具,支援apache hadoop集群的**、管理和監控。ambari目前已支援大多數hadoop元件,包括hdfs、mapreduce、hive、pig、 hbase、zookeper、sqoop和hcatalog等。

apache ambari 支援hdfs、mapreduce、hive、pig、hbase、zookeper、sqoop和hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。

ambari主要取得了以下成績:

ambari使用ganglia收集度量指標,用nagios支援系統報警,當需要引起管理員的關注時(比如,節點停機或磁碟剩餘空間不足等問題),系統將向其傳送郵件。

此外,ambari能夠安裝安全的(基於kerberos)hadoop集群,以此實現了對hadoop 安全的支援,提供了基於角色的使用者認證、授權和審計功能,並為使用者管理整合了ldap和active directory。

Ganglia監控Hadoop集群的安裝部署

ganglia是uc berkeley發起的乙個開源實時監視專案,用於測量數以千計的節點,為雲計算系統提供系統靜態資料以及重要的效能度量資料。ganglia系統基本包含以下三大部分。gmond gmond執行在每台計算機上,它主要監控每台機器上收集和傳送度量資料 如處理器速度 記憶體使用量等 gme...

hadoop集群balance工具詳解

hadoop集群balance工具詳解,上的hadoop集群執行過程中,hadoop 的balance工具通常用於平衡hadoop集群中各datanode中的檔案塊分布,以避免出現部分datanode磁碟佔用率高的問題和部分datanode占用cpu使用率較高。1 hadoop balance引數的...

Hadoop集群監控與Hive高可用 分享總結

概述 此分享是關於hadoop集群監控與hive高可用的分享彙總,作者來自暴風影音 彙總點 hadoop監控基於cacti主要包括 io,cpu,記憶體,io等待缺點是模板太少 hadoop監控基於ganglia包括負載 頻寬等缺點是配置複雜 hive的高可用可以基於haproxy和多個hive t...