清理ambari安裝的hadoop集群

2021-08-10 04:07:27 字數 4322 閱讀 6378

本文針對redhat或者centos

對於測試集群,如果通過ambari安裝hadoop集群後,想重新再來一次的話,需要清理集群。

對於安裝了很多hadoop元件的話,這個工作很繁瑣。接下來是我整理的清理過程。

1,通過ambari將集群中的所用元件都關閉,如果關閉不了,直接kill -9 ***

2,關閉ambari-server,ambari-agent

[plain]

view plain

copy

ambari-server stop  

ambari-agent stop  

3,解除安裝安裝的軟體

[plain]

view plain

copy

yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*  

以上命令可能不全,執行完一下命令後,再執行

[plain]

view plain

copy

yum list | grep @hdp  

檢視是否還有沒有解除安裝的,如果有,繼續通過#yum remove ***解除安裝

4,刪除postgresql的資料

postgresql軟體解除安裝後,其資料還保留在硬碟中,需要把這部分資料刪除掉,如果不刪除掉,重新安裝ambari-server後,有可能還應用以前的安裝資料,而這些資料時錯誤資料,所以需要刪除掉。

[plain]

view plain

copy

rm -rf /var/lib/pgsql  

5,刪除使用者

ambari安裝hadoop集群會建立一些使用者,清除集群時有必要清除這些使用者,並刪除對應的資料夾。這樣做可以避免集群執行時出現的檔案訪問許可權錯誤的問題。     

[plain]

view plain

copy

userdel oozie  

userdel hive  

userdel ambari-qa  

userdel flume    

userdel hdfs    

userdel knox    

userdel storm    

userdel mapred  

userdel hbase    

userdel tez    

userdel zookeeper  

userdel kafka    

userdel falcon  

userdel sqoop    

userdel yarn    

userdel hcat  

userdel atlas  

userdel spark  

[plain]

view plain

copy

rm -rf /home/atlas  

rm -rf /home/accumulo  

rm -rf /home/hbase  

rm -rf /home/hive  

rm -rf /home/oozie  

rm -rf /home/storm  

rm -rf /home/yarn  

rm -rf /home/ambari-qa  

rm -rf /home/falcon  

rm -rf /home/hcat  

rm -rf /home/kafka  

rm -rf /home/mahout  

rm -rf /home/spark  

rm -rf /home/tez  

rm -rf /home/zookeeper  

rm -rf /home/flume  

rm -rf /home/hdfs  

rm -rf /home/knox  

rm -rf /home/mapred  

rm -rf /home/sqoop  

6,刪除ambari遺留資料

[plain]

view plain

copy

rm -rf /var/lib/ambari*   

rm -rf /usr/lib/python2.6/site-packages/ambari_*  

rm -rf /usr/lib/python2.6/site-packages/resource_management  

rm -rf /usr/lib/ambari-*  

rm -rf /etc/ambari-*   

7,刪除其他hadoop元件遺留資料

[plain]

view plain

copy

rm -rf /etc/hadoop  

rm -rf /etc/hbase  

rm -rf /etc/hive   

rm -rf /etc/oozie  

rm -rf /etc/sqoop   

rm -rf /etc/zookeeper  

rm -rf /etc/flume   

rm -rf /etc/storm   

rm -rf /etc/hive-hcatalog  

rm -rf /etc/tez   

rm -rf /etc/falcon   

rm -rf /etc/knox   

rm -rf /etc/hive-webhcat  

rm -rf /etc/kafka   

rm -rf /etc/slider   

rm -rf /etc/storm-slider-client  

rm -rf /etc/spark   

rm -rf /var/run/spark  

rm -rf /var/run/hadoop  

rm -rf /var/run/hbase  

rm -rf /var/run/zookeeper  

rm -rf /var/run/flume  

rm -rf /var/run/storm  

rm -rf /var/run/webhcat  

rm -rf /var/run/hadoop-yarn  

rm -rf /var/run/hadoop-mapreduce  

rm -rf /var/run/kafka  

rm -rf /var/log/hadoop  

rm -rf /var/log/hbase  

rm -rf /var/log/flume  

rm -rf /var/log/storm  

rm -rf /var/log/hadoop-yarn  

rm -rf /var/log/hadoop-mapreduce  

rm -rf /var/log/knox   

rm -rf /usr/lib/flume  

rm -rf /usr/lib/storm  

rm -rf /var/lib/hive   

rm -rf /var/lib/oozie  

rm -rf /var/lib/flume  

rm -rf /var/lib/hadoop-hdfs  

rm -rf /var/lib/knox   

rm -rf /var/log/hive   

rm -rf /var/log/oozie  

rm -rf /var/log/zookeeper  

rm -rf /var/log/falcon  

rm -rf /var/log/webhcat  

rm -rf /var/log/spark  

rm -rf /var/tmp/oozie  

rm -rf /tmp/ambari-qa  

rm -rf /var/hadoop  

rm -rf /hadoop/falcon  

rm -rf /tmp/hadoop   

rm -rf /tmp/hadoop-hdfs  

rm -rf /usr/hdp  

rm -rf /usr/hadoop  

rm -rf /opt/hadoop  

rm -rf /tmp/hadoop  

rm -rf /var/hadoop  

rm -rf /hadoop  

8,清理yum資料來源

[plain]

view plain

copy

#yum clean all  

ambari集群的安裝部署

修改主機名以及配置網域名稱對映 修改三颱節點的主機名,為了後面配置方便,建議使用跟我一樣的主機名 hostnamectl set hostname node1.ambari.com hostnamectl set hostname node2.ambari.com hostnamectl set h...

ambari安裝 ambari自定義服務乾貨

宣告 博主寫了一些ambari自定義服務系列文章,可以在歷史文章中檢視。仔細看,肯定會對ambari的自定義服務有乙個更清晰的認識。版本 ambari 2.6.1 一 實時更改服務配置 以hue的配置檔案hue.ini為例file format usr hdp 2.6.4.0 91 hue desk...

ambari 安裝配置

接下來都是基於ambari server安裝成功基礎之上製作本地repo 安裝基礎包和httpd服務並配置啟動 設定並啟動httpd服務 啟動後瀏覽器訪問ip 80驗證服務安裝正常即可,其根目錄在 var www 目錄下 root work ambari mkdir var www html amb...