Hadoop 啟動 停止集群和節點的命令

2022-06-10 05:33:09 字數 2015 閱讀 8551

一、集群

1.啟動/停止hadoop集群:start-all.sh    stop-all.sh

1) 啟動namenode, datanode

2) 啟動journalnode, journalnode在hdfs-site.xml中指定edits log儲存的位置,主備namenode共享資料,方便同步

3) 啟動dfszkfailovercontroller, ha會啟用zookeeper failover controller

4) 啟動yarn守護程序resourcemanager, nodemanager

2.啟動/停止hdfs集群:start-dfs.sh    stop-dfs.sh

1) 啟動namenode, datanode

2) 啟動journalnode, journalnode在hdfs-site.xml中指定edits log儲存的位置,主備namenode共享資料,方便同步

3) 啟動dfszkfailovercontroller, ha會啟用zookeeper failover controller

3.啟動/停止yarn集群:start-yarn.sh    stop-yarn.sh

據說如果resourcemanager和namenode不在同一臺機器上,那namenode上無法直接使用start-yarn.sh啟動resourcemanager,但nodemanager可以啟動,resourcemanager需要在resourcemanager節點上啟動,這一點待考證

二、節點

啟動namenode: hadoop-daemon.sh start namenode

啟動datanode: hadoop-daemon.sh start datanode

啟動journalnode節點: hadoop-daemon.sh start journalnode

啟動zkfc節點:hadoop-daemon.sh start zkfc

啟動resourcemanager: yarn-daemon.sh start resourcemanager

啟動nodemanager: yarn-daemon.sh start nodemanager

啟動zookeeper節點:zkserver.sh start    啟動quorumpeermain程序

三、檢視zookeeper節點狀態:zkserver.sh status    檢視leader和follower狀態

格式化hdfs: hdfs namenode -format

格式化zkfc:hdfs zkfc -formatzk

檢視namenode和datanode資訊: hdfs dfsadmin -report

檢視高可用namenode狀態: hdfs haadmin -getservicestate nn1 (active/standby)

四、web介面埠

namenode 50070

datanode 50075

resourcemanager 8088

nodemanager 8042

安裝,檢視等常用命令 

檢視程序:jps

kill程序:kill -9 pid

內容追加到檔案:echo content > file, 如 echo 1 > myid

ssh拷貝:scp,如scp -r /usr/local/hadoop master:/usr/local

關閉防火牆:

檢視狀態systemctl status firewalld

關閉防火牆systemctl stop firewalld

開機禁用防火牆systemctl disable firewalld

配置免登入:

ssh-keygen -t rsa

ssh-copy-id -i host01

Hadoop 啟動 停止集群和節點的命令

集群啟動 停止hadoop集群 start all.sh stop all.sh 1 啟動namenode,datanode 2 啟動journalnode,journalnode在hdfs site.xml中指定edits log儲存的位置,主備namenode共享資料,方便同步 3 啟動dfsz...

Hadoop 啟動 停止集群和節點的命令

集群 啟動 停止hadoop集群 start all.sh stop all.sh 1 啟動namenode,datanode 2 啟動journalnode,journalnode在hdfs site.xml中指定edits log儲存的位置,主備namenode共享資料,方便同步 3 啟動dfs...

啟動和停止rac節點

rac集群中資料庫節點有2個,hostname分別為node1,node2.一.通過srvctl工具管理 1.關閉rac資料庫服務順序 oracle node2 srvctl stop database d dbname oracle node2 srvctl stop asm n node1 or...