操作Hadoop集群

2021-08-06 05:05:55 字數 1951 閱讀 7247

操作hadoop集群

所有必要的配置完成後,將檔案分發到所有機器上的hadoop_conf_dir目錄。這應該是所有機器上相同的目錄。

一般來說,建議hdfs和yarn作為單獨的使用者執行。在大多數安裝中,hdfs程序作為「hdfs」執行。yarn通常使用「紗線」帳戶。

hadoop啟動

要啟動hadoop集群,您需要啟動hdfs和yarn集群。

首次公升級hdfs時,必須格式化。將新的分布式檔案系統格式化為hdfs:

[hdfs] $ $ hadoop_home / bin / hdfs namenode -format

在指定的節點上使用以下命令啟動hdfs namenode作為hdfs:

[hdfs] $ $ hadoop_home / bin / hdfs --daemon start namenode

在每個指定的節點上使用以下命令啟動hdfs datanode :hdfs:

[hdfs] $ $ hadoop_home / bin / hdfs --daemon start datanode

如果配置了etc / hadoop / worker和ssh信任訪問(請參閱單節點安裝),則可以使用實用程式指令碼啟動所有hdfs程序。作為hdfs:

[hdfs] $ $ hadoop_home / sbin / start-dfs.sh

開始使用以下命令,在指定的resourcemanager為執行紗線紗:

[紗線] $ $ hadoop_home / bin / yarn --daemon啟動資源管理器

執行乙個指令碼來在每個指定的主機上啟動乙個nodemanager作為紗線:

[紗線] $ $ hadoop_home / bin / yarn --daemon啟動**伺服器

如果配置了etc / hadoop / worker和ssh信任訪問(請參閱單節點安裝),則可以使用實用程式指令碼啟動所有yarn程序。由於紗線:

[紗線] $ $ hadoop_home / sbin / start-yarn.sh

使用以下命令啟動mapreduce jobhistory伺服器,在對映的指定伺服器上執行:

[mapred] $ $ hadoop_home / bin / mapred --daemon啟動歷史記錄伺服器

hadoop關機

使用以下命令停止namenode,在指定的namenode上執行hdfs:

[hdfs] $ $ hadoop_home / bin / hdfs --daemon stop namenode

執行指令碼來停止datanode作為hdfs:

[hdfs] $ $ hadoop_home / bin / hdfs --daemon stop datanode

如果配置了etc / hadoop / worker和ssh可信訪問(請參閱單節點安裝),所有hdfs程序可能會使用實用程式指令碼停止。作為hdfs:

[hdfs] $ $ hadoop_home / sbin / stop-dfs.sh

停止使用下面的命令,在指定的resourcemanager作為執行的resourcemanager 紗:

[紗線] $ $ hadoop_home / bin / yarn --daemon停止資源管理器

執行乙個指令碼來停止乙個工作的nodemanager作為紗線:

[紗線] $ $ hadoop_home / bin / yarn  -  daemon stop nodemanager

如果配置了etc / hadoop / worker和ssh信任訪問(請參閱單節點安裝),則可以使用實用程式指令碼停止所有yarn程序。由於紗線:

[紗線] $ $ hadoop_home / bin /紗線停止**伺服器

使用以下命令停止mapreduce jobhistory伺服器,在對映的指定伺服器上執行:

[mapred] $ $ hadoop_home / bin / mapred --daemon stop historyserver

Hadoop(二)Hadoop集群搭建

準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...

Hadoop集群配置

hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群,兩者邏輯上分離,但物理上常在一起。hdfs集群 負責海量資料的儲存,集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager nodeman...