HDFS集群啟動 YARN集群 簡單操作演示

2021-09-30 16:36:18 字數 1488 閱讀 6760

hadoop  namenode  -format      #在min1機器上執行格式化命令

start-dfs.sh    #在min1機器上執行啟動hdfs集群命令

#注意啟動集群時,最好將集群中所有機器的時間設定一致

在min2和min3啟動datanode成功顯示:

start-yarn.sh       #在min1機器上執行啟動yarn集群命令
在min1啟動resourcemanager成功顯示:

在min2和min3啟動nodemanager成功顯示:

使用瀏覽器開啟

#瀏覽hdfs伺服器上的檔案列表

hadoop fs -ls / #在三颱機器中任何機器上執行此操作都可以 顯示hdfs的根目錄下的所有檔案

#由於第一次執行查詢根目錄下檔案內容,所以為空

#在hdfs伺服器上建立乙個資料夾

hadoop fs -mkdir -p /wordcount/input #在三颱機器中任何機器上執行此操作都可以

#在根目錄下建立乙個名為input的資料夾

#上傳本地檔案到hdfs伺服器上

hadoop fs -put /home/hadoop/wordcount_content.txt /wordcount/input

#在三颱機器中任何機器上執行此操作都可以

#將本地的/home/hadoop/test.txt檔案上傳到hdfs的/input目錄下

#啟動系統自帶的名為「wordcount」的mapreduce程式

hadoop jar $hadoop_home/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/output #執行乙個mapreduce例子

Hadoop集群之HDFS和YARN啟動和停止命令

1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...

hadoop集群之HDFS和YARN啟動和停止命令

假如我們只有3臺linux虛擬機器,主機名分別為hadoop01 hadoop02和hadoop03,在這3臺機器上,hadoop集群的部署情況如下 hadoop01 1個namenode,1個datanode,1個journalnode,1個zkfc,1個resourcemanager,1個nod...

Hadoop集群配置 啟動YARN

本篇在 hadoop集群啟動hdfs 的基礎上繼續配置 配置mapred site.xml 複製mapred site.xml.template配置模板生成mapred site.xml cp usr local hadoop hadoop 2.9.2 etc hadoop mapred site....