Hadoop集群配置 啟動YARN

2021-10-06 15:19:21 字數 2348 閱讀 7530

本篇在 hadoop集群啟動hdfs 的基礎上繼續配置

配置mapred-site.xml（複製mapred-site.xml.template配置模板生成mapred-site.xml）：

cp


/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml


vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml
修改

mapreduce.framework.name 


yarn


# 可選則不加


mapreduce.jobhistory.address 


hadoop1:10020


# 可選則不加


hadoop1:19888
配置yarn-site.xml（yarn上執行的mapreduce框架）：
vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml
修改

yarn.nodemanager.aux-services


mapreduce_shuffle


yarn.resourcemanager.hostname


hadoop1


# 可選則不加


yarn.log-aggregation-enable


true


# 可選則不加


yarn.log-aggregation.retain-seconds


106800
yarn.log-aggregation-enable：是否啟用日誌聚集功能。

yarn.log-aggregation.retain-seconds：設定日誌保留時間，單位是秒

啟動yarn（資源管理系統）：

/usr/local/hadoop/hadoop-2.9.2/sbin/


start


-yarn.sh
啟動 resourcemanager（控制整個集群並管理應用程式向基礎計算資源的分配）：
/usr/local/hadoop/hadoop-2.9.2/sbin/yarn-daemon.sh start resourcemanager
啟動 nodemanager（管理 yarn 集群中的每個節點，監控資源和跟蹤節點）：
/usr/local/hadoop/hadoop-2.9.2/sbin/yarn-daemon.sh start nodemanager
web頁面檢視：
http:/
建立測試檔案：
vim /usr/local/hadoop/hadoop-2.9.2/


data


/tmp/test.input
修改

hadoop mapreduce hive


hbase spark storm


sqoop hadoop hive


spark hadoop
在hdfs建立目錄：
/usr/local/hadoop/hadoop-2.9.2/bin/hdfs dfs -mkdir /demo/input
執行 wordcount mapreduce job：
/usr/local/hadoop/hadoop-2.9.2/bin/yarn jar /usr/local/hadoop/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /demo/input /demo/output
檢視結果（資料的重複次數）：
hadoop dfs -


Hadoop集群配置
hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...


hadoop集群配置
建立目錄 修改 home hadoop hadoop 2.7.1 etc hadoop下的配置檔案 把配置好的hadoop傳送到從節點 如果沒有目錄，請新建，沒有jdk，請提前裝，路徑和master保持一致 scp r home hadoop hadoop 2.7.1 root centos02 h...


Hadoop 集群配置
重要目錄介紹 2 etc目錄 hadoop的配置檔案目錄，存放hadoop的配置檔案 3 lib目錄 存放hadoop的本地庫 對資料進行壓縮解壓縮功能 5 share目錄 存放hadoop的依賴jar包 文件 和官方案例 hadoop執行模式包括 本地模式 偽分布式模式以及完全分布式模式。本地模式...