hadoop配置歷史伺服器 配置日誌聚集

配置歷史伺服器

1、在mapred-site.xml中寫入一下配置

<

property
>
<
name
>mapreduce.jobhistory.address
name
>
<
value
>hadoop101:10020
value
>
property
>
<
property
>
<
name
name
>
<
value
>hadoop101:19888
value
>
property
>

2、檢視啟動歷史伺服器檔案目錄

在hadoop安裝目錄中的sbin中有mr-jobhistory-daemon.sh命令

3、啟動歷史伺服器

mr-jobhistory-daemon.sh start  historyserver

4、檢視歷史伺服器是否啟動

jps是否有

historymanager程序

5、檢視 jobhistory

配置日誌聚集

1、配置yarn-site.xml檔案

<
property
>
<
name
>yarn.log-aggregation-enable
name
>
<
value
>true
value
>
property
>
<
property
>
<
name
>yarn.log-aggregation.retain-seconds
name
>
<
value
>604800
value
>
property
>

2、關閉nodemanager、resourcemanager、historymanager

yarn-daemon.sh stop resourcemanager

yarn-daemon.sh stop nodemanager

mr-jobhistory-daemon.sh stop historyserver

3、啟動nodemanager、resourcemanager、historymanager

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

mr-jobhistory-daemon.sh start historyserver

Hadoop配置歷史伺服器

配置歷史伺服器 為了檢視程式的歷史運 況，需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...

hadoop配置歷史伺服器

1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...

Hadoop歷史伺服器配置以及日誌管理

前言 先說一下配歷史伺服器的作用 可以幫助我們檢視hdfs後hue上的日誌，更好的分析和解決問題 先在hadoop的配置檔案mapred site.xml中新增下面內容 mapreduce.jobhistory.address node01 10020 node02 19888 在配置日誌聚集功能配...