HADOOP之歷史伺服器

2021-10-24 20:44:38 字數 1103 閱讀 2617

hadoop自帶了乙個歷史伺服器,可以通過歷史伺服器檢視已經執行完的

mapreduce作業記錄,比如用了多少個map、用了多少個reduce、作業提交時間、

作業啟動時間、作業完成時間等資訊。預設情況下,hadoop歷史伺服器是沒有啟

動的,我們可以通過下面的命令來啟動hadoop歷史伺服器

$> sbin/

開啟jobhistory程序執行:mr-jobhistory-daemon.sh start historyserver

關閉jobhistory程序執行:mr-jobhistory-daemon.sh stop historyserver

配置歷史伺服器

為了檢視程式的歷史運**況,需要配置一下歷史伺服器。具體配置步驟如下:

1、配置mapred-site.xml $hadoop_home/etc/hadoop下的sbin裡

mapreduce.jobhistory.address master:10020

啟動歷史伺服器

$>mr-jobhistory-daemon.sh start historyserver

檢視jobhistorywebui

說明:該功能實際開發過程中需要開啟。學習測試的時候不用開啟,影響效能。

在hadoop歷史伺服器的web ui上最多顯示20000個歷史的作業記錄資訊;

其實我們可以通過下面的引數進行配置,然後重啟一下hadoop jobhistory即可

注:歷史記錄最大數

mapreduce.jobhistory.joblist.cache.size

20000

hdfs-site.xml(每次修改後需要重啟hdfs,並且分發所有節點)

注:(副本數)

dfs.replication

2測試是否副本在2臺datanode中,(上傳檔案檢視hdfs)

copy.sh

#!/bin/bash

echo bengincopy!

for((i=1; i<=2; i++))

echo endcopy!

copy.sh 給它許可權

執行 ./copy.sh

Hadoop配置歷史伺服器

配置歷史伺服器 為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...

hadoop配置歷史伺服器

1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...

hadoop歷史伺服器搭建

為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 1.配置mapred site.xml vi mapred site.xml,在該檔案裡面增加如下配置。mapreduce.jobhistory.address hadoop101 10020 hadoop101 19888 2.分...