我們可以通過hadoop jar的命令來實現我們的程式jar包的執行，關於執行的日誌，我們一般都需要通過啟動乙個服務來進行檢視，就是我們的jobhistoryserver，我們可以啟動乙個程序，專門用於檢視我們的任務提交的日誌
要修改的配置檔案中要將value裡面的node01修改為namenode主機名
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml
namenode伺服器修改mapred-site.xml，新增以下配置:
mapreduce.jobhistory.address
node01:10020
node01:19888
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml
namenode伺服器修改mapred-site.xml，新增以下配置:
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
604800
yarn.nodemanager.log-aggregation.compression-type
gzyarn.nodemanager.local-dirs
/export/servers/hadoop-2.6.0/yarn/local
1000
將namenode修改後的mapred-site.xml和yarn-site.xml分發到其他機器上面去：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp mapred-site.xml yarn-site.xml node02:$pwd
scp mapred-site.xml yarn-site.xml node03:$pwd
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
stop-yarn.sh
start-yarn.sh
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
sbin/mr-jobhistory-daemon.sh start historyserver
的安裝配置 Manjaro Linux安裝配置
安裝wmtools 1.解除安裝舊版本 sudo pacman r open vm tools git clone 3.執行指令碼進行安裝 cd vmware tools patches sudo patched open vm tools.sh 安裝vim sudo pacman s vim 更新...
Graphite Simulator安裝配置方法
graphite simulator是由mit的carbon研究組開發的一款並行分布式全系統模擬器，該小組隸屬於原raw chip設計團隊，並與tilera公司關係緊密。graphite通過對一系列計算機體系結構領域常用模擬器的整合，為研究者提供了乙個全系統模擬環境。graphite可模擬的部分包括...
Vmware workstation安裝配置
作業系統 centos7 如果要實現主機和虛擬機器之間的檔案拖拽，除了安裝vmware tools外，還需要安裝圖形介面 gnome。1 首先安裝x xwindow system 命令為 yum groupinstall x window system 回車 注意有引號 檢查一下我們已經安裝的軟體以...