Hadoop中的jobhistory配置與啟動停止

hadoop中的jobhistory配置與啟動停止

jobhistory配置

在yarn-site.xml中新增

<

!-- 開啟日誌聚合 -->
yarn.log-aggregation-enable
true

<

!-- 設定jobhistoryserver 沒有配置的話 history入口不可用 -->
mapreduce.jobhistory.address
localhost:10020
<
!-- 配置web埠 -->
localhost:19888
<
!-- 配置正在執行中的日誌在hdfs上的存放路徑 -->
mapreduce.jobhistory.intermediate-done-dir
/history/done_intermediate
<
!-- 配置執行過的日誌存放在hdfs上的存放路徑 -->
mapreduce.jobhistory.done-dir
/history/done

啟動： 在hadoop/sbin/目錄下執行

./mr-jobhistory-daemon.sh start historyserver

或者mapred --daemon start historyserver

./mr-jobhistory-daemon.sh stop historyserver

或者mapred --daemon stop historyserver

hadoop中的Jobhistory歷史伺服器

1.啟動指令碼 mr jobhistory daemon.sh start historyserver 2.配置說明 jobhistory用於查詢每個job執行完以後的歷史日誌資訊，是作為一台單獨的伺服器執行的。可以在namenode或者datanode上的任意一台啟動即可。預設的配置如下，但是需要...

hadoop中的檔案壓縮

1 減少磁碟的儲存空間 2 減少磁碟io和網路io 3 加快資料傳輸速度 磁碟和網路 如果小檔案多明顯檔案傳輸會明顯降低 1 考慮檔案的壓縮效率 壓縮快慢 2 考慮檔案的壓縮比 解壓快慢 第一點好理解，壓縮的快肯定好 第二點是壓縮比，舉例現在有乙個10g的檔案，一種壓縮演算法能把他壓縮成1g，其他壓...

SequenceFile在Hadoop中使用

概念 sequencefile是乙個由二進位制序列化過的key value的位元組流組成的文字儲存檔案，它可以在map reduce過程中的input output 的format時被使用。在map reduce過程中，map處理檔案的臨時輸出就是使用sequencefile處理過的。所以一般的se...