配置臨時檔案儲存路徑 歷史伺服器 日誌的聚集

2021-08-19 17:39:54 字數 3419 閱讀 6993

配置臨時檔案儲存路徑

1） 停止程序

sbin/yarn-daemon.sh stop nodemanager


sbin/yarn-daemon.sh stop resourcemanager


sbin/hadoop-daemon.sh stop datanode


sbin/hadoop-daemon.sh stop namenode
2） 修改 hadoop.tmp.dir

[core-site.xml]

hadoop.tmp.dirname>


/opt/module/hadoop-2.7.2/data/tmpvalue>


property>
3） 將/opt/module/hadoop-2.7.2 路徑中的 logs 資料夾刪除掉

rm -rf logs/
4） 進入到 tmp 目錄將 tmp 目錄中 hadoop-joker 目錄刪除掉

cd /tmp/


rm -rf hadoop-joker


/
5） 格式化 namenode

hadoop namenode -format
6） 啟動所有程序

sbin/hadoop-daemon.sh start namenode


sbin/hadoop-daemon.sh start datanode


sbin/yarn-daemon.sh start resourcemanager


sbin/yarn-daemon.sh start nodemanager
7） 檢視/opt/module/hadoop-2.7.2/data/tmp 這個目錄下的內容。

配置歷史伺服器

1） 配置 mapred-site.xml

cd etc/hadoop/


vim mapred-site.xml 


#加入mapreduce.jobhistory.addressname>


hadoop101:10020value>


property>


hadoop101:19888value>


property>
2） 檢視啟動歷史伺服器檔案目錄：

ls sbin/


| grep mr


mr-jobhistory


-daemon


.sh
3） 啟動歷史伺服器

[root@hadoop101 hadoop-2.7.2]# pwd


/opt/module/hadoop-2.7.2


sbin/mr-jobhistory-daemon.sh start historyserver
4） 檢視歷史伺服器是否啟動

jps


3534 jobhistoryserver
5） 重新執行mr

hadoop fs -rm


-r /user/joker/output


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce


-examples


-2.7


.2.jar wordcount /user/joker/input/ /user/joker/output
6） 檢視 jobhistory

配置日誌的聚集日誌聚集概念： 應用執行完成以後，將日誌資訊上傳到 hdfs 系統上。

開啟日誌聚集功能步驟：

1） 停止程序

sbin/yarn-daemon


.sh stop nodemanager


sbin/yarn-daemon


.sh stop resourcemanager


sbin/hadoop-daemon


.sh stop datanode


sbin/hadoop-daemon


.sh stop namenode


sbin/mr-jobhistory


-daemon


.sh stop historyserver
2） 配置 yarn-site.xml

vim etc/hadoop/yarn-site.xml


#加入配置檔案


yarn.log-aggregation-enablename>


truevalue>


property>


yarn.log-aggregation.retain-secondsname>


604800value>


property>
3） 啟動程序

sbin/hadoop-daemon


.sh start namenode


sbin/hadoop-daemon


.sh start datanode


sbin/yarn-daemon


.sh start nodemanager


sbin/yarn-daemon


.sh start resourcemanager


sbin/mr-jobhistory


-daemon


.sh start historyserver
4） 刪除 hdfs 上已經存在的 hdfs 檔案，並執行 wordcount 程式

hadoop fs -rm


-r /user/joker/output


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce


-examples


-2.7


.2.jar wordcount /user/joker/input/ /user/joker/output
5） 檢視日誌

struts上傳檔案臨時檔案儲存路徑

以eclipse tomcat為專案環境。指定臨時路徑時 絕對路徑 file 資料夾會存放到eclipse所在盤的根目錄下，比如我得eclipse在d盤，那麼檔案會是這樣d file 如果不指定路徑，那麼struts會自己建立路徑，在eclipse部署時，路徑是類似這樣的 e workspace c...

SpringBoot 檔案上傳臨時檔案路徑問題

錯誤顯示上傳的臨時檔案路勁 tmp tomcat.7678703764679158021.8085 work tomcat localhost root不可用，伺服器上檢視了下確實沒有該目錄。錯誤原因 之前執行良好是因為，springboot啟動時會建立乙個 tmp tomcat.7 work to...

SpringBoot 檔案上傳臨時檔案路徑問題

錯誤顯示上傳的臨時檔案路勁 tmp tomcat.7678703764679158021.8085 work tomcat localhost root不可用，伺服器上檢視了下確實沒有該目錄。錯誤原因 之前執行良好是因為，springboot啟動時會建立乙個 tmp tomcat.7 work to...