hadoop之理解tmp目錄下的檔案

2021-10-24 13:44:22 字數 881 閱讀 1396

1)修改tmp路徑 解決辦法將原來name copy

/home/crx/tmp (這個路徑是之前在hadoop_home/etc/hadoop/core-site.xml 中name標籤下配置的路徑)

(修改目錄後,新目錄是沒有之前的資料的。但之前的目錄依舊存在,所以需要將之前目錄裡的東西拷貝到

新目錄裡)

2)不刪除tmp目錄, 直接格式化

格式化hdfs namenode

$>hdfs namenode -format

(格式化namenode 會為namenode重新生成乙個clusterid)

解決辦法修改clusterid(~/tmp/dfs/name/current/version 按照原datanode secondaryanmenode的clusterid修改)

3)~/tmp 刪除掉,重新格式化,原有hdfs的資料全部刪除掉

注:(2),(3)都是格式化namenode的方法

4)將secondarynamenode中資料拷貝到namenode儲存資料的目錄(namenode資料丟失情況)

1、kill -9 namenode程序

2、刪除namenode儲存的資料目錄中的資料 (~/tmp/dfs/name/current

3、拷貝secondarynamenode中資料到原namenode儲存資料目錄

(dfs下有namenode 和secondnamenode,拷貝secondnamenode中的 current給namenode)

4、重新啟動namenode hadoop-daemon.sh start namenode

5)理解停止伺服器,開啟伺服器後fsimage的變化

正在編輯的檔案日誌後面的數字變大

android 讀取 res raw目錄下的檔案

1。獲取資源的輸入流 資源檔案 sample.txt 位於 project home res raw目錄下,可以在 activity 中通過 context.getresources openrawresource r.raw.sample 方法獲取輸入流。例子 從resources中的raw 資料...

Java API 讀取HDFS目錄下的所有檔案

獲取1號店生鮮食品的分類id字串 param filepath return public string getyhdsxcategoryidstr string filepath final string inner delimiter 遍歷目錄下的所有檔案 bufferedreader br n...

Python掃瞄指定目錄下 包括子目錄 的檔案

掃瞄指定目錄下的檔案,或者匹配指定字尾和字首的函式。如果要掃瞄指定目錄下的檔案,包括子目錄,呼叫scan files export home test 如果要掃瞄指定目錄下的特定字尾的檔案 比如jar包 包括子目錄,呼叫scan files export home test postfix jar ...