HDFS操作筆記

2022-08-29 07:33:08 字數 785 閱讀 8436

1.執行mr程式出錯

connecting to resourcemanager

retrying ....

retrying....

原因是沒有啟動yarn或者啟動失敗

2.初始化工作目錄結構

hdfs namenode -format 只是初始化了namenode的工作目錄

而datanode的工作目錄是在datanode啟動後自己初始化的

3.datanode不被namenode識別的問題

namenode在format初始化的時候會形成兩個標識:

blockpoolid;

clusterid;

新的datanode加入時,會獲取這兩個標識作為自己工作目錄中的標識

一旦namenode重新format後,namenode的身份識別已變,而datanode如果依然持有原來的id,就不會被namenode識別。

4.datanode下線後多久看到效果

datanode不是一下線就會被namenode認定為下線的,有乙個超時時間

5.關於副本數量的問題

副本數由客戶端的引數dfs.replication決定(優先順序:conf.set>自定義配置檔案》jar包中的hdfs-default.xml)

6.如果namenode的硬碟損壞,元資料是否還能恢復?如果能恢復,如何恢復?

將secondarynamenode的元資料目錄拷貝給namenode

所以,為了避免以上問題,最好在配置namenode工作目錄引數時,namenode的工作目錄應該配載多塊磁碟上。

vi 操作筆記

1.關於退出 wq 強制儲存退出 wq 儲存退出 x 作用和 wq 一樣 zz 作用和 wq一樣,注意z是大寫的,並且不是在命令模式 q 退出 q 強制退出 2.關於移動 h 在當前行向左移動乙個字元 j 移動到下一行 k 移動到上一行 l 在當前行向右移動乙個字元 ctrl f 向前滾動一頁 ct...

mysql操作筆記

user01只能本地訪問 create user user01 localhost identified by password1 user02可以遠端訪問 create user user02 identified by password1 建立資料庫 create database db01 修...

mysql操作筆記

一 select user 顯示的為當前使用的 user 及host use mysql select distinct user from user 顯示該資料庫授權登陸的使用者名稱 其實還有 host 的限制 mysql 中新增使用者 新建資料庫 使用者授權 刪除使用者 修改密碼 注意每行後邊都...