如何以hdfs的使用者來執行hadoop命令

2021-07-09 23:07:13 字數 548 閱讀 1288

當hadoop集群中加上許可權管理後,即使是linux的root使用者也不能擁有最高許可權了,因為hdfs的管理員是hdfs,那麼問題來了,怎麼在命令列呼叫hdfs的命令呢?

開啟檢查 hdfs 許可權

dfs.permissions

設定為true

建立目錄

su hdfs -c "hadoop fs -mkdir /spark-log"

分配許可權

su hdfs -l -c "hadoop fs -chown -r root:root /spark-log"

檢視目錄

su hdfs -l -c "hadoop fs -ls /"

說明:假設使用者名為username,需要執行command程式,命令如下:

su username -l -c "comman"

其中「-l」表示以登入方式執行,這就意味著username的環境變數會被初始化,這在很多情況下是必須的。

hadoop客戶端執行hdfs的方法出現錯誤

再windows上用idea工具編寫 實現客戶端操作hdfs命令,有的電腦 可能會有部分命令不能成功並報錯 報錯原因 filenotfoundexception 找不打hadoop home和hdfs user dir目錄 已經配置好環境變數的前提 此時檢查其他都沒有問題,能通過遠端連線虛擬機器進行...

如何執行Hadoop自帶的例子

bin hadoop jar share hadoop mapreduce hadoop mapreduce examples 2.6.4.jar wordcount wordcount wordcount wcoutput輸出檔案不能實現存在,比如說 wordcount這樣是不行的 雖然他是第一級...

如何執行Hadoop自帶的例子

bin hadoop jar share hadoop mapreduce hadoop mapreduce examples 2.6.4.jar wordcount wordcount wordcount wcoutput輸出檔案不能實現存在,比如說 wordcount這樣是不行的 雖然他是第一級...