hdfs命令列shell操作

2021-10-25 11:46:47 字數 1936 閱讀 2210

bin/hadoop fs 具體命令   or  bin/hdfs dfs 具體命令  兩個是完全相同的。

hdfs的操作可以分為三類:

1. 本地 -> hdfs(上傳)

3.hdfs->hdfs(hdfs內部操作)

一、上傳

1.put:從本地檔案系統中拷貝檔案到

hdfs

路徑去

put2.txt :本地檔案路徑,/:上傳到hdfs後的路徑

2.copyfromlocal:從本地檔案系統中拷貝檔案到

hdfs

路徑去和put一樣

3.movefromlocal:從本地剪下貼上到

1.get:從

hdfs

拷貝到本地

2.copytolocal:等同於get,就是從hdfs

hdfs

的目錄 /

下有多個檔案:log.1, log.2,log.3,...合併到乙個檔案中

將hdfs中的22.txt、33.txt合併到本地的merge.txt檔案中

三、hdfs內部操作

和linux中的命令是相同的

1.ls: 顯示目錄資訊

hadoop fs -ls /

2.mkdir:在hdfs上建立目錄

hadoop fs -mkdir -p /sanguo/shuguo

3.cat:顯示檔案內容

hadoop fs -cat /sanguo/shuguo/kongming.txt

4.chgrp 、-chmod、-chown:linux檔案系統中的用法一樣,修改檔案所屬許可權

hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

hadoop fs  -chown  atguigu:atguigu   /sanguo/shuguo/kongming.txt

5.cp :從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

6.mv:在hdfs目錄中移動檔案

hadoop fs -mv /zhuge.txt /sanguo/shuguo/

7.tail:顯示乙個檔案的末尾

hadoop fs -tail /sanguo/shuguo/kongming.txt

8.rm:刪除檔案或資料夾

hadoop fs -rm /user/atguigu/test/jinlian2.txt

9.rmdir:刪除空目錄

hadoop fs -mkdir /test

hadoop fs -rmdir /test

10.du統計資料夾的大小資訊

hadoop fs -du -s -h /user/atguigu/test

11.setrep:設定hdfs中檔案的副本數量

hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

HDFS命令列操作

1 基本語法 bin hadoop fs 具體命令2 常用操作 1 help 輸出這個命令引數 bin hdfs dfs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p aaa bbb ccc ddd 4 m...

hdfs 指令 HDFS命令列操作

本節將講解hdfs中,常見的命令列操作。hdfs與我們傳統的檔案系統類似,都可以儲存檔案,檢視檔案的內容,刪除檔案,並且檔案也有著許可權的概念。事實上,hdfs也借鑑了linux檔案系統的目錄樹結構和許可權系統。一 基本操作 1 建立目錄hadoop fs mkdir hdfs 在根目錄下建立hdf...

HDFS檔案操作 命令列

haddop fs ls 查詢目錄 hadoop fs mkdir test 在根目錄下建立乙個目錄test hadoop fs put test.txt test 將本地的test.txt檔案上傳到hdfs根目錄下的test資料夾中去 hadoop fs copyfromlocal test.tx...