hadoop命令總結

2021-07-11 10:48:09 字數 1367 閱讀 4034

1、檢視指定目錄下內容

hadoop dfs –ls [檔案目錄]

eg: hadoop dfs –ls /user/wangkai.pt

2、開啟某個已存在檔案

hadoop dfs –cat [file_path]

eg:hadoop dfs -cat /user/wangkai.pt/data.txt

3、將本地檔案儲存至hadoop

hadoop fs –put [本地位址] [hadoop目錄]

hadoop fs –put /home/t/file.txt /user/t

(file.txt是檔名)

4、將本地資料夾儲存至hadoop

hadoop fs –put [本地目錄] [hadoop目錄]

hadoop fs –put /home/t/dir_name /user/t

(dir_name是資料夾名)

5、將hadoop上某個檔案down至本地已有目錄下

hadoop fs -get [檔案目錄] [本地目錄]

hadoop fs –get /user/t/ok.txt /home/t

6、刪除hadoop上指定檔案

hadoop fs –rm [檔案位址]

hadoop fs –rm /user/t/ok.txt

7、刪除hadoop上指定資料夾(包含子目錄等)

hadoop fs –rm [目錄位址]

hadoop fs –rmr /user/t

8、在hadoop指定目錄內建立新目錄

hadoop fs –mkdir /user/t

9、在hadoop指定目錄下新建乙個空檔案

使用touchz命令:

hadoop fs -touchz /user/new.txt

10、將hadoop上某個檔案重新命名

使用mv命令:

hadoop fs –mv /user/test.txt /user/ok.txt (將test.txt重新命名為ok.txt)

11、將hadoop指定目錄下所有內容儲存為乙個檔案,同時down至本地

hadoop dfs –getmerge /user /home/t

12、將正在執行的hadoop作業kill掉

hadoop job –kill [job-id]

hadoop命令總結

1 centos7 命令大全 與centos其他版本不同的地方 2 關閉nodemanager resourcemanager和historymanager sbin yarn daemon.sh stop resourcemanager sbin yarn daemon.sh stop nodem...

Hadoop常用命令總結

檢視幫助 hadoop fs help 列出檔案系統由哪些塊構成 hadoop fsck files blocks 檢視磁碟 hadoop fs df h 建立目錄 hadoop fs mkdir user 列出根目錄 hadoop fs ls 列出所有檔案 hadoop fs ls 遞迴檢視根目錄...

hadoop學習總結

1 sbin目錄 存放啟動或停止hadoop相關服務的指令碼 2 bin目錄 存放對hadoop相關服務 hdfs,yarn 進行操作的指令碼 3 etc目錄 hadoop的配置檔案目錄,存放hadoop的配置檔案 4 share目錄 存放hadoop的依賴jar包和文件,文件可以被刪除掉 5 li...