HDFS的常用Shell操作

2021-09-29 01:51:46 字數 1690 閱讀 6212

(0)啟動hadoop集群

sbin/start-dfs.sh

sbin/start-yarn.sh

(1)-help:輸出這個命令引數

hadoop fs -help rm

(2)-ls: 顯示目錄資訊

hadoop fs -ls /

(3)-mkdir:在hdfs上建立目錄

hadoop fs -mkdir -p /sanguo/shuguo

(4)-movefromlocal:從本地剪下貼上到hdfs

touch kongming.txt

hadoop fs  -movefromlocal  ./kongming.txt  /sanguo/shuguo

touch liubei.txt

vi liubei.txt

輸入san gu mao lu

(6)-cat:顯示檔案內容

hadoop fs -cat /sanguo/shuguo/kongming.txt

(7)-chgrp 、-chmod、-chown:linux檔案系統中的用法一樣,修改檔案所屬許可權

hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

hadoop fs  -chown  angel:angel   /sanguo/shuguo/kongming.txt

(8)-copyfromlocal:從本地檔案系統中拷貝檔案到hdfs路徑去

hadoop fs -copyfromlocal readme.txt /

(9)-copytolocal:從hdfs拷貝到本地

hadoop fs -copytolocal /sanguo/shuguo/kongming.txt ./

(10)-cp :從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

(11)-mv:在hdfs目錄中移動檔案

hadoop fs -mv /zhuge.txt /sanguo/shuguo/

hadoop fs -get /sanguo/shuguo/kongming.txt ./

hadoop fs -getmerge /user/angel/test/* ./zaiyiqi.txt

(14)-put:等同於copyfromlocal

hadoop fs -put ./zaiyiqi.txt /user/angel/test/

(15)-tail:顯示乙個檔案的末尾

hadoop fs -tail /sanguo/shuguo/kongming.txt

(16)-rm:刪除檔案或資料夾

hadoop fs -rm /user/angel/test/jinlian2.txt

(17)-rmdir:刪除空目錄

hadoop fs -mkdir /test

hadoop fs -rmdir /test

(18)-du統計資料夾的大小資訊

hadoop fs -du -s -h /user/angel/test

hadoop fs -du  -h /user/angel/test

(19)-setrep:設定hdfs中檔案的副本數量

hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

HDFS操作常用的Shell命令

hadoop fs copyfromlocal uri f 如果檔案存在,則覆蓋 從本地檔案系統考貝到集群上 將乙個本地檔案系統的原始檔或多個原始檔追加到目標檔案系統 hadoop fs copytolocal ignorecrc crc uri ignorecrc 選項複製crc校驗失敗的文 件 ...

HDFS的shell常用操作指令

1.啟動相關 啟動zookeeper zkserver.sh start 啟動hdfs 不管在集群中的那個節點都可以 start dfs.sh 啟動yarn 只能在yarn主節點中進行啟動 hadoop fs ls r 級聯遞迴的方式展示,相當於展示下面的所有資料夾 hadoop fs mkdir ...

HDFS的常用shell命令

在hdfs的學習中,除了筆者第一篇的api操作之外,同樣的,hdfs的shell操作也是必須要掌握的。下面,筆者就整理出了一些常用的shell命名,希望能夠給讀者帶來些許幫助。在剛開始學習hdfs的時候,大家可以通過hadoop fs這個命令,來檢視hdfs的所有命令,然後就會全部顯示出來,如下圖所...