HDFS 第2章HDFS的Shell操作

2021-10-08 06:01:08 字數 2650 閱讀 8440

常用命令實操:

(0)啟動hadoop集群

sbin/start-dfs.sh     sbin/start-yarn.sh

(1)-help:輸出這個命令引數

hadoop fs -help rm

(2)-ls: 顯示目錄資訊

hadoop fs -ls /

(3)-mkdir:在hdfs上建立目錄

hadoop fs -mkdir -p /sanguo/shuguo

(4)-movefromlocal:從本地剪下貼上到hdfs

touch kongming.txt

hadoop fs  -movefromlocal  ./kongming.txt  /sanguo/shuguo

touch liubei.txt

vi liubei.txt

輸入:san gu mao lu

(6)-cat:顯示hdfs檔案的內容

hadoop fs -cat /sanguo/shuguo/kongming.txt

(7)-chgrp 、-chmod、-chown:linux檔案系統中的用法一樣,修改檔案所屬許可權

hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt

hadoop fs  -chown  atguigu:atguigu   /sanguo/shuguo/kongming.txt

(8)-copyfromlocal:從本地檔案系統中拷貝檔案到hdfs路徑去

hadoop fs -copyfromlocal readme.txt /

(9)-copytolocal:從hdfs拷貝到本地

hadoop fs -copytolocal /sanguo/shuguo/kongming.txt ./

(10)-cp :從hdfs的乙個路徑拷貝到hdfs的另乙個路徑

hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

(11)-mv:在hdfs目錄中移動檔案

hadoop fs -mv /zhuge.txt /sanguo/shuguo/

hadoop fs -get /sanguo/shuguo/kongming.txt ./

hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

(14)-put:等同於copyfromlocal

hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

(15)-tail:顯示乙個檔案的末尾

hadoop fs -tail /sanguo/shuguo/kongming.txt

(16)-rm:刪除檔案或資料夾

hadoop fs -rm /user/atguigu/test/jinlian2.txt

(17)-rmdir:刪除空目錄

hadoop fs -mkdir /test

hadoop fs -rmdir /test

(18)-du統計資料夾的大小資訊

hadoop fs -du -s -h /user/atguigu/test

2.7 k  /user/atguigu/test

hadoop fs -du  -h /user/atguigu/test

1.3 k  /user/atguigu/test/readme.txt

15     /user/atguigu/test/jinlian.txt

1.4 k  /user/atguigu/test/zaiyiqi.txt

(19)-setrep:設定hdfs中檔案的副本數量

hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

Hadoop筆記六之Hdfs的基本shell操作

使用hfds dfs 和hadoop fs來操作檔案這兩者一樣,命令格式為hadoop fs ls dfhs shb01 9000 也可以使用hadoop fs ls 表示當前根目錄和dfhs shb01 9000 一樣。hdfs是hadoop本身的協議,hdfs本身沒有許可權它借用的是linux許...

Hdfs 原始碼解析(2)

namenode啟動 namenode持久化了檔案和塊之間的對應關係,也就是在namenode資料目錄下的current fsimage目錄,namenode啟動的時候,會將這個檔案載入到記憶體裡。塊和機器的對應關係,namenode並不持久化,也就是說,namenode在啟動的時候,並不知道檔案塊...

HDFS儲存的機制之HDFS讀寫流程

7步 1.hdfs提供的客戶端client,向遠端的namenode發起rpc請求。2.namenode會檢查要建立的檔案是否已經存在,建立者是否有許可權進行操作。成功則會檔案建立乙個記錄,否則會讓客戶端丟擲異常。3.a 當客戶端client開始寫入檔案的時候,客戶端會將檔案切分成多個packets...