hdfs客戶端操作

hdfs的客戶端有多種形式：

網頁形式

命令列形式

客戶端在**執行，沒有約束，只要執行客戶端的機器能夠跟hdfs集群聯網

檔案的切塊大小和儲存的副本數量，都是由客戶端決定！

所謂的由客戶端決定，是通過配置引數來定的

hdfs的客戶端會讀以下兩個引數，來決定切塊大小、副本數量：

切塊大小的引數： dfs.blocksize

副本數量的引數： dfs.replication

上面兩個引數應該配置在客戶端機器的hadoop目錄中的hdfs-site.xml中配置

dfs.blocksize

64mdfs.replication
2

1、檢視hdfs中的目錄資訊

hadoop fs -ls /hdfs路徑

hadoop fs -put /本地檔案  /aaa

## copyfromlocal等價於 put
hadoop fs -copyfromlocal /本地檔案 /hdfs路徑 
## 跟copyfromlocal的區別是：從本地移動到hdfs中
hadoop fs -movefromlocal /本地檔案 /hdfs路徑

hadoop fs -get /hdfs中的路徑   /本地磁碟目錄

## 跟get等價
hadoop fs -copytolocal /hdfs中的路徑 /本地磁碟路徑 
## 從hdfs中移動到本地
hadoop fs -movetolocal /hdfs路徑 /本地路徑

hadoop fs -mkdir  -p /aaa/***

hadoop fs -mv /hdfs的路徑  /hdfs的另乙個路徑

hadoop fs -rm -r /aaa

hadoop fs -chown user:group /aaa

hadoop fs -chmod 700 /aaa

9、顯示文字檔案的內容

hadoop fs -cat /hdfs中的檔案

hadoop fs -tail /hdfs中的檔案

usage: hadoop fs [generic options]

[-cat [-ignorecrc] ...]
[-checksum ...]
[-chgrp [-r] group path...]
[-chmod [-r] path...]
[-chown [-r] [owner][:[group]] path...]
[-copyfromlocal [-f] [-p] [-l] [-d] ... ]
[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]
[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]
[-cp [-f] [-p | -p[topax]] [-d] ... ]
[-createsnapshot ]
[-deletesnapshot ]
[-df [-h] [...]]
[-du [-s] [-h] [-x] ...]
[-expunge]
[-find ... ...]
[-get [-f] [-p] [-ignorecrc] [-crc] ... ]
[-getfacl [-r] ]
[-getfattr [-r] [-e en] ]
[-getmerge [-nl] [-skip-empty-file] ]
[-help [cmd ...]]
[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]
[-mkdir [-p] ...]
[-movefromlocal ... ]
[-movetolocal ]
[-mv ... ]
[-put [-f] [-p] [-l] [-d] ... ]
[-renamesnapshot ]
[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]
[-rmdir [--ignore-fail-on-non-empty] ...]
[-setfacl [-r] [ ]|[--set ]]
[-setfattr ]
[-setrep [-r] [-w] ...]
[-stat [format] ...]
[-tail [-f] ]
[-test -[defsz] ]
[-text [-ignorecrc] ...]
[-touchz ...]
[-truncate [-w] ...]
[-usage [cmd ...]]

hdfs客戶端操作

這裡hdfs客戶端指的是eclipse 一 獲取hadoop安裝包解壓後進入share資料夾裡面的所有jar包 二 這裡如果你客戶端 eclipse所在機器 是win7，需要編譯hadoop原始碼來適應你的機器。三 配置hadoop home環境變數和path 四 拷貝win7電腦上的檔案到虛擬機器...

HDFS 客戶端入門 API

public class doitutils public class uploaddemo public class downdemo public class rename else 改名後的檔案 path path new path b.txt 將檔案移動到指定資料夾下 path path2 ...

HDFS客戶端搭建與Java API操作HDFS

為什麼不建議使用集群內操作？如果每一次上傳檔案都是選擇某一台dn作為客戶端，就會導致這個節點上的磁碟以及網路i0負載超過其他的節點，久而久之這個節點的磁碟以及網絡卡效能遠遠低於其他節點，從而會導致資料的傾斜問題。配置集群客戶端的步驟 1 找一台新的伺服器，這台伺服器必須能夠與集群通訊 2 將配置好的...