Hadoop基本檔案系統操作

環境配置參看我前面的文章。

我這裡用的是hadoop使用者，

先給自己在hdfs（檔案系統）上建乙個工作空間

# 必須是/user/使用者名稱

$ hadoop fs -mkdir /user/hadoop

預設也會放到遠端的工作目錄，即 hdfs://localhost/user/hadoop/

兩種方式：

# 第1種

$ hadoop fs -copyfromlocal shakespeare.txt shakespeare.txt
# 第2種 表明絕對路徑
$ hadoop fs -put /home/hadoop/shakespeare.txt hdfs://localhost/user/hadoop/shakespeare.txt

$ hadoop fs -ls #這裡是絕對路徑，從/user開始

$ hadoop fs -ls . #檢視主目錄，即/user/hadoop

$ hadoop fs -cat shakespeare.txt | less

$ hadoop fs -tail shakespeare.txt | less #檢視最後1000個位元組

$ hadoop fs -get shakespeare.txt ./shakespeare.from-remote.txt

$ hadoop fs -count /user

$ hadoop fs -du -h /user

$ hadoop fs -chmod 664 shakespeare.txt

可以用以下命令查詢用法

$ hadoop fs help

HDFS檔案系統的基本操作 Hadoop權威指南

1.1.1 基本操作幫助 hadoop fs help1.1.2 在hdfs上建立如下目錄 命令 hadoop fs mkdir p usr local hadoop input1 1.1.3 將檔案從xujing01複製到hdfs usr local hadoop input1 目錄 命令 had...

Hadoop 檔案系統（HDFS）

磁碟傳輸速率100m s，定址時間10ms，讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize，可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見，狀態是健康的 啟動所有資料節...

hadoop獲取檔案系統介面

hadoop提供了許多檔案系統的介面，使用者可以使用url方案選取合適的檔案系統來實現互動。fs.localfilesystem 客戶端校驗和本地檔案系統hdfs.distributionfilesystem hadoop分布式檔案系統hdfs.hftpfilesystem 支援http通過唯讀的方...