HDFS檔案系統的基本操作 Hadoop權威指南

2021-08-03 19:48:41 字數 1046 閱讀 5405

1.1.1 基本操作幫助

hadoop fs -help
1.1.2 在hdfs上建立如下目錄

命令 :

hadoop fs -mkdir

-p /usr/local/hadoop/input1

1.1.3 將檔案從xujing01複製到hdfs /usr/local/hadoop/input1/ 目錄

命令:

hadoop fs -put /root/test.txt /usr/local/hadoop/input1/
1.1.4 檢視hdfs目錄資料夾已有內容

命令 :

3是指檔案備份數,因為集群數目是3個,故整個檔案系統範圍內設定的預設副本數為3

78代表檔案大小

超級使用者是namenode程序的標識

這邊xx01和xx03看到的內容一樣

1.1.5 將檔案從hdfs複製到本地

命令:

hadoop fs -copytolocal /usr/local/hadoop/input1/test.txt test.copy.txt

1.1.6 檢視檔案內容

內容一致

hadoop fs -copyformlocal /tmp/quangle.txt hdfs://xx01:9000/tmp/quangle2.txt(是一行)
沒有/tmp/目錄

解決,先自己建立,用mkdir –p指令 參照1.1.2

HDFS檔案系統

hdfs 是 hadoop distribute file system 的簡稱,意為 hadoop 分布式檔案系統。是hadoop 核心元件之一,作為最底層分布式儲存服務而存在。分布式檔案系統解決的問題就是大資料儲存。它們是橫跨在多台計算機上的儲存系統。分布式檔案系統在大資料時代有著廣泛的應用前景...

Linux命令操作HDFS檔案系統

hdfs命令操作 格式化操作 bin hdfs namenode format 展示檔案和資料夾列表 bin hdfs dfs ls 建立資料夾 在使用者目錄下建立 bin hdfs dfs mkdir aaa 在根目錄下建立 bin hdfs dfs mkdir aaa 遞迴層級建立多個資料夾 b...

HDFS 分布式檔案系統的常用HDFS操作

啟動hadoop 將本地的house.txt檔案上傳到hdfs的mydir目錄下 bin hdfs dfs put house.txt mydir 到本地 bin hdfs dfs get mydir house.txt file usr local hadoop 將hdfs中指定檔案 loli.t...