Hadoop 初識HDFS檔案操作命令

2021-10-22 20:50:42 字數 554 閱讀 5924

客戶端rpc埠是8020 web端訪問埠50070

docker run -p 22022:22 -p 8020:8020 -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -it mdouchement/hdfs
進入容器即可使用fs命令操作檔案

#檢視根目錄下資料夾和檔案

hadoop fs -ls /

#根目錄下建立data資料夾

hadoop fs -mkdir /data

#上傳本地a.txt檔案到hadoop的 /data 目錄

hadoop fs -put a.txt /data

hadoop fs -get /data/a.txt /data

#刪除hadoop上/data目錄下的a.txt檔案

hadoop fs -rm /data/a.txt

#檢視hadoop上1.txt檔案的內容

hadoop fs -text /1.txt

Hadoop第4周練習 HDFS讀寫檔案操作

1 執行環境說明 1.1 硬軟體環境 1.2 機器網路環境 2 書面作業1 編譯並執行 權威指南 中的例3.2 2.1 書面作業1內容 2.2 執行 2.3 實現過程 2.3.1 建立 目錄 2.3.2 建立例子檔案上傳到hdfs中 2.3.3 配置本地環境 2.3.4 編寫 2.3.5 編譯 2....

hadoop的HDFS檔案儲存

1 什麼是hdfs?hdfs適合做 儲存大檔案。上g t甚至p。一次寫入,多次讀取。並且每次作業都要讀取大部分的資料。搭建在普通商業機群上就可以了。雖然會經常宕機,但hdfs有良好的容錯機制。hdfs不適合做 實時資料獲取。如果有這個需求可以用hbase。很多小檔案。因為namenode要儲存hdf...

Hadoop 檔案系統(HDFS)

磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...