Hadoop學習篇 二 HDFS實踐操作

上篇部落格中，我們學習了hdfs的理論基礎，了解了hdfs的架構模式，並且是如何進行讀寫操作的。那麼本篇就要開始hdfs的實戰操作了。（實戰操作將以偽分布式為例）

hdfs的基本操作主要進行命令列操作，以偽分布式為例。

shell命令格式有三種：

./bin/hadoop fs	    # 適用於任何不同的檔案系統，比如本地檔案系統和hdfs檔案系統

./bin/hadoop dfs # 只能適用於hdfs檔案系統
./bin/hdfs dfs # 與hadoop dfs的命令作用一樣，也只能適用於hdfs檔案系統

2.2.1 建立目錄

命令格式：

./bin/hdfs dfs -mkdir -p hdfs_dir_path

2.2.2檢視目錄資訊

命令格式：

./bin/hdfs dfs -ls hdfs_dir_path

2.2.3 上傳檔案

命令格式：

./bin/hdfs dfs -put local_file_path hdfs_file_path

命令格式：

./bin/hdfs dfs -cat hdfs_file_path

./bin/hdfs dfs -get hdfs_file_path local_file_path

命令格式：

./bin/hdfs dfs -rmr hdfs_dir_path

Hadoop學習（二） HDFS介紹

隨著資料量越來越大，在乙個作業系統存不下所有的資料，那麼就分配到更多的作業系統管理的磁碟中，但是不方便管理和維護，迫切需要一種系統來管理多台機器上的檔案，這就是分布式檔案管理系統。hdfs只是分布式檔案管理系統中的一種。hadoop分布式檔案系統，主要用來解決海量資料的儲存問題 它是乙個檔案系統，用...

hadoop學習筆記（二） HDFS

定義 hdfs hadoop distributed file system 它是乙個檔案系統，用於儲存檔案，通過目錄樹來定位檔案，它是分布式的，由很多伺服器聯合起來實現其功能。場景 適合一次寫入，多次讀出的場景，且不支援檔案的修改，適合用來做資料分析，不適合做網盤應用。優點 1.高容錯性 資料儲存...

Hadoop學習之HDFS架構 二

hdfs可以跨越大集群中的機器可靠地儲存非常大的檔案，將檔案儲存為一系列的塊，除了最後乙個塊外，所有的塊的大小都是相同的。當然若檔案大小正好為塊大小的倍數則所有塊的大小相同。為了容錯的目的，乙個檔案的塊會被複製成若干份，塊大小和複製因子是可配置的。應用程式可以指定檔案的副本數量，複製因子可以在檔案建...