HDFS hadoop分布式檔案系統模型

檢視hdfs根目錄

hadoop　fs　-ls　/

hadoop　fs　-mkdir　/test

hadoop　fs　-put　./test.txt　/test　

或 hadoop　fs　-copyfromlocal　./test.txt　/test

hadoop　fs　-get　/test/test.txt　.

或 hadoop　fs　-gettolocal　/test/test.txt .

hadoop　fs　-cp　/test/test.txt　/test1

hadoop　fs　-rm　/test1/test.txt

hadoop　fs　-mv　/test/test.txt　/test1

——元資料：好比倉庫管理員記賬的賬本（100斤白菜，存放在哪，幾號存放的；

圖書管理系統，存放一本書，需要記錄書名，存放位置，存放時間，有幾個副本…

secondary namenode的工作流程：

- secondary通知namenode切換edits檔案

- secondary從namenode獲得fsimage和edits(通過http)

- secondary將fsimage載入記憶體，然後開始合併edits

- secondary將新的fsimage發回給namenode

- namenode用新的fsimage替換舊的fsimage

滿足以上任何兩個條件，就開始合併

在/itcast/hadoop-2.4.1/tmp/dfs/data/current/bp-1152942234-192.168.1.10-1458206501707/current/finalized目錄下找到這4條記錄：

-rw-

r--r
--.1
root
root
134217728
mar20
01:52
blk_1073741839-rw
-r--
r--.
1root
root
1048583
mar20
01:52
blk_1073741839_1015
.meta-rw
-r--
r--.
1root
root
20555350
mar20
01:52
blk_1073741840-rw
-r--
r--.
1root
root
160599
mar20
01:52
blk_1073741840_1016
.meta

hdfs Hadoop分布式檔案系統

1 hdfs hadoop分布式檔案系統 hdfs是乙個高度容錯性的系統，適合部署在廉價的機器上。hdfs能提供高吞吐量的資料訪問，非常適合大規模資料集上的應用。hdfs放寬了一部分posix約束，來實現流式讀取檔案系統資料的目的。hdfs在最開始是作為apache nutch搜尋引擎專案的基礎架構...

三 HDFS Hadoop分布式檔案系統

一 hdfs的設計目標 1.1 硬體錯誤是常態而不是異常。hadoop的設計理念之一就是它可以執行在廉價的普通pc機上，因而硬體故障是常態。在硬體故障時，可通過容錯機制保證資料的正確性 完整性，從而保證系統的正常執行。1.2 大檔案儲存。hdfs儲存的檔案大小一般在gb tb的級別。1.3 流式資料...

分布式 分布式鎖

本質是利用redis的setnx 方法的特性來加鎖，setnx 即key不存在則設定key，否則直接返回false，要求在分布式系統中使用同乙個redis服務，以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題，因為可能在鎖過期之後該執行緒尚未執行完...