datanode的作用:提供真實檔案資料的儲存服務.以檔案塊進行儲存。
檔案塊（block）：最基本的儲存單位。對檔案內容而言，乙個檔案的長度大小是size，那麼從檔案的0偏移開始，按照固定的大小，順序對檔案進行劃分並編號，劃分好的每乙個塊稱乙個block。hdfs預設的block大小是128m，以乙個256mb檔案，共有258/128=2個block.不同於普通檔案系統的是，hdfs中，如果乙個檔案小於乙個資料塊的大小。並不占用整個資料塊儲存空間。
接下來對datanode的儲存方式進行驗證。
1：切換到data的dfs目錄，然後切換到data/current/目錄。。。一直往下找到 finalized目錄。檔案塊就在該目錄下。
2：執行 hadoop fs -rm -r hdfs://weekend110:9000/*命令清空上傳的檔案。發現 finalized目錄下的資訊為零。
3.新建乙個會話,上傳乙個檔案: hadoop fs -put apache-hive-0.14.0-bin.tar.gz /
4.再次檢視 finalized目錄，發現乙個模組有 80288778b約等於76.5和上傳的一樣大
5.通過訪問可以更直觀的看出這是乙個壓縮檔案76.57m占用乙個block。已經所做的許可權組和許可權及所有者。
6.再上傳乙個檔案發現，第乙個block的id為blk_1073741843。第二個block的id為blk_1073741844，具有連續性。有乙個超過128m的檔案壓縮包，被分散成多個block時，是不是也具有連續性。對於乙個不完整的檔案壓縮包一般解壓會失敗。我們不能單獨的cat出某個block裡面的內容，因此我得到他的所有的連續的block合在一起會不會就能解壓成功?
答案是肯定的。cat a >> b 最後等於上傳檔案的大小。因此hdfs中對檔案的切割和合併和一般處理檔案的流模式一樣。
hadoop（五） dataNode工作原理
datenode的工作原理 作用 提供真實的檔案資料的儲存服務 檔案塊 最基本的單位。對於檔案內容而言，乙個檔案的長度大小是size，那麼從檔案的0開始偏移，按照固定的大小，順序對檔案進行劃分編號，劃分好的每一塊稱為乙個block，hdfs預設的 block大小為128mb，如乙個256mb的檔案，...
DataNode工作和服務原理
datanode檢視他的屬性，可以分成以下幾個方面 1.offerservice 方法，此方法在datanode主迴圈中執行，做的事情包括和namenode心跳互動 通知namenode一段時間以來收到的block 本機block的報告 2.dataxceiverserver，主要處理block的讀...
datanode工作機制詳解
datanode 的工作機制 問題場景 1 集群容量不夠，怎麼擴容？2 如果有一些 datanode 宕機，該怎麼辦？3 datanode 明明已啟動，但是集群中的可用 datanode 列表中就是沒有，怎麼辦？1 概述1 datanode工作職責 儲存管理使用者的檔案塊資料 定期向namenode...