Hadoop2 檔案分塊為何預設是128M?

2021-10-19 09:33:36 字數 633 閱讀 4305

hadoop中hdfs上的檔案是分塊儲存的,在hadoop1.x的版本,分塊大小(block_size)預設是64mhadoop2.x的版本中,分塊大小預設是128m

1)首先namenode會根據元資料資訊進行定址。假如定址時間是10ms。

2)定址時間是資料傳輸時間的0.01倍時,是最佳狀態。所以最佳資料傳輸時間=10ms / 0.01 = 1000ms = 1s。

3)目前大多磁碟的傳輸效率為100m/s(和磁碟效能有關)。

4)又因為計算機底層都是二進位制儲存,取乙個2的n次方距離100最近的數,最終取2的7次方,也就是128。

在hdfs-site.xml配置檔案中,加入配置項:

>

>

dfs.blocksizename

>

>

256mvalue

>

property

>

1 檔案測試 2 檔案操作

1 檔案測試函式 2 檔案操作 新建檔案 fopen filename,w 以 寫 的方式開啟乙個不存在的檔案,就會新建該檔案 檔案刪除 unlink 檔案複製 copy filename,aaa bb.txt 盡量使用 和相對路徑,因為linux只認 也沒有磁碟分割槽,而windows 和 都認 ...

2 檔案操作

新增檔案到版本庫 先保證檔案在之前建立的倉庫目錄下 第一步,用命令 git add告訴git,把檔案新增到倉庫 執行完後沒什麼顯示就對了 第二步,用命令 git commit告訴git,把檔案提交到倉庫 m後面輸入的是本次提交的說明,可以輸入任意內容 注意 commit可以一次提交很多檔案,所以你可...

2 檔案結構

乙個小程式主體部分由三個檔案組成,必須放在專案的根目錄,如下 乙個小程式頁面由四個檔案組成,分別是 注意 為了方便開發者減少配置項,描述頁面的四個檔案必須具有相同的路徑與檔名。示例目錄 helloworld 這個是小程式的指令碼 檔案,可以在這個檔案上進行監聽,並處理小程式的一些生命週期 比如一些全...