hadoop不適合小檔案的儲存，小檔案本省就占用了很多的metadata，就會造成namenode越來越大。hadoop archives的出現視為了緩解大量小檔案消耗namenode記憶體的問題。
採用archive 不會減少 檔案儲存大小，只會壓縮namenode 的空間使用
概述hadoop存檔是特殊格式的存檔。hadoop存檔對映到檔案系統目錄。hadoop歸檔檔案總是帶有* .har副檔名
hadoop存檔目錄包含元資料（採用_index和_masterindex形式）
資料部分data（part- *）檔案。
_index檔案包含歸檔檔案的名稱和部分檔案中的位置。
如下：原始檔案 四個檔案
經過hadoop archive之後：
執行的命令是：hadoop archive -archivename words.har -p /words -r 1 /wordhar
生成的檔案在/wordhar/words.har
執行該命令後，原輸入檔案不會被刪除，需要手動刪除
hadoop fs -rmr /words在mapreduce中，會忽略以下劃線開頭的檔案，也就是說上圖的_success,_index,_masterindex是不會處理的
那麼這樣一來就只會處理資料檔案part-0
job設定的輸入路徑是
執行mapreduce中執行的map數量是1
分片為乙個
map數量為乙個
ecshop中foreach的詳細用法歸納
ec模版中foreach的常見用法。foreach 語法 假如後台 smarty assign test test from 表示assign過來對應的第乙個引數 test item 就是下面要迴圈的變數，name是用於訪問foreach屬性的foreach迴圈的名稱，key當前鍵名的變數名。但是我...
對遞迴和動歸的理解
遞迴演算法就是通過解決同一問題的乙個或多個更小的例項來最終解決乙個大問題的演算法。為了在c語言中實現遞迴演算法，常常使用遞迴函式，也就是說能呼叫自身的函式。遞迴程式的基本特徵 它呼叫自身 引數的值更小 具有終止條件，可以直接計算其結果。在使用遞迴程式時，我們需要考慮程式設計環境必須能夠保持乙個其大小...
hadoop日誌分析系統一 Hadoop的認識
hadoop是乙個分布式的大資料處理平台 核心組成 hdfs分布式檔案系統 高度容錯的分布式檔案儲存系統 mapreduce平行計算模型 一種計算的模型 common元件 hadoop的核心元件 其它元件 hbase 高可靠性 高效能 面向列 可伸縮的分布式儲存系統 hive 資料倉儲 sqoop ...