一、儲存層：檔案系統hdfs，nosql hbase
二、資源及資料管理層：yarn以及sentry等
三、計算引擎：mapreduce、impala、spark等
四、基於mapreduce、spark等計算引擎的高階封裝及工具：hive、pig、mahout等
sqoop(sql to hadoop) 被設計為支援批量從結構化資料儲存匯入資料到hdfs，如關聯式資料庫，企業級資料倉儲和nosql系統。
flume用於移動大規模批量流資料到 hdfs 系統。從web伺服器收集當前日誌檔案資料到hdfs聚集用於分析
hadoop2 x安裝（準備工具）
每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛程式，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學乙個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有...
Hadoop2 X中的描述
1，hadoop 1.0中hdfs和mapreduce在高可用 擴充套件性等方面存在問題 2，hdfs存在的問題 namenode壓力過大，且記憶體受限，影響系統擴充套件 3，mapreduce存在的問題 jobtracker單點故障 jobtracker訪問壓力大，影響系統擴充套件性 難以支援除m...
hadoop2 x入門 Hadoop的啟動方式
本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...