大資料基礎Hadoop 2 x入門

儲存和分析網路資料

三大元件

hdfs

yarn

common

hive（蜜蜂）通過使用sql語句來執行hadoop任務

hbase 儲存結構化資料的分布式資料庫

zookeeper 維護節點狀態

使用docker安裝

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash

namenode

datanode

資料塊副本

心跳檢測

二級namenode

資料冗餘，硬體容錯

流式的資料訪問

適合儲存大檔案

適合資料批量讀寫，吞吐量高

不適合互動式應用，低延遲很難滿足

適合一次寫入多次讀取，順序讀寫

不支援多使用者併發寫相同檔案

hadoop fs -ls /

hadoop namenode -format 格式化操作

hadoop fs -ls /user

hadoop fs -put hadoop-env.sh /user/root 把檔案放入hadoop

hadoop fs -rm input

hadoop fs -rm hadoop-env.sh

hadoop fs -mkdir input

hadoop fs -cat input/hadoop-env.sh

hadoop fs -get input/hadoop-env.sh hadoop-env2.sh

hadoop dfsadmin -report

分而治之，乙個大人物分成多個小的子任務（map），並行執行後，合併結果（reduce）

基本概念

tasktracker

mapreduce作業執行過程

重複執行

推測執行

由於我是docker安裝，具體例子可以參考如下

參考

hadoop2 x入門 Hadoop的啟動方式

本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...

hadoop2 x入門 Hadoop的啟動方式

hadoop2.x入門 hadoop的啟動方式，本內容基於hadoop 2.7.2。1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondaryn...

hadoop2 x安裝（準備工具）

每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛程式，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學乙個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有...