Hadoop 簡單介紹

2021-10-21 17:22:04 字數 534 閱讀 1375

**概述**

hadoop是apache公司旗下乙個分布式基礎架構,主要解決大資料儲存和計算問題,是谷歌公司三篇**的具體實現(gfs-hadoop,mapreduce-mr,bigtable--hbase)

兩個版本

1.x版本的mapreduce既負責計算又負責資源的排程。

2.x版本將mapreduce的資源排程功能分離出來只負責計算,然後這個資源排程模組就是yarn,yarn不僅可以排程內部資源,還可以排程外部資源

1.x和2.x的版本儲存都是使用 hdfs
三大發行版本:

apache – 最基礎的版本

cdh–目前網際網路使用最多的版本

hortoworks --文件較好

四大優點

高可靠 多副本機制

高拓展 集群模式 橫向拓展

高效 mr並行工作

高容錯 失敗任務重新分配

hadoop的守護程序簡單介紹

守護程序 namenode hdfs有兩個核心,namenode就是其中的主節點,他就像乙個領導者,負責協調和分配各項工作和任務。簡單的說他的功能主要有三點 datanode hdfs的另乙個核心,從節點,通常是有多個組成。它負責管理連線到節點的儲存 乙個集群中可以有多個節點 每個儲存資料的節點執行...

hadoop之hadoop基礎介紹

hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...

Hadoop 核心介紹

hadoop各個核心專案架構 hdfs2的架構 負責資料的分布式儲存,主從結構 主節點 namenode 可以有兩個 接收使用者的請求操作,使使用者操作入口 維護檔案系統目錄結構,稱為命名空間。從節點 datanode 至少乙個,儲存真實 資料。yarn的結構 是乙個資源排程和管理的平台,也是只從結...