Hadoop版本比較

2021-07-25 20:45:32 字數 1078 閱讀 5101

1.hadoop有幾個版本?

2.cdh有幾種安裝方式?

3.cdh在安裝認證方面做了什麼改變?

cloudera的cdh和apache的hadoop的區別 目前而言,不收費的hadoop版本主要有三個(均是國外廠商),分別是:apache(最原始的版本,所有發行版均基於這個版本進行改進)、cloudera版本(cloudera』s distribution including apache hadoop,簡稱cdh)、hortonworks版本(hortonworks data platform,簡稱「hdp」),對於國內而言,絕大多數選擇cdh版本,cdh和apache版本主要區別如下:

(1) cdh對hadoop版本的劃分非常清晰,只有兩個系列的版本,分別是cdh3和cdh4,分別對應第一代hadoop(hadoop 1.0)和第二代hadoop(hadoop 2.0),相比而言,apache版本則混亂得多;比apache hadoop在相容性,安全性,穩定性上有增強。

(2)cdh3版本是基於apache hadoop 0.20.2改進的,並融入了最新的patch,cdh4版本是基於apache hadoop 2.x改進的,cdh總

是並應用了最新bug修復或者feature的patch,並比apache hadoop同功能版本提早發布,更新速度比apache官方快。

(3)安全 cdh支援kerberos安全認證,apache hadoop則使用簡陋的使用者名稱匹配認證

(4)cdh文件清晰,很多採用apache版本的使用者都會閱讀cdh提供的文件,包括安裝文件、公升級文件等。

(5)cdh支援yum/apt包,tar包,rpm包,cm安裝,cloudera manager三種方式安裝,apache hadoop只支援tar包安裝。

3、hadoop生態系統包自動匹配,不需要你尋找與當前hadoop匹配的hbase,flume,hive等軟體,yum/apt會根據當前安裝hadoop版本自動尋找匹配版本的軟體包,並保證相容性。

4、自動建立相關目錄並軟鏈到合適的地方(如conf和logs等目錄);自動建立hdfs, mapred使用者,hdfs使用者是hdfs的最高許可權使用者,mapred使用者則負責mapreduce執行過程中相關目錄的許可權。

用以生產環境的Hadoop版本比較

一 背景介紹 生產環境中,hadoop的版本選擇是乙個公司架構之時,很重要的乙個考慮因素。這篇文章根據就談談現在主流的hadoop版本的比較。如果有不同意見,或者指正,希望大家能交流。apache hadoop apache hadoop是一款支援資料密集型分布式應用並以apache 2.0許可協議...

Hadoop學習一 Hadoop版本

一.hadoop社群版和發行版 社群版 我們把apache社群一直開發的hadoop稱為社群版。簡單的說就是apache hadoop 發行版 基於apache hadoop的基礎上進行商業改造的解決方案,包含一系列定製的管理工具和軟體。二.hadoop社群版版本號 一直以來,hadoop的版本號一...

Hadoop版本變化

hadoop有兩個分支 0.20.x 和0.23.x。其中0.20.x是比較穩定的版本,0.23.x中新特性更多,但相對不穩定。其中從0.20.x 分支發展出來的是 hadoop1.0,cdh3 從0.23.x 分支發展出來的是 hadoop alpha,cdh4 下面具體說hadoop1.0 2....