Hadoop生態系統

2022-06-20 20:48:07 字數 1269 閱讀 4098

hadoop生態系統如下圖所示:

hdfs(hadoop distributed file system)是分布式檔案系統,是針對谷歌開發的分布式檔案系統gfs(google file system)的開源實現,是hadoop兩大核心組成部分之一。

hdfs有namenodedatanode兩部分,namenode是整個檔案系統目錄,基於記憶體儲存,儲存的是一些檔案的詳細資訊,比如檔名、檔案大小、建立時間、檔案位置等,有且僅有乙個;datanode儲存檔案的資料資訊,也就是檔案本身,不過是分割後的小檔案。

hdfs是一種底層資料儲存方式。hive與hbase的資料一般都儲存在hdfs上,hdfs為他們提供高可靠性的底層儲存支援。

hbase:

hbase是針對谷歌bigtable的開源實現,是乙個高可靠、高效能、面向列、可伸縮的分布式資料庫,主要用來儲存非結構化和半結構化的鬆散資料。需要注意的是,hbase可以使用本地檔案系統而不用hdfs作為底層資料儲存方式,不過為了提高資料可靠性和系統的健壯性,發揮hbase處理大資料量等功能,一般都使用hdfs作為hbase的底層資料儲存方式

hbase的執行建立在hadoop上,在hadoop生態系統中,hdfs為hbase提供了高可靠性的底層儲存支援,mapreduce為hbase提供了高效能的計算能力,zookeeper為hbase提供了穩定服務和failover機制。pig和hive還為hbase提供了高層語言支援,使得在hbase上進行資料統計處理變的非常簡單。 sqoop則為hbase提供了方便的rdbms(關係型資料庫)資料匯入功能,使得傳統資料庫資料向hbase中遷移變的非常方便。

hbase是乙個開源的not-only-sql的資料庫,像其他資料庫一樣提供隨即讀寫功能。hdfs最適於執行批次分析,而不能滿足實時需要,hbase能夠處理大規模資料,它不適於批次分析,但它可以向hadoop實時地呼叫資料。如果需要實時訪問一些資料,就把它存入hbase。

下面再以**的形式對hdfs和hbase作乙個比較:

Hadoop生態系統

摘要 介紹hadoop生態系統,從hadoop生態系統有什麼成員,成員能做什麼和hadoop生態系統能夠提供大資料問題解決方案兩方面來認識。hadoop生態圖,通俗地說,就是hadoop核心模組和衍生的子專案。一幅hadoop生態圖,讓我想到了兩個問題。問題一 hadoop生態系統包括哪些成員?每個...

Hadoop 生態系統

hadoop是乙個分布式儲存和計算平台。主要解決海量資料的儲存與分析計算問題 1 高可靠性 hadoop底層維護多個資料副本,所以即使hadoop某個計算元素或儲存出現故障,也不會導致資料的丟失。2 高擴充套件性 在集群間分配任務資料,可方便的擴充套件數以乾計的節點。3 高效性 在mapreduce...

Hadoop生態系統

hadoop生態系統 廣義的hadoop hdfs 檔案儲存系統基於硬碟 yarn 資源排程框架 mapreduce 分布式處理框架 hive 資料倉儲 rconnections 資料分析 mahout 機器學習庫 pig 指令碼語言,跟hive類似 oozie 工作流引擎,管理作業執行順序 zoo...