hadoop生態圈綜合簡介及架構案例

2021-07-09 23:58:52 字數 503 閱讀 7734

horntwork的官方部落格:

what is hadoop

大資料盤點之spark篇

apache hbase 2023年發展回顧與未來展望

用zookeeper真的low嗎?上千個節點場景配置服務方案大討論

微博基於docker容器的混合雲遷移實戰

sql on hadoop綜合

盤點sql-on-hadoop中用到的主要技術

【參考】

may 23, 2015 - thrift vs protocol buffers vs so many more

inside santander』s near real-time data ingest architecture 

近實時系統搭建: flume + kafka (

flafka

)+ hbase + 

rocksdb

【twitter storm系列】flume-ng+kafka+storm+hdfs 實時系統搭建

Hadoop生態圈普及

大資料一路走來,從最開始的hadoop1.0 逐漸發展到hadoop2.0。hadoop的橫空出世引領了大資料行業技術的發展。逐漸以分布式並行離線處理框架mapreduce 分布式檔案儲存系統hdfs以及排程系統yarn為中心,發展出龐大的生態圈,比如hive hbase zookeeper等等,豐...

Hadoop生態圈初識

一 簡介 hadoop是乙個由apache 會所開發的分布式系統基礎架構。hadoop的框架最核心的設計就是 hdfs和mapreduce。hdfs為海量的資料提供了儲存,則mapreduce為海量的資料提供了計算。二 hdfs hadoop distributed file system,簡稱hd...

Hadoop生態圈之zookeeper

zookeeper是乙個分布式服務框架,主要用來解決分布式應用中經常遇到的一些資料管理問題,如 統一命名服務 狀態同步服務 集群管理 分布式應用配置項的管理等。簡而言之就是 zookeeper 檔案系統 監聽通知機制。每個子目錄如nameservice都被稱為znode 目錄節點 和檔案系統一樣,我...