hadoop2以及各元件學習

2021-08-31 21:16:36 字數 698 閱讀 3290

推薦一本較為良好的書籍《hadoop海量資料處理 技術詳解與專案實戰》

好的資料記錄:

hadoop2學習路線:

hdfs:

hadoop journal node 作用:

hdfs基本使用:

yarn資源管理+mapreduce分布式處理

zookeeper原理(深入學習):

(raft演算法:raft 演算法是一種簡單易懂的共識演算法。它依靠狀態機主從同步的方式,在各個節點之間實現資料的一致性

hive原理與原始碼分析-服務化:llap、hiveserver2、metastore:

hbase的應用場景、原理及架構分析:

sqoop: sqoop則為hbase提供了方便的rdbms資料匯入功能,使得傳統資料庫資料向hbase中遷移變的非常方便。

mysql(sql資料庫,常用體系以及各種常用命令,索引提高搜尋效率,主從高可用方案,各種鎖機制)

;;;

redis(nosql資料庫,常用hash結構,載入於記憶體速度快)     ;;;

等基礎資料庫知識:

安全策略①②:

ldap原理以及使用:

如何在spark平台搭建thriftserver:

kafka (利用topic傳遞訊息)設計與原理詳解:

hadoop2體系結構

hadoop1的核心組成是兩部分,即hdfs和mapreduce。在hadoop2中變為hdfs和yarn。新的hdfs中的namenode不再是只有乙個了,可以有多個 目前只支援2個 每乙個都有相同的職能。這兩個namenode的地位如何哪?答 乙個是active狀態的,乙個是standby狀態的...

Hadoop分布式安裝hadoop2

將hadoop安裝至 usr local 中 cd downloads sudo tar zxvf hadoop 2.7.1.tar.gz c usr local 解壓到 usr local中 cd usr local sudo mv hadoop 2.7.1 hadoop 將資料夾名改為hadoo...

Hadoop2 執行機制簡介

在上圖中resourcemanager支援分層級的應用佇列,這些佇列享有集群一定比例的資源。從某種意義上講它就是乙個純粹的排程器,它在執行過程中不對應用進行監控和狀態跟蹤。同樣,它也不能重啟因應用失敗或者硬體錯誤而執行失敗的任務。resourcemanager 是基於應用程式對資源的需求進行排程的 ...