部落格二 Hadoop演進與Hadoop生態

2022-06-28 17:00:12 字數 1128 閱讀 5346

q:了解對比hadoop不同版本的特性,可以用圖表的形式呈現。

a:圖表:

q:hadoop生態的組成、每個元件的作用、元件之間的相互關係,以圖例加文字描述呈現。

a:圖例:

1、hdfs(分布式檔案系統):hadoop分布式檔案系統hdfs是針對谷歌分布式檔案系統的開源實現,它是hadoop兩大核心組成部分之一,提供了在廉價伺服器集群中進行大規模分布式檔案儲存的能力,具有很好的容錯能力,相容廉價的硬體裝置,因此適合於以較低成本利用現有機器實現大流量和大資料的讀寫

2、mapreduce(分布式並行變成模型):用於大規模資料集的並行運算,他講複雜的、執行於大規模集群上的平行計算過程高度抽象到兩個函式:map、reduce,極大方便了分布式程式設計工作

3、yarn(集群資源排程和管理元件框架):目標是:實現「乙個集群多個框架」,即在乙個集群上部署乙個統一的資源排程管理框架yarn,在yarn之上可以部署其他各種計算框架,比如:mapreduce..等,有yarn為這些計算框架提供統一的資源丟啊哦度管理服務,並且能夠根據各種計算框架的負載需求,調整各自占用的資源,實現集群資源共享和資源彈性收縮。

4、hbase(分布式資料庫):可支援超大規模的資料儲存

6、fulume(日誌分析採集系統):高可靠、高可用的分布式海量日誌採集、聚合和傳輸系統

7、sqoop(資料庫etl):主要用來在hadoop和關聯式資料庫之間交換資料,可以改進資料的互操作性

q:官網學習hadoop的安裝與使用,用文件的方式列出步驟與注意事項。

1、在linux系統各個發行版中centos系統和ubuntu系統在服務端和桌面端使用佔比最高,所以建議使用centos系統和ubuntu系統2、在學習hadoop方面,雖然系統沒有多大區別,但是推薦使用ubuntu作業系統

集群指定主機(安裝過程中請不要重新整理頁面)

集群安裝(dkm各元件安裝)

:這裡有3種安裝方式 「基本安裝」,「完整安裝」,「自定義安裝

Hadoop例項 二度人脈與好友推薦

頂點a b c到i分別是社交 的使用者,兩頂點之間的邊表示兩頂點代表的使用者之間相互關注。那麼如何根據使用者之間相互關注所構成的圖,來向每個使用者推薦好友呢?可能大家都聽說過六度人脈的說法,所謂六度人脈是指 地球上所有的人都可以通過五層以內的熟人鏈和任何其他人聯絡起來。通俗地講 你和任何乙個陌生人之...

Hadoop例項 二度人脈與好友推薦

其實,社交 上的各個使用者以及使用者之間的相互關注可以抽象為乙個圖。以下圖為例 頂點a b c到i分別是社交 的使用者,兩頂點之間的邊表示兩頂點代表的使用者之間相互關注。那麼如何根據使用者之間相互關注所構成的圖,來向每個使用者推薦好友呢?可能大家都聽說過六度人脈的說法,所謂六度人脈是指 地球上所有的...

Hadoop例項 二度人脈與好友推薦

頂點a b c到i分別是社交 的使用者,兩頂點之間的邊表示兩頂點代表的使用者之間相互關注。那麼如何根據使用者之間相互關注所構成的圖,來向每個使用者推薦好友呢?可能大家都聽說過六度人脈的說法,所謂六度人脈是指 地球上所有的人都可以通過五層以內的熟人鏈和任何其他人聯絡起來。通俗地講 你和任何乙個陌生人之...