01 Spark架構與執行流程

2022-06-28 17:00:10 字數 2078 閱讀 7812

1. 闡述hadoop生態系統中,hdfs, mapreduce, yarn, hbase及spark的相互關係,為什麼要引入yarn和spark。

hdfs(hadoop分布式檔案系統)源自於google的gfs**,發表於2023年10月,hdfs是gfs的實現版。hdfs是hadoop體系中資料儲存管理的基礎,它是乙個高度容錯的系統,能檢測和應對硬體故障,在低成本的通用硬體上執行。hdfs簡化了檔案的一次性模型,通過流式資料訪問,提供高吞吐量應用程式資料訪問功能,適用帶有資料集的應用程式。hdfs提供一次寫入多次讀取的機制,資料以塊的形式,同時分布儲存在不同的物理機器上。 

hdfs預設的最基本的儲存單位是64mb的資料塊,和普通檔案系統一樣,hdfs中的檔案被分成64mb一塊的資料塊儲存。它的開發是基於流資料模式訪問和處理超大檔案的需求。

mapreduce

mapduce(分布式計算框架)源自於google的mapreduce**,發表於2023年12月,hadoop mapreduce是google reduce 轉殖版。mapreduce是一種分布式計算模型,用以進行海量資料的計算。它遮蔽了分布式計算框架細節,將計算抽象成map 和reduce兩部分,其中map對資料集上的獨立元素進行指定的操作,生成鍵-值對形式中間結果。reduce則對中間結果中相同「鍵」的所有「值」進行規約,以得到最終結果。mapreduce非常適合在大量計算機組成的分布式並行環境裡進行資料處理。

yarn

yarn(分布式資源管理器)是下一代mapreduce,即mrv2,是在第一代mapreduce基礎上演變而來的,主要是為了解決原始hadoop擴充套件性差,不支援多計算框架而提出的。yarn是下一代hadoop計算平台,是乙個通用的執行時框架,使用者可以編寫自己的極端框架,在該執行環境中執行。

hbase

hbase(分布式列存資料庫)源自google的bigtable**,發表於2023年11月,hbase是google table的實現。hbase是乙個建立在hdfs之上,面向結構化資料的可伸縮、高可靠、高效能、分布式和面向列的動態模式資料庫。hbase採用了bigtable的資料模型,即增強的稀疏排序對映表(key/value),其中,鍵由行關鍵字、列關鍵字和時間戳構成。hbase提供了對大規模資料的隨機、實時讀寫訪問,同時,hbase中儲存的資料可以使用mapreduce來處理,它將資料儲存和平行計算完美地結合在一起。

spark

spark(記憶體dag計算模型)是乙個apche專案,被標榜為「快如閃電的集群計算」,它擁有乙個繁榮的開源社群,並且是目前最活躍的apache專案。最早spark是uc berkeley amp lab所開源的類hadoop mapreduce的通用計算框架,spark提供了乙個更快、更通用的資料處理平台。和hadoop相比,spark平台可以讓你的程式在記憶體中執行時速度提公升100倍,或者在磁碟上執行時速度提公升10倍。

2. spark已打造出結構一體化、功能多樣化的大資料生態系統,請簡述spark生態系統。

spark 生態系統以spark core 為核心,能夠讀取傳統檔案(如文字檔案)、hdfs、amazon s3、alluxio 和nosql 等資料來源,利用standalone、yarn 和mesos 等資源排程管理,完成應用程式分析與處理。

3. 用**描述你所理解的spark執行架構,執行流程。

4. 軟體平台準備:linux-hadoop。 

spark應用程式在群集上作為獨立的程序集執行,由sparkcontext主程式中的物件(稱為驅動程式)協調。

具體來說,要在集群上執行,sparkcontext可以連線到幾種型別的集群管理器 (spark自己的獨立集群管理器mesos或yarn),它們可以在應用程式之間分配資源。連線後,spark會在群集中的節點上獲取執行程式,這些節點是執行計算並為您的應用程式儲存資料的程序。接下來,它將您的應用程式**(由傳遞給sparkcontext的jar或python檔案定義)傳送給執行者。最後,sparkcontext將任務傳送給執行程式以執行。

01 Spark架構與執行流程

1.闡述hadoop生態系統中,hdfs,mapreduce,yarn,hbase及spark的相互關係,為什麼要引入yarn和spark。答 hadoop對應於google三駕馬車 hdfs對應於gfs,即分布式檔案系統,mapreduce即平行計算框架,hbase對應於bigtable,即分布式...

01 Spark架構與執行流程

1.闡述hadoop生態系統中,hdfs,mapreduce,yarn,hbase及spark的相互關係,為什麼要引入yarn和spark。1 引用yarn是為了解決原始hadoop擴充套件性差,不支援多計算框架而提出的 2 spark的速度比hadoop更快。同樣的事情,hadoop要兩分鐘,而s...

01 Spark架構與執行流程

1.闡述hadoop生態系統中,hdfs,mapreduce,yarn,hbase及spark的相互關係,為什麼要引入yarn和spark。1 hdfs hdfs hadoop分布式檔案系統 源自於google的gfs 發表於2003年10月,hdfs是gfs的實現版。hdfs是hadoop體系中資...