Spark與MR的區別

2021-10-18 22:44:07 字數 740 閱讀 3655

spark把運算的中間資料存放在記憶體,迭代計算效率更高;mr的中間結果需要落地,需要儲存到磁碟,這樣必然會有磁碟io操作,影響效能

spark容錯性高,它通過彈性分布式資料集rdd來實現高效容錯,rdd是一組分布式的儲存在節點記憶體中的唯讀性質的資料集,這些集合是彈性的,某一部分丟失或者出錯,可以通過整個資料集的計算流程的血緣關係來實現重建;

mr的話容錯可能只能重新計算了,成本較高

spark更加通用,spark提供了transformation和action這兩大類的多個功能的api,另外還有流式處理sparkstreaming模組,圖計算graphx等;mr只提供了map和reduce兩種操作,流計算以及其他模組的支援比較缺乏

spark框架和生態更為複雜,首先由rdd、血緣lineage、執行時的有向無環圖dag、stage劃分等等,

很多時候spark作業都需要根據不同的業務場景的需要進行調優,以達到效能要求,mr框架及其生態相對較為簡單,對效能的要求也相對較弱,但是執行較為穩定,適合長期後台執行

mr執行在yarn上,

spark

local:本地執行

standalone:使用spark自帶的資源管理框架,執行spark的應用

yarn:將spark應用類似mr一樣,提交到yarn上執行

mesos:類似yarn的一種資源管理框架

spark和mr的區別 - 任重而道遠的小蝸牛 -

MR與spark的區別

1.本質上相同,都是把map端資料分類處理後交由reduce的過程 2.資料流有所區別,mr按map,spill,merge,shuffle,sort,reduce等各階段逐一實現。spark基於dag資料流,可實現更複雜資料流操作 根據寬 窄依賴實現 3.實現功能上有所區別,mr在map中做了排序...

Spark和MR的區別

spark把運算的中間資料存放在記憶體,迭代計算效率更高 mr的中間結果需要落地,需要儲存到磁碟,這樣必然會有磁碟io操作,影響效能 spark容錯性高,它通過彈性分布式資料集rdd來實現高效容錯,rdd是一組分布式的儲存在節點記憶體中的唯讀性質的資料集,這些集合石彈性的,某一部分丟失或者出錯,可以...

Spark的shuffle和mr的區別?

問題分析 對hadoop和spark的shullfe過程理解不透徹 問題解答 mr的shuffle mapshuffle 資料存到hdfs中是以塊進行儲存的,每乙個塊對應乙個分片,maptask就是從分片中獲取資料的 在某個節點上啟動了maptask,maptask讀取是通過k v來讀取的,讀取的資...