Spark學習攻略

2021-07-26 06:30:38 字數 709 閱讀 2581

石山園  出處:

位址為 密碼:9xjt

。本系列部落格在和csdn首發,位址為:

csdn

以下為該系列文章列表:

1.spark及其生態圈簡介

2.spark編譯與部署(上)--基礎環境搭建

2.spark編譯與部署(中)--hadoop編譯安裝

2.spark編譯與部署(下)--spark編譯安裝

3.spark程式設計模型(上)--程式設計模型及sparkshell實戰

3.spark程式設計模型(下)--idea搭建及實戰

4.spark執行架構

5.hive(上)--hive介紹及部署

5.hive(下)--hive實戰

6.sparksql(上)--sparksql簡介

6.sparksql(中)--深入了解執行計畫及調優

6.sparksql(下)--spark實戰應用

7.spark streaming(上)--實時流計算spark streaming原理介紹

7.spark streaming(下)--實時流計算spark streaming實戰

8.spark mllib(上)--機器學習及sparkmllib簡介

8.spark mllib(下)--機器學習庫sparkmllib實戰

9.spark圖計算graphx

10.分布式記憶體檔案系統tachyon介紹及安裝部署

Spark 學習記錄 Spark 前言

spark是乙個非常強大而活躍的開源社群開源和維護的,他們來自不同的機構,其中很多的人都是我們華人,spark是2009年作為乙個研究專案在加州大學伯克利分校實驗室誕生,實驗室的一些研究人員在做迭代計算的時候發現mr效率極其低下,因而想要一種適合迭代計算的計算框架,spark應用而生。因此spark...

Spark學習筆記(一) spark簡介

spark是基於記憶體計算的大資料平行計算框架。09年誕生於加州大學伯克利分校amplab.spark是mapreduce的替代方案,相容hdfs hive等分布式儲存層,可融入hadoop的生態系統,以彌補mapreduce的不足。其主要優勢如下 中間結果輸出 可以將多stage的任務串聯或者並行...

Spark學習(一)之Spark初識

1.spark歷史及簡介 spark是乙個實現快速通用的集群計算平台。它是由加州大學伯克利分校amp實驗室 開發的通用記憶體平行計算框架,用來構建大型的 低延遲的資料分析應用程式。它擴充套件了廣泛使用的mapreduce計算模型。12年正式開源,距今6年歷史。spark執行架構的設計 cluster...