Spark簡要教程系列(一) Mac安裝Spark

2021-07-24 22:03:41 字數 1364 閱讀 5674

spark的安裝大多比較麻煩,而mac安裝spark非常簡單,本文分三部分內容。

1. 安裝jdk

2. 安裝spark

3. 簡單測試

真的安裝好了。。。。。

(2) 前3個下拉框選擇合適的版本(一般選擇最新的版本就行)

安裝好了。。。。。。為了之後使用方便,你可以把這個資料夾改個簡單名字,如spark-bin

(1) 開啟終端,進入spark的路徑,如

(2) 輸入./sbin/start-master.sh ,回車,這時候主機已經開始執行了,可以開啟瀏覽器,輸入http://localhost:8080 ,效果如下:

真的安裝成功了。。。。。

(3)加worker

在終端上command+n 開啟乙個新終端,進入相同路徑,在新終端中輸入

./bin/spark-class org.apache.spark.deploy.worker.worker spark://ip:port

注意,將worker後的url改為上圖中的url,也就是自己的主機位址。如

./bin/spark-class org.apache.spark.deploy.worker.worker

spark:

回車,重新整理頁面,在workers下面多了乙個worker,狀態為alive

(4) 關掉worker

直接在新終端command+c , 重新整理主機的spark頁面,worker已經dead了

(5)關掉主機

在終端輸入 ./sbin/stop-master.sh ,重新整理主機的spark頁面,已經空白了。

這就是mac 安裝spark的簡單教程,真的是簡單。。。具體步驟都有配圖,希望能給大家帶來幫助。

Spark學習系列一

1 spark 是什麼?spark是乙個快速的處理大規模資料的通用工具。它是乙個基於記憶體計算框架 包含核心元件 spark core 互動式查詢 spark sql 準實時流式計算 spark streaming 機器學習 spark mllib 圖計 算 spark graphx 2 spark...

ShaderLab教程系列(一)

首先,第一步,我們先看shader有什麼作用。我們在場景裡面新建乙個cube。我們可以看到下圖 在hierarchy中選中這個新建的cube,我們可以在inspector面板中看到 我們來做乙個小動作,通過photoshop建立一張很傻冒的圖,如下 然後將該psd檔案複製到專案中,並托給當前的cub...

spark 教程一 RDD和核心概念

1.rdd 的介紹 rdd是spark的核心概念,可以將rdd是做資料庫中的一張表,rdd可以儲存任何型別的資料,可以用api來處理rdd及rdd中的資料,類似於mapreduce,rdd 也有分割槽的概念。rdd是不可變的可以變換 transformation 操作rdd,但是這個變換返回的是乙個...