spark簡單快速學習及開啟UI介面 1

1.遠端集群測試

import org.apache.spark.

import scala.math.random/**
* 利用spark進行圓周率的計算
* created by 汪本成 on 2016/6/10.
*/object
test .reduce(_+_) //
彙總累加落入的圓中的次數
//count / n是概率，count落入圓中次的數，n是總次數；
println("
pai is roughly 
" + 4.0 * count /n)
sc.stop()
}}

import org.apache.spark.sql.sparksession

import org.apache.spark.sparkconf
object
t2 }

4.執行自己打的專案jar包(下面以 spark221.jar 為例)

//執行

spark-submit --class sql spark221.jar
//或spark-submit --class sql test.jar --master yarn
示例2:
ⅰ 開啟sparkui介面
1）首先啟動開啟乙個spark-shell 就有了
乙個簡單的例子開啟Spark機器學習
一 在看這個例子之前你需要 1 稍稍懂一些scala的語法 2 本地機器上有spark環境，最好安裝了hadoop 二 乙個簡單的lr分類模型 步驟1 處理資料成為labeledpoint格式，參考 spark官網ml資料格式 乙個簡單明瞭的spark資料處理網上書籍 步驟2 呼叫spark工具包執...
開啟Hadoop和Spark的學習之路
hadoop是乙個由apache 會所開發的分布式系統基礎架構。使用者可以在不了解分布式底層細節的情況下，開發分布式程式。充分利用集群的威力進行高速運算和儲存。hadoop實現了乙個分布式檔案系統 hadoop distributed file system 簡稱hdfs。hdfs有高容錯性的特點，...
Spark學習之路 官方文件 簡單
英文原文 中文文件 1.1 rdd programming guide 英文原文 中文文件 1.2 spark sql,dataframes and datasets guide 英文原文 中文文件 看完官方的技術文件實踐後，自己可以試著實現spark的三種執行方式 spark2.1.1中用各種模式...