快速安裝Spark2和Livy0 3

1）把spark-2.4.3-bin-hadoop2.7.tgz上傳到/opt/software目錄，並解壓到/opt/module

[user01@node1 software]$ tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -c /opt/module/

[user01@node1 module]$ mv spark-2.4.3-bin-hadoop2.7/ spark

[user01@node1 conf]$ mv spark-defaults.conf.template  spark-defaults.conf

[user01@node1 spark]$ hadoop fs -mkdir /spark_directory

[user01@node1 conf]$ vim spark-defaults.conf

spark.eventlog.enabled           true

spark.eventlog.dir hdfs://node1:9000/spark_directory

[user01@node1 conf]$ mv spark-env.sh.template spark-env.sh

[user01@node1 conf]$ vim spark-env.sh

yarn_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop

export spark_history_opts=
"-dspark.history.ui.port=18080
-dspark.history.fs.logdirectory=hdfs://node1:9000/spark_directory"

[user01@node1 lib]$ cp /opt/module/hive/lib/datanucleus-*.jar /opt/module/spark/jars/

[user01@node1 conf]$ cp /opt/module/hive/conf/hive-site.xml  /opt/module/spark/conf/

[user01@node1 spark]$ bin/spark-shell

scala>spark.sql(
"show databases"
).show

[user01@node1 software]$ unzip livy-server-0.3.0.zip -d /opt/module/

[user01@node1 module]$ mv livy-server-0.3.0/ livy

livy.server.host = node1

livy.spark.master =yarn
livy.spark.deploymode = client
livy.repl.enablehivecontext =
true 
livy.server.port = 8999

[user01@node1 conf]$ sudo vim /etc/profile

#spark_home

export spark_home=/opt/module/spark
export path=
$path
:$spark_home/bin

[user01@node1 conf]$ source /etc/profile

[user01@node1 livy]$ bin/livy-server start

談談spark2以及stream

4月底去參加了qcon 2018北京站，新興資料處理專場有機會聽到了spark structedstreming blink kafka stream三場的分享，整個聽下來有一些感想，剛好最近又在看spark2這塊的一些原始碼設計，所以想著寫點自己的理解。想要解釋為什麼會出現dataset，那就不得...

Spark 2 效能監控方式

1 spark web ui spark提供了一些基本的web監控頁面，對於日常監控十分有用。通過http master 4040 預設埠是4040，可以通過spark.ui.port修改 我們可以獲得執行中的程式資訊 1 stages和tasks排程情況 2 rdd大小及記憶體使用 3 系統環境資...

2 安裝spark和python練習

1.檢查基礎環境hadoop,jdk 2.解壓，資料夾重新命名 許可權 3.配置檔案 4.環境變數 5.試執行python 二 python程式設計練習 英文文字的詞頻統計 在wc.py中編寫 path home hadoop wc ff1.txt with open path as f text ...