為什麼要編譯原始碼呢？要搞hive on spark。。。
1.chd不好用，缺jar包啊
2.hive1.1的 pom檔案寫了只支援spark1.2
3.apache版本的部署包有-phive編譯，不能用
簡單粗暴的說
1.使用這個命令：
mvn -pyarn -phadoop-2.6 -dscala-2.11 -dskiptests clean package官網只支援引數hadoop版本到2.4，想編譯其他版本 改pom檔案，加進去就好了
編譯完之後是是沒有部署包的，要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替換到 之前解壓的apache版本的lib目錄下
2.上步做完還是不能用。。。報錯。。呵呵
3.恩。。在編譯完的目錄內再使用這個命令編譯一遍
./make-distribution.sh --name"hadoop2-without-hive"--tgz"-pyarn,hadoop-provided,hadoop-2.6,parquet-provided"4.編譯完之後的目錄下會有個tar包，拿出來重新解壓
5.
./bin/spark-submit --classorg.apache.spark.examples.sparkpi--masteryarn--deploy-modeclientlib/spark-examples-測試成功了，服務也開啟了。。。。
接下來hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
附個我自己編譯完的包~
spark2 2 0 原始碼編譯安裝
1.spark概述 spark 是乙個用來實現快速而通用的集群計算的平台。在速度方面，spark 擴充套件了廣泛使用的 mapreduce 計算模型，而且高效地支援更多計算模式，包括互動式查詢和流處理。在處理大規模資料集時，速度是非常重要的。速度快就意味著我們可以進行互動式的資料操作，否則我們每次操...
Spark原始碼編譯支援Parquet儲存格式
spark配置 spark原始碼編譯方式部署spark時，為了支援parquet功能，需要在原始碼編譯時指定支援parquet功能 即在編譯命令中帶上 parquet provided 引數 具體的編譯命令如下 dev make distribution.sh name hadoop310 with...
Spark原始碼分析 Spark整體架構
術語 描述使用者編寫的程式。driver端的sparkcontext sparkconf和執行在executors上使用者編寫的業務邏輯 即map reduce reducebykey等 driver 執行使用者編寫應用程式的main 方法並建立sparkcontext worker 具體執行應用程...