spark公升級到1.5，裡面的hive版本公升級到1.2.1版本,我寫了如下的**
val sc = new sparkcontext(sparkconf)
val sqlcontext = new hivecontext(sc)
sqlcontext.sql("show tables").show()
sc.stop()
}當依賴的版本是1.5時候，hivecontext不會載入resources裡面的hive-site.xml ,我試驗了下例項化hiveconf 可以載入。
當依賴的版本是1.4.1的時候，這個時候hivecontext會訪問hive-site.xml裡面配置的mysql 資料庫。
大致看了下**，1.5的hivecontext沒有讀取hite-site.xml。 這個可能是1.5的bug. 但是我現在對spark的**質量很擔心
Spark1 5堆記憶體分配
這是spark1.5堆記憶體分配圖 下邊對上圖進行更近一步的標註，紅線開始到結尾就是這部分的開始到結尾 spark 預設分配512mb jvm堆記憶體。出於安全考慮和避免記憶體溢位，spark只允許我們使用堆記憶體的90 這在spark的spark.storage.safetyfraction 引數...
Spark系列修煉 入門筆記15
核心內容 1 spark架構入門筆記 2 clustermanager 資源排程 driver 作業執行排程的詳解 今天進一步深入學習了spark,主要學習的內容為spark的核心架構，好的，進入本篇文章的正題。注意 本篇文章談的是spark的stanalone模式。先談一下我自己對於spark程式...
關於Spark和Spark的學習資料
hadoop社群依然發展迅速，2014年推出了2.3，2.4,2.5 的社群版本，比如增強 resource manager ha,yarn rest api,acl on hdfs,改進 hdfs 的 web ui hadoop roadmap 根據我的觀察，主要更新在yarn，hdfs，而map...