第一種idea直接呼叫metastore(引入spark-hive依賴包,引入hive-hcatalog-core依賴包)
第二種呼叫hive的metastore服務入口(引入spark-hive依賴包,引入hive-hcatalog-core依賴包)
1.虛擬機器hive中配置hive-site.xml
1).hive.metastore.schema.verification設定成false
2).hive.metastore.uris設定成thrift:
2.虛擬機器hive開啟metastore服務
bin/hive --service metastore &
.config("fs.defaultfs", "hdfs:")
.config("spark.sql.warehouse.dir", "hdfs:/test")
.config("hive.metastore.uris", "thrift:")
.enablehivesupport().getorcreate()
虛擬機器使用
1.直接呼叫metastore資料庫
hive-site.xml需要四大引數，不需要hive.metastore.uris配置項
引入驅動包
2.呼叫hive的metastore服務入口
1).只需要spark-sql依賴 打成jar包放到虛擬機器中
2).虛擬機器中的配置
1).引入hive-hcatalog-core.***.jar到spark的jars目錄中
2).將hive-site.xml放到spark的conf目錄
3).提交作業 bin/spark-submit --class hivedatasourceserver ***x.jar people.json
Spark SQL操作Hive實戰
在目前企業級 spark大資料開發中,大多數情況下都是採用hive來作為資料倉儲的。spark提供了對hive的支援,spark通過hivecontext可以直接操作hive中的資料。基於hivecontext,我們可以使用sql hql兩種方式來編寫sql語句 對hive進行操作,包括 建立表 刪...
Spark sql與Hive的關係
spark sql 在某些部分是重用的hive的東西，比如語法解析 元資料儲存，到執行計畫的翻譯部分。hiveql可以翻譯成mapreduce執行，也可以翻譯成spark執行計畫執行。在同時安裝了hive和spark時，我使用hive下的beeline執行hql,執行引擎是mapreuce 使用sp...
SparkSql實現Mysql到hive的資料流動
今天去面試了一波，因為排程系統採用了sparksql實現資料從mysql到hive，在這一點上面試官很明顯很不滿我對於spark的理解，19年的第乙個面試就這麼掛了。有問題不怕，怕的是知道了問題還得過且過。現在就來梳理下我的專案是怎麼使用spark導數的 第一步 把mysql中的表放入記憶體 pro...