Spark無法讀取hive 3 x的表資料

2021-09-28 15:08:45 字數 395 閱讀 6365

通過ambari2.7.3安裝hdp3.1.0成功之後,通過spark sql去查詢hive表的資料發現竟然無法查詢

hdp3.0 整合了hive 3.0和 spark 2.3,然而spark卻讀取不了hive表的資料,準確來說是內錶的資料。

原因hive 3.0之後預設開啟acid功能,而且新建的表預設是acid表。而spark目前還不支援hive的acid功能,因此無法讀取acid表的資料.

請看:解決辦法

修改以下引數讓新建的表預設不是acid表。

hive.strict.managed.tables=false 

hive.create.as.insert.only=false

metastore.create.as.acid=false

spark 無法讀取hive 3 x的表資料

hdp3.0 整合了hive 3.0和 spark 2.3,然而spark卻讀取不了hive表的資料資料,準確來說是內錶的資料。hive 3.0之後預設開啟acid功能,而且新建的表預設是acid表。而spark目前還不支援hive的acid功能,因此無法讀取acid表的資料.請看 修改以下引數讓新...

Hive 3 x 功能介紹

這個版本中有什麼新東西 apache hive hvie 3.1包括物化檢視的分割槽,這可以提高查詢響應能力和維護修復。工作量管理 使用工作負載管理,您可以配置誰使用資源,可以使用多少以及hive響應資源請求的速度。管理資源對於hive llap 低延遲分析處理 至關重要,尤其是在多租戶環境中。使用...

Python 3 x 讀取dict元素

coding utf 8 import traceback 什麼是dict if name main 在dict中,每一項包含乙個key和乙個value,key和value是一一對應的 d print d 讀取dict元素 通過d key 的方式可以得到對應的value,key不存在時,會報錯 pr...