spark 無法讀取hive 3 x的表資料

2021-08-22 15:08:11 字數 308 閱讀 8183

hdp3.0 整合了hive 3.0和 spark 2.3,然而spark卻讀取不了hive表的資料資料,準確來說是內錶的資料。

hive 3.0之後預設開啟acid功能,而且新建的表預設是acid表。而spark目前還不支援hive的acid功能,因此無法讀取acid表的資料.

請看:修改以下引數讓新建的表預設不是acid表。

hive.strict.managed.tables=false

hive.create.as.insert.only=false

metastore.create.as.acid=false

Spark無法讀取hive 3 x的表資料

通過ambari2.7.3安裝hdp3.1.0成功之後,通過spark sql去查詢hive表的資料發現竟然無法查詢 hdp3.0 整合了hive 3.0和 spark 2.3,然而spark卻讀取不了hive表的資料,準確來說是內錶的資料。原因hive 3.0之後預設開啟acid功能,而且新建的表...

Hive 3 x 功能介紹

這個版本中有什麼新東西 apache hive hvie 3.1包括物化檢視的分割槽,這可以提高查詢響應能力和維護修復。工作量管理 使用工作負載管理,您可以配置誰使用資源,可以使用多少以及hive響應資源請求的速度。管理資源對於hive llap 低延遲分析處理 至關重要,尤其是在多租戶環境中。使用...

Python 3 x 讀取dict元素

coding utf 8 import traceback 什麼是dict if name main 在dict中,每一項包含乙個key和乙個value,key和value是一一對應的 d print d 讀取dict元素 通過d key 的方式可以得到對應的value,key不存在時,會報錯 pr...