presto無法讀取hive on tez產生的表

2021-10-24 20:22:00 字數 472 閱讀 2689

原因:

在hive中使用tez模式時,發現tez的輸出結果在對應表目錄中,生成了子目錄,造成未配置tez的hive客戶端對該錶進行讀取時,無法獲取到資料。

檢視對應的sql,發現存在insert union操作,檢視往上資訊,發現tez對於insert union操作會進行優化,通過並行加快速度,為防止有相同檔案輸出,所以對並行的輸出各自生成成了乙個子目錄,在子目錄中存放結果。

解決方法:

vim /opt/presto-server-0.240/etc/catalog/hive.properties

# 增加一行:

hive.recursive-directories=true

scp同步配置檔案到集群其他節點

# 重啟presto服務

cd /opt/presto-server-0.240/bin

./launcher stop

./launcher start

Presto讀取MySQL資料

環境presto 0.216 配置檔案 root bigdata 003 catalog vi mysql.properties connector.name mysql connection url jdbc mysql bigdata 001 3306 connection user root ...

SparkStreaming無法讀取hdfs檔案

如下 package com.spark import org.apache.spark.rdd.rdd import org.apache.spark.streaming.dstream.dstream import org.apache.spark.streaming.import org.ap...

Unity NPOI 無法讀取xlsx

在做編輯器開發時,需要在unity editor下直接讀取excel原始檔,首先想到的是通過npoi去讀取,但是遇到無法讀取xlsx格式,只能讀取xls格式的問題。我的環境 unity 2018.3.6f1 npoi 2.4.1 xlsx指excel 2007格式 xls指excel2003格式 資...