Presto讀取MySQL資料

環境

presto 0.216

[root@bigdata-003 catalog]

# vi mysql.properties 
connector.name=mysql
connection-url=jdbc:mysql://bigdata-001:3306
connection-user=root
connection-password=root

select

count(1
)from mpp.dw.rpt_cashequippedsaleback_info 
where t_date=cast(
'2019-05-22'
asdate
)

sql中t_date和'2019-05-22'分別是date型別和varchar型別

如果不使用cast就行型別轉換，會報錯：

需要將等號後面的值轉成前面的date型別。

注意：如果cast寫在等號前面，如：cast(t_date as varcher)=2019-05-22'

presto載入資料會全量抽取資料在過濾，無法謂詞下推。

presto無法讀取hive on tez產生的表

原因 在hive中使用tez模式時，發現tez的輸出結果在對應表目錄中，生成了子目錄，造成未配置tez的hive客戶端對該錶進行讀取時，無法獲取到資料。檢視對應的sql，發現存在insert union操作，檢視往上資訊，發現tez對於insert union操作會進行優化，通過並行加快速度，為防止...

資料查詢 Presto

目錄 1 基本原理 2 軟體安裝 3 命令 簡介 presto是一款基於記憶體的平行計算的分布式sql互動式查詢引擎.其查詢原理是不把資料全部放到記憶體,只是在計算中拿出一部分放在記憶體 計算 丟擲 再拿.它具有支援多資料來源 支援sql 支援擴充套件 可以自己擴充套件新的connector 支援混...

Presto配置資料來源

首先登陸跳板機，然後使用ssh跳轉到presto的master節點 然後 sudo su 切換root賬戶 然後cd presto etc catalog cp 舊配置檔案名稱.properties 新配置檔案名稱.properties 注意 新的配置檔案名稱中不能使用 來連線業務名稱，例如 mys...