通常來,相同條件下，shark查詢不會比hive慢，但有時確實會發生shark較慢的情況
原因可能如下：
1.記憶體設定不當或者資料傾斜，導致shark不可用或者大量任務失敗或者長時間的full gc.
2.hive 在物理執行上有很多優化，但是shark並沒有完全移植過來。比如在寫資料表時，合併資料表的小 資料塊檔案，根據輸入檔案大小動態改變marped.reduce.task等。
3.sql語句中呼叫的udf直接或者間接的用到了記憶體鎖。hive執行是完全多程序的，這個鎖並不起作用，而shark執行是基於多執行緒的，有些記憶體鎖就會造成效能急劇下降。
摘自《spark 大資料處理技術》
記錄Hive中一次查詢慢的問題
hive查詢問題 快速查詢hive資料倉儲表中的總條數 需要連線hive的元資料 mysql select d.name,t.tbl name,t.tbl id,p.part id,p.part name,a.param value from tbls t left join dbs d on t....
mysql的慢查詢配置 mysql慢查詢配置
1.慢查詢有什麼用?能記錄下所有執行超過long query time時間的sql語句,幫你找到執行慢的sql,方便我們對這些sql進行優化.2.如何開啟慢查詢?首先我們先檢視mysql伺服器的慢查詢狀態是否開啟.我們可以看到當前log slow queries狀態為off,說明當前並沒有開啟慢查詢...
mysql 查詢慢 分析 MYSQL的慢查詢分析
有一段日子了，曾經設定了一次記錄在mysql中查詢慢於1秒鐘的sql語句。剛才突然回想設定的方法，有幾個引數的名稱死活回憶不起來了，於是重新整理一下，自己做個筆記。對於排查問題找出效能瓶頸來說，最容易發現並解決的問題就是mysql的慢查詢以及沒有得用索引的查詢。ok，開始找出mysql中執行起來不 ...