Hive HA使用說明

2021-06-18 06:02:18 字數 782 閱讀 2397

hive讓大資料飛了起來,不再需要專人寫mr。平常我們都可以用基於thrift的任意語言來呼叫hive。

不過愛恨各半,hive的thrift不穩定也是出了名的。很容易就出問題,讓人無計可施。唯一的辦法就是不斷kill,不斷restart。

當然,我們可以用haproxy來解決這個問題,關鍵,haproxy不管hive是否邏輯可用,不能執行邏輯的hive也「死馬當活馬」。

當然,搞的好的可以用 zookeeper,不過,它太「重」,而且不管hive的重啟。

hive ha橫空出世。只要指明它可以管理的伺服器ip,埠,啟動乙個主控伺服器,在其他伺服器上啟動節點服務,它就一切搞定。

hive ha原理是:

將若干hive 例項納入乙個資源池,然後對外提供乙個唯一的介面,進行proxy relay。

對於程式開發人員,就把它認為是一台超強「hive"就可以。每次它接收到乙個hive查詢連線後,都會輪詢資源池裡可用的hive 資源。

這樣,能充分使用每個hive server,減少壓力。在拿到hive 連線後,hive ha會首先進行邏輯可用測試,這個邏輯規則可自行配置。

如果邏輯可用,則直接把客戶端的hive 查詢連線 relay到該hive server。

若邏輯不可用,則將該hive server放入黑名單,然後繼續讀取池裡其他hive server進行連線測試。

hive ha每隔一段時間(可配置),對黑名單中的hive server進行處理,通過和節點管理伺服器通訊,重啟該hive server。如果

重啟後可用,則將該hive從黑名單中移除,加入資源池。

使用說明 附註工具使用說明

附註工具使用說明 附註工具用途 附註工具主要用於更新利用word附註應用程式生成的帶域 的附註,該工具在word右鍵 更新鏈結 的基礎上進行了優化,故在使用時,不能再利用word右鍵 更新鏈結 而要用本工具的 更新當前鏈結 或 更新所有鏈結 使用說明 一 更換路徑 當利用word附註應用程式生成帶域...

使用說明 農用遮光網使用說明

農用遮光網使用說明 建築防塵網購買方 建築施工企業 在購買建築防塵網時,應該對 作出比較,可以分辨品牌 型號,且購買時應該在一定程度上了解信譽良莠。建築防塵網購買方 市場售賣方 在選購建築防塵網時,可以把 作為基礎,好的 可以用來彌補信譽不足,而差的 則需要按照你的服務收費。農用遮光網使用說明 用途...

Hibernate tools 使用說明

05年的8月份第一次接觸hibernate tools,使用起來感覺還不錯,但也沒有深入研究,後來由於一直在做乙個專案,再後來用了一陣myeclipse,現在換了公司,使用wtp all in one eclipse的乙個版本 生成domain的時候使用了hibernate tools,發現都不知怎...