Hive之 hive與hadoop的聯絡

2021-09-20 14:31:00 字數 691 閱讀 8213

hive與hadoop呼叫圖

解析:1、提交sql 交給驅動

2、驅動編譯:解析相關的字段表資訊

3、去metastore查詢相關的資訊 返回字段表資訊

4、編譯返回資訊 發給驅動

5、驅動傳送乙個執行計畫 交給執行引擎

6、執行計畫 (三種形式: metastore、namenode、metastore+namenode+mapreduce)

形式一 > ddl 對資料庫表的操作的 直接和metastore互動 。 比如:create table t1(name string);

形式二 > dfs ops 直接和namenode取資料 。 比如: select * from t1;

形式三 > 把job交給job tracker,讓task tracker執行 返回執行資訊 + 完成job返回資料資訊、找namenode查資料 。 

比如:select * from t1 where col=x ;

7、返回結果資訊集

總結: hive 執行在 hadoop 之上, 某些操作需要呼叫 hdfs 中的 mapreduce 。 hive 元資料儲存在 matestore 中, 而非元資料(如 table 裡的資料)儲存在hdfs之上。

Hive知識之Hive基礎

5 hive的基本操作 5.2 資料表相關操作 6 資料的匯入和匯出 1 hive簡介 2 hive與傳統關係型資料庫的比較 專案hive rdbms 查詢語言 hqlsql 資料儲存 hdfs raw device or local fs 執行mapreduce excuter 執行延遲高低 處理...

Hive 五 hive與hbase整合

配置 hive 與 hbase 整合的目的是利用 hql 語法實現對 hbase 資料庫的增刪改查操作,基本原理就是利用兩者本身對外的api介面互相進行通訊,兩者通訊主要是依靠hive hbase handler.jar工具類。但請注意 使用hive操作hbase中的表,只是提供了便捷性,前面章節已...

Hive篇 Hive與Hbase整合

一 前述 hive會經常和hbase結合使用,把hbase作為hive的儲存路徑,所以hive整合hbase尤其重要。二 具體步驟 hive和hbase同步 1 把hive hbase handler 1.2.1.jar cp到hbase lib 下 同時把hbase中的所有的jar,cp到hive...