Hive的架構原理 Hive的安裝步驟

2022-08-17 22:36:29 字數 881 閱讀 3634

元資料預設資料庫是:derby、開發使用mysql

hive如何將sql語句翻譯成mapreduce的?

1.使用sql解析器解析sql語句

2.使用編譯器進行編譯邏輯

3.使用優化器進行優化

4.使用執行器在hadoop上執行mapreduce

hive是基於hadoop之上的框架。

1.安裝hive之前,確保hadoop是正常安裝成功的

2.解壓hive安裝包

3.修改hive/conf 目錄下的 hive-env.sh.template 名稱為 hive-env.sh

4.配置hive.env.sh

(a)配置 hadoop_home 路徑

export hadoop_home=/opt/module/hadoop

(b)配置 hive_conf_dir 路徑

hive/conf

5.啟動hdfs和yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

6.在 hdfs 上建立/tmp 和/user/hive/warehouse 兩個目錄並修改他們的同組許可權可寫

bin/hadoop fs -mkdir /tmp

bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

bin/hadoop fs -chmod g+w /user/hive/warehouse

本部落格僅為博主學習總結,感謝各大網路平台的資料。蟹蟹!!

Hive架構原理

1 使用者介面 client cli command line inte ce jdbc odbc jdbc訪問hive webui 瀏覽器訪問hive 2 元資料 metastore 元資料報括 表名 表所屬的資料庫 預設是default 表的擁有者 列 分割槽字段 表的型別 是否是外部表 表的資...

hive架構原理

1 使用者介面 client cli command line inte ce jdbc odbc jdbc訪問hive webui 瀏覽器訪問hive 2 元資料 metastore 元資料報括 表名 表所屬的資料庫 預設是default 表的擁有者 列 分割槽字段 表的型別 是否是外部表 表的資...

Hive的架構和原理

hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張表,並提供類sql hql 查詢功能。hive是將hql轉化為mapreduce程式,hive處理的資料儲存在hdfs上,執行程式執行在yarn上。由於執行的是mapreduce程式,延遲比較高 還有乙個重要的原因是,沒有...