hive 簡介 啟動

2021-09-09 07:53:15 字數 919 閱讀 7407

1. 簡介:

將結構化的資料檔案,對映為一張表,提供類sql查詢(hql)

儲存格式可以支援:text,sequencefile,parquetfile,rcfile等。

其中sequencefile是hadoop中的一種檔案格式,內容以序列化的kv物件來組織。

外部表:建立時,只記錄路徑,資料位置不會改變。刪除時,資料不會被刪除。

內部表:建立時,會把資料移動到指定位置。刪除時,資料也會被刪除。

預設用derby資料庫儲存元資料(建表語句等),不同使用者在不同目錄下,會擁有不同的資料庫

db:在hdfs中表現為$目錄下乙個資料夾(/user/hive/warehouse/)

external table:與table類似,不過其資料存放位置可以在任意指定路徑

partition:在hdfs中表現為table目錄下的子目錄

bucket:在hdfs中表現為同乙個表目錄下根據hash雜湊之後的多個檔案

2. 啟動

啟動:hive

然後就可以直接執行,例如:>show databases;

· 服務端啟動:

啟動為前台:hiveserver2

啟動為後台:nohup hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &

· 另一台機器連線:

第一種連線方式---首先進入beeline的命令介面:beeline

然後在beeline介面執行:beeline> !connect jdbc:hive2://itcast01:10000

第二種連線方式---直接執行:beeline -u jdbc:hive2://itcast01:10000 -n root

hive啟動報錯

hive啟動報錯,上網找了很多方法初始化,刪除hive元資料庫都做了,但是還是不能啟動hive,然後我重新把hive刪除 當然xml配置可以儲存乙份 從新安裝然後再建立hive資料庫,啟動hive,成功!hive建立時mysql中hive資料庫,一定不能存在否則 會報unable to instan...

大資料 Hive 簡介

第一部分 hive簡介 什麼是hive hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類sql查詢功能。本質是將sql轉換為mapreduce程式 第二部分 為什麼使用hive 面臨的問題 人員學習成本太高 專案週期要求太短 我只是需要乙個簡單的環境 ...

Hive學習筆記 簡介

大資料技術 傳輸 儲存 計算 查詢 hive 由facebook開源用於解決海量結構化日誌的資料統計。hive是基於hadoop的乙個資料倉儲工具 hive是為資料倉儲而設計的,hive本身不儲存資料,提供一種管理方式 用來進行資料提取 轉化 載入,可以將結構化的資料檔案對映為一張表,並提供類sql...