Hive學習筆記二

2022-06-05 15:00:10 字數 2573 閱讀 6893

目錄hive.metastore.warehouse.dir

/user/hive/warehouse

location of default database for the warehouse

```

4) 配置同組使用者有執行許可權
bin/hdfs dfs -chmod g+w /user/hive/warehouse
2)重新啟動hive,對比配置前後差異

配置前:

配置後:

需求:將本地/opt/module/datas/student.txt這個目錄下的資料匯入到hive的student(id int, name string)表中。
//1)在/opt/module/目錄下建立datas

[itstar@bigdata111module]$ mkdir datas

//2)在/opt/module/datas/目錄下建立student.txt檔案並新增資料

[itstar@bigdata111datas]$ touch student.txt

[itstar@bigdata111datas]$ vi student.txt

1001 zhangshan

1002 lishi

1003 zhaoliu

//注意以tab鍵間隔。

//1)啟動hive

[itstar@bigdata111hive]$ bin/hive

//2)顯示資料庫

hive>show databases;

//3)使用default資料庫

hive>use default;

//4)顯示default資料庫中的表

hive>show tables;

//5)刪除已建立的student表

hive> drop table student;

//6)建立student表, 並宣告檔案分隔符』\t』

hive> create table student(id int, name string) row format delimited fields terminated by '\t';

//7)載入/opt/module/datas/student.txt 檔案到student資料庫表中。

hive> load data local inpath '/opt/module/hive/mydata/student.txt' into table student;

//8)hive查詢結果

hive> select * from student;

[itstar@bigdata111hive]$ bin/hive -e "select id from student;"
//1)在/opt/module/datas目錄下建立hivef.sql檔案

[itstar@bigdata111datas]$ touch hivef.sql

----------------------

//檔案中寫入正確的sql語句

select *from student;

//2)執行檔案中的sql語句

[itstar@bigdata111hive]$ bin/hive -f /opt/module/datas/hivef.sql

//3)執行檔案中的sql語句並將結果寫入檔案中

[itstar@bigdata111hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt

hive(default)>exit;

hive(default)>quit;

//在新版的oracle中沒區別了,在以前的版本是有的:

//exit:先隱性提交資料,再退出;

//quit:不提交資料,退出;

hive(default)>dfs -ls /;
hive(default)>! ls /opt/module/datas;
//1)進入到當前使用者的根目錄/root或/home/itstar

//2)檢視. hivehistory檔案

[itstar@bigdata111~]$ cat .hivehistory

hive>set;
上述三種設定方式的優先順序依次遞增。即配置檔案《命令列引數《引數宣告。注意某些系統級的引數,例如log4j相關的設定,必須用前兩種方式設定,因為那些引數的讀取在會話建立以前已經完成了。

Hive學習筆記 Hive 引數

第一部分 hive 引數 hive.exec.max.created.files 說明 所有hive執行的map與reduce任務可以產生的檔案的和 預設值 100000 hive.exec.dynamic.partition 說明 是否為自動分割槽 預設值 false hive.mapred.re...

Hive學習筆記 Hive概述

1.1 資料倉儲 可以利用資料倉儲來儲存我們的資料,但是資料倉儲有別於我們常見的一般資料庫。資料倉儲是乙個面向主題的 整合的 不可更新的 隨時間不變化的資料整合,它用於支援企業或組織的決策分析處理。物件導向的 倉庫中的資料是按照一定的主題進行組織的。主題即使用者使用資料倉儲進行決策時所關心的重點方面...

hive學習筆記

在使用hive進行開發時,我們往往需要獲得乙個已存在hive表的建表語句 ddl 然而hive本身並沒有提供這樣乙個工具。要想還原建表ddl就必須從元資料入手,我們知道,hive的元資料並不存放在hdfs上,而是存放在傳統的rdbms中,典型的如mysql,derby等,這裡我們以mysql為元資料...