Hive設定引數的三種方法

2021-07-23 12:11:07 字數 2661 閱讀 6271

hive提供三種可以改變環境變數的方法

1.修改$/conf/hive-site.xml配置檔案;

在hive中,所有的預設配置都在$/conf/hive-default.xml檔案中,如果需要對預設的配置進行修改,可以建立乙個hive-site.xml檔案,放在$/conf目錄下。裡面可以對一些配置進行個性化設定。在hive-site.xml的格式如下:

1

2

3hive.metastore.warehouse.dir

4/user/hive/warehouse

5location of

6defaultdatabaseforthe warehouse

7

8

所有的配置都是放在標籤之間,乙個configuration標籤裡面可以存在多個標籤。標籤裡面就是我們想要設定屬性的名稱;標籤裡面是我們想要設定的值;2.命令列引數;

在啟動hive cli的時候進行配置,可以在命令列新增-hiveconf param=value來設定引數,例如:

1[wyp@master~]$ hive --hiveconf mapreduce.job.queuename=queue1

這樣在hive中所有mapreduce作業都提交到佇列queue1中。這一設定對本次啟動的會話有效,下次啟動需要重新配置。

3.在已經進入cli時進行引數宣告,可以在hql中使用set關鍵字設定引數,例如:

1hive> set mapreduce.job.queuename=queue1;

這樣也能達到方法二的效果。這種配置也是對本次啟動的會話有效,下次啟動需要重新配置。在hql中使用set關鍵字還可以檢視配置的值,如下:

1hive> set mapreduce.job.queuename;

2mapreduce.job.queuename=queue1

我們可以得到mapreduce.job.queuename=queue1。如果set後面什麼都不新增,這樣可以查到hive的所有屬性配置,如下:

01hive> set;

02datanucleus.autocreateschema=true

03datanucleus.autostartmechanismmode=checked

04datanucleus.cache.level2=false

05datanucleus.cache.level2.type=none

06datanucleus.connectionpoolingtype=dbcp

07datanucleus.identifie***ctory=datanucleus

08datanucleus.plugin.pluginregistrybundlecheck=log

09datanucleus.storemanagertype=rdbms

10datanucleus.transactionisolation=read-committed

11datanucleus.validatecolumns=false

12datanucleus.validateconstraints=false

13datanucleus.validatetables=false

14

15............................

上述三種設定方式的優先順序依次遞增。即引數宣告覆蓋命令列引數,命令列引數覆蓋配置檔案設定。

注意某些系統級的引數如log4j相關的設定必須採用前兩種方法,因為在啟動的時候就已經完成初始化操作了。可以參見

《hive日誌除錯》

PHP 時區設定的三種方法

在php目錄中的php.ini 裡找到date.timezone項。設定date.timezone asia shanghai 重啟執行環境 在執行的頁面新增date ult timezone set prc 頁面加上設定時區 ini set date.timezone asia shanghai ...

Hive實現資料抽樣的常用三種方法

背景 在大規模資料量的資料分析及建模任務中,往往針對全量資料進行挖掘分析時會十分耗時和占用集群資源,因此一般情況下只需要抽取一小部分資料進行分析及建模操作。hive提供了資料取樣 sampling 的功能,能夠根據一定的規則進行資料抽樣,目前支援資料塊抽樣,分桶抽樣和隨機抽樣,具體如下所示 1 隨機...

儲存過程返回引數的三種方法

create table dbo order o id bigint identity 1,1 not for replication not null,o buyerid int not null 1.ouput引數返回值 例 向order表插入一條記錄,返回其標識 create procedur...