kettle鏈結hive的環境配置

2021-08-25 16:39:06 字數 1462 閱讀 5981

1)首先將hive/lib目錄的包匯入到kettle目錄d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib下(找到你安裝的目錄)

2)找到d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目錄

檔案core-site.xml  新增內容:

fs.defaultfs

hdfs://bigdata01:9000

hadoop.tmp.dir

/opt/modules/hadoop-2.6.0-cdh5.13.0/data

檔案hive-site.xml 新增內容:

hive.metastore.local

false

hive.metastore.uris

hive.exec.reducers.bytes.per.reducer

1073741824

hive.support.concurrency

true

hive.server2.thrift.port

10000

hive.server2.thrift.min.worker.threads

5hive.server2.thrift.max.worker.threads

500hive.jdbc_passwd.auth.zjl

123456

檔案mapred-site.xml新增如下

mapreduce.framework.name

yarn

檔案yarn-site.xml新增內容:

yarn.nodemanager.aux-services

mapreduce_shuffle

3)找到d:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510目錄將cdh510配置在d:\software\data-integration\plugins\pentaho-big-data-plugin目錄下的plugin.properties檔案

新增內容:active.hadoop.configuration=cdh510

Kettle的匯入 Hive到Excel

1.建立資料檔案 1 vim home a.txt 1,11 2,22 3,33 2.操作hive 1 create database test 2 use test 3 create table a a int,b int row format delimited fields terminate...

Kettle的匯入 Excel到Hive

1.操作hive 1 create database test 2 use test 3 create external table a a int,b int row format delimited fields terminated by stored as textfile 2.開啟spoo...

kettle在多環境中區分環境使用

kettle的kettle.properties可以根據環境新增值,job中使用變數,達到區分環境的效果。通常我們專案中每個環境的資料庫都是分開的,這個時候我們就需要根據環境來設定資料庫的連線資訊了,如 編輯kettle.properties 資料庫連線使用變數 這樣就能達到區分環境的效果。自定義修...