windows資料匯入到hive表

2021-08-02 20:46:57 字數 1018 閱讀 5201

需求說明:

例項:邏輯:

建資料庫。 hive建立資料庫testdb

create database if not exists testdb;

建表。hive建立外部表test

create external table if not exists test

(id string,tit string,ts string,url string

)partitioned by (datelabel string)

row format delimited

fields terminated by '\t'

stored as textfile

location '/test/data';

複製資料來源到本地。將windows資料移動到本地資料夾下(linux環境下)

執行load命令

a. 資料在hafs中,使用命令load data inpath …

b. 資料在本地(linux)中,使用命令load data local inpath …

使用hive -f load.sql命令,一次載入。

檢驗是否成功載入資料。使用select 等命令顯示資料,例:

select * from test where datelabel='201703' limit 10;

hive檔案儲存格式

hive資料的4種匯入方式

hive命令的3種呼叫方式

hive常用操作:

linux壓縮、解壓命令:

踩坑:要求:windows上zip壓縮資料—–>linux上解壓後資料。

執行hive -f/-e 等命令時不進入hive環境,直接在hadoop環境下執行

分割槽資料和hive表建立語句必須是一致的。比如本文例子,資料來源中有datelabel欄位,那麼建立hive表時需要設定分割槽字段。

MySQL錶用Sqoop方式匯入到Hive表中

1 首先在hive中新建資料庫mydb,2 然後開啟putty軟體,登入到安裝hive的伺服器,輸入使用者名稱和密碼後,進入到 root hdp 利用sqoop語句按照指定mysql資料庫的表新建hive表,語句如下 sqoop create hive table connect jdbc mysq...

Excel資料匯入到Grid

方法一 string strcon provider microsoft.jet.oledb.4.0 data source strsource extended properties excel 8.0 string query select from sheet1 sheet1表示表 oledb...

Excel資料匯入到Access

下面是asp的全部程式,需要做的是建乙個test.mdb資料庫和乙個test.xls的excel 查詢excel準備匯入到access sql select from sheet1 要匯入的excel資料裡面的表的名稱,後面一定要加 set rs conn2.execute sql while no...