HIVE表中匯入匯出資料的幾種方式

2021-10-01 18:27:36 字數 1478 閱讀 5831

一:往hive表中匯入匯出資料

語法結構:[ ]帶括號的表示可選擇字段

load data [local] inpath 『filepath』 [overwrite] into

table tablename [partition (partcol1=val1, partcol2=val2 …)]

各種引數說明:

1-hive只對匯入該表中的資料按照自己的方式 處理,對於錯誤的資料不管,超出直接丟棄。

2- load 操作只是單純的複製/移動操作,將資料檔案移動到 hive 表對應的位置。所以也可以直接hadoop fs -put  ./1.txt   /user/hive/warehouse/web_log.db/staff/ 將資料直接匯入到hive表對應的位置。hive對匯入的資料沒有查錯的功能,只是按自己的表字段進行匹配,格式匹配不了的預設用null替代,hive屬於讀時模式。  

3- local關鍵字,如果指定了 local, load 命令會去查詢本地檔案系統中的 filepath。如果沒有指定 local 關鍵字,則根據inpath中的uri查詢檔案

4- overwrite 關鍵字,如果使用了 overwrite 關鍵字,則目標表(或者分割槽)中的內容會先被全部被刪除,然後再將 filepath 指向的檔案/目錄中的內容新增到表/分割槽中。如果目標表(分割槽)已經有乙個檔案,並且檔名和 filepath 中的檔名衝突,那麼現有的檔案會被新檔案所替代。 

1.往hive表匯入資料方式      

1、本地匯入(本地匯入以後1.txt檔案本地還有備份的)

load data local inpath 『local_path/file』 into table 表名稱 ;

ex: load data  local inpath ./1.txt into table staff;

2、hdfs匯入(匯入完以後hdfs上的1.txt檔案就不存在了)

load data inpath 『hdfs_path/file』 into table 表名稱 ;

ex: load data inpath 『/user/jerry.txt』 into table jerry;//不能少了單引號

load data  inpath』hdfs://hadoop102:8020/user/jerry.txt』 into table jerry;

3,覆蓋匯入:本地檔案匯入,hdfs檔案匯入加了overwrite引數而已

1. load data local inpath 『path/file』 overwrite into table 表名稱 ;

ex: load data  local inpath ./1.txt  ovewrite  into table staff;

2.load data inpath 『path/file』 overwrite into table 表名稱 ;

ex:load data inpath 『/user/jerry.txt』  overwrite into table jerry;

Hive幾種資料匯入匯出方式

匯入 hive幾種資料匯入方式 匯出 1.拷貝檔案 如果資料檔案恰好是使用者需要的格式,那麼只需要拷貝檔案或資料夾就可以。hadoop fs cp source path target path 2.匯出到本地檔案系統 不能使用insert into local directory來匯出資料,會報錯...

c 中匯入 匯出Excel表

c 匯入 匯出excel 新建乙個專案,新增web引用 這個web服務就只是返回dataset資料而已 要使用excel,需加的命名空間 using microsoft.office.interop.excel using system.reflection using system.io 需新增引...

hive表匯入資料的幾種方式

以前學習hive的時候這些知識點應該是涉及到的,但是時間久了沒有用就會忘記,今天借這個機會來複習一下相關知識。下面總結一下hive表匯入資料的四種方式 1 從本地檔案系統中匯入資料到hive表 2 從hdfs上匯入資料到hive表 3 從別的表中查詢出相應的資料並匯入到hive表中 4 在建立表的時...