將csv或者Excel檔案匯入到hive

2021-08-17 08:07:04 字數 2270 閱讀 7079

1. 將csv或excel檔案轉換為文字,以逗號或者製表符都可以:

xigua.txt

id,color,root,stroke,venation,umbilical,touch,status

1,青綠,蜷縮,濁響,清晰,凹陷,硬滑,是

2,烏黑,蜷縮,沉悶,清晰,凹陷,硬滑,是

3,烏黑,蜷縮,濁響,清晰,凹陷,硬滑,是

4,青綠,蜷縮,沉悶,清晰,凹陷,硬滑,是

5,淺白,蜷縮,濁響,清晰,凹陷,硬滑,是

6,青綠,稍蜷,濁響,清晰,稍凹,軟粘,是

7,烏黑,稍蜷,濁響,稍糊,稍凹,軟粘,是

8,烏黑,稍蜷,濁響,清晰,稍凹,硬滑,是

9,烏黑,稍蜷,沉悶,稍糊,稍凹,硬滑,否

10,青綠,硬挺,清脆,清晰,平坦,軟粘,否

11,淺白,硬挺,清脆,模糊,平坦,硬滑,否

12,淺白,蜷縮,濁響,模糊,平坦,軟粘,否

13,青綠,稍蜷,濁響,稍糊,凹陷,硬滑,否

14,淺白,稍蜷,沉悶,稍糊,凹陷,硬滑,否

15,烏黑,稍蜷,濁響,清晰,稍凹,軟粘,否

16,淺白,蜷縮,濁響,模糊,平坦,硬滑,否

17,青綠,蜷縮,沉悶,稍糊,稍凹,硬滑,否

2. 在hive中新建表:

create table watermelon (id string,

color string,

root string,

stroke string,

venation string,

umbilical string,

touch string,

status string)

row format delimited fields terminated by

',' stored as textfile;

可以desc看一下對不
3. 將本地資料匯入到hive表:

load data local inpath '/home/johnny/storage/xigua.txt'

into

table watermelon;

檢視資料是否準確

select * from watermelon limit 10;
hive> select * from watermelon;

ok1 青綠 蜷縮 濁響 清晰 凹陷 硬滑 是

2 烏黑 蜷縮 沉悶 清晰 凹陷 硬滑 是

3 烏黑 蜷縮 濁響 清晰 凹陷 硬滑 是

4 青綠 蜷縮 沉悶 清晰 凹陷 硬滑 是

5 淺白 蜷縮 濁響 清晰 凹陷 硬滑 是

6 青綠 稍蜷 濁響 清晰 稍凹 軟粘 是

7 烏黑 稍蜷 濁響 稍糊 稍凹 軟粘 是

8 烏黑 稍蜷 濁響 清晰 稍凹 硬滑 是

9 烏黑 稍蜷 沉悶 稍糊 稍凹 硬滑 否

10 青綠 硬挺 清脆 清晰 平坦 軟粘 否

11 淺白 硬挺 清脆 模糊 平坦 硬滑 否

12 淺白 蜷縮 濁響 模糊 平坦 軟粘 否

13 青綠 稍蜷 濁響 稍糊 凹陷 硬滑 否

14 淺白 稍蜷 沉悶 稍糊 凹陷 硬滑 否

15 烏黑 稍蜷 濁響 清晰 稍凹 軟粘 否

16 淺白 蜷縮 濁響 模糊 平坦 硬滑 否

17 青綠 蜷縮 沉悶 稍糊 稍凹 硬滑 否

time taken: 0.185 seconds, fetched: 17 row(s)

批量將CSV檔案轉為excel

import os import pandas as pd fp r c users jjjj desktop 233 for root,dirs list,files list in os.walk fp root 表示當前資料夾路徑 dirs 當前資料夾下所有子目錄名 files 當前資料夾下所...

將csv檔案匯入MySQL中

建立資料表 匯入csv格式檔案,首先保證表存在 create table nizong 1e data user id varchar 255 character set utf8mb4 collate utf8mb4 general ci null default null,age varchar...

將Excel檔案轉為csv檔案的python指令碼

usr bin env python author lrtao2010 excel檔案轉csv檔案指令碼 需要將該指令碼直接放到要轉換的excel檔案同級目錄下 支援xlsx 和 xls 格式 在同級目錄下生成名為excel to csv.csv 的檔案,採用utf 8編碼 import xlrd ...