ODPS功能介紹之CLT

2021-09-23 23:29:36 字數 2198 閱讀 3679

odpscmd

(2) 分別執行下述命令

# 檢視幫助資訊

help;

# 切換專案

use aca21104_demo;

# 檢視當前專案的詳細資訊

desc project aca21104_demo;

# 列出表資訊

ls tables;

# 檢視某個表的具體資訊

desc dual;

# 檢視表中記錄數

count dual;

select count(*) from dual;

# 檢視表記錄內容:

read dual;

select * from dual;

# 新增使用者 [email protected] 到當前專案空間中來:

list users;

remove user [email protected];

add user [email protected];

# 新建表 t_test

create table if not exists t_test (id int, name string);

# 插入一條資料

insert into table t_test select * from t_test;

# 檢視表中記錄:

read t_test;

注:clt中的每個命令以;作為結尾符,遇到結尾符才開始執行。所以命令後面不要忘記新增;號;

非互動式執行命令

使用-f執行指定檔案中的命令集

(1) 在目錄 c:\odps_demo\resources\01-basicknowledge\ 中新建乙個檔案 crt_tbl_new.cmd,包括如下內容:

use aca21104_demo;

drop table if exists t_test;

create table t_test (id int, name string);

insert into table t_test select 1,』odps』 from dual;

read t_test;

注:檔案一定要儲存為utf-8格式;

(2) 使用 odpscmd 呼叫命令檔案:

odpscmd -f c:\odps_demo\resources\01-basicknowledge\crt_tbl_new.cmd

(3) 使用 odpscmd 執行命令檔案中的一部分命令(跳過開頭的命令):

odpscmd -f c:\odps_demo\resources\01-basicknowledge\crt_tbl_new.cmd -k 4

使用-e引數執行命令

(1) 使用odpscmd -e 執行多個命令:

odpscmd -e 「insert into table t_test select 2,』odpscmd』 from dual; read t_test;」

(2) 使用 -e 和 -k 結合在執行命令集時可跳過一些命令:

odpscmd -e 「insert into table t_test select 2,』odpscmd』 from dual; read t_test;」 -k

tunnel upload c:\odps_demo\resources\02-datatransfer\people.csv t_tunnel;

(2) 檢查上傳結果:

read t_tunnel;

如果目標表有分割槽,需要先建立好分割槽,然後再上傳資料,如:

(1) 建立表 t_tunnel_p 的分割槽 gender=』male』中:

alter table t_tunnel_p add if not exists partition (gender=』male』);

(2) 使用 upload 子命令,上傳檔案 men.csv 以及 women.csv 到表 t_tunnel_p 的已存在的分割槽 gender=』male』中:

tunnel upload women.csv t_tunnel_p/gender=』male』;

tunnel upload men.csv t_tunnel_p/gender=』male』;

tunnel download t_tunnel t_tunnel.csv;

tunnel download t_tunnel_p/gender=』male』 t_tunnel_p.csv;

ODPS功能介紹之資料匯入

在使用odps強大的資料處理能力之前,大家最關心的是自己的資料如何匯入到odps中。下面介紹一款向odps匯入資料的工具 fluentd。使用這款軟體,向odps匯入資料,需要具備如下環境 ruby 2.1.0 或更新 gem 2.4.5 或更新 fluentd 0.10.49 或從fluentd ...

ODPS之合併與拆分 Lateral View

編輯 我的收藏 本頁目錄 lateral view和split,explode等udtf一起使用,它能夠將一行資料拆成多行資料,並在此基礎上對拆分後的資料進行聚合。語法定義如下 lateralview lateral view outer udtf expression tablealias as ...

Python之int內部功能介紹

int內部功能的介紹 通過dir int型別的值 或者使用開發工具ctrl 單擊 int 即可檢視int內部的所有功能。內部功能很多,但是很多的內部功能都不怎麼常用,特介紹如下常用到的一些內部功能 1.基本資料型別使用type 函式時,得到相應的資料型別 a 12 b 12.01 c 123 pri...