Hive呼叫python處理本地檔案

2021-09-20 09:59:13 字數 973 閱讀 8778

.在python編譯器中寫python檔案(本次操作是處理**號碼的資料混亂問題):

import sys

for line in sys.stdin:

for word in line:

if ord(word)<48 or ord(word)>57:

line=line.replace(word,'')

if len(line)==12:

line=line[1:12]

else:

line=line[0:11]

print(line)

然後,在fz中操作本地檔案到hive的環境中

3.在對應的環境中新增python檔案到hdfs:

hadoop fs -put /home/hive/data/delete_not_number1.py hdfs://yilihdptest/tmp/delete_not_number1.py
呼叫hdfs中的python 檔案:

add file hdfs://yilihdptest/tmp/delete_not_number1.py;

select

transform (exchgorder.telenum)

using 'python delete_not_number1.py'

as (rcv_tele)

from sdata_full.crm_pnt_exchangeorder exchgorder

Hive日期處理

1 求自然日 上一自然日 下一自然日 本周初 末 本月初 末 本季初 末 本年初 末 一月 三月 六月 一年前等 select calendar day as calendar day,自然日 日期型 regexp replace calendar day,as calendar dt,自然日 數值...

Hive時間處理

時間戳 unix timestamp 時間戳轉日期 from unixtime 時間hive語句 上月1號 trunc add months current date 1 mm 本月1號 trunc current date mm 下月1號 trunc add months current date...

使用presto呼叫hive

hive service hivestore 關於最後的乙個 告訴小白一下是後台執行的意思 presto所在的檔案中etc 自建 的catalog 自建 中hive.properties 自建檔案 中配置 connector.name hive hadoop2 這個聯結器的選擇要根據自身集群情況結合...