Sqoop 指令碼開發規範

2021-09-24 22:00:00 字數 1887 閱讀 4656

1.目錄結構體系

2.指令碼檔案命名規範

2.1檔名規範:資料庫型別_資料層_日期_表實體命名。

2.2副檔名規範:擴充套件名為sh。

2.3檔名命名舉例:sq_ods_d_yw_user_copy.sh

3.指令碼執行、除錯、編輯

3.1指令碼執行環境:在liunx作業系統上執行,通過命令方式呼叫指令碼

3.2呼叫指令碼和終止指令碼

3.2.1多種方式呼叫:a)sh 指令碼名 b)./指令碼名 c).source 指令碼名 /***x/***/指令碼名 -----指令碼的全路徑

3.2.2終止指令碼:通過ps命令查詢到正在執行指令碼的程序,用kill命令殺掉執行中的指令碼。

ps –ef|grep 指令碼名;

kill 指令碼的程序

3.2.3編輯工具

使用linux系統自帶的vi編輯,ue等

4.指令碼注釋說明

指令碼中需要有基本的注釋資訊方便以後維護,如引數、執行示例、指令碼存放位置、日誌檔案位址、建立人、建立日期等資訊。

指令碼注釋示例:

#說明:將使用者資料從hdfs匯入mysql

#引數username 說明:mysql 賬號 示例:***

#引數password 說明:mysql 密碼 示例:***

#建立人:***

#建立日期:***

#最新修改日期:***

#修改人、修改時間、修改內容:***************xx

#修改人、修改時間、修改內容:***************xx

5.指令碼變數、引數命名規範

1)指令碼變數命名

變數名:v_開頭

2)引數命名

表名引數: v_tablename

匯出字段引數:v_fields

匯出檔案目錄:v_src

6.指令碼環境變數配置檔案規範

配置檔案是指令碼中用到的環境變數,mysql連線,公共指令碼位址等都放到配置檔案用方便以後管理。

2) 配置檔案中示例內容如下

connecturl=jdbc:mysql://***/***

username=***

password=***

3) 配置檔案編寫規範:配置檔案中以等號做分割符,第一列是變數名需要大寫

7.編寫指令碼環境變數配置檔案

connecturl='jdbc:mysql://***/***?useunic

ode=true&characterencoding=utf-8'

username='***'

password='***'

8.編寫sqoop執行指令碼vi

#! /bin/sh

source /etc/profile

#表名稱

v_tablename=yw_user_copy

#需要匯入的表字段

v_fields=name,***,age,profile

#hdfs資料存放位址

v_src=/sqoop/test/yw_user

sqoop export \

--connect $connecturl \

--username $username \

--password $password \

--table $v_tablename \

--columns $v_fields \

--export-dir $v_src \

--input-fields-terminated-by "@" \

-m 1

Loadrunner指令碼開發規範

loadrunner指令碼開發規範 目錄 1.一般約定.3 2.注釋約定.4 3.格式化 5 1.1具體指令碼規則,必須在具體 中加注釋,以便指令碼開發人員閱讀和理解指令碼。1.2指令碼的存放規則 測試指令碼應該儲存在指定的庫中,例如乙個共享的驅動盤或測試管理工具中。為節省空間,便於復用,測試指令碼...

sqoop匯出指令碼

sqoop匯出指令碼 bin sh source exitcodecheck.sh opts getparam incstart getparam inc start incend getparam inc end pg connection getparam jdbc str pg usernam...

sqoop匯出指令碼

bin bash if 1 then export hive db name 1 else echo 請指定要匯出的源資料庫 exit 1 fiif 2 then export hive t name 2 else echo 請指定要匯出的源表名 exit 1 fiif 3 then export ...