linux常用命令總結

一：常用sql

1）檢視分割槽

2）新增分割槽

alter

partition
(partition_date =
'2019-10-24'
); 新增分割槽

alter

partition
(pt=
'2019-10-22'
);刪除分割槽

5）檢視分割槽

show partitions 表名   檢視分割槽

truncate

table 表名 刪除表資料

alter

table tablea set tblproperties(
'external'
='false'
) 外部表轉內部表

desc formatted table

;

drop

table
ifexists
table
; 刪除表

load

data
local inpath '/222.csv'
into
table dw_test1; 本地匯入到hive

insert overwrite table 新錶名  partition

(partition_date =
'2019-10-24'
)select
*from
default
.舊表名 where w_upd_dt <
'2019-10-25 00:00:00.0'
;

select

*from
default
.表名 where length(nvl(cast(last_mdf_dt as string),''
))=0
limit
1;

select current_database(

)

1）spark-shell

cat so_log1.scala | spark-shell \

--name empty_test \
--conf spark.driver.memory=2g \
--conf spark.executer.memory=2g \
--conf spark.executer.cores=4 \
--conf spark.executer.instances=2 \
--conf spark.kryoserializer.buffer.max=512m \
--conf spark.dynamicallocation.enabled=false \
--conf spark.sql.shuffle.partitions=100 \
--conf spark.driver.maxresultsize=4g \
--conf spark.broadcast.blocksize=100m \
>> so_log1.txt

bin/spark2-submit --class woobooorderstreamingkafka  --master yarn --executor-memory 2g --total-executor-cores 2 /taskjar/spark-wooboo-1.0.jar 2>&1 | tee /submit.log

安裝tmux：yum install tmux

新建會話：tmux new -s aaa

檢視會話：tmux ls

進入會話：tmux a -t aaa

斷開會話：tmux detach

關閉會話：tmux kill-session -t aaa

Linux常用命令總結

下面這些命令是我在複習linux時記錄的，沒有詳解，只記錄了簡單的用法 檢視物理cpu個數 cat proc cpuinfo grep physical id sort uniq wc l 檢視物理cpu中core的個數，即核心數 cat proc cpuinfo grep cpu cores un...

LINUX常用命令總結

readlink f 找出符號鏈結所指向的位置 1g 到我檔案頭 g到檔案尾 cat瀏覽檔案 netstat a 檢視所有埠 mkdir 建立資料夾 rm rf 刪除檔案 執行指令碼 指令碼檔案 在當前目錄下 在目錄中查詢檔案 find 檔名 根目錄 當前目錄 剪下 mv vi命令 在檔案中搜尋關鍵...

Linux 常用命令總結

mkdir 建立目錄 ls l 顯示目錄或檔案 cd 切換目錄層次 cat n顯示行號 檢視檔案內容 cat demo.text eof 建立檔案 結尾eof退出編輯狀態 tac 反轉內容輸出 cp apr 拷貝檔案或者目錄 rm f 強制刪除檔案 r 遞迴刪除 刪除檔案或目錄 fr 刪除指定的目錄...