前言
在大資料開發中spark是專為大規模資料處理而設計的高速引擎，可以說在大資料開發中佔據著舉足輕重的地位，下面就spark的一些常用命令做了一下彙總。
正文
1. 加速跑
spark-sql --name uername --num-executors 21 --driver-memory 8g --executor-memory 8g
2. 上傳資料
建表create table ***_yyy ( userid varchar(200))
上傳資料
load data local inpath 『/home/spark/***.txt』 into ***_yyy
##inpath後面跟路徑名，into後面跟表名
3. 匯出資料
hive -e 「select * from temp.user_temp;」 > /home/spark/temp/daochu.txt
##通過hive的匯出，**盡量從中間表出，短**沒問題，但是越長越會出現問題。
4. 建表語句
create table table_name
(column1 double comment 『字段注釋1』,
column2 double comment 『字段注釋2』
)partitioned by (data_date string)
row format delimited
fields terminated by 『\t』
stored as textfile
;—建立新錶
drop table if exists table_name;
create table if not exists table_name as …
—更好的建表方式
5. mac上的資料加密打包工作
##step 1
首先開啟終端機（terminal），使用 cd 指令切換到要壓縮的檔案所在目錄，如果放在桌面上就是：
cd desktop
##step 2
##使用 zip 指令配合 -e 引數製作加密的壓縮檔：
zip -e daobao.zip daobaowenjian.txt
##其中 daobaowenjian.txt 就是要加密壓縮的檔案，而 daobao.zip 就是輸出的壓縮檔檔名。##在壓縮前，要先輸入密碼：
##如果要壓縮整個資料夾，就把上面的 filetoprotect.txt 替換成資料夾，再加上 -r即可，例如：
zip -er ~20180115.zip ~/20180115/
zip -er 20180115.zip 20180115
6. udf的使用
add jar /home/script_job/jar/hive-udf-1.0.jar;
create temporary function month_end as 『com.***.hive_udf.enddayofmonth』;
7. mac上用終端快速鏈結跳板機訪問spark
vi ~/.bash_profile
alias work=「ssh [email protected]」
##儲存後可在終端直接輸入work進行訪問。
結尾
通過本文的講解各位小夥伴們對於spark是不是有了乙個比較基礎的了解？接下來還需要小伙們的多多努力。
2440移植2023年最新uboot
開發板 jz2440 uboot版本 u boot 2019.01.tar.bz2 一。先看readme 說明和之前用法一樣，也是make defconfig 3,三個函式 然後開始介紹三個函式 3.1，lowlevel init 函式 注意 寫不了全域性變數 只能寫堆疊還有用彙編中的全域性資料。b...
2023年最新VSLAM比較彙總
開源 應用物件 無人機 平移精度 0.65 旋轉精度 0.0014 實時性 0.1s 2 core.2.5ghz 開發環境 c c 挑戰賽專案。該演算法基於libviso2，乙個純粹的幀2幀視覺測距引擎，除了完整的cpu多執行緒實現 利用管道和資料並行 之外，它還 具有以下主要改進 1 用於旋轉的自...
2023年上海工博會IFR發布的最新機械人統計資料
國際機械人聯合會 ifr 在上海工博會上發布了最新的全球機械人統計資料。從大類看，工業機械人和服務機械人依舊是分列進行統計和分析，服務機械人則分為專用服務機械人 個人 家用服務機械人兩類進行總結統計。此次發布的是全球2018年的銷售資料。其中，全球工業機械人在2018年突破了40萬台的銷售量，具體估...