乙個個分割槽匯入，分割槽需要做到一對一。
hive (zmgdb)> insert overwrite table p_t3 partition(city='ningbo')
> select name,post,address from p_t1 where city='ningbo';
會啟動mapreduce進行匯入，mr卡在kill job_***x，等了很久沒反應，原因是分配給yarn的記憶體太小。需要修改yarn-site.xml裡的配置。
見部落格：
（如果按照上面的部落格配置了，時而行，時而不行。如果是vm虛擬機器搭建的，那就重啟吧）
如果一張表，比如按全國的城市分割槽的表，那乙個個分割槽匯入，費時費力。
於是需要有自動能一對一匯入的功能，即動態分割槽裝載資料。
hive>set hive.exec.dynamic.partition=true;
hive>set hive.exec.dynamic.partition.mode=nostrict;
hive>set hive.exec.max.dynamic.partitions.pernode=1000;
hive (zmgdb) > create table p_t4 like p_t1;
hive (zmgdb)> insert overwrite table p_t4 partition (city)
> select * from p_t1;
hive會啟動mapreduce匯入。
動態庫的裝載
檢視動態連線庫的相關命令 動態庫的常見問題 elf可執行檔案中動態段dt rpath指定 gcc加入鏈結引數 wl,rpath 指定動態庫搜尋路徑 環境變數ld library path指定路徑 多用於臨時指定 library path和ld library path是linux下的兩個環境變數，二...
Linux 動態裝載庫（dlopen）
linux有時我們需要在執行時指定庫的路徑去載入庫，而不是依賴於系統自動動態鏈結。比如說我們在需要做到動態載入庫外掛程式時就會用到動態裝載庫的特性 比如像lighthttpd和nginx的動態mod功能 linux提供了函式來幫助我們做到這件事，主要的幾個函式為 dlopen，dlsym，dlclo...
HIVE分割槽，靜態分割槽，動態分割槽
分割槽可以大大提公升hive的效能，這裡就要提到數倉的分層 原始資料層，儲存原始收集的資料 數倉明細層，裡面做的是轉換和分析，裡面包含部分的資料清洗的過程 數倉服務層，對外業務的處理，如維度轉 鍵 身份證清洗 會員註冊 清晰 字段合併 空值處理 髒資料處理 ip清晰轉換等 最終業務層 適合做增量表，...