目的：nifi使用背景：
希望借助nifi監控某個目錄，能夠將被監控目錄下的資料檔案採集並寫入hive中去。nifi提供了puthiveql、puthivestreaming、putsql三種processor，這三種processor對flowfile的要求也不盡相同。本文選用了如下圖1所示的幾種processor作為功能測試。
需要了解的知識：
1，hive的orc儲存格式。
2，hive的分割槽、分桶概念，使用場景。
3，nifi flowfile、processor基本概念。
集群環境介紹：
1，cdh5.11
2，nifi1.4
上述案例遇到的坑：
1，版本不相容：
2，使用puthivestreaming的坑：
- 資料採用orc儲存格式（別的列式儲存未測試。文字格式測試過不行。）
- 採用分割槽，分桶技術。不採用資料無法寫入hive（是否能夠調整引數未測出來。）
- 需要向nifi-hive-nar-1.4.0.nar加入kryo-2.21.jar（jar包乾嘛的自行科普），會導致自動建立分割槽的功能無法使用。
注：不想在建表的時候就建分割槽，可以通過puthivestreaming引數設定來自動建立分割槽；也可以預先建立分割槽。
最後上nifi processor的配置吧，本文只是說明下此路可通。
matlab寫入和讀取檔案資料
1 初始化乙個三維張量且值為0 b zeros 3,3,3 fid fopen d bookmark tags.txt 1 讀取前n行資料 c textscan fid,f f f n 2 從m 1行開始讀取n行 c textscan fid,f f f n,headerlines m 3 text...
hive 資料寫入
hive表中資料的寫入主要有 insert into overwrite values insert select load create table as select datatable 這幾種方式。其中hive從0.14版本開始支援 insert into table values line ...
Hive裝載資料 資料插入檔案 資料交換
hive資料插入檔案 資料交換 load data local inpath home dayongd downloads employee.txt overwrite into table employee local表示檔案位於本地，overwrite表示覆蓋現有資料 load data loc...