importtsv工具匯入文字檔案到Hbase

2021-09-08 02:41:01 字數 1145 閱讀 2504

importtsv是從tsv檔案直接載入內容到hbase的乙個hbase內建工具,通過執行mr job,將資料從tsv檔案直接寫入hbase的表或寫入乙個hbase的自由格式資料檔案(hfile)。

使用awk工具對原始檔案作處理,新增rowkey欄位。將第乙個欄位和第二個字段拼接作為rowkey。

命令:  

awk  -f  ','  ''  /home/tab1.txt > /home/tab2.txt
awk工具使用,可參考

然後,將tab2.txt檔案上傳到hdfs上;在hbase中建立tab2表,create  table  'tab2','cf1'。

直接匯入資料到hbase表中:

hbase  org.apache.hadoop.hbase.mapreduce.importtsv  \

-dimporttsv.separator=","  \    #(不指定,預設是\t分割)

-dimportttsv.columns=hbase_row_key,cf1:name,cf1:gender  \     

tab2  \    #表名

/lcl/tab2.txt     #hdfs路徑

還有一種方式是先生成hfile檔案:

hbase  org.apache.hadoop.hbase.mapreduce.importtsv   \

-dimporttsv.separator=","   \

-dimporttsv.bulk.output=/lcl/output   \       #hdfs路徑,可以事先不存在

-dimporttsv.columns=hbase_row_key,cf1:name,cf1:gender  \

tab2   \

/lcl/tab2.txt

然後,完成bulk載入到表tab2中:(completebulkload)

hbase  org.apache.hadoop.hbase.mapreduce.loadincrementalhfiles    \

/lcl/output    \

tab2

最後登陸hbase shell 檢視,scan  'tab2'。

PS文字工具

文字工具 快捷鍵 t 一 點文字 1.使用文字工具直接在影象視窗中單擊後輸入的文字。2.橫排文字 右擊文字工具 選擇橫排文字 3.字型 自己在計算機中 實際是乙個個字型檔案,常用的字型有黑體 宋體和楷體等。4.字型樣式 就是設定文字為加粗,斜體,或者正常。5.字型大小 定義字元的寬度和高度,取值範圍...

文字計算工具

numi mac是專門為mac使用者設計的將計算與文字相結合的一款多功能文字計算器,允許您自由分享計算。如果需要numi mac版會自動轉換單位,還有可配置的熱鍵menubar和dock模式。並且操作簡單,使用便捷,我們只需要以文字的形式輸入想要計算的內容,numi mac就能幫助我們快速地將計算結...

文字擷取工具

cut option file 按列抽取文字 d delimiter 指明分隔符,預設tab f fileds 第 個字段 離散的多個字段,例如1,3,6 連續的多個字段,例如1 6 混合使用 1 3,7 c 按字元切割 output delimiter string指定輸出分隔符示例一 取出文字的...