HBASE 1 2 4批量匯入 ImportTsv

2021-07-25 20:48:41 字數 978 閱讀 7281

1、先把log.txt上傳至hdsf。

2、在hbase中定義好錶sys_log。

3、export hadoop_classpath=/home/takchi/bigdata/hbase-1.2.4/lib/*:$hadoop_classpath

4、bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv -dimporttsv.columns='hbase_row_key,info:val' '-dimporttsv.separator=|' sys_log hdfs:

4、(或者)./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -dimporttsv.columns='hbase_row_key,info:val' '-dimporttsv.separator=|' sys_log /tmp/input/log.txt

以上匯入ctbase的步驟是一步完成的,下面則是通過兩步完成。

1、生成hfile

./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -dimporttsv.columns='hbase_row_key,info:val' '-dimporttsv.separator=|' -dimporttsv.bulk.output=/tmp/bulk sys_log /tmp/input/log.txt

2、借助completebulkload工具, 將生成的hfile檔案匯入hbase集群

./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar completebulkload /tmp/bulk sys_log

2、(或者)./hbase org.apache.hadoop.hbase.mapreduce.loadincrementalhfiles hdfs: sys_log

DB2批量匯入匯出

一 匯出 1.先建乙個空的資料夾,比如data 2.定位到data目錄 3.匯出建表語句 db2look d 庫名 e z 使用者名稱 l o 檔名.sql 4.匯出資料 db2move 庫名 export 4.1 命令執行成功後,在data資料夾中的檔案列表如下 4.2 內容解釋 4.2.1 db...

endnoteX9批量匯入enw

五月份還用了這個功能,結果現在忘得一乾二淨,更是由於誤操作不小心刪了幾十個enw檔案並且是找不回來的那種。暴風哭泣 具體步驟如下,一定按照步驟走,讓你寫完檔案再重新命名就不要先重新命名再寫檔案,反正就是好多我也不知地奧會不會影響最終結果的小細節,開始沒按照做,就沒成功,我現在覺得電腦的事全是玄學。1...

Solr部署配置(四)批量匯入資料

一 solr自帶匯入外掛程式dataimporte設定 1 在solrconfig.xml檔案中新增如下內容,引入dataimport功能,並設定配置檔案位置。d dev test solr tomcat solr db conf db data config.xml 二 匯入資料 1 從資料庫匯入...