hbase bulkloader例項入門

一、使用mr生成對應hbase table的hfile

maper中寫入庫邏輯，reduce是用hbase自帶的，outputformat用的是hfileoutputformat

configuration conf = new configuration();

job jobafter = new job(conf2);
jobafter.setjarbyclass(test.class);
jobafter.setmapoutputkeyclass(immutablebyteswritable.class);//只能是immutablebyteswritable類
jobafter.setmapoutputvalueclass(put.class);//只能是put或keyvalue型別
fileoutputformat.setoutputpath(jobafter, new path("/user/hadoop/bulkload/data"));
jobafter.setoutputformatclass(hfileoutputformat.class);
htable table=new htable(conf,conf.get("tablename"));
hfileoutputformat.configureincrementalload(jobafter, table);//根據map輸出key和value設定reduce class；根據htable的region數，設定reduce數
jobafter.waitforcompletion(true);

二、將hfile匯入到hbase中 

hadoop jar hbase-version.jar completebulkload hdfs://localhost:8020/user/hadoop/bulkload/data testtable

bulkload例項二

當hbase集群和hadoop（跑mr的）集群不在一起時，就需要知道zk ip和port了

第一步生成hfile的時候，需要hbase-site位置，裡邊有zk的ip和port

第二步

hadoop jar /home/q/hadoop/hbase-0.98.0-hadoop2/lib/hbase-server-0.98.0-hadoop2.jar  completebulkload  -dhbase.zookeeper.quorum=192.168.xx.xx -dhbase.zookeeper.property.clientport=2181 hdfs: ***_table

192.168.xx.xx這是zk的ip 2181是zk的port

192.168.***.***這是hdfs上hfile的位置

Valang Validator學習例項入門

valang validator 是較為新穎的外掛程式，在參考胡鍵 valang validator攻略 一文以及官方指導文章後將自己將學習valang validator的乙個完整例項寫下，希望對大家有所幫助。對於valang validator的介紹可以參考本部落格內的 valang valid...

Oracle中使用儲存過程實現幾個例項 入門級

剛開始我也不會寫oracle的儲存過程，以前頂多用過sqlserver，工作時偶爾要處理上萬條的資料，有時候不得不手動處理，有時候，可以想辦法使用工具解析匯入資料庫，雖然儲存過程不能很好的處理海量資料，這只是我業餘看到就學習總結了一下。由淺入深的實現了幾個例項，看完了，就可以簡單的掌握oracle儲...

C 四捨五入 函式 用法例項

效果 說明 輸入小數，然後輸入要保留的位數，事件 點選button 複製 如下 public static double round double d,int i else nwww.cppcns.combsp string str d.tostring string strs str.spl in...