HBase插入資料程式設計

2021-08-22 19:38:20 字數 732 閱讀 9151

0、概述

(1)資料通過put物件進行傳送,每put一次傳送一次,傳送時以mutator形式,

(2)每次傳送都將物件封裝成linkedlist,再進行一次flush,即一次rpc通訊

1、每次put一條資料

public void putdata1() throws exception 

//關閉資源

table.close();

conn.close();

}

2、優化,先將多個put物件封裝成乙個集合,然後傳送乙個put物件的集合

public void putdata2() throws exception 

//將put物件的集合一次性傳送,插入資料

table.put(list);

//關閉資源

table.close();

conn.close();

}

3、優化,關閉自動刷寫(即自動提交),底層也是封裝成乙個linklist,最後手動刷寫一次即可

public void putdata3() throws exception 

//手動提交,插入資料

htable.flushcommits();

//關閉資源

htable.close();

conn.close();

}

HBase表百萬資料插入

寫前日誌個人理解是一種安全回滾機制,若機器在執行操作過程中機器宕機需要回滾的話,需要讀取寫前編輯日誌進行資料回滾,防止資料的丟失,此處關閉的話為了提公升效率,看業務場景,不是很重要的話可以選擇關閉來提高插入效率。put物件呼叫setwritetowal false 緩衝區入開啟,緩衝區存在資料,資料...

Hbase插入事項

人生的第一篇部落格,寫這些,主要是為了以後看自己曾今的影子。作為一名hbase的初學者,我就是乙個菜鳥,十成十的菜鳥,好了,說下hbase插入時注意的事項。hbase的插入非常的簡單,獲取htable,建立put,使用htable.put put 完事,api就是這麼簡單,但插入時要提公升效率,需要...

Hbase 建立,插入,查詢

1.gang建立表 create user info 表名為user 有乙個列族為 info 2.檢視表 describe user 3.插入資料 put user 1 info age 20 put user 1 info name zhangsan 4.瀏覽表 scan user 5.檢視所有表...