mysql，關係型資料庫；
hbase，nosql資料庫。
查詢mysql和查詢hbase，到底哪個速度快呢？
與一些真正的大牛討論時，他們說hbase寫入速度，可以達到每秒1w。而hbase的理想速度為每秒10w。
來個實驗說明一下，此實驗只能表明，當前環境下執行狀態。我的實驗效果，沒有到1w，還在優化中…
環境：有3臺虛擬機器，執行hadoop集群；3臺虛擬機器也在跑hbase：master，node1，node2
master上，同時安裝了mysql資料庫。
目前有這樣乙個需求：
有一堆文字檔案，每個文字檔案內，儲存著日誌；
每一行為一條記錄；
現在需要，逐行讀取記錄，並根據記錄中的mac位址和sn號，去從hbase或mysql中，獲取賬號資訊。
然後合併成一條記錄，寫入hbase的「shuju」表內。
mysql表結構：
id,mac,sn,addtime,account
hbase表結構：
rowkey為mac+sn，mac，sn，account，addtime
測試效果如下：
每隔一分鐘，執行一次count操作，統計當前資料條數。
select count(1) from shuju
結果如下
***********************************==
mysql上，第一次測試。
開始時間11:03:15
28135（條數）
39014
49659
264564
274379
285174（條數）
結束時間11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1w以上。。。
***********************************==
查詢的 hbase庫
開始時間14:43:00
5622（條數）
16671
25062
34848
46652
58001
69690
79908（條數）
結束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分鐘個數。
***********************************==
mysql
開始 14:58:30
19248（條數）
26526
36389
45837
51945
62497
72319
82695（條數）
間隔 七分鐘
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
***********************************===
可以看出在hbase中速度，比mysql中速度略快一點。
但是總的速度，還是有待提高。
mysql，關係型資料庫；
hbase，nosql資料庫。
查詢mysql和查詢hbase，到底哪個速度快呢？
與一些真正的大牛討論時，他們說hbase寫入速度，可以達到每秒1w。而hbase的理想速度為每秒10w。
來個實驗說明一下，此實驗只能表明，當前環境下執行狀態。我的實驗效果，沒有到1w，還在優化中…
環境：有3臺虛擬機器，執行hadoop集群；3臺虛擬機器也在跑hbase：master，node1，node2
master上，同時安裝了mysql資料庫。
目前有這樣乙個需求：
有一堆文字檔案，每個文字檔案內，儲存著日誌；
每一行為一條記錄；
現在需要，逐行讀取記錄，並根據記錄中的mac位址和sn號，去從hbase或mysql中，獲取賬號資訊。
然後合併成一條記錄，寫入hbase的「shuju」表內。
mysql表結構：
id,mac,sn,addtime,account
hbase表結構：
rowkey為mac+sn，mac，sn，account，addtime
測試效果如下：
每隔一分鐘，執行一次count操作，統計當前資料條數。
select count(1) from shuju
結果如下
***********************************==
mysql上，第一次測試。
開始時間11:03:15
28135（條數）
39014
49659
264564
274379
285174（條數）
結束時間11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1w以上。。。
***********************************==
查詢的 hbase庫
開始時間14:43:00
5622（條數）
16671
25062
34848
46652
58001
69690
79908（條數）
結束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分鐘個數。
***********************************==
mysql
開始 14:58:30
19248（條數）
26526
36389
45837
51945
62497
72319
82695（條數）
間隔 七分鐘
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
***********************************===
可以看出在hbase中速度，比mysql中速度略快一點。
但是總的速度，還是有待提高。。。
hbase條件查詢
一 環境 hbase版本hbase 0.20.5，hadoop的版本hadoop 0.20.2，jdk1.6 二 需求背景 在hbase中，進行條件查詢，很多的檔案都說過，但是大多數都是在說明如何設定合理的表結構以及如何設定rowkey進行查詢檢索，這樣的結構設計可以在一定層度上通過rowkey來定...
hbase分頁查詢
hbase分頁t提高查詢效率。startkey怎麼取沒有問題了。但是怎麼儲存呢，有同學可能會想到存到session，但是如果你的服務是rest api型的，就沒有session的概念了。那還有兩種選擇 一 是存到客戶端，讓客戶端每次請求時把startkey再傳回來，這樣需要依賴客戶端，如果客戶端是遠...
HBase查詢優化
1.概述 hbase是乙個實時的非關係型資料庫，用來儲存海量資料。但是，在實際使用場景中，在使用hbase api查詢hbase中的資料時，有時會發現資料查詢會很慢。本篇部落格將從客戶端優化和服務端優化兩個方面來介紹，如何提高查詢hbase的效率。2.內容 這裡，我們先給大家介紹如何從客戶端優化查詢...