關於HBase 中Scan掃瞄的優化(重要)

2021-08-06 03:11:15 字數 632 閱讀 6026

1、由於scan是全表掃瞄,任何時候,在使用scan一定要加上startrowkey和stoprowkey,限定掃瞄的範圍。

3333333_

filter  prefilter

3333333_11111

3333333_22212

3333334_

3333333_   startrowkey   

3333334_   stoprowkey    

2、對於查詢字首的資料,不要去使用過濾器中的字首匹配過濾器,在我們上面設計的rowkey中,只要對要查詢的字首字段轉化為startrowkey和stoprowkey,乙個技巧比如:如果要查詢字首為:-(具體形式比如為:000001_20170118),我們可以設計startrowkey為000001_20170118_0以及stoprowkey為000001_20170119(注意:scan的startrowkey、stoprowkey是左閉又開,所以不會返回這一列)

3、如果考慮網路傳輸,以及查詢的時間,如果只需要特定的列簇資訊或者列,可以指定只掃瞄特定的列簇或者列,可以提高效能。

HBase總結(4) 資料掃瞄與Scan物件

一 介紹 put delete與get物件都是row的子類,從該繼承關係中我們就可以了解到get delete與pu物件本身就只能進行單行的操作,hbase客戶端還提供了一套能夠進行全表掃瞄的api,方便使用者能夠快速對整張表進行掃瞄,以獲取想要的結果 scan 二 流程介紹 全表掃瞄是一種不需要行...

hbase資料庫scan操作 HBase的Scan

hbase的scan和get不同,前者獲取資料是序列,後者則是並行 是不是有種大跌眼鏡的感覺?scan有四種模式 scan,table snapscan,table scanmr,snapshotscanmr 前面兩個是序列玩 後面兩個是放置到mapreduce中玩 其中效能最好的就是snapsho...

Hbase掃瞄表的資訊

多行 多列族 多屬性 scan scan newscan 掃瞄全表資料 resultscanner results tb user.getscanner scan 思路 一行 result 行 iterator iterator results.iterator while iterator.has...