Hbase相關學習資料和建表規則

2021-09-28 13:49:46 字數 4030 閱讀 5985

hbase簡介

hbase查詢命令

hbase插入資料命令

put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank'


,'0e74f82_101009'


,'f:pin'


,'101009'


put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank'


,'0e74f82_101009'


,'f:dt'


,'2020-06-15'


put 'cupid_dmxfeat_jd_model_shop_data_s_d_bank'


,'0e74f82_101009'


,'f:data'


,'20191217104330214114337362:113.9461:22.49881:440300:10120191211140944054119810092,20191217104330234808823987:114.0112:22.60045:440300:10120191211140944054119810092,20191217104330381565157469:114.1274:22.54749:440300:10120191211140944054119810092,20191217104330497577134122:113.9458:22.53038:440300:10120191211140944054119810092'
常用shell命令

hbase壓縮減少儲存空間

hbase建表優化如下：

1、分割槽

1w 以下的不分割槽


可以如下執行：


create '***xx'


,'f'


1000


-100w可以如下執行：


create '***xx'


,'f'


, splits =


>


['19'


,'33'


,'4d'


,'67'


,'81'


,'9b'


,'b5'


,'cf'


,'e9'


]100w -


1000w可以如下執行：


create '***xx'


,'f'


, splits =


>


['0c'


,'19'


,'26'


,'33'


,'40'


,'4d'


,'5a'


,'67'


,'74'


,'81'


,'8e'


,'9b'


,'a8'


,'b5'


,'c2'


,'cf'


,'dc'


,'e9'


,'f6'


]千萬級到億可以如下執行，


create '***xx'


,'f'


, splits =


>


['07'


,'0f'


,'17'


,'1f'


,'27'


,'2f'


,'37'


,'3f'


,'47'


,'4f'


,'57'


,'5f'


,'67'


,'6f'


,'77'


,'7f'


,'87'


,'8f'


,'97'


,'9f'


,'a7'


,'af'


,'b7'


,'bf'


,'c7'


,'cf'


,'d7'


,'df'


,'e7'


,'ef'


,'f7'


,'ff'


]1億到10億可以如下執行：


試用 create '***xx'


,'f'


, splits =


>


['07'


,'0f'


,'17'


,'1f'


,'27'


,'2f'


,'37'


,'3f'


,'47'


,'4f'


,'57'


,'5f'


,'67'


,'6f'


,'77'


,'7f'


,'87'


,'8f'


,'97'


,'9f'


,'a7'


,'af'


,'b7'


,'bf'


,'c7'


,'cf'


,'d7'


,'df'


,'e7'


,'ef'


,'f7'


,'ff'


]後續用create '***xx'


,'f'


, splits =


>


['05'


,'0b'


,'11'


,'17'


,'1d'


,'23'


,'29'


,'2f'


,'35'


,'3b'


,'41'


,'47'


,'4d'


,'53'


,'59'


,'5f'


,'65'


,'6b'


,'71'


,'77'


,'7d'


,'83'


,'89'


,'8f'


,'95'


,'9b'


,'a1'


,'a7'


,'ad'


,'b3'


,'b9'


,'bf'


,'c5'


,'cb'


,'d1'


,'d7'


,'dd'


,'e3'


,'e9'


,'ef'


,'f5'


,'fb'


]十億以上


create '***xx'


,'f'


, splits =


>


['04'


,'09'


,'0e'


,'13'


,'18'


,'1d'


,'22'


,'27'


,'2c'


,'31'


,'36'


,'3b'


,'40'


,'45'


,'4a'


,'4f'


,'54'


,'59'


,'5e'


,'63'


,'68'


,'6d'


,'72'


,'77'


,'7c'


,'81'


,'86'


,'8b'


,'90'


,'95'


,'9a'


,'9f'


,'a4'


,'a9'


,'ae'


,'b3'


,'b8'


,'bd'


,'c2'


,'c7'


,'cc'


,'d1'


,'d6'


,'db'


,'e0'


,'e5'


,'ea'


,'ef'


,'f4'


,'f9'


,'fe'


]
2、針對大表建議設定表的有效期，如設定7天，從插入資料開始算時，7天內如果沒有更新，則被刪除。

3、新錶建立必須增加壓縮

disable 『xx』

alter 『xx』,

enable 『xx』

如何提公升hbase吞吐量：

1、hbase建表要按照實際資料量進行分割槽

2、建表時要設定壓縮

3、寫會影響讀的效能，所以可以考慮用bulkload技術

Hbase 建表設定資料的有效期

如果想讓hbase中的資料在超過90天 這個時間是以資料最後修改的時間為準 後自動刪除可以在建表的時候指定ttl值 以秒為單位 順便記錄下hbase建表空間 create namespace jrjmqv2 建表的時候指定ttl，如建乙個表指定資料有效期為90天 60 60 24 90 777600...

資料庫學習 建表

建立乙個資料庫，資料庫名稱自定。設有乙個設有乙個spj資料庫,包括s,p,j,spj四個表 1 商表s由 商 sno 商姓名 sname 商狀態 status 商所在城市 city 組成 2 零件表p由零件 pno 零件名稱 pname 顏色 color 重量 weight 所組成 3 工程專案表j...

資料庫建庫建表學習筆記

本週是第七周，我們小組進行了sql server的建模，建表，插入資料。現將注意事項以及問題，解決方案整理如下。首先是建模。建模的首要工作是在相應的位置建立乙個資料夾，例如 在f盤建立乙個名為門診資訊系統的資料夾。啟動 sql，在 sql環境內建立乙個資料庫，並將資料檔案和日誌檔案也放入資料夾內，具...