列式儲存的資料庫
特點：
zookeeper：負責hmaster的選舉，保證集群裡只有乙個hmaster；儲存hbase元資料資訊；監聽hrs
hregionserver：具體執行讀寫操作的；負責hregion的拆分；負責storefile的合併；處理客戶端的請求；維護hlog日誌資訊；和hdfs互動，儲存資料
設計原則：長度不能太長或太短；不能重複；在各個region上均勻分布，不能太集中；考慮到字典序
hbase
是什麼：列式的非關係型資料庫；hive延時性：低延時（有memstrore），高速讀寫；
儲存形式：包裝過的，重新構建了一套儲存體系；
作用：存資料的；
語言：非結構性語言（命令列）
是什麼：資料倉儲；1、自動拆分：延時性：高延時；
儲存形式：元資料和檔案都儲存在hdfs上；
作用：分析和做資料清洗用的，不存資料；
語言：使用的是類sql語句
2、預拆分
hbase預設建表時有乙個region，並且rowkey是沒有邊界的，沒有startkey和endkey，所有資料都會預設寫入這個region，隨著資料增加，此region會進行split**為兩個region。在此過程中,會產生兩個問題：
3、強制拆分
找到指定的rowkey，呼叫 hbase shell 的 split 方法split 'tablename', 'splitkey'、split 'regionname', 'splitkey'
同樣可以幾千列，mysql列多，會造成浪費，空值也會佔位置佔空間，但hbase不會浪費空間
新增資料時，僅某個store增加空間，其rowkey對應的其他列簇可能在其他節點上，不會有任何操作
HBase基礎概念
非關係型分布式列式資料庫,支援大資料量查詢 百萬,上億行 結合二三即可 雖然hbase資料儲存在hdfs上,但查詢資料的速度區別很大 1.也叫目錄表 hbase meta 用於儲存所有region資訊 2.存放在zookeeper中,預設路徑是 hbase meta region server 終端...
HBase基本概念
1.簡介 hbase是乙個分布式的 面向列的開源資料庫,源於google的一篇 bigtable 乙個結構化資料的分布式儲存系統 hbase是google bigtable的開源實現，它利用hadoop hdfs作為其檔案儲存系統，利用hadoop mapreduce來處理hbase中的海量資料，利...
HBASE效能測試
之前測試過hbase的引數對效能影響，今天的測試主要針對寫吞吐量，通過對比不同客戶端的數量，以及插入量，來看看hbase寫的情況下，大概有多少每秒插入。測試硬體 8vcore,32g記憶體 8臺機器，5個nodemanager region server 大家可能知道每個map,reduce 預設1...