Hbase 筆記 12 集群管理

2022-08-20 08:12:12 字數 2251 閱讀 4380

1、減少節點

減少:graceful_stop.sh va128 

系統會把region從對應伺服器上移出去,減少擾動。

重新啟動節點: hbase-daemon.sh start regionserver

2、滾動重啟

使用 hbase hbck  可以確認集群資料的一致性(meta 表)

3、新增伺服器

新增備份hmaster:

(1). 方法1:修改 backup-masters 檔案,  新增機器名

(2) 方法2:使用命令 hbase-daemon.sh startmaster --backup

新增新的region server:

(1). 方法1:修改regionservers 檔案

(2) 方法2:使用命令 hbase-daemon.sh start regionserver

4、匯入、匯出資料

hbase 包自帶工具

匯出命令:hadoop jar ./hbase-0.94.24.jarexporttesttable   /user/admin/testtable

匯入命令:hadoop jar ./hbase-0.94.24.jarimporttesttable   /user/admin/testtable

5、copytable 工具

用於主從集群之間的複製

hadoop jar ./hbase-0.94.24.jarcopytable  --new.name=testtable2   testtable

6、批量匯入

方法1:mapreduce 方法

方法2:hadoop jar ./hbase-0.94.24.jarimporttv

hadoop jar ./hbase-0.94.24.jarcompletebulkload

7、複製

配置hbase.replication 為true

然後使用命令:

add_peer  '1', 'server2:2181:/hbase2'

start_replication

stop_replication

remove_peer '1'

確認複製

hadoop jar ./hbase-0.94.24.jarverifyrep

8、集群共存

為了測試,可讓讓兩個不同的hbase例項執行在同乙個物理機器上。

9、改變日誌級別

修改 log4j.properties

10、故障處理  fsck

命令:hbase hbck

可以檢查region是否同時存在於.mtat. 表和hdfs中,檢查其是否只被指派給唯一的region server。

可以通過表細節資訊與region比較,找到缺失的region,檢查region起始終止鍵範圍中的空洞或重疊。

-fix選項可修復問題

11、日誌分析

12、常見問題

(1)、安裝檢查內容: 

檔案控制代碼:cat  /proc//limits

datanode連線數

dfs.datanode.max.xcievers

4096

壓縮:

垃圾**/記憶體調優

(2)、穩定性問題

zookeeper 不能與 datanode、tasktracker、regionserver部署在同乙個節點

在小集群中,zookeeper 可與namenode、secondarynamenode、jobtracker 部署到一起。 

3 集群容錯

invoker 封裝了provider位址和service介面資訊 directory 相當於是invoker的集合,它的值是可變化的,比如註冊中心推送的變更資料。cluster 將directory裡的多個invoker偽裝成乙個invoker,偽裝過程包含了容錯邏輯,預設是failover,呼叫...

(一)集群介紹

一 集群的種類 集群系統主要分為 1 ha 高可用集群,又叫雙機熱備。a 2臺機器a,b,正常是a提供服務,b待命閒置,當a宕機或服務宕掉,會切換至b繼續提供服務 b 常用的高可用開源軟體 heartbeat和keepalived 可以做負載均衡 2 lb 負載均衡集群 3 hpc 高效能計算集群 ...

HBase學習筆記 hbase集群結構

hbase基本元件說明 client 包含訪問hbase的介面,並維護cache來加快對hbase的訪問,比如region的位置資訊。hmaster 是hbase集群的主節點,可以配置多個,用來實現ha 為regionserver分配region 負責regionserver的負載均衡 發現失效的r...