HBase RIT問題處理

2022-07-29 12:39:12 字數 999 閱讀 9175

在測試集群,下掉乙個節點後,出現了有兩個region長期處於rit狀態。看樣子系統是無法自動處理了,於是進行手動排除原因和恢復。

在master中發現以下日誌:

2020-12-31 11:01:19,395 warn  [procedureexecutor-14] master.regionstates: failed to open/close e401a31361ebd9a6c32b5d49fa5d67e1 on ******,61020,1609243352679, set to failed_open

2020-12-31 11:01:19,395 info [procedureexecutor-14] master.regionstates: transition to

執行hbck命令檢測region狀態問題:

bin/hbase hbck > hbck.log
主要有以下關鍵資訊:

error: region  not deployed on any region server.

error: region not deployed on any region server.

試著手動分配region:

assign '******,,1590488678648.e401a31361ebd9a6c32b5d49fa5d67e1.'
成功分配,rit問題解決。

說明: 使用 hbck 工具修復也可以,但是 hbck 是全域性的,執行起來會特別慢,可能會對線上環境產生影響,所以最好採用上面的方式進行修復。 命令如下:

bin/hbase hbck -fixassignments > fixassign.log

windows問題處理

以前遇到問題解決沒有總結下,今後要養成好習慣,學習過程中遇到問題要常總結,分享,後續不斷更新中。1.dos命令視窗中無法使用ls命令查目錄下檔案清單 在windows系統安裝目錄下 我的系統安裝在c盤,所以目錄是c windows 建立乙個檔案,命名為ls.bat 用記事本開啟新增兩行語句 echo...

問題處理流程

背景 這裡的問題主要是指那些一直執行正常,因為未知原因或突然的流量增大,導致系統異常。步驟 快速恢復 快速恢復系統正常執行,避免產生更大的損失 重啟應用伺服器 重啟中介軟體 下線問題機器 下線問題中介軟體 熔斷 下線第三方服務 保留現場 保留其中一台故障節點不重啟,移除這台機器的流量 目的是保留記憶...

處理執行緒問題

避免死鎖 在所有執行緒中以相同順序鎖定物件 將所有呼叫中需要的鎖定物件鎖定到 中的同一位置 同樣,釋放所有緊靠在起義的呼叫中的物件 盡量少而且盡量短地鎖定物件 如果必須鎖定多個物件,請確保所有的鎖定都是成功的,而且如果他們還沒有完成處理,請終止他們。可以利用monitor.tryenter方法完成這...