MongoDB 分片磁碟出現不均問題

2021-09-11 05:52:46 字數 494 閱讀 8387

現在的問題是 d-2ze3c57fd30b1294 這個分片的磁碟使用是 32.7%

而 d-2ze509f107c83dc4 shard 磁碟的使用才 17.6% 相差快一倍了,資料量大的集合基本上都是分塊數均勻的,為什麼不同的 shard 磁碟使用卻有這麼大的差距,mongo 不是有自動 balance 的能力麼?為什麼磁碟的空間還有這麼大的差距?能給一下比較詳細的解釋原因嗎?不然以後我們的 mongo 集群總是受 d-2ze3c57fd30b1294 shard 磁碟的短板所累。

d-2ze3c57fd30b1294 空間最大那個shard,因為大量的遷移產生了很多刪除oplog,主備同步有延時;備上目前同步已經把cpu、記憶體都跑滿了再追趕

這個shard上,有一些髒資料,mongo層已經刪除了,但物理檔案還沒有刪除(50g左右),等同步完了,你重啟一下這個shard,mongo會自動清理這些髒資料的。

shard 磁碟空間存在比較大的差異,我有以下幾個疑惑:

阿里專家給出的解釋如下:

MongoDB 雜湊分片為什麼資料大小不均勻?

今天接到乙個使用者反饋的問題,sharding集群,使用wiredtiger引擎,某個db下集合全部用的hash分片,show dbs發現其中乙個shard裡該db的大小,跟其他的集合差別很大,其他基本在60g左右,而這個shard在200g左右?由於這個db下有大量的集合及索引,一眼也看不出問題,...

MongoDB雜湊分片為什麼分布不均勻?

今天接到乙個使用者反饋的問題,sharding集群,使用wiredtiger引擎,某個db下集合全部用的hash分片,show dbs發現其中乙個shard裡該db的大小,跟其他的集合差別很大,其他基本在60g左右,而這個shard在200g左右?由於這個db下有大量的集合及索引,一眼也看不出問題,...

es動態分配分片 ES磁碟分配不均問題

近es集群磁碟空間告警,日誌又沒地方可以遷移,然後申請了新的伺服器,一次性加入8台新的伺服器 新增了32個新的資料節點,至此,我們的主集群已經到達85個資料節點的規模,整個集群資料已達到pb級別,終於可以跟別人炫耀我是做大資料的了。o o哈哈 但是隨著集群節點的不斷壯大,問題也隨之而來,剛開始加入新...