ceph osd tree的視覺化

2022-06-15 09:15:11 字數 2138 閱讀 6699

很久沒有處理很大的集群,在接觸乙個新集群的時候,如果集群足夠大,需要比較長的時間才能去理解這個集群的結構,而直接去看ceph osd tree的結果,當然是可以的,這裡是把osd tree的結構進行了乙個結構化輸出,也可以理解為畫出乙個簡單的結構圖,比較適合給其它人講解你對crush做了哪些改變,這個如果指著文字來講估計很多人會聽的雲裡霧裡,如果有比較方便的方式出圖就比較好了

為此寫了乙個小工具自己用,正好也可以看看我們對結構做簡單調整後的效果

環境就一台機器,不需要用到磁碟,這裡是模擬結構

建立乙個大集群40臺機器

seq 1 40 |xargs -i ceph  osd crush add-bucket lab{} host

seq 1 40|xargs -i ceph osd crush move lab{} root=default

建立乙個960個的集群

seq 1 960 |xargs -i ceph osd create
放到指定的主機

#! /bin/sh

for osd in `seq 0 959`

dohost=$(( (($osd / 24)) + 1 ))

ceph osd crush create-or-move osd.$osd 3.6 host=lab$host &

done

這裡後台執行會快點,不然得等15分鐘,執行完檢查下有沒有還在處理的程序即可

ps -ef|grep create-or-move
機器如果在遠端可以上傳臨時檔案

960個osd的效果如圖,節點太多了,本身輸出的時候是高畫質可以放大去看的,並且主機如果不是這麼多,顯示效果會好一點,這裡我們看的清楚是主機分組的

可以看到已經是多層的結構了,這個機器太多,我們來看下稍微少點機器的效果

主機分組

rack分組

後面的兩個圖的就比較清晰了

工具的乙個作用是,在調整結構後,能夠比較方便的去檢查osd的結構,是不是均勻的,有沒有調整錯誤,有沒有某個host裡面的osd個數跟其他不一樣,這幾種情況之前都遇到過

如果你面對的是幾十個osd的時候,你還會看看,當超過一百個的時候,一般來說就是走過場了,都會僥倖的認為,應該沒事吧,好像是對的,當然通過各種方式都能實現

目前這個小工具是直接執行直接出圖的,配色後面再處理下效果

這個tree的圖一直以為之前有寫過,但是找不到**了,重新實現了一次,也算乙個梳理,這個圖只是作為乙個更大的體系裡面很小的一部分的模組

本篇同樣給出了模擬大集群的方式

just for fun

whywho

when

建立武漢-運維-磨渣

2018-09-19

資料視覺化 什麼是資料視覺化

資料對應的英文單詞是data,從資訊獲取的角度看,資料是對目標觀察和記錄的結果,是現實世界中的時間 地點 事件 其他物件或概念的描述。不同學者對資料的作用也給出不同的定義,大致分為以下3類 視覺化對應的兩個英文單詞 visualize和visualization。visualize是動詞,描述 生成...

視覺化建模

中科永聯高階技術培訓中心 www.itisedu.com 視覺化建模 visual modeling 是利用圍繞現實想法組織模型的一種思考問題的方法。模型對於了解問題 與專案相關的每個人 客戶 行業專家 分析師 設計者等 溝通 模仿企業流程 準備文件 設計程式和資料庫來說都是有用的。建模促進了對需求...

卷積視覺化

影象卷積操作的應用沒有嚴格的數學推導,即沒有數學推導表明每一層究竟表示什麼。為了了解卷積神經網路中每一層與原有影象的對應關係,文章visualizing and understanding convolutional networks通過反向卷積的方式實現了該過程。那具體如何操作的呢?得到的h1與真...