面向雲原生的混沌工程工具 ChaosBlade

2021-09-29 15:20:25 字數 3675 閱讀 8266

chaosblade 是阿里巴巴開源的一款遵循混沌實驗模型的混沌實驗執行工具,具有場景豐富度高、簡單易用等特點,而且可以很方便的擴充套件實驗場景,開源後不久就被加入到 cncf landspace 中,成為主流的一款混沌工具。

目前支援的實驗場景如下:

以上所有的實驗場景都遵循混沌實驗模型,此模型共分為四層,包含:

比如一台 ip 是 10.0.0.1 機器上的應用,呼叫 com.example.helloservice[@1.0.0 ]() dubbo 服務延遲 3s,基於此模型可以描述為對 dubbo 元件(target)進行實驗,實驗實施的範圍是 10.0.0.1 主機(scope),呼叫 com.example.helloservice[@1.0.0 ]() (matcher)服務延遲 3s(action),對應的 chaosblade 命令為:

blade create dubbo delay --time 3000 --service com.example.helloservice --version 1.0.0
所以此模型很簡單清晰的表達出實驗場景,易於理解。下文中的雲原生實驗場景也基於此模型定義。

將混沌實驗場景按照上述的實驗模型,定義為 kubernetes 中的資源,並通過自定義控制器來管理,可以通過 yaml 配置或者直接執行 blade 命令執行。

chaosblade operator 定義了資源控制器,並且會以 daemonset 的方式,在每個節點上部署乙個 chaosblade-tool pod 來執行混沌實驗。不同的實驗場景內部實現方式不同,比如 node 實驗場景,其上面部署的 chaosblade-tool 內部執行即可,而 container 內的實驗場景,控制器會將 chaosblade 包拷貝到目標 container 中執行。

安裝必要元件

helm install --namespace kube-system --name chaosblade-operator chaosblade-operator-0.0.1.tgz
安裝在 kube-system 命令空間下。chaosblade operator 啟動後會在每個節點部署 chaosblade-tool pod 和乙個 chaosblade-operator pod。可通過以下命令檢視安裝結果:

執行實驗

執行方式有兩種:

下面以指定一台節點,做 cpu 負載 80% 實驗舉例。

yaml 配置方式

apiversion: chaosblade.io/v1alpha1

kind: chaosblade

metadata:

name: cpu-load

spec:

experiments:

- scope: node

target: cpu

action: fullload

desc: "increase node cpu load by names"

matchers:

- name: names

value:

- "cn-hangzhou.192.168.0.205"

- name: cpu-percent

value:

- "80"

如上所示,配置好檔案後,儲存為 chaosblade_cpu_load.yaml,使用以下命令執行實驗場景:

可通過以下命令檢視每個實驗的執行狀態:

kubectl get blade cpu-load -o json
檢視更多實驗場景配置事例。

blade 命令執行方式

blade create k8s node-cpu fullload --names cn-hangzhou.192.168.0.205 --cpu-percent 80 --kubeconfig ~/.kube/config
使用 blade 命令執行,會返回實驗的執行結果。

修改實驗

yaml 配置檔案的方式支援場景動態修改,比如將上述的 cpu 負載調整為 60%,則只需將上述 value 的值從 80 改為 60 即可,例如:

apiversion: chaosblade.io/v1alpha1

kind: chaosblade

metadata:

name: cpu-load

spec:

experiments:

- scope: node

target: cpu

action: load

desc: "cpu load"

flags:

- name: cpu-percent

value: "60"

- name: ip

value: 192.168.0.34

停止實驗

可以通過以下三種方式停止實驗:

根據實驗資源名停止

比如上述 cpu-load 場景,可以執行以下命令停止實驗:

kubectl delete chaosblade cpu-load
通過 yaml 配置檔案停止指定上述建立好的 yaml 檔案進行刪除,命令如下:

kubectl delete -f chaosblade_cpu_load.yaml
通過 blade 命令停止此方式僅限使用 blade 建立的實驗,使用以下命令停止:

blade destroy
是執行 blade create 命令返回的結果,如果忘記,可使用 blade status --type create 命令查詢。

解除安裝 chaosblade operator

執行helm del --purge chaosblade-operator解除安裝即可,將會停止全部實驗,刪除所有建立的資源。

chaosblade 基於混沌實驗模型,友好地將 kubernetes 資源控制結合,部署簡單而且使用簡潔,實驗可控。除此之外 chaosblade 基於實驗模型實現了很多領域場景執行器,可以很方便的擴充套件實驗場景,可詳見附錄中的專案列表。

chaosblade 自開源以來,共有近 30 多位貢獻者加入和很多企業的關注及使用,非常感謝各位。同時非常歡迎更多的人參與進來,使 chaosblade 變的更加強大,覆蓋更多的場景,成為各個企業穩定的、通用的混沌工程工具。

貢獻的形式可以是提 bug、提交**、編寫文件、補充單元測試、參與問題討論等等。chaosblade 相信:開源世界中,任何幫助都是貢獻。

專案列表如下:

雲原生思想 雲原生的微服務架構

不同微服務之間可能存在一些異構,為了讓每乙個團隊在微服務體系下發揮最大效能,我們允許不同團隊採用不同的程式語言,甚至不同的執行環境來去執行這些微服務。因此,我們在運維和管理微服務時,最初其實並沒有一套統一的標準去處理的異構環境,這也是為什麼後來容器技術變得流行起來,它的乙個重要作用就是通過一層標準的...

Russ Miles 被忽略的架構師和混沌工程

在最近於阿姆斯特丹舉行的事件驅動微服務大會上,russ miles聲稱,架構師面臨的最大挑戰是自身被忽視。你有很多很好的想法,比如事件驅動的微服務,但通常的反應是,這些主意聽起來不錯,但是對於手頭要解決的問題來說過於複雜。當miles建議公司應該考慮將非同步事件驅動系統作為實現伸縮 冗餘和容錯的一種...

Russ Miles 被忽略的架構師和混沌工程

在最近於阿姆斯特丹舉行的事件驅動微服務大會上,russ miles聲稱,架構師面臨的最大挑戰是自身被忽視。你有很多很好的想法,比如事件驅動的微服務,但通常的反應是,這些主意聽起來不錯,但是對於手頭要解決的問題來說過於複雜。當miles建議公司應該考慮將非同步事件驅動系統作為實現伸縮 冗餘和容錯的一種...