度量自動化測試效果的10個指標

2022-09-19 12:18:10 字數 1443 閱讀 6203

低**自動化測試平台的普及,測試同學**能力的提公升使得目前自動化測試已經成了測試工作中非常重要的組成部分,不管是由於kpi壓力也好,還是因為需要消除其他方面的質疑聲音也罷,我們經常需要在工作中制定一些可以度量的指標來描述某項工作或者改進的實際效果。那麼有哪些指標可以去度量自動化測試的最終效果呢,這裡給大家一些常見指標作為參考。

這個指標主要是描述所有的測試用例中有多少的用例可以被用自動化的方式進行回歸,畢竟有一些用例可能還是要手動去執行的,這個值越高那麼進行自動化的邊際成本可能就越低。

計算公式:可自動化率 = (可以實現自動化的用例數量 / 用例總數)* 100

這個指標可以直觀的描述自動化測試的效果,你可以通過這個指標來評估當前的投入產出比是否可以接受,另外在不同的測試環境中的效果應該是不一樣的,舉例來說在測試環境中我們可能主要是進行新功能的測試,那麼發現的大多數問題可以都是來自手工測試,但是在staging環境或者說是預發布環境,我們應該主要通過自動化指令碼來發現bug,所以這個效果值應該相對高一些。

計算公式:(自動化測試發現的bug數 / 有效bug數)* 100

這個指標用來衡量用例的穩定性和自動化測試的實際效率,畢竟如果通過率低的話就意味著我們需要花費大量的時間去定位執行失敗的原因。在多次測試中,通過率如果明顯下降那麼可能意味著:要麼是我們的用例不穩定,不值得信賴;要麼是本次的發布中包含了太多的bug。

計算公式:(通過的用例數 / 執行的用例數)* 100

天下武功,唯快不破。如果用例執行的速度太慢那麼我們就沒有辦法在**部署後迅速的給開發人員以反饋,浪費時間就是浪費生命。

計算公式:用例結束時間 - 用例開始時間

耳熟能詳的概念,也是很多團隊都會追求的乙個指標,覆蓋率越高就證明測試回歸的效率越高,這是乙個需要長期追蹤的指標,kpi裡尋常見,okr前幾度聞。

計算公式:(自動化用例數 / 用例總數)* 100

顧名思義的指標,值得去長期關注的指標,其實就是通過率的另一種體現,失敗率高可能意味著系統或產品的行為發生了更新,用例也需要進行相應的修改了。

計算公式:每次用例執行(失敗用例數 / 執行的用例數)* 100

用例追蹤cicd中構建質量的指標,異常率越高可能就意味著**質量相對較差。

計算公式:(構建失敗次數 / 構建總數)* 100

理論上說我們這個迭代開發的功能就應該在該迭代中被自動化用例所覆蓋,迭代完成之後補作業的行為是不推薦的。這個指標可以告訴我們我們離該目標還有多少距離。

計算公式:(本迭代中建立的用例數 / 非本迭代中建立的用例數)* 100

我們的目標是將所有可以自動化的用例都進行自動化,這個指標告訴我們距離這個小目標實現有還有多少路要走。

計算公式:(當前自動化用例總數 / 可以被自動化的用例數)* 100

這個指標可以告訴我們當前自動化用例的分布情況,理想情況下測試用例的分布應該是金字塔型的,ui用例最少,介面和整合用例較多,單元測試用例最多。

計算公式:(每種自動化測試用例的數量 / 用例總數)* 100

測試自動化 自動化測試的定義

相關術語 automated testing test tool,automated testing test suite,automated testing test script等.具體參見 http en.wikipedia.org wiki test automation 推薦書籍 1 軟體...

UiAutomator 1 0自動化測試

在使用android create建立build檔案時出現uibuild.xml檔案寶198 null異常,原因是 p 後面的路徑寫的不對,比如我出錯時寫的路徑是d selenium workspace uiautomator src,正確的路徑應是d selenium workspace uiau...

自動化測試的10個注意事項,新手必看!

當你成為一名自動化測試工程師並開始你的測試工作時,出現問題是很正常的。如果你還沒有深入研究selenium自動化的測試指令碼,就急於進行自動化 測試,也可能會出現這種情況。雖然從錯誤中學習是件好事,但通過向他人學習來預防肯定是更好的。在處理自動化測試專案時,測試人員需要承擔巨大的責任。你的不恰當簽核...