《LoadRunner 沒有告訴你的》之一

2021-04-16 05:45:57 字數 2001 閱讀 2414

《loadrunner 沒有告訴你的》之一——描述性統計與效能結果分析

loadrunner中的90%響應時間是什麼意思?這個值在進行效能分析時有什麼作用?本文爭取用最簡潔的文本來解答這個問題,並引申出「描述性統計」方法在效能測試結果分析中的應用。

為什麼要有90%使用者響應時間?因為在評估一次測試的結果時,僅僅有平均事務響應時間是不夠的。為什麼這麼說?你可以試著想想,是否平均事務響應時間滿足了效能需求就表示系統的效能已經滿足了絕大多數使用者的要求?

假如有兩組測試結果,響應時間分別是 和 ,它們的平均值都是7,你認為哪次測試的結果更理想?

假如有一次測試,總共有100個請求被響應,其中最小響應時間為0.02秒,最大響應時間為110秒,平均事務響應時間為4.7秒,你會不會想到最小和最大響應時間如此大的偏差是否會導致平均值本身並不可信?

為了解答上面的疑問,我們先來看一張表:

在上面這個表中包含了幾個不同的列,其含義如下:

cmdid測試時被請求的頁面

num響應成功的請求數量

mean所有成功的請求的響應時間的平均值

std dev

min響應時間的最小值

50 th(60/70/80/90/95 th)如果把響應時間從小到大順序排序,那麼50%的請求的響應時間在這個範圍之內。後面的60/70/80/90/95 th 也是同樣的含義

max響應時間的最大值

我想看完了上面的這個表和各列的解釋,不用多說大家也可以明白我的意思了。我把結論性的東西整理一下:

1.90%使用者響應時間在 loadrunner中是可以設定的,你可以改為80%或95%;

2.對於這個表,loadrunner中是沒有直接提供的,你可以把lr中的原始資料匯出到excel中,並使用excel中的percentile函式很簡單的算出不同百分比使用者請求的響應時間分布情況;

3.從上面的表中來看,對於home page來說,平均事務響應時間(mean)隻同70%使用者響應時間相一致。也就是說假如我們確定home page的響應時間應該在5秒內,那麼從平均事務響應時間來看是滿足的,但是實際上有10-20%的使用者請求的響應時間是大於這個值的;對於page 1也是一樣,假如我們確定對於page 1 的請求應該在3秒內得到響應,雖然平均事務響應時間是滿足要求的,但是實際上有20-30%的使用者請求的響應時間是超過了我們的要求的;

4.你可以在95 th之後繼續新增96/ 97/ 98/ 99/ 99.9/ 99.99 th,並利用excel的圖表功能畫一條曲線,來更加清晰表現出系統響應時間的分布情況。這時候你也許會發現,那個最大值的出現機率只不過是千分之一甚至萬分之一,而且99%的使用者請求的響應時間都是在效能需求所定義的範圍之內的;

5.如果你想使用這種方法來評估系統的效能,乙個推薦的做法是盡可能讓你的測試場景執行的時間長一些,因為當你獲得的測試資料越多,這個響應時間的分布曲線就越接近真實情況;

6.在確定效能需求時,你可以用平均事務響應時間來衡量系統的效能,也可以用90%或95%使用者響應時間來作為度量標準,它們並不衝突。實際上,在定義某些系統的效能需求時,一定範圍內的請求失敗也是可以被接受的;

7.上面提到的這些內容其實是與工具無關的,只要你可以得到原始的響應時間記錄,無論是使用loadrunner還是

jmeter或者

opensta,你都可以用這些方法和思路來評估你的系統的效能。

事實上,在效能測試領域中還有更多的東西是目前的商業測試工具或者開源測試工具都沒有專門講述的——換句話說,效能測試僅僅有工具是不夠的。我們還需要更多其他領域的知識,例如數學和統計學,來幫助我們更好的分析效能資料,找到隱藏在那些資料之下的真相。

歡迎各位同行高手灌水拍磚 ^_^  

你告訴我,讀書沒有用

作者南有南風 關注2017.08.03 19 16 字數 2434 閱讀 8107 喜歡 373 讚賞 1 你告訴我,讀書沒有用 文 南有南風 龍應台告訴她兒子 這段話一直躺在我的小本本裡,一彷徨找不到讀書的意義,我都會拿出來看一看。前幾天我在店裡上班,門口有穿著工作服的男生倚著門,扯開衣服來回晃動...

張小龍沒有告訴你的 5 個秘密

就像在公開課 pro 的現場,張小龍與上千名觀眾一起玩 跳一跳 輕鬆秒殺眾人一樣。他的演講雖然句句金句 大爆猛料,但聽完,卻讓人陷入了更深的困惑。微信是乙個工具 去中心化是一種觀念 微信不做 故意感動使用者 的事 微信要探索線下生活,讓人不再沉迷手機 這些看似無比正確的產品哲學,到底要將我們引向何方...

有沒有人告訴你聯合貸款的這些細則

聯合貸款,雖然形式多種多樣,業內我們把這種模式更多的叫助貸。為了方便各位理解,助貸的最簡單的模式就是,你出錢,我來找客戶。專業的說法 不具備放款資質或擁有小貸公司的少量放款資質放款的網際網路金融平台,向具有放款資質的金融機構機構提供獲客 風控 貸後等服務,它與金融機構的合作更為深入和全面,具有繫結關...