基於使用者上報資料的測試策略制定 umeng

2021-08-16 04:07:58 字數 2881 閱讀 1719

在測試的過程中,你是否會有下面的幾個煩惱?嗯,反正我有 。既然有煩惱,我們就應該解決它,今天就來分享一下乙個測試策略的思路,幫助解決下面的問題

用例的精簡

發版前checklist的優化

版本發布太多,覆蓋測試怎麼辦

機型太多?相容性很難測

自動化主功能覆蓋的依據

專項測試的依據(效能、專項、壓力).如何應對快速發版的壓力

如何最準確模擬使用者環境和行為進行測試,完善測試點呢

使用者上報這個是產品運營同學研究產品走向的乙個平台,我們的專案整合了umeng上報平台,我們對此的測試的功能保障只要求

統計點符合需求

準確上報到平台

那麼這些資料對產品運營是很有意義,研究使用者的習慣就是研究產品的走向。那麼同理,對測試是否也是具有意義呢,首先我們看下上報給我們提供什麼樣的有用資訊。

那麼下面這幅圖是筆者整理的umeng上提供給我們的導圖,可以看到上報系統提供給我們非常豐富的功能。

雖然選項很多,但是我們還是需要經過一層過濾,找出對我們測試有用的一些資料型別,那麼經過思考和整理之後,畫了乙個excel的**

所以其實就分成三大類,功能、習慣和環境,接下來的工作就是從這些資料中得到我們制定測試策略的科學依據。

接下來的工作,就是挨個分析,到底上報的資料能和我們測試檫出怎樣的火花呢?

這個可以說是重點吧,因為這是測試上報資料的時候最直**到的物件,通過統計的自定義事件,可以知道使用者對新舊功能的使用情況。

機型覆蓋

創業公司有個難點,自購手機成本太大,所以一般採用雲測真機解決,但是雲測出現問題的時候我們不好排查,所以個別使用率高的手機還是需要購入的,這時候根據上報的機型,合理分配採購列表,達到縮減成本提高覆蓋率的目的。

版本列表

網路和運營商

這塊可以作為用例提高覆蓋率的依據,比如下面這張是筆者從umeng上匯出的網路分布圖

這個圖可以告訴我們,wifi啟動和4g啟動佔了96%左右,平時測試的時候請切換到這種環境執行,3g/2g/無網路在進行網路測試的時候也需要覆蓋

地域

我們作為乙個多國語言使用者,除了中國外,美國日本泰國佔比最大,意味著測試的時候不能都用中文介面去測試,而是重點切換這個幾個國家的語言,避免文案或者ui問題。

同時,這個曲線圖我們還需要關心介面訪問速度的問題,因為我們是租用阿里雲的海外節點,這點我們就可以略過了。

時段詳情

這個指標的意思是一天中每個時間段的使用者日活

那麼圖中的資料我們知道了使用者活躍時間段的分布主要是下午到晚上這一時間段,這個資料影響的是後台資料的使用,知道了這個,我們就要避免在使用者使用高峰上線後台的新特性,避免介面不穩定的現象發生

同時在該時間段也需要做好介面的監控,可以考慮調整持續整合的執行策略。

使用時長/使用頻率

使用間隔/訪問頁面

這是umeng新加的東西,這個目前沒想到什麼運用的地方,但是總感覺很有用,有說不出來,以後想到再寫吧 [��]

下面是乙個用例執行策略變更的小例子

(濾鏡的使用)(分享的使用)

例子1:

提高相容性測試的效率

公司採購了一大批手機,每次測試新功能都需要測試一堆手機,除了保留android系統版本,手機廠商版本覆蓋外,引入了上報機型分布作為指導,使用者量使用top5的機型,作為提供給開發和測試同學的常用測試手機,這樣測試的時候,就可以減低了測試時間,同時,還能保證大部分使用者使用的機型不出問題(開發測試階段就解決了).

例子2:

我們專案拍攝頁功能非常豐富,除了支援美顏濾鏡,也支援調節iso、ev、shutter、白平衡等引數,每次發版都要過這些功能非常費勁,重複勞動太多。筆者選取了上報的相關資料,進行用例優化。

根據上報使用者使用引數的情況來看,我把要驗證的引數進行優先順序標識p1、p2、p3,下面是乙個定時拍照打上優先順序後的效果,1級最重要,2級有使用者使用,但是不多,3級為基本沒有使用者使用。

有了前面的標號之後,基本沒有使用者使用的用例可以不執行,只有大版本或者週期性執行。而2級,使用者量比較少,可以抽取一些執行,1級肯定是需要發版本前都要執行的,執行分類之後,發版的成本自然會減少許多。

通過上報資料,作為測試的反饋,並影響我們測試策略的指定,達到事半功倍的效果,讓我們設計出更加合理的測試用例。

軟體測試策略的制定過程

軟體測試策略的制定過程 1 輸入 需要的軟硬體資源的詳細說明 針對測試和進度約束而需要的人力資源的角色和職責 測試方法 測試標準和完成標準 目標系統的功能性和技術性需求 系統侷限 即系統不能夠提供的需求 等等。2 輸出 已批准和簽署的測試策略文件 測試用例 測試計畫 需要解決方案的測試專案 3 過程...

制定測試策略需要考慮的問題

制定測試策略需要考慮的問題 step 1 範圍 step 2 測試方法 step 3 測試環境 step 4 測試工具 step 5 版本控制 step 6 風險分析和管理 step 8 角色和職責 step 9 培訓 另外,所有成員必須清楚 測試計畫 test plan 與 測試策略 test s...

制定更智慧型的資料策略

滴水成河,積水成淵,許多企業今天面臨的儲存危機其實是資料位元組累積的結果。資料的增長表現在三個不同方面 速度 企業必須適應以各種速度 無論是每分鐘 1 mb 還是每秒鐘幾十 gb 流入的資料。另一方面,企業對其資料產生了新的需求,他們使用資料來進行業務分析 性分析和實現機器學習過程。資料可用於制定業...