上線前的最後一公里 灰度測試

2021-07-26 14:55:48 字數 1332 閱讀 8063

背景介紹

灰度是測試階段的最後一環,也是線上檢驗產品質量和產品策略不可或缺的一環。測試者需要警惕灰度階段發現的問題,否則會影響到更多的線上使用者,造成使用者的負向體驗及使用者流失。

一、概述

二、手百灰度流程

在專案迭代中,需要明確當前版本所要發布的重點功能,將其最為灰度目標使用者的挖掘輸入,整個灰度發布的模式分為兩種,一種是隨機發布,即沒有固定的目標使用者組,全流量下發通過控制下發開啟的時間,對使用者量進行控制,版本覆蓋的使用者群是隨機產生的。另一種是期望能夠更高效的覆蓋目標功能並高效的發現的問題,挖掘出目標功能的活躍使用者,及發現問題和反饋問題頻率較高的使用者,從而針對該部分使用者進行精準的下發。

灰度發布之後,使用者經過乙個階段的公升級,開始對新版本進行體驗和試錯,如何將使用者在使用過程發現的問題召回是個需要解決的事情,這個是個不斷擴充套件的過程,目前框中比較系統召回問題包括兩個方面:使用者崩潰異常,以及使用者反饋問題,建立對應的平台對問題進行監控和報警,並建立定位能力對召回的問題進行定位。

三、手百灰度結構

整體的灰度的結構包含幾個大的部分和階段,如下圖所示:

以手百某版本為例,介紹下手百灰度執行方式:

手百該版本的重點功能與錢包支付相關,此為該專案主要的灰度目標功能

(一)使用者選擇

選擇具備以下三類特徵的使用者群組

(二)發布方法

由於版本客戶端功能較集中,對於功能的發布繼續沿用客戶端整體功能上線發布的模式,在使用者群體的選擇上進行功能覆蓋的分流,即精準

cuid

灰度,針對本期主打功能—錢包相關功能選擇日活及問題反饋活躍使用者進行灰度下發。本次灰度將以精準灰度為主,隨機灰度為輔,較以往灰度模式不同,希望通過精準灰度更高效的發現問題。精準灰度將使用不同的渠道號來與隨機灰度進行區分。

(三)效果度量

精準灰度公升級率和公升級速度提公升,挖掘的公升級活躍使用者,公升級率效果提公升明顯,使用者反饋問題有效率明顯提公升,精準灰度的效果在灰度效果驗證有較好的參考意義。

框主線崩潰監控

&分發平台,在灰度過程對於崩潰的發現達到小時級新增崩潰及

top崩潰的發現,同時進行功能模組級的自動診斷,進行自動分發,崩潰問題發現率

>91%

,從發現到定位到分發解決整體實現自動化,節省人力成本約

1人天。對於

top嚴重崩潰,如

oom、空指標等問題發現率達到

100%

關於最後一公里

最後一公里 last kilometer 在英美也常被稱為last mile 最後一英里 最後一公里 原意指完成長途跋涉的最後一段里程,被引申為完成一件事情的時候最後的而且是關鍵性的步驟 通常還說明此步驟充滿困難 通訊行業經常使用 最後一公里 來指代從通訊服務提供商的機房交換機到使用者計算機等終端裝...

Scrum最後一公里

研發部門試點敏捷,前面的過程基本都比較正常,使用者故事,計畫會議 短迭代 站立會議 回顧會 功能驗收,基本都能正常完成,但是把產品發布出去,給生產部門使用後,總是得不到及時的反饋,總是等到系統正是開始使用後,才發現這樣問題 那樣不好用 之前推動生產部門的下的作業人員,希望他們能積極配合 及時反饋看看...

對測試最後一公里的思考

作為一名入行也有些年頭的測試人員,今天想來跟各位同行 無論你是開發,pm,還是測試or其它職位上的 挨踢 人員 一起 下最後一公里的問題,只是我這個最後一公里 的物件是作為 測試工程師 存在於各大公司,包括在國內bat這樣的大it公司裡面也為數不少的一群人。不記得在 看到這麼乙個橋段,橋段說 在戀愛...