A B測試 基本概念

2021-05-23 16:41:05 字數 1474 閱讀 5078

**設計中,我們經常會面臨多個設計方案的選擇,比如某個按鈕是用紅色還是用藍色,是放左邊還是放右邊。傳統的解決方法通常是集體討論表決,或者由 某位專家或領導來拍板,實在決定不了時也有隨機選乙個上線的。雖然傳統解決辦法多數情況下也是有效的,但a/b 測試(a/b testing)可能是解決這類問題的乙個更好的方法。

所謂 a/b 測試,簡單來說,就是為同乙個目標制定兩個方案(比如兩個頁面),讓一部分使用者使用 a 方案,另一部分使用者使用 b 方案,記錄下使用者的使用情況,看哪個方案更符合設計目標。當然,在實際操作過程之中還有許多需要注意的細節。

a/b 測試並不是網際網路測試新發明的方法,事實上,自然界也存在著類似 a/b 測試的事件,比如下圖中的達爾文雀 。

達爾文雀主要生活在太平洋東部加拉帕戈斯(galapagos)的乙個名為伊莎貝拉(isabela)的島上,一部分生活在島的西部,另一部分生活在島的東部,由於生活環境的細微不同它們進化出了不同的喙。這被認為是自然選擇學說上的乙個重要例證。

同樣一種鳥,究竟哪一種喙更適合生存呢?自然界給出了她的解決方案,讓鳥兒自己變異(多個設計方案),然後優勝劣汰。具體到達爾文雀這個例子上,不同的環境中喙也有不同的解決方案。

1、多個方案並行測試;

2、每個方案只有乙個變數(比如鳥喙)不同;

3、以某種規則優勝劣汰。

需要特別留意的是第 2 點,它暗示了 a/b 測試的應用範圍,——必須是單變數。有時我們的多個設計稿 可能會有非常大的差異,這樣的情況一般不太適合做 a/b 測試,因為它們的變數太多了,變數之間會有較多的干擾,我們很難通過 a/b 測試的方法來找出各個變數對結果的影響程度。比如,土豆燒肉和豆腐鯽魚湯都挺美味,但我們很難比較土豆和豆腐哪乙個對菜的美味影響更大,而土豆燒肉和豆腐 燒肉則是不錯的比較。另外,雖然 a/b 測試名字中只包含 a、b ,但並不是說它只能用於比較兩個方案的好壞,事實上,你完全可以設計多個方案進行測試,「a/b 測試」這個名字只是乙個習慣的叫法。

要注意,不同的使用者在他的一次瀏覽過程中,看到的應該一直是同乙個方案。比如他一開始看到的是 a 方案,則在此次會話中應該一直向他展示 a 方案,而不能一會兒讓他看 a 方案,一會兒讓他看 b 方案。同時,還需要注意控制訪問各個版本的人數,大多數情況下我們會希望將訪問者平均分配到各個不同的版本上。要做到這些很簡單,根據 cookie (比如 cookie 會話id的最後一位數字)決定展示哪個版本就是乙個不錯的方法。

下面是 a/b 測試示意圖:

可以看到,要實現 a/b 測試,我們需要做以下幾個工作:

1、開發兩個(或多個)不同的版本並部署;

2、收集資料;

3、分析資料,得出結果。

關於 a/b 測試的基本概念就介紹到這裡,其餘部分我會在後續文章中繼續介紹。

軟體測試 基本概念

1.什麼是軟體測試 軟體測試是使用人工或自動的方法,來執行或者測量軟體系統的過程,以驗證軟體系統是否滿足使用者需求,並找出與預期結果的差異。2.軟體測試與除錯的區別 1 目的不同 測試的目的是為了發現程式中的缺陷,除錯的目的是為了定位並且解決程式中的問題。2 參於的角色不同 測試主要由測試人員和開發...

軟體測試 基本概念

1.什麼是軟體測試?2.軟體測試人員需具備的素質 為什麼要選擇軟體測試 3.什麼是需求?4.什麼是軟體缺陷 bug 5.什麼是測試用例 test case 6.軟體的生命週期 7.軟體測試的生命週期 總結驗證軟體功能是否滿足使用者需求。發散性思維,逆向思維,探求多項答案。對軟體測試這份工作有濃厚的興...

效能測試基本概念

1 應用系統從請求發出開始到客戶端收到相應所消耗的時間 2 應用系統從請求發出開始到客戶端接收到最後乙個位元組資料所消耗的時間 ps 由於瀏覽器的行為是既定的,所以仍然採用第二種方式來描述響應時間 併發使用者數 1 業務併發使用者數 同乙個時間段內訪問系統的使用者數量,該概念一般在效能測試 perf...