最近在網上看到乙個段子，說的是產品經理有三寶：山寨、改版、再推倒。每次做產品的版本規劃，其實都是為了改版，改版的目的是提公升各項指標資料，但是產品經理經常會遭遇研發團隊、ued、運營團隊的責難。按照產品經理的需求改版之後，到底有沒有效果？效果顯不顯著？拿什麼來證明改版的效果是顯著的？這些問題的分歧經常導致團隊成員之間的矛盾衝突。好幾次面對研發和運營團隊同事咄咄逼人的質問，心中難免不爽，但是又拿不出有力的證據來證明，只能向高手請教了。
如何評估改版後有沒有效果，效果顯不顯著？最有利的證明就是運營資料。在很多資料驅動的團隊，經常是拿資料說話，評估改版後的效果也是以資料為依據的。不過，需要引起注意的是，資料本身也是存在謊言的，需要我們用科學的資料分析方法進行驗證，確保其準確性。
1.確定關鍵資料指標
評估改版效果的第一步就是確定關鍵資料指標。不同的產品，關鍵資料指標可能會不一樣。
比如電商產品，其收入公式如下：收入=訪問者數量×轉化率×客單價。不難看出，訪問者數量、轉化率和客單價是最重要的三個資料指標。
而對於遊戲型產品來說，收入公式如下：收入=使用者活躍數×付費率×arppu。其中：付費率：是指付費使用者的比例；arppu：是指平均每個付費使用者的收入。不難看出，使用者活躍數、付費率和arppu是最重要的三個指標。對於**型產品來說，可能pv和uv是關鍵資料指標。對於社群型產品來說，可能活躍度和留存率是關鍵資料指標。
我們以手遊產品迭代改版為例，評估改版效果最關鍵的三個資料是使用者活躍數、付費率和arppu。我們以手遊產品的月收入為例，月收入=月使用者活躍數×月付費率×月arppu，其中月活躍使用者數是數值型資料，月付費率是比率型資料，月arppu是數值型資料，資料型別不同，分析和檢驗的方法也會不同。
2.假設檢驗
假設檢驗（hypothesis testing）又稱顯著性檢驗（significance testing），是數理統計學中根據一定假設條件由樣本推斷總體的一種方法。其基本原理是先對總體的特徵作出某種假設，然後通過抽樣研究的統計推理，對此假設應該被拒絕還是接受作出推斷。既然以假設為前提，那麼在進行檢驗前需要提出相應的假設：
(1).h0：原假設或零假設（null hypothesis），即需要去驗證的假設；一般首先認定原假設是正確的，然後根據顯著性水平選擇是接受還是拒絕原假設。
(2).h1：備擇假設（alternative hypothesis），一般是原假設的否命題；當原假設被拒絕時，預設接受備擇假設。
如原假設是假設總體均值μ=μ0，則備擇假設為總體均值μ≠μ0，檢驗的過程就是計算相應的統計量和顯著性概率，來驗證原假設應該被接受還是被拒絕。常見的假設檢驗主要有卡方檢驗和t檢驗。
3.卡方檢驗
卡方檢驗（chi-square test），也就是x2檢驗，用來驗證兩個總體間某個比率之間是否存在顯著性差異。也就是說卡方檢驗適用於比率型的資料，即月付費率。假設在一定的時間區間內，比如說改版前後各30天，取30天資料的均值，改版前月活躍使用者數是10000，月付費使用者數是1000，月付費率為：r1=1000/10000=10%。改版後月活躍使用者數是20000，月付費使用者數是3000，月付費率為：r2=3000/20000=15%。我們先進行假設，h0：r1=r2，改版前後月付費率相等。h1：r1≠r2，改版前後月付費率不相等。
將（10000，1000）和（20000，3000）兩組資料分別輸入乙個卡方檢驗模板，得出的結果如圖7-8所示。
注意上圖中總訪問數等同於月活躍使用者數，轉化訪問數等同於月付費使用者數，轉化率等同於月付費率。結論就是改版前後的月付費率在95%的置信水平上存在顯著性差異，說明改版後月付費率效果顯著。
4.t檢驗
t檢驗（t test）是最常見的一種假設檢驗型別，主要驗證總體均值間是否存在顯著性差異。t檢驗屬於引數假設檢驗，所以它適用的範圍是數值型的資料。t檢驗還需要符合乙個條件：總體符合正態分佈。
t檢驗適用於手遊產品的月活躍使用者數和月arppu。這裡就以月arppu為例。假設以一定的時間區間為界限，比如說改版前後各10天，改版前月arppu的10天資料分別是23.6、28.9、24.1、21.7、27.4、28.6、29、24.2、26.3、22.1；改版後月arppu的10天資料分別是29.1、24.4、30.9、28.8、25.3、29.8、26、30.2、31.7、27.6。將資料輸入excel，使用excel的資料分析工具，選擇「t檢驗：平均值的成對二樣本分析」，輸出檢驗結果：單尾p值=0.014901。由於0.014901<0.05，即單尾p值<0.05，存在顯著性差異，所以改版後月arppu效果顯著。
5.總體結果評估
總體結果評估會存在3種結果，我們以手遊產品的月收入三個關鍵指標為例。月收入=月使用者活躍數×月付費率×月arppu。
所以3種結果如下：
(1).月使用者活躍數改版後效果顯著，月付費率改版後效果顯著，月arppu改版後效果顯著，故總體改版效果顯著。
(2).月使用者活躍數改版後效果不顯著，月付費率改版後效果不顯著，月arppu改版後效果不顯著，故總體改版效果不顯著。
(3).月使用者活躍數、月付費率、月arppu這3個指標中只要存在乙個或兩個指標不顯著，剩餘指標顯著，這時應依據月收入的增加或減少來評估結果，如果改版後總體月收入增加，則改版效果顯著；如果改版後總體月收入減少，則改版效果不顯著。
這下心裡有底了，以後跟研發和運營團隊爭執或者矛盾衝突的時候，就可以拿資料作為證據。事實勝於雄辯，有理有據，自己也有底氣多了。
平時工作中，經常會用到卡方檢驗（適用於比率型資料）和t檢驗（適用於數值型資料）去檢驗產品的關鍵資料指標改版效果是否顯著。當所有資料指標改版後效果都顯著時，整體改版效果為顯著；當所有資料指標改版後效果都不顯著時，整體改版效果為不顯著；當有的指標顯著，有的指標不顯著時，看總體效果而定。
面試結束後應該做的5件事
學會感謝 一家台資公司的公關部招聘一位職員，多人參與角逐。公司的面試和筆試都十分繁瑣，一輪輪淘汰下來，最後只剩下5 個人。5 個人個個都很優秀，都具備較好的形象和學識，且都畢業於名牌大學。公司通知 5人，最終到底聘用誰還得由台企經理層會議討論後才能決定。於是 5人安心地回家，等待公司最後的決定。幾天...
第29件事 評估需求的8種方法
我們採集到使用者的需求之後，就需要對各種各樣的需求做評估，即評估哪些需求應該做，哪些需求不應該做。這是一項產品經理必須具備的基本功。很多產品面試官經常考察產品經理的這些基本功，比如針對某個產品，問候選人是否應該增加某功能。這裡介紹幾種評估需求的主要方法。1.人性法 在第27件事和第28件事中，已經對...
第7件事 產品的5個要素
第2章 深刻認識產品 第7件事 產品的5個要素 第8件事 3步打造產品的獨特氣質 第9件事 產品定位要解決的6個問題 第10件事 向優秀產品學習的學問 產品是產品經理的孩子 只要是做過產品的人，對這句話都深有體會。產品與產品經理緊緊連在一起，就像子母劍一樣。而作為產品經理，時時刻刻都盼著自己的孩子能...