大家在做功能設計的時候，是不是經常會面臨多個設計方案的選擇，比如某個按鈕用什么顏色好，是放左邊還是右邊。
傳統(tǒng)的方法通常是集體討論，或是由某位專家/領導來拍板，實在決定不了，也會隨機選一個上線。但這種方法太依賴于直覺，而且沒有說服力。
下面就推薦一個比較科學的測試方法，幫助產品經理們作出最佳決策。
一、什么是A/B測試
A/B測試是一種幫助互聯網產品迭代優(yōu)化的實驗方法。
測試目的在于通過科學的實驗設計和數據采集方式，來獲取具有代表性的實驗結論，從而尋找到有更好的產品優(yōu)化策略。
簡單來說，就是為同一個目標指定兩個方案（比如兩個頁面），讓一部分用戶使用A方案，另一部分用戶使用B方案，記錄下用戶的使用情況，對比看哪個方案更符合設計。
一般會用在產品改版正式上線之前，驗證新的設計是否可以提高產品的表現。
tips：A/B Test的前提是產品已有較多的用戶量，所測試的頁面有比較多的訪問量。
1、A/B Test可以測試什么？
A/B測試可以應用在很多設計場景中，它的測試元素包括：標題、按鈕、導航、視頻、頁面布局、價格、任務流程、圖片、顏色、段落文本、社交元素等等。
比如下圖：
2、測試類型有哪些？
第1類：單變量VS多變量
- 單變量測試：一次只改變一個元素，是常規(guī)意義上的A/B Test。
- 多變量測試：一次改變多個元素，也叫MVT。
第2類：基于后端VS基于前端
該類測試較為復雜，需要技術團隊介入，根據測試目標，對代碼進行埋點或重寫。
3、A/B測試工具
A/B測試的工具有很多，有免費的，也有付費的。
以下羅列了一些常見的測試工具，供大家參考使用：
- Google Website Optimizer：搜索巨頭提供的免費A/B測試工具。一個很好的入門級工具，但是沒有一些先進的功能。
- Visual Website Optimizer：一個易于使用的A/B測試工具，包含功能：如所見即所得的編輯器，單擊地圖，訪問者分割和標簽等。
- Unbounce and Performable：集成著陸頁設計的A/B測試工具。
- Vertster,SiteSpect,Webtrends Optimizer and Omniture`s Test&Target：企業(yè)級測試工具
- App Adhoc Optimizer：國內A/B測試工具，同時支持（Web/H5、iOS、Android）及后端（Node.js、PHP、Java）A/B測試服務的專業(yè)Saas平臺。
- Optimizely：是網上現有的最專業(yè)的A/B測試工具之一。它的價格可能要比其他工具搞很多（可也免費試用一個月），但它提供了一些非常棒的功能。
- Unbounce：對于登錄頁面的測試來講非常不錯，而且它還不僅僅是個測試工具，你還可以在無需你自己編寫任何代碼的情況下，用它來創(chuàng)建登錄頁面。
二、測試步驟
A/B測試的操作步驟一共有五步，分別是確定目標、設計方案、創(chuàng)建比較版本、發(fā)布測試、數據分析。
下面就來詳細介紹一下每個步驟。
Step1：確定測試目標
不同的產品有不同的業(yè)務方向，在正式設計方案之前，我們需要明確本次測試的目標是什么。比如是想要提高付費轉化率，還是想要降低跳出率？
只有在明確的測試目標的前提下，測試結果才有比較可信的數據支撐。
Step2：測試方案設計
測試方案是整個研究的核心，通過方案，團隊成員可以事先進行充分溝通修改，達成共識后再落地執(zhí)行。
首先，我們要建立一個假設，這個假設是根據我們的測試目標提出的一個問題，比如：
- 購買按鈕顏色會影響點擊率？
- 縮短購買流程可以提高付費率？
- 改變導航可以降低跳出率？
其次，根據我們建立的假設，確定測試元素（即自變量），從而生成實驗對照版本。常見的測試元素有：顏色、標題、頁面布局、任務流程等。
最后，根據假設確定評估指標（即因變量），也就是確定需要對比的指標。常見的評估指標有：跳出率、轉化率、留存率等。
Step3：創(chuàng)建比較版本
完善了測試方案后，我們通過修改代碼來改變產品其中一個或多個元素，建立原始版本和對照版本。
比如我們要測試按鈕顏色對點擊率的影響，可以創(chuàng)建下圖版本：
Step4：發(fā)布測試
創(chuàng)建完兩個版本后，我們就可以發(fā)布測試了。
在版本A的流量池中，我們可以將部分流量導向版本B，但不一定要5:5均分。
發(fā)布后的持續(xù)時間，可以根據目的進行控制，直到獲取到足夠多的測試數據。
計算工具可以參考：Visual Website Optimizer
Step5：數據分析
在結束測試投放后，我們可以快速將數據進行收集，并且直觀的對比出A/B版本的轉化率、跳出率、留存率等。
如下圖：
不過，數據收集不是目的，最重要的是，我們要對結果進行差異性檢驗。
可以通過簡單的經驗判斷，也可以利用SPSS、Excel或者A/B測試工具網站提供的計算工具進行卡方檢驗，總結出最后的結論。
最后再來總結一下。
A/B Test的操作有以下五個步驟：
- 第一步：確定測試目標
- 第二步：設計測試方案
- 第三步：創(chuàng)建比較版本
- 第四步：發(fā)布測試
- 第五步：數據分析
根據以上步驟，產品經理可以快速測試出哪個版本的產品設計更受用戶歡迎。
如果大家在執(zhí)行過程中有任何疑問，歡迎留言交流。
