A/B Test是數(shù)據(jù)驅(qū)動(dòng)用戶增長(zhǎng)的基石，它對(duì)于用戶增長(zhǎng)的重要性，再怎么強(qiáng)調(diào)都不為過。今天這篇文章，分享一些我在做A/B Test過程中的一些思考。

為什么A/B Test是科學(xué)的方法?

想象一下科學(xué)家發(fā)現(xiàn)新知的過程，通常是這樣的：

• 通過觀察現(xiàn)象、分析數(shù)據(jù)，提出自己對(duì)新知的假設(shè)；
• 根據(jù)假設(shè)，設(shè)計(jì)用來驗(yàn)證新知的實(shí)驗(yàn)；
• 確定實(shí)驗(yàn)指標(biāo)，明確證實(shí)、證偽新知的標(biāo)準(zhǔn)；
• 如果新知被證實(shí)，就推廣應(yīng)用；如果被證偽，就回到第一步，開啟新一輪實(shí)驗(yàn)循環(huán)。

以上的過程，可以總結(jié)為“提出假設(shè)” -> “設(shè)計(jì)實(shí)驗(yàn)” -> “設(shè)計(jì)指標(biāo)” -> “分析結(jié)果”，這個(gè)循環(huán)，是我們?nèi)祟惏l(fā)現(xiàn)新知的”科學(xué)方法“。新藥研發(fā)領(lǐng)域的雙盲實(shí)驗(yàn)，就是非常典型的例子。

對(duì)應(yīng)到用A/B Test做用戶增長(zhǎng)，它也是這樣的一個(gè)過程：

• 提出假設(shè)：分析產(chǎn)品和用戶數(shù)據(jù)，提出優(yōu)化轉(zhuǎn)化的假設(shè)，可以是文案的優(yōu)化、可以是UI的優(yōu)化，也可以是交互流程的優(yōu)化，甚至可以是一些運(yùn)營(yíng)策略的優(yōu)化；
• 設(shè)計(jì)實(shí)驗(yàn)：根據(jù)假設(shè)，以當(dāng)前的方案為對(duì)照組，假設(shè)的優(yōu)化為實(shí)驗(yàn)組，設(shè)計(jì)實(shí)驗(yàn)；
• 設(shè)計(jì)指標(biāo)：明確用來衡量實(shí)驗(yàn)效果的核心指標(biāo)，并在產(chǎn)品中做好相關(guān)數(shù)據(jù)埋點(diǎn)；
• 分析結(jié)果：實(shí)驗(yàn)結(jié)果后，通過數(shù)據(jù)分析實(shí)驗(yàn)效果。如果效果是正向，就可以把實(shí)驗(yàn)推廣應(yīng)用到全部用戶；如果效果是負(fù)向，就要進(jìn)一步分析，理出新的假設(shè)。

整個(gè)過程我們可以看到，我們做決策的依據(jù)，都是客觀的數(shù)據(jù)?；谶@樣的方法論做用戶增長(zhǎng)，我們才能產(chǎn)生“可復(fù)制”的增長(zhǎng)經(jīng)驗(yàn)。

為什么A/B Test能夠驅(qū)動(dòng)增長(zhǎng)？

A/B Test驅(qū)動(dòng)增長(zhǎng)，背后的核心邏輯是“復(fù)利效應(yīng)”。我們先來看幾個(gè)算式：

(1+0.01)^365 = 37.78
1^365 = 1
(1-0.01)^365 = 0.03

我們看到：每天進(jìn)步一點(diǎn)點(diǎn)、原地踏步和每天退步一點(diǎn)點(diǎn)，一年下來的差距是非常巨大的。這就是復(fù)利效應(yīng)的威力，也是愛因斯坦所說的“人類第八大奇跡”。

A/B Test能產(chǎn)生確定性的增長(zhǎng)，正是因?yàn)閺?fù)利效應(yīng)。我們通過大量的A/B Test，總是會(huì)發(fā)現(xiàn)效果正向的A/B Test。每一個(gè)效果正向的A/B Test，都是上述復(fù)利效應(yīng)中的0.01。越多的正向效果的A/B Test，增長(zhǎng)的速度就會(huì)越快。

復(fù)利效應(yīng)要產(chǎn)生顯著的提升，有兩個(gè)關(guān)鍵點(diǎn)：一是“期數(shù)”要足夠多，這就要求要測(cè)出足夠多的正向效果的A/B Test；二是“提升率”要大，這就要求我們做A/B Test也要有取舍，優(yōu)先做那些能夠產(chǎn)生較大提升的。

如何做好A/B Test?

要做好A/B Test，需要注意以下幾個(gè)事項(xiàng)：

變量控制

控制每個(gè)實(shí)驗(yàn)組跟對(duì)照組之間是“單一變量”，這個(gè)是A/B Test的基礎(chǔ)。如果做不到單一變量，就無法進(jìn)行精準(zhǔn)歸因。A/B Test之所以能夠科學(xué)、精準(zhǔn)歸因，核心就是“單一變量”控制。

指標(biāo)選擇

在實(shí)際的A/B Test過程中，選擇合適的指標(biāo)來量化效果也是非常關(guān)鍵的。指標(biāo)選擇不恰當(dāng)，A/B Test的效果會(huì)大打折扣，甚至可能會(huì)得出錯(cuò)誤的結(jié)論。

以我們帶有免費(fèi)試用的會(huì)員訂閱類產(chǎn)品為例，我們?cè)趦?yōu)化用戶付費(fèi)轉(zhuǎn)化的過程中，總結(jié)出一些基本的原則：
（1）文案、UI這一類的實(shí)驗(yàn)，直接用點(diǎn)擊率作為核心指標(biāo)即可。一方面文案、UI直接影響的就是用戶的直觀感知，點(diǎn)擊率足夠反饋出感知層面的差異；另一方面，點(diǎn)擊率是一個(gè)非常及時(shí)的指標(biāo)，可以很快就拿到實(shí)驗(yàn)結(jié)果。
（2）交互類的實(shí)驗(yàn)，用免費(fèi)試用率作為核心指標(biāo)。這里也有兩個(gè)方面的考慮：一是因?yàn)榻换?huì)影響用戶路徑，用戶路徑會(huì)直接影響免費(fèi)試用這個(gè)核心轉(zhuǎn)化動(dòng)作；二是免費(fèi)試用率也是一個(gè)比較及時(shí)的指標(biāo)，可以比較快拿到實(shí)驗(yàn)結(jié)果。
（3）價(jià)格類的實(shí)驗(yàn)，用用戶價(jià)值作為核心指標(biāo)。因?yàn)閮r(jià)格會(huì)直接決定用戶會(huì)不會(huì)付費(fèi)、付費(fèi)了之后會(huì)不會(huì)再次續(xù)費(fèi)等，所以我們就不能簡(jiǎn)單地使用免費(fèi)試用率這個(gè)指標(biāo)來衡量這一類實(shí)驗(yàn)的效果了。這類實(shí)驗(yàn)，要考慮用戶的CAC和LTV，最終判斷ROI是否劃算。這里因?yàn)樯婕暗紺AC和LTV的計(jì)算，需要拿到用戶的實(shí)際付費(fèi)率和付費(fèi)之后的續(xù)費(fèi)率情況，因此，通常這類實(shí)驗(yàn)的周期會(huì)比較長(zhǎng)。但這個(gè)時(shí)間是必須要花的。

通過以上，我們可以總結(jié)出幾條在選擇實(shí)驗(yàn)指標(biāo)時(shí)的一些通用建議：
（1）優(yōu)先考慮指標(biāo)是否能準(zhǔn)確衡量實(shí)驗(yàn)效果
（2）在保證（1）的前提下，再考慮選擇盡量靠近用戶動(dòng)作，能夠盡快拿到結(jié)果的指標(biāo)

結(jié)果判斷

A/B Test跑起來之后，如何根據(jù)拿到的數(shù)據(jù)，判斷結(jié)果是正向的、還是負(fù)向的，也是非常重要的。這里有一個(gè)明確的標(biāo)準(zhǔn)，叫“具有統(tǒng)計(jì)學(xué)顯著性”，這是最為科學(xué)的做法。通常我們會(huì)取95%的置信度下，統(tǒng)計(jì)學(xué)顯著的結(jié)果，作為最終的判斷依據(jù)。

早期我們做法，是根據(jù)核心指標(biāo)是提升了、還是下降來做決策。這是剛開始做A/B Test很容易犯的一個(gè)錯(cuò)誤。這種做法的最大的問題是，實(shí)驗(yàn)樣本的大小，對(duì)于結(jié)果的可靠度影響會(huì)很大。有可能在小樣本上跑出來的結(jié)果，跟大樣本下的是不一樣的。復(fù)利效應(yīng)中，一個(gè)負(fù)向的增長(zhǎng)率，就很有可能把前面多個(gè)正向的增長(zhǎng)率給抵消掉。

數(shù)據(jù)分析

有些時(shí)候，我們拿到A/B Test的結(jié)果數(shù)據(jù)，跟我們的直觀印象差別會(huì)比較大。這時(shí)候，我們提倡不要迷信數(shù)據(jù)，而要敢于質(zhì)疑數(shù)據(jù)，這也是作為一個(gè)用戶增長(zhǎng)人員最基本的品質(zhì)。要數(shù)據(jù)驅(qū)動(dòng)，要以數(shù)據(jù)為決策的準(zhǔn)繩，但不能迷信數(shù)據(jù)，對(duì)于不符合直觀感覺的數(shù)據(jù)結(jié)果，要善于從多個(gè)維度，進(jìn)行交叉驗(yàn)證。最終，我們要拿到真正可信的結(jié)果，為增長(zhǎng)貢獻(xiàn)正向的“0.01”。

如何提升做A/B Test的效率？

A/B Test是數(shù)據(jù)驅(qū)動(dòng)用戶增長(zhǎng)的基礎(chǔ)方法論，如何能夠高效地做A/B Test對(duì)于用戶增長(zhǎng)工作是至關(guān)重要的。以下是根據(jù)我們過去的工作，總結(jié)的一些提升A/B Test效率的思考：

工欲善其事，必先利其器

工具對(duì)于效率的重要性，不言而語。我們?cè)缙谑亲约貉邪l(fā)了簡(jiǎn)單的A/B Test平臺(tái)，在少量實(shí)驗(yàn)的情況下還可以用，但實(shí)驗(yàn)比較多的時(shí)候，就捉襟見肘了。這一塊我的建議是，如果公司內(nèi)部沒有專業(yè)的做基礎(chǔ)平臺(tái)的團(tuán)隊(duì)，可以考慮直接使用市面上比較成熟的平臺(tái)，這樣可以少走不少?gòu)澛贰?/p>

用戶數(shù)據(jù)分析平臺(tái)，這個(gè)也是基礎(chǔ)平臺(tái)，通常如果要購(gòu)買第三方的A/B Test平臺(tái)，可以一起綜合考慮。沒有完備的用戶數(shù)據(jù)分析，對(duì)于實(shí)驗(yàn)結(jié)果進(jìn)行多維度交叉驗(yàn)證就比較難。而且這個(gè)平臺(tái)不只是對(duì)增長(zhǎng)團(tuán)隊(duì)有用，對(duì)于其它產(chǎn)品、研發(fā)、市場(chǎng)等人員都有用?；镜脑瓌t也是跟上面一樣，要謹(jǐn)慎決策是否要自己開發(fā)，自己團(tuán)隊(duì)沒有充足的研發(fā)資源的情況下，盡量采用第三方系統(tǒng)。

用技術(shù)提升效率

在實(shí)際做A/B Test的過程中，我們發(fā)現(xiàn)，如果每次做新的A/B Test都發(fā)版本的話，會(huì)非常影響效率。這時(shí)候，我們可以從技術(shù)角度思考，如何盡量讓一些常規(guī)的A/B Test，只需要一些內(nèi)部的參數(shù)配置，不用發(fā)布新版本，就可以進(jìn)行各種測(cè)試?；镜乃悸肥?，梳理出主要的轉(zhuǎn)化路徑上的頁面，對(duì)頁面上的關(guān)鍵元素進(jìn)行參數(shù)化重構(gòu)。就比如說，在訂閱頁面的核心的Banner圖，賣點(diǎn)文案，價(jià)格計(jì)劃，CTA按鈕的文案、樣式等，這些都可以做成動(dòng)態(tài)、可參數(shù)化配置的?；谶@樣的實(shí)現(xiàn)，我們做增長(zhǎng)的同學(xué)，就可以靈活地進(jìn)行各種測(cè)試，快速找到這些關(guān)鍵路徑上的最優(yōu)組合方案。把這些低垂之果快速撿完，然后再深入做進(jìn)一步的增長(zhǎng)策略。

OKR驅(qū)動(dòng)全員A/B Test

為了盡最大可能做盡可能多的A/B Test，我們?cè)诮M織層面也有一些思考。就比如我們的增長(zhǎng)團(tuán)隊(duì)有增長(zhǎng)產(chǎn)品經(jīng)理、有UI設(shè)計(jì)師等。我們給團(tuán)隊(duì)定的核心OKR就是圍繞A/B Test數(shù)量展開的，會(huì)從數(shù)量--上線的A/B Test數(shù)，質(zhì)量--最終取得正向效果的A/B Test數(shù)，這兩個(gè)維度給大家制定。我們的UI設(shè)計(jì)師，不再是單純地把產(chǎn)品經(jīng)理的方案視覺化，他們也會(huì)有一部分創(chuàng)造性的工作，思考如何從UI的角度出發(fā)，提供一些A/B Test的想法，促進(jìn)業(yè)務(wù)增長(zhǎng)。這樣的OKR設(shè)置，讓增長(zhǎng)團(tuán)隊(duì)的每一位同學(xué)都有非常明確的目標(biāo)，而且因?yàn)槊總€(gè)A/B Test都會(huì)有及時(shí)的數(shù)據(jù)反饋，大家的工作成就感也會(huì)比較高。

A/B Test可以在哪些場(chǎng)景中應(yīng)用？

如果我們要做一個(gè)全新的產(chǎn)品，有很多地方可以做A/B Test:
產(chǎn)品名字：可以通過在AppStore發(fā)不同名稱的包，對(duì)比用戶搜索結(jié)果點(diǎn)擊率
產(chǎn)品圖標(biāo)：可以通過在AppStore發(fā)不同圖標(biāo)的包，對(duì)比用戶搜索結(jié)果點(diǎn)擊率
AppStore截圖：AppStore已經(jīng)支持了多套圖進(jìn)行A/B Test的功能，可以直接做測(cè)試
AppStore描述：Google Play支持了對(duì)描述進(jìn)行A/B Test的功能，可以直接做測(cè)試
App主打賣點(diǎn)文案、圖片都可以用FB Ads進(jìn)行A/B Test，可以快速拿到一些相對(duì)好的結(jié)果
...

A/B Test本質(zhì)上是一種科學(xué)的數(shù)據(jù)驅(qū)動(dòng)決策的方法，它的應(yīng)用場(chǎng)景，絕對(duì)不能局限在用戶增長(zhǎng)領(lǐng)域。對(duì)于做產(chǎn)品而言，“Test Everything, Always Beta”， 才是正確的姿勢(shì)，也是很多成功的公司，像Amazon、字節(jié)等，經(jīng)過驗(yàn)證的增長(zhǎng)“利器”。