數(shù)據(jù)化驅(qū)動決策,A/B測試很靠譜!

本文導(dǎo)讀

一屋子人拍桌子瞪眼的爭辯到底哪個設(shè)計好?哪個文案好?哪個執(zhí)行策略有效,還不如讓真實的用戶和數(shù)據(jù)來告訴你答案。A/B測試是典型的數(shù)據(jù)化驅(qū)動決策,可以用于產(chǎn)品設(shè)計,電商銷售,網(wǎng)站規(guī)劃,網(wǎng)頁設(shè)計多個方面。”無測量,不市場“。一文告訴你A/B測試有多靠譜!


什么是A/B測試?

A/B測試(又被稱做拆分測試或水桶測試)通過把網(wǎng)頁或app的兩個不同版本進(jìn)行比較,來確定一個性能更好的方案。A/B測試其實可以看成一種實驗,將一個頁面的兩個或多個不同的版本隨機(jī)呈現(xiàn)給你的目標(biāo)用戶,通過對用戶行為的統(tǒng)計分析來確定哪個版本更利于目標(biāo)轉(zhuǎn)換。如果還是不能理解的話,給大家打個比方,比如吧你想推出一款新的蛋糕——芝士慕斯,然后你不知道口感軟滑細(xì)膩的還算是下點(diǎn)海鹽,味道帶有層次感會比較受顧客歡迎,這種情況下大規(guī)模推出新品有風(fēng)險,你就可以做兩大塊出來給顧客試吃,觀察他們在相同環(huán)境下吃蛋糕的反應(yīng)和收集口感評價,最后有調(diào)查有真相,更受歡迎的哪一款必須是首選。去實踐實踐總比想破腦殼子,或直接拍扳決定更有底氣些。


A/B測試一般可以用在你的網(wǎng)頁或者app的迭代問題上,直接拋出改變前后的不同版本,收集受影響的數(shù)據(jù)變化情況。這樣的測試也讓網(wǎng)頁優(yōu)化不再局限于猜測,拍腦門決策!而是通過數(shù)據(jù)化驅(qū)動決策,讓商務(wù)洽談中常聽到的“我們認(rèn)為”直接變成“據(jù)我們所知(我們調(diào)查了解到)”,是不是更有說服力了呢!通過變化前后效果監(jiān)測確保你所做的調(diào)整獲得更好的收效。


如何進(jìn)行A/B測試?

在A/B測試中,首先要修改調(diào)整網(wǎng)頁或者應(yīng)用程序的顯示界面,創(chuàng)建相同頁面的另一個版本。這個調(diào)整修改視具體情況而定,有可能是單一的某個標(biāo)題或按鈕,也可能是整個頁面的重新設(shè)計。接下來就是把不同的版本拋給你的用戶了??刂屏髁?!讓一半的用戶看到你的原始版本(稱之為控制組/對照組),讓另一半的用戶看到的是調(diào)整后的版本(稱之為變化組/試驗組)。


控制組和變化組不同的訪問者行為將會被監(jiān)測并通過數(shù)據(jù)統(tǒng)計分析工具進(jìn)行收集分析最后集中到一個數(shù)據(jù)分析儀表板中。之后你就可以根據(jù)該實驗的結(jié)果看到調(diào)整所帶來的效果是正是負(fù)?還是完全沒有影響。對比A/B兩組的用戶行為反饋情況,以此來更好的輔助你的決策。


為什么要開展A/B測試?

A/B測試讓個人,團(tuán)隊甚至是企業(yè)通過收集有關(guān)的數(shù)據(jù)結(jié)果,更有針對性,更有效的調(diào)整優(yōu)化用戶體驗。讓他們通過假說的構(gòu)建更好的了解他們實施的方案中到底是那些確定因素在影響著用戶行為。另一方面,他們針對給定目標(biāo)提出的優(yōu)化方案,通過A/B測試也許會發(fā)現(xiàn):oh,錯了!

A/B測試提升了確定性。這就更好解釋了,通過A/B測試,每次只有效果好了才會上線,也就意味著每次優(yōu)化都能比以前更好,無論是產(chǎn)品經(jīng)理的自信心、用戶的體驗還是投資人那里,咱都可以理直氣壯地說,我的每次更新,都比以前更好了。。。
A/B測試不僅可以用在單一解決方案的問題以及意見分歧的情況,它還能被持續(xù)用在既定方案的不斷調(diào)整優(yōu)化上,通過測試實踐提高實現(xiàn)單一目標(biāo)(隨時間推進(jìn)不斷提高轉(zhuǎn)化率)
舉個栗子,B2B技術(shù)公司可能想通過優(yōu)化銷售活動著陸頁來帶動提高他們的銷售額。為了實現(xiàn)這個目標(biāo),公司的技術(shù)團(tuán)隊可能對著陸頁的大標(biāo)題,主視覺,表單,行為呼喚(CTA),以及頁面的整體布局設(shè)計進(jìn)行A/B測試實驗。
及時的對所做的調(diào)整進(jìn)行測試能幫助他們更準(zhǔn)確的知道哪些調(diào)整對他們的用戶行為產(chǎn)生影響。之后,他們可以逐漸將測試中的較優(yōu)局部調(diào)整進(jìn)行整合,以期超越舊版本,實現(xiàn)基于用戶行為偏好的當(dāng)前最優(yōu)調(diào)整方案。

這樣直接把對照方案拋給用戶,能更好的達(dá)到預(yù)期的優(yōu)化效果以及讓營銷活動的關(guān)鍵步驟更有效。
測試廣告文案,營銷人員能夠了解到底哪個版本可以吸引更多的點(diǎn)擊,測試著陸頁,能夠知道怎樣的布局設(shè)計可以獲得更高的轉(zhuǎn)化率。如果每一個步驟每一個元素都被優(yōu)化以盡可能吸引新用戶,那么整體的營銷活動支出可以節(jié)省不少。

A/B測試還被產(chǎn)品開發(fā)設(shè)計人員用來測試產(chǎn)品新功能以及設(shè)計調(diào)整對用戶行為的影響。有確定的目標(biāo)或者一個明確的假設(shè),上線產(chǎn)品,用戶參與度,調(diào)試情況等都可以通過A/B測試來監(jiān)測。


A/B測試流程

下面??說說A/B測試的一個框架,告訴你如何開展:


  • 數(shù)據(jù)收集:首先是深入去了解挖掘你需要從哪里去展開優(yōu)化,數(shù)據(jù)的收集分析幫你找出流量大的地方來運(yùn)行測試你的網(wǎng)頁和應(yīng)用程序。這樣可以幫助你更快速的收集數(shù)據(jù)。找到界面中那些導(dǎo)致低轉(zhuǎn)化率高流失率的點(diǎn),以備優(yōu)化

  • 明確目標(biāo):轉(zhuǎn)化目標(biāo)是用來衡量你的調(diào)整版是否優(yōu)于原有版本的一個重要指標(biāo)。轉(zhuǎn)化目標(biāo)其實比較多樣化,有可能是某個按鈕的點(diǎn)擊率,產(chǎn)品購買鏈接的跳轉(zhuǎn)率,或者是郵件注冊率等等。

  • 提出假設(shè):當(dāng)你有了明確的目標(biāo)后就可以開始著手進(jìn)行A/B測試,提出為什么你認(rèn)為調(diào)整改變版本會比原版本好的系列假設(shè)想法。再根據(jù)預(yù)期效果和實施難易程度來考慮哪一個優(yōu)先展開。

  • 構(gòu)建調(diào)整:使用A/B測試軟件(例如Optimizely),按照提出的假設(shè)對你的網(wǎng)站或者移動APP界面的一些元素進(jìn)行調(diào)整??赡苁歉淖儼粹o的顏色,換一下頁面交互元素的位置,隱藏導(dǎo)航欄,或者是添加一些完全自定義的元素。很多A/B測試工具都有視覺編輯器,調(diào)整起來很簡單。確保你的測試質(zhì)量以保證測試按預(yù)期展開。

  • 測試運(yùn)行:好了結(jié)束調(diào)整后就開始等待你的用戶參與進(jìn)來。在這一環(huán)節(jié),你的訪問者會隨機(jī)分配到你的網(wǎng)頁或app的不同版本(控制組和變化組)。在這個過程中他們的交互行為會被直接監(jiān)測,收集以便用于后面不同版本運(yùn)行效果的分析。

  • 分析結(jié)果:實驗到這里也就完成了,下面就得開始分析一下結(jié)果。A/B測試軟件會通過收集的數(shù)據(jù)分析告訴你兩個版本運(yùn)行過程中用戶行為的差異,以及是否具有統(tǒng)計學(xué)的差異顯著性。
    如果結(jié)果顯示你的優(yōu)化是有效的,那恭喜你,你可以將實驗得出的經(jīng)驗用在你其他的網(wǎng)頁上,而且可以嘗試產(chǎn)品的持續(xù)迭代,優(yōu)化方案獲取更好的運(yùn)行效果;如果結(jié)果顯示:無效甚至更糟糕,那么也不要沮喪,就當(dāng)贊經(jīng)驗,分析提出新假設(shè)在去實驗一下。

    無論結(jié)果如何,吸取經(jīng)驗教訓(xùn),為后面測試優(yōu)化你的網(wǎng)頁以及應(yīng)用程序的不斷迭代攢姿勢!

    A/B測試&SEO搜索引擎優(yōu)化

    谷歌允許甚至是鼓勵A(yù)/B測試。而且明確指出實行A/B測試或多元測試不會對你的網(wǎng)頁搜索排名造成潛在風(fēng)險。但是如果濫用A/B測試工具比如說一些障眼法肯定是會對你的網(wǎng)站排名造成危害。谷歌詳細(xì)闡明了一些做法來確保這些情況不會發(fā)生

  • 不允許偽裝:偽裝指的是通過搜索引擎顯示不同于普通訪客所能看到的內(nèi)容。這樣的做法會讓你的網(wǎng)站被降級或移除搜索結(jié)果。為了防止這種做法,不允許將訪客細(xì)分用在基于用戶代理和IP地址的Googlebot上,以顯示差異化內(nèi)容。

  • 使用rel=”canonical”:如果你想運(yùn)行多個URL的分割測試,你得使用rel=”canonical”的屬性將調(diào)整版本鏈到原始版本的頁面。這樣可以避免Googlebot對同個頁面的多個版本產(chǎn)生混淆。

  • 使用302重新調(diào)配定向代替301s:如果你運(yùn)行測試將原始URL重新調(diào)配到變化組的URL,使用的是302暫時調(diào)配或301永久調(diào)配。但在測試中搜索引起例如谷歌會采用的重調(diào)是暫時性的。他們會保持原有的網(wǎng)址搜索而不是測試的URL。

  • 根據(jù)需要運(yùn)行實驗:服務(wù)的用戶量影響運(yùn)行時間。而且當(dāng)你的測試結(jié)束會刪去所有測試變化的網(wǎng)址,以避免不必要的長時間運(yùn)行

    A/B測試思路

    下面是一些A/B測試的思路,怎樣進(jìn)行測試最好是因行業(yè)而異不同行業(yè)有不同的做法,所以??垂直分解一些A/B測試的思路

    媒介公司:

    需要擴(kuò)大讀者群,增加用戶在其網(wǎng)頁上的停留時間,并且通過社會化分享提高其文章的曝光度,為了實現(xiàn)這些目標(biāo)他們可能會對以下的內(nèi)容進(jìn)行測試:

  • 郵件注冊情感動員

  • 推薦內(nèi)容

  • 社交分享按鈕

    旅行公司:

    可能需要增加在他們網(wǎng)站或app上成功完成預(yù)定率,以及希望增加配套產(chǎn)品采購。為了提高這些指標(biāo),他們會測試:

  • 首頁搜索情況

  • 搜索結(jié)果頁面

  • 配套產(chǎn)品介紹

    電子商務(wù)公司:

    需要增加完全交易量,平均訂單價值,增加節(jié)日銷售量,所有他們會測試:

  • 首頁促銷

  • 導(dǎo)航欄

  • 結(jié)算組建

    科技公司:

    需要增加銷售團(tuán)隊的高質(zhì)引導(dǎo),免費(fèi)用戶試用數(shù)量。西永目標(biāo)消費(fèi)者:

  • 引導(dǎo)窗體組件

  • 免費(fèi)試用申請流程

  • 首頁信息和行為呼喚(CTA)

    產(chǎn)品層面:

    A/B測試在產(chǎn)品層面的應(yīng)用主要是通過“灰度發(fā)布”來實現(xiàn)的。
    就目前移動端的產(chǎn)品來說,iOS的應(yīng)用商店審核期是個大大大坑,任何BUG打補(bǔ)丁還得再來一遍,也就意味著補(bǔ)丁的審核期內(nèi)用戶帶著BUG使用,這個太致命了,用戶的獲取成本高的嚇人,因為這個流失太不值得了,基于A/B測試的灰度發(fā)布更重要的不是優(yōu)化,而是保護(hù)性發(fā)布,先通過小流量的實際用戶測試,有BUG或者新版本體驗不好,可以立即回滾到老版本,簡單有效。(來源:知乎王冉)

    A/B測試案例:


    Airbnb利用灰度發(fā)布和 A/B testing;重要頁面的修改和流程上的調(diào)優(yōu),通過灰度發(fā)布到 1%或者 5%的用戶,看其實際對用戶的數(shù)據(jù)影響(訪問時間增加?留存提高?下單率提高等),決定此修改到底是 100%發(fā)布還是被砍掉。




  • 編譯原文鏈接:https://www.optimizely.com/ab-testing/


    ?
    最后編輯于
    ?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
    【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
    平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

    相關(guān)閱讀更多精彩內(nèi)容

    友情鏈接更多精彩內(nèi)容