以下內(nèi)容重在描述解決的問題、大概思路和可能收益，詳細數(shù)學和細節(jié)參考引用論文。 1. 背景 AB實驗來自于來自科學又夾雜著玄學，下面是其中最常見的兩個玄學。 1.1. 發(fā)布決策...
發(fā)簡信
IP屬地：貴州
-
實驗流量分配與發(fā)布決策優(yōu)化 -
@fc2df0c89648 只是個人學習筆記，寫的不好?？梢匀タ丛?
2 大規(guī)模假設(shè)檢驗
2.1 貫穿本章的例子 一份用于研究前列腺癌與基因關(guān)系的數(shù)據(jù)：102個人中50個正常，52個是癌癥患者，統(tǒng)計每個人的6033個前列腺相關(guān)基因。數(shù)據(jù)用維的矩陣表示：則基因i的雙...
-
6 Theoretical, Permutation, and Empirical Null Distributions(不知道怎么翻譯標題好了……)在經(jīng)典的假設(shè)檢驗中，零假設(shè)的分布是魔鬼的代言人：觀察值必須超過的標準，以使科學界相信發(fā)生了一些有趣的事情（比如在零假設(shè)分布中超過1.96的中心距...
-
5 局部錯誤發(fā)現(xiàn)率經(jīng)典單case假設(shè)檢驗基于對統(tǒng)計量（p值）尾部的解釋。二戰(zhàn)后，多重檢驗繼續(xù)基于p值，并擴展到大規(guī)模假設(shè)檢驗，前面3和4章進行了介紹。然而即使控制了錯誤發(fā)現(xiàn)率，仍然與顯著性檢驗...
-
4 控制錯誤發(fā)現(xiàn)率4.1 正確與錯誤的發(fā)現(xiàn) 假設(shè)我們有一種決策方式，它對個假設(shè)決策如下： 則FWER為a大于0的概率，而 被稱為錯誤發(fā)現(xiàn)比率（false discovery proportio...
-
-
2 大規(guī)模假設(shè)檢驗2.1 貫穿本章的例子 一份用于研究前列腺癌與基因關(guān)系的數(shù)據(jù)：102個人中50個正常，52個是癌癥患者，統(tǒng)計每個人的6033個前列腺相關(guān)基因。數(shù)據(jù)用維的矩陣表示：則基因i的雙...
-
1 經(jīng)驗貝葉斯和James-Stein估計法最近接觸Efron大神的經(jīng)驗貝葉斯相關(guān)內(nèi)容，大受震撼！準備把Large-Scale Inference一書認真學習一遍，特此記錄。 1.1 貝葉斯規(guī)則和多元正態(tài)分布的估計 1...
-
SPRT可控制兩種錯誤的證明之前知道SPRT是什么和怎么用，但是不知道怎么證明它是對的，最近搞懂了記錄一下。 1. SPRT簡介 SPRT是在二戰(zhàn)中由Wald發(fā)明的，最初用于檢驗炮彈質(zhì)量。 如果X1, ...
-
SQR——LinkedIn平衡實驗速度、質(zhì)量和風險的框架背景 為了加速實驗迭代，需要兼顧：速度、質(zhì)量、風險，Linkin提出了SQR框架：SQR: Balancing Speed, Qality and Risk in Onlin...
-
-
現(xiàn)代貝葉斯與多臂老虎機背景 多臂老虎機是一個在探索(exploration)和開發(fā)(exploitation)過程中尋找最高收益的問題。此類“實驗”能力幾乎已經(jīng)成為了優(yōu)秀實驗平臺的標配。本篇是閱讀...
-
兩階段實驗統(tǒng)計學推斷為了選擇效果最好的方案，在進行A/B實驗中，經(jīng)常會同時設(shè)置多個實驗組，并且分別與對照組比較。這樣做會有兩個問題：1. 多重比較問題；2. 衡量效果時存在選擇性偏差。為了解決這...
-
因果推斷——準實驗法評估App新版本整體效果背景 做A/B實驗相關(guān)工作中遇到一些問題，其中之一就是如何判斷新版本對用戶影響，以前的做法：1.所有新功能都預埋開關(guān)(默認關(guān))，對新版本用戶隨機分桶后對實驗組開啟，用標準A/...
-
-
雙樣本經(jīng)驗貝葉斯檢驗
本文是對《Objective Bayesian Two Sample Hypothesis Testing forOnline Controlled Experiments》...
-
成組貫序分析——alpha消耗函數(shù)法
背景 進行一項某項藥物臨床實驗時，實驗關(guān)注的是藥物的正面效果，但是藥物也可能會有嚴重的副作用，如何進行監(jiān)控呢？衡量藥物是否有效通過假設(shè)檢驗來判斷，同理容易想到也可以通過假設(shè)檢...
-
ab實驗與Delta方法
背景 互聯(lián)網(wǎng)實驗一般使用基于正態(tài)分布模型的檢驗方法，但是在ab實驗中我們可能遇到這樣的情況：1.實驗結(jié)果分析，實驗組均值比對照組均值提升了10%，相對提升的置信區(qū)間是多少呢？...
