1. 別急著開實(shí)驗(yàn)先把A/B test到底在解決什么問題想清楚我第一次正經(jīng)跑A/B test是在一個(gè)電商項(xiàng)目上。當(dāng)時(shí)我把商品詳情頁的按鈕從加入購物車改成立即購買跑了三天實(shí)驗(yàn)組轉(zhuǎn)化率高出對(duì)照組整整0.6個(gè)百分點(diǎn)我興沖沖地推動(dòng)上線。結(jié)果上線兩周后大盤轉(zhuǎn)化率紋絲不動(dòng)甚至還微跌了一點(diǎn)。復(fù)盤的時(shí)候我才發(fā)現(xiàn)那三天的勝利根本站不住腳——每天的樣本量只有一千出頭0.6個(gè)百分點(diǎn)的差距完全落在隨機(jī)波動(dòng)的范圍里。這件事給了我一個(gè)很深的教訓(xùn)A/B test不是跑兩個(gè)版本看誰數(shù)字高它是一門關(guān)于因果推斷的手藝做不好你拿到的不過是自己騙自己的噪聲。所謂A/B test本質(zhì)上是一次受控實(shí)驗(yàn)。你把流量隨機(jī)切成兩組一組看到舊版本對(duì)照組Control一組看到新版本實(shí)驗(yàn)組Treatment除了你要驗(yàn)證的那一個(gè)變量之外其余條件盡量保持一致然后比較兩組在關(guān)鍵指標(biāo)上的差異。它的目標(biāo)只有一個(gè)判斷這個(gè)改動(dòng)和指標(biāo)變化之間到底有沒有因果關(guān)系而不是僅僅存在相關(guān)關(guān)系。這跟藥廠做雙盲臨床試驗(yàn)的思路是一模一樣的只不過藥廠用的是病人我們用的是用戶。這里有個(gè)特別容易被混淆的點(diǎn)。日常做數(shù)據(jù)分析我們經(jīng)?？吹皆缟匣钴S的用戶轉(zhuǎn)化率更高然后有人就說那我們?cè)缟隙嗤苹顒?dòng)吧。這是典型的相關(guān)性誤讀——早上活躍的人可能本身就是重度用戶轉(zhuǎn)化率高跟早上沒關(guān)系。A/B test的價(jià)值就在于它用隨機(jī)化把這種混雜因素洗掉了兩組用戶的構(gòu)成在期望上是相同的唯一的系統(tǒng)性差別就是你改的那個(gè)東西。這就是它能談因果的底氣。1.1 A/B test解決的從來不是數(shù)據(jù)對(duì)比而是因果歸屬很多新手把A/B test理解成一個(gè)對(duì)比工具覺得只要兩組數(shù)字?jǐn)[在一起誰高誰就好。這個(gè)理解是有問題的。我舉個(gè)例子假設(shè)你想驗(yàn)證一種新肥料能不能讓莊稼增產(chǎn)你在地的東邊施了新肥西邊用老肥結(jié)果東邊收成好。你能直接下結(jié)論說新肥有效嗎不能——因?yàn)闁|邊那塊地可能光照更好、土壤更肥、離水渠更近。你比較的不是肥料這一個(gè)變量你把地塊的差異也一起比進(jìn)去了。A/B test要做的恰恰是把光照、土壤、水渠這些干擾項(xiàng)通過隨機(jī)分配抹平。當(dāng)用戶是被隨機(jī)分到兩組的那么所有你能想到和想不到的特征——年齡、設(shè)備、地域、使用習(xí)慣、甚至今天心情——都會(huì)在兩組之間大致均衡分布。這樣一來兩組之間剩下的系統(tǒng)性差異理論上就只有你的那個(gè)改動(dòng)。這就是因果歸屬的含義我們把指標(biāo)的差異歸因到了那個(gè)唯一的干預(yù)上。所以判斷一次實(shí)驗(yàn)值不值得做有個(gè)很簡單的自問我能不能隨機(jī)地把用戶分到不同的體驗(yàn)里并且保證除了我要測的改動(dòng)之外其他都不一樣如果答案是肯定的那A/B test適合你如果答案是否定的你需要考慮別的因果推斷方法。1.2 一個(gè)合格的實(shí)驗(yàn)必須同時(shí)滿足的三個(gè)條件我梳理了一下一個(gè)能得出可信結(jié)論的實(shí)驗(yàn)至少要滿足下面三條缺一條結(jié)論就會(huì)打折扣。隨機(jī)化分配。這是整個(gè)實(shí)驗(yàn)的地基。隨機(jī)化不是說隨便分而是要求每個(gè)用戶被分到任意一組的概率是已知且相等的通常是各50%。工程上我們一般用哈希函數(shù)基于用戶ID來分流而不是用隨機(jī)數(shù)——因?yàn)橛脩艨赡軙?huì)刷新頁面、跨設(shè)備訪問用隨機(jī)數(shù)會(huì)導(dǎo)致同一個(gè)人一會(huì)兒看到A一會(huì)兒看到B體驗(yàn)割裂數(shù)據(jù)也被污染。哈希分流的妙處在于同一個(gè)用戶ID永遠(yuǎn)落在同一組穩(wěn)定且可復(fù)現(xiàn)。平行對(duì)照。實(shí)驗(yàn)組和對(duì)照組必須在同一時(shí)間段并行運(yùn)行。這一點(diǎn)經(jīng)常被忽視。有些團(tuán)隊(duì)圖省事先跑一周舊版本再跑一周新版本這叫前后對(duì)比而不是A/B test。問題是這兩周之間可能發(fā)生了太多別的事節(jié)假日、競品動(dòng)作、天氣、系統(tǒng)故障、大盤自然波動(dòng)。你根本分不清指標(biāo)變化是新版本帶來的還是時(shí)間帶來的。單一變更與可解釋性。理想情況下一次實(shí)驗(yàn)只改一個(gè)變量。如果你既改了按鈕文案、又換了按鈕顏色、還調(diào)整了頁面布局那么就算指標(biāo)漲了你也不知道是哪個(gè)改動(dòng)起的作用下次想復(fù)用都沒法復(fù)用。當(dāng)然現(xiàn)實(shí)里產(chǎn)品迭代往往是一起打包上線的這時(shí)候就需要退一步接受我測的是這個(gè)整包方案但心里要清楚你是沒法拆解貢獻(xiàn)度的。1.3 什么時(shí)候不該用A/B testA/B test不是萬能藥。這幾年我看到不少人硬把A/B test往不合適的場景上套結(jié)果做出來的結(jié)論比不做還危險(xiǎn)。第一類是無法隨機(jī)化的場景。比如你想評(píng)估一次品牌廣告投放的效果你沒法隨機(jī)地把用戶分組然后強(qiáng)迫一部分人看電視廣告、另一部分人不看。再比如監(jiān)管政策變更、價(jià)格體系調(diào)整這類全局性動(dòng)作一旦上線就是全體生效壓根切不出對(duì)照組。第二類是樣本量嚴(yán)重不足。你的產(chǎn)品一天只有幾百個(gè)UV還指望測出1%的提升這在統(tǒng)計(jì)上是不可能的任務(wù)。后面我會(huì)算給你看一個(gè)10%基線的指標(biāo)要測出1個(gè)百分點(diǎn)的絕對(duì)提升每組需要一萬五千左右的樣本。流量不夠你跑一個(gè)月也攢不齊。第三類是倫理或體驗(yàn)風(fēng)險(xiǎn)。比如涉及退款政策、隱私相關(guān)的改動(dòng)把一部分用戶分到更差的版本里可能帶來投訴或者合規(guī)風(fēng)險(xiǎn)這時(shí)候要謹(jǐn)慎評(píng)估。面對(duì)這些場景你可以考慮傾向得分匹配、斷點(diǎn)回歸、雙重差分DID或者切換實(shí)驗(yàn)Switchback Test——切換實(shí)驗(yàn)的思路是讓整個(gè)大盤在不同時(shí)間片上交替使用新舊版本用時(shí)間做對(duì)照特別適合那些沒法切用戶、只能整體切換的場景比如推薦算法的大盤調(diào)度。這些方法各有各的假設(shè)比A/B test更容易被質(zhì)疑但總比拍腦袋強(qiáng)。2. 統(tǒng)計(jì)學(xué)地基p值、置信區(qū)間和它們被誤讀的一百種方式聊完為什么做接下來必須啃下統(tǒng)計(jì)學(xué)這塊硬骨頭。我見過太多人實(shí)驗(yàn)工具用得飛起報(bào)表拉得漂漂亮亮但你問他p值是0.03是什么意思他答不上來。這就像開車不看儀表盤遲早要出事。這一節(jié)我會(huì)盡量用人話把這些概念講透不講公式推導(dǎo)只講它們?cè)趯?shí)際決策里怎么用、以及最容易踩的認(rèn)知陷阱。2.1 零假設(shè)與備擇假設(shè)先假定改了沒用假設(shè)檢驗(yàn)的邏輯跟我們?nèi)粘Ｖ庇X是反著來的。我們平時(shí)想證明新版本更好但統(tǒng)計(jì)學(xué)要求你先假定新版本沒有任何效果然后看數(shù)據(jù)是否強(qiáng)烈到能推翻這個(gè)假定。這個(gè)先假定沒用的說法就叫零假設(shè)Null HypothesisH0。對(duì)應(yīng)的**備擇假設(shè)Alternative HypothesisH1**才是你想證明的東西——新版本跟舊版本有差異。整個(gè)檢驗(yàn)過程就是在H0成立的前提下計(jì)算出觀察到當(dāng)前這么極端的數(shù)據(jù)的概率有多大這個(gè)概率就是p值。如果這個(gè)概率特別小我們就說在H0成立的前提下出現(xiàn)這種數(shù)據(jù)的可能性太低了所以H0大概率不成立我們拒絕它。打個(gè)比方。你懷疑一枚硬幣被做了手腳于是先假定它是公平的H0。然后你拋了100次發(fā)現(xiàn)60次正面。如果你拋出來是50次正面左右那很正常啥也說明不了但60次正面就有點(diǎn)反常了。假設(shè)檢驗(yàn)要回答的就是如果硬幣真的公平拋100次出現(xiàn)60次及以上正面的概率有多大這個(gè)概率算出來大概是2.8%如果你事先設(shè)定的門檻是5%那這個(gè)概率小于門檻你就可以拒絕公平這個(gè)假設(shè)。關(guān)鍵點(diǎn)在于我們永遠(yuǎn)不能證明H1成立只能說H0在數(shù)據(jù)面前站不住腳。這兩者聽起來差不多實(shí)際上差著十萬八千里后面講p值誤讀的時(shí)候你會(huì)有更深的體會(huì)。2.2 第一類錯(cuò)誤、第二類錯(cuò)誤你要防的是哪一個(gè)只要是基于樣本做推斷就一定會(huì)犯錯(cuò)因?yàn)槟憧吹牟皇侨慷浅闃?。錯(cuò)誤分兩種我習(xí)慣用一個(gè)法庭類比來記第一類錯(cuò)誤Type I Error假陽性H0其實(shí)是對(duì)的你卻拒絕了它。翻譯到法庭上就是這個(gè)人無罪你卻判他有罪。翻譯到A/B test里就是新版本其實(shí)沒用你卻說它有用把它上線了。犯這個(gè)錯(cuò)的概率就是顯著性水平α通常設(shè)成0.05意思是我容忍5%的概率誤把一個(gè)無效的改動(dòng)當(dāng)成有效的。第二類錯(cuò)誤Type II Error假陰性H0其實(shí)是錯(cuò)的你卻沒有拒絕它。法庭版本是這個(gè)人有罪你卻把他放了。A/B test版本是新版本確實(shí)有效但你樣本不夠或者運(yùn)氣不好沒測出來把它砍掉了。犯這個(gè)錯(cuò)的概率記作β通常設(shè)成0.2意思是我容忍20%的概率漏掉一個(gè)真實(shí)有效的改動(dòng)。由此衍生出兩個(gè)核心概念顯著性水平α決定了你判錯(cuò)案的門檻**統(tǒng)計(jì)功效Power 1 - β**決定了你抓得住真兇的能力。功效0.8意味著如果新版本真的有我們預(yù)期的那么大效果這次實(shí)驗(yàn)有80%的概率能把它識(shí)別出來。這里有個(gè)我特別想強(qiáng)調(diào)的取舍α和β是此消彼長的。你把α調(diào)得更嚴(yán)比如從0.05降到0.01假陽性是少了但同樣的樣本量下功效會(huì)下降假陰性會(huì)變多。所以你不能單方面貪心地要求兩樣都低要么就得加樣本。這個(gè)權(quán)衡是每個(gè)實(shí)驗(yàn)設(shè)計(jì)者必須做的選擇題。概念含義常用取值業(yè)務(wù)含義α顯著性水平容忍假陽性的概率0.05誤把無效改動(dòng)當(dāng)有效的風(fēng)險(xiǎn)β第二類錯(cuò)誤率容忍假陰性的概率0.2漏掉真實(shí)有效改動(dòng)的風(fēng)險(xiǎn)Power統(tǒng)計(jì)功效1 - β0.8能識(shí)別出真實(shí)效果的概率p值H0成立時(shí)觀測到當(dāng)前數(shù)據(jù)的概率與α比較越小越反常注意α0.05不是鐵律。如果你的產(chǎn)品改動(dòng)上線成本極高、一旦錯(cuò)了損失巨大比如涉及資金、支付、核心算法那把α設(shè)到0.01甚至更嚴(yán)是合理的。反之如果只是文案小改錯(cuò)上線成本很低放寬到0.1也能接受。2.3 p值到底是什么以及它不是什么p值是這幾年被罵得最慘的統(tǒng)計(jì)指標(biāo)問題不在它本身而在它被濫用。我用一句話給它定個(gè)性p值是在改動(dòng)完全無效這個(gè)假設(shè)下你觀測到的或更極端的數(shù)據(jù)出現(xiàn)的概率。注意是數(shù)據(jù)的概率不是假設(shè)為真的概率。最常見的誤讀有四種我一個(gè)個(gè)拆。第一種誤讀p0.03意味著新版本有97%的概率更好。錯(cuò)。p值說的是數(shù)據(jù)不是假設(shè)。它沒有給你任何關(guān)于新版本更好這個(gè)命題為真的概率。要得到那種概率你得用貝葉斯方法那是另一套體系。第二種誤讀p0.05說明新版本沒用。錯(cuò)得離譜。p0.05只說明數(shù)據(jù)不足以證明有差異它可能是真的沒差異也可能是樣本不夠沒測出來。統(tǒng)計(jì)學(xué)上有個(gè)說法叫absence of evidence is not evidence of absence翻譯過來就是沒有證據(jù)不等于證據(jù)不存在。我吃過這個(gè)虧一個(gè)真實(shí)的提升因?yàn)闃颖玖繘]算夠p0.08被判了不顯著直接砍掉后來補(bǔ)足樣本重測發(fā)現(xiàn)效果是真的。第三種誤讀p值越小效果越大。p值大小同時(shí)受效果大小和樣本量影響。一個(gè)微乎其微的效果只要樣本量足夠大也能得到極小的p值。反過來一個(gè)巨大的效果在小樣本下p值可能也不小。所以看p值一定要配套看效應(yīng)量也就是提升幅度本身。第四種誤讀p0.05就代表業(yè)務(wù)上值得上線。這更是把統(tǒng)計(jì)顯著和業(yè)務(wù)顯著混為一談。統(tǒng)計(jì)顯著只代表這個(gè)差異不太可能是巧合但差異本身可能只有0.05%用戶根本感知不到上線投入的人力還不如省省。給不給上線得看這個(gè)提升帶來的收益能不能覆蓋開發(fā)成本這是業(yè)務(wù)判斷不是統(tǒng)計(jì)判斷。2.4 置信區(qū)間比p值更好用如果讓我只能選一個(gè)指標(biāo)來看實(shí)驗(yàn)結(jié)果我會(huì)選置信區(qū)間Confidence IntervalCI而不是p值。為什么呢因?yàn)閜值只告訴你有沒有差異而置信區(qū)間同時(shí)告訴你差異大概有多大、以及有多不確定。95%置信區(qū)間的準(zhǔn)確含義比較繞如果你把這個(gè)實(shí)驗(yàn)重復(fù)無數(shù)次每次都算一個(gè)95%置信區(qū)間那么這些區(qū)間里大約95%會(huì)包含真實(shí)的效應(yīng)值。對(duì)單次實(shí)驗(yàn)來說我們通常就說真實(shí)效應(yīng)有95%的把握落在這個(gè)范圍內(nèi)。舉個(gè)例子假設(shè)實(shí)驗(yàn)組比對(duì)照組轉(zhuǎn)化率提升了1個(gè)百分點(diǎn)95%置信區(qū)間是[0.2%, 1.8%]。這個(gè)區(qū)間完全在0的右側(cè)說明效果是正向的且統(tǒng)計(jì)顯著。同時(shí)你還能看到最樂觀的情況提升1.8%最保守也有0.2%。如果最保守的這個(gè)下界你也能接受那這個(gè)改動(dòng)就值得上線。要是區(qū)間是[-0.5%, 2.5%]跨過了0那就說明方向都不確定別提上線了。我個(gè)人的習(xí)慣是看實(shí)驗(yàn)結(jié)論必看三樣點(diǎn)估計(jì)提升幅度、置信區(qū)間、p值。三者放在一起看一個(gè)實(shí)驗(yàn)到底贏了多少、穩(wěn)不穩(wěn)基本就清晰了。光看p值是典型的只見樹木不見森林。3. 開跑之前必須算的賬樣本量與統(tǒng)計(jì)功效實(shí)驗(yàn)設(shè)計(jì)里最容易被跳過的一步就是提前算樣本量。很多人是先跑起來再說跑幾天看看結(jié)果要么樣本不夠下不了結(jié)論要么白白浪費(fèi)兩周流量。我把話放這兒不提前算樣本量的實(shí)驗(yàn)大概率是浪費(fèi)。這一節(jié)我把怎么算、算完怎么用、以及怎么少花流量也能測準(zhǔn)都講一遍。3.1 決定樣本量的四個(gè)參數(shù)樣本量不是拍腦袋定的它是被四個(gè)參數(shù)唯一確定的。想清楚這四個(gè)樣本量就是個(gè)填空題。基線轉(zhuǎn)化率p對(duì)照組當(dāng)前的指標(biāo)水平。比如當(dāng)前下單轉(zhuǎn)化率是10%。最小可檢測效應(yīng)Minimum Detectable EffectMDE你能接受的最小有意義提升。這個(gè)要慎重定。定得太小比如0.1%樣本量會(huì)爆炸定得太大比如50%的相對(duì)提升那大多數(shù)正常的改動(dòng)都達(dá)不到實(shí)驗(yàn)永遠(yuǎn)不顯著。我的經(jīng)驗(yàn)是MDE通常取相對(duì)提升5%~20%具體看業(yè)務(wù)改版動(dòng)作大就定得大一點(diǎn)精細(xì)化調(diào)優(yōu)就定得小一點(diǎn)。顯著性水平α一般是0.05對(duì)應(yīng)雙側(cè)檢驗(yàn)的z值約1.96。統(tǒng)計(jì)功效1-β一般是0.8對(duì)應(yīng)z值約0.84。把這四個(gè)參數(shù)代進(jìn)公式就能算出每組需要的樣本量。下面這個(gè)公式適用于比較兩個(gè)比例的經(jīng)典場景n 2 × (z_{1-α/2} z_{1-β})2 × p? × (1 - p?) / Δ2 其中 n 每組所需樣本量 p? 兩組基線率的平均值 (p_control p_treatment) / 2 Δ 絕對(duì)效應(yīng)量 p_treatment - p_control z 標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)如果嫌麻煩業(yè)內(nèi)有個(gè)很好用的近似式每組樣本量 ≈ 16 × p × (1-p) / Δ2這個(gè)16就是把(1.960.84)2≈7.84再乘2湊整來的算出來的結(jié)果跟精確公式差不了多少做快速估算非常夠用。3.2 手把手算一遍從10%基線到1%絕對(duì)提升光說公式太空我們算一遍實(shí)際數(shù)字你感受一下樣本量到底有多大。場景對(duì)照組基線轉(zhuǎn)化率10%我們希望檢測出**相對(duì)提升10%**的效果也就是絕對(duì)提升1個(gè)百分點(diǎn)即實(shí)驗(yàn)組目標(biāo)為11%。取α0.05功效0.8。代入公式p? (0.10 0.11) / 2 0.105p? × (1 - p?) 0.105 × 0.895 0.093975Δ 0.11 - 0.10 0.01Δ2 0.0001z_{0.975} 1.96z_{0.80} 0.8416兩者之和 2.8016平方 ≈ 7.849所以n 2 × 7.849 × 0.093975 / 0.0001 15.698 × 0.093975 / 0.0001 ≈ 14752結(jié)果是每組約14750人兩組合計(jì)約3萬人。用近似公式驗(yàn)證一下16 × 0.093975 / 0.0001 ≈ 15036跟精確值非常接近可見這個(gè)近似式足夠靠譜?？吹竭@個(gè)數(shù)字你應(yīng)該對(duì)樣本量有點(diǎn)敬畏了。如果你的產(chǎn)品每天轉(zhuǎn)化用戶只有500個(gè)那這個(gè)實(shí)驗(yàn)光是攢樣本就要攢上近60天。這時(shí)候你有兩個(gè)選擇要么把MDE放大比如只關(guān)心20%以上的相對(duì)提升要么想辦法提高實(shí)驗(yàn)的靈敏度。前者是妥協(xié)后者是技術(shù)活。用Python寫個(gè)小工具幾行就能算from scipy.stats import norm def sample_size_per_group(p_base, mde_rel, alpha0.05, power0.8): p_base : 對(duì)照組基線轉(zhuǎn)化率例如 0.10 mde_rel : 相對(duì)提升幅度例如 0.10 表示提升10% alpha : 顯著性水平 power : 統(tǒng)計(jì)功效 p_treat p_base * (1 mde_rel) p_bar (p_base p_treat) / 2 delta p_treat - p_base z_alpha norm.ppf(1 - alpha / 2) z_beta norm.ppf(power) n 2 * (z_alpha z_beta) ** 2 * p_bar * (1 - p_bar) / delta ** 2 return int(n) 1 # 向上取整 print(sample_size_per_group(0.10, 0.10)) # 約 14753 print(sample_size_per_group(0.10, 0.20)) # 相對(duì)提升20%樣本量驟降你可以自己跑一下會(huì)發(fā)現(xiàn)相對(duì)提升20%時(shí)樣本量幾乎只有提升10%時(shí)的四分之一。這也解釋了為什么大改動(dòng)往往更容易測出效果——不是因?yàn)榇蟾膭?dòng)一定更好而是因?yàn)榇蟾膭?dòng)更容易被檢測到。提示如果你做的是連續(xù)型指標(biāo)比如人均停留時(shí)長、客單價(jià)樣本量公式不一樣它依賴的是指標(biāo)的方差而不是比例。但思路完全一致方差越大、MDE越小需要的樣本越多。業(yè)界通用的估算工具如在線樣本量計(jì)算器一般都支持這兩種類型。3.3 實(shí)驗(yàn)要跑多久別讓周期毀掉結(jié)論算出每組樣本量之后還要把它換算成跑幾天。這一步的坑特別多。首先用你產(chǎn)品的日活或日均落入實(shí)驗(yàn)的用戶數(shù)除一下就知道大概需要多少天。但這里有個(gè)隱藏殺手用戶行為的周期性。工作日和周末用戶的下單行為可能天差地別月初發(fā)工資那幾天和月末消費(fèi)傾向也不一樣。如果你的實(shí)驗(yàn)只跑了工作日或者橫跨了一個(gè)大促那結(jié)論很可能是被周期性因素污染的。所以我的建議是實(shí)驗(yàn)周期至少覆蓋一個(gè)完整的周7天最好能覆蓋兩周。這樣每周各天的差異會(huì)被平均掉。如果你的業(yè)務(wù)有明顯的月度周期理論上最好覆蓋一個(gè)月但那往往不現(xiàn)實(shí)這時(shí)候就退而求其次保證覆蓋整周并在結(jié)論里標(biāo)注未覆蓋月度周期。第二個(gè)坑是實(shí)驗(yàn)啟動(dòng)的初期污染。用戶剛進(jìn)入新版本時(shí)行為可能有新鮮感效應(yīng)——短時(shí)間內(nèi)點(diǎn)擊率暴漲過幾天又回落。或者反過來老用戶突然看到界面變了產(chǎn)生排斥。這類效應(yīng)一般持續(xù)幾天所以實(shí)驗(yàn)也不要只看第一天。第三個(gè)坑是用戶首次進(jìn)入實(shí)驗(yàn)的時(shí)間。要確保實(shí)驗(yàn)組的用戶和對(duì)照組的用戶是在同一個(gè)時(shí)間窗口里首次接觸到版本的否則一個(gè)跑了三天、一個(gè)跑了七天樣本構(gòu)成就不一樣了這叫新鮮度偏差。3.4 提升靈敏度的幾個(gè)實(shí)用手段當(dāng)你流量不夠、又不想放大MDE的時(shí)候還有一招降低指標(biāo)方差也就是讓同樣的效果更容易被看見。這在統(tǒng)計(jì)上叫方差縮減Variance Reduction。我介紹幾個(gè)我實(shí)際用過、比較靠譜的。CUPEDControlled-experiment Using Pre-Experiment Data這個(gè)方法是微軟提出來的思路很巧妙。它利用實(shí)驗(yàn)開始之前的用戶行為數(shù)據(jù)作為協(xié)變量來修正實(shí)驗(yàn)期指標(biāo)。比如你知道每個(gè)實(shí)驗(yàn)用戶在實(shí)驗(yàn)前的歷史下單次數(shù)就可以用這個(gè)歷史值把實(shí)驗(yàn)期指標(biāo)的方差抽掉一部分。效果非常顯著我實(shí)測下來方差經(jīng)常能降低30%~50%等效于把樣本量需求砍掉一大截。代碼上也不難核心就幾行回歸調(diào)整。import numpy as np def cuped_adjust(y, x, thetaNone): y : 實(shí)驗(yàn)期指標(biāo)比如是否下單 x : 實(shí)驗(yàn)前協(xié)變量比如實(shí)驗(yàn)前7天下單次數(shù) theta : 調(diào)整系數(shù)默認(rèn)用 Cov(y,x)/Var(x) 估計(jì) if theta is None: theta np.cov(y, x)[0, 1] / np.var(x) return y - theta * (x - np.mean(x)) # 對(duì)實(shí)驗(yàn)組和對(duì)照組的 y 都做調(diào)整后再做檢驗(yàn)配對(duì)設(shè)計(jì)把特征相似的用戶配對(duì)然后一對(duì)里隨機(jī)一個(gè)進(jìn)實(shí)驗(yàn)組、一個(gè)進(jìn)對(duì)照組。這樣組間差異會(huì)小很多但工程實(shí)現(xiàn)復(fù)雜一般大規(guī)模實(shí)驗(yàn)用不上。更敏感的指標(biāo)有時(shí)候主指標(biāo)太粗比如是否下單這種0/1指標(biāo)方差天然就大。你可以換成更細(xì)的代理指標(biāo)比如加購次數(shù)、頁面停留時(shí)長這些指標(biāo)方差小、對(duì)改動(dòng)更敏感。但要注意代理指標(biāo)動(dòng)了不代表主指標(biāo)一定動(dòng)別撿了芝麻丟了西瓜。分流比例不均如果你對(duì)數(shù)據(jù)非常有把握可以把分流比例從50/50調(diào)成70/30實(shí)驗(yàn)組多一些在總流量固定時(shí)這通常能讓整體功效略微提升一點(diǎn)點(diǎn)。但收益有限且會(huì)減少對(duì)照組信息量我個(gè)人不太推薦優(yōu)先用這招。4. 分流與實(shí)驗(yàn)設(shè)計(jì)讓兩組真的可比前面都是紙上談兵的統(tǒng)計(jì)這一節(jié)落到工程實(shí)現(xiàn)。分流的代碼寫得對(duì)不對(duì)直接決定了實(shí)驗(yàn)數(shù)據(jù)能不能用。我見過不少實(shí)驗(yàn)結(jié)論漂亮但底層分流有bug白忙一場。這里面我認(rèn)為最核心的三個(gè)環(huán)節(jié)是哈希分流、AA檢驗(yàn)、SRM檢測。4.1 隨機(jī)化的工程實(shí)現(xiàn)哈希分流怎么寫前面說過別用隨機(jī)數(shù)分流要用哈希分流。核心思路是把「實(shí)驗(yàn)ID 用戶ID 鹽值」拼成一個(gè)字符串用哈希函數(shù)映射成一個(gè)固定長度的數(shù)字再取模映射到具體的桶bucket里。為什么要有「鹽值salt」因?yàn)槿绻阒挥糜脩鬒D哈希那么同一個(gè)用戶在你們所有的實(shí)驗(yàn)里都會(huì)被分到同一比例的桶里長期下來會(huì)導(dǎo)致實(shí)驗(yàn)污染——某些用戶總是在實(shí)驗(yàn)組某些總在對(duì)照組長期行為會(huì)分化。加一個(gè)跟實(shí)驗(yàn)ID相關(guān)的鹽值就能讓同一個(gè)用戶在不同實(shí)驗(yàn)里的分組互相獨(dú)立。import hashlib def hash_bucket(exp_id: str, user_id: str, salt: str v1, n_buckets: int 10000) - int: key f{exp_id}:{salt}:{user_id} digest hashlib.md5(key.encode(utf-8)).hexdigest() # 取前8位十六進(jìn)制轉(zhuǎn)成整數(shù)再取模 return int(digest[:8], 16) % n_buckets def assign_group(exp_id: str, user_id: str, salt: str v1, split: float 0.5, n_buckets: int 10000) - str: bucket hash_bucket(exp_id, user_id, salt, n_buckets) if bucket int(n_buckets * split): return control return treatment print(assign_group(exp_001, user_9527)) # 穩(wěn)定輸出 control 或 treatment這段代碼的核心優(yōu)點(diǎn)有兩個(gè)冪等同一個(gè)用戶無論訪問多少次結(jié)果永遠(yuǎn)一致可復(fù)現(xiàn)你用同樣的鹽值和ID在任何環(huán)境里都能算出相同的分組方便排查問題。有一個(gè)細(xì)節(jié)值得注意哈希桶的粒度。如果你的實(shí)驗(yàn)很多或者需要在一組實(shí)驗(yàn)里嵌套多層比如先分實(shí)驗(yàn)流量、再分實(shí)驗(yàn)組建議采用多層分流Layered Experiment / Overlapping Experiment的思路。這種方法把流量池切成多個(gè)正交層不同層之間的實(shí)驗(yàn)互不干擾可以同時(shí)跑很多實(shí)驗(yàn)而不互相踩腳。這個(gè)方法最早是搜索引擎公司用來同時(shí)跑大量算法實(shí)驗(yàn)的現(xiàn)在很多實(shí)驗(yàn)平臺(tái)都借鑒了這個(gè)設(shè)計(jì)。4.2 AA檢驗(yàn)上線前的自我體檢分流代碼寫完之后千萬別直接跑真實(shí)驗(yàn)。先跑一次AA檢驗(yàn)對(duì)照組和實(shí)驗(yàn)組跑的是完全一樣的版本理論上兩組的指標(biāo)應(yīng)該沒有統(tǒng)計(jì)顯著的差異。如果AA檢驗(yàn)都能跑出顯著差異那說明你的分流邏輯或者埋點(diǎn)有問題。我見過一次特別嚇人的AA結(jié)果兩組轉(zhuǎn)化率差了3個(gè)百分點(diǎn)p值0.001。排查之后發(fā)現(xiàn)是埋點(diǎn)上報(bào)時(shí)間不一致實(shí)驗(yàn)組的日志匯總有延遲導(dǎo)致一部分下單沒算進(jìn)去。這種bug如果混在真實(shí)驗(yàn)里足夠讓你做出一個(gè)完全錯(cuò)誤的決策。AA檢驗(yàn)跑多久我的經(jīng)驗(yàn)是跑夠單組樣本量的50%~100%。不用跑完整周期但樣本太少也看不出問題。AA檢驗(yàn)的通過標(biāo)準(zhǔn)是指標(biāo)差異應(yīng)該落在合理的隨機(jī)波動(dòng)范圍內(nèi)p值大于0.05甚至更寬比如大于0.01就可以繼續(xù)。如果AA反復(fù)出現(xiàn)顯著差異就別急著上真實(shí)驗(yàn)。4.3 SRM樣本比例失衡最容易被忽略的致命傷**SRMSample Ratio Mismatch樣本比例失衡**是實(shí)驗(yàn)圈公認(rèn)的實(shí)驗(yàn)殺手之一。它的意思很簡單你設(shè)定分流比例是50/50但實(shí)際跑下來落到兩組的人數(shù)卻是49/51、甚至48/52差距大到不像隨機(jī)波動(dòng)。SRM為什么可怕因?yàn)樗f明分流機(jī)制本身出了問題實(shí)驗(yàn)數(shù)據(jù)很可能是被某種系統(tǒng)性偏差污染的這時(shí)候你算出來的所有p值、置信區(qū)間都不可信。哪怕指標(biāo)看起來漂亮也不能信。檢測SRM用卡方擬合優(yōu)度檢驗(yàn)from scipy.stats import chisquare # 假設(shè)預(yù)期比例 50:50實(shí)際觀測到的樣本數(shù) observed [4980, 5020] total sum(observed) expected [total * 0.5, total * 0.5] stat, p chisquare(observed, expected) print(fchi2{stat:.3f}, p{p:.4f}) # 判據(jù)p 0.001 視為存在 SRM判據(jù)有個(gè)經(jīng)驗(yàn)值p值小于0.001就判定為SRM而不是常規(guī)的0.05。原因是我們對(duì)SRM要更敏感也更寬容——太敏感會(huì)誤報(bào)但0.001這個(gè)門檻足夠低一旦觸發(fā)基本就是真有問題。常見的SRM原因我列一下都是實(shí)戰(zhàn)中高頻出現(xiàn)的原因類別具體表現(xiàn)排查手段分流邏輯bug哈希取模寫錯(cuò)、邊界判定漏桶用固定測試集跑分流單測埋點(diǎn)/日志丟失某一版本上報(bào)延遲或失敗對(duì)比兩組的日志條數(shù)、上報(bào)延遲路由/跳轉(zhuǎn)攔截某些版本被安全策略或CDN攔截檢查中間件、頻率限制用戶主動(dòng)跳出新版本加載慢用戶提前關(guān)閉看兩組的跳出率是否異常分桶污染用戶跨設(shè)備、跨端導(dǎo)致重復(fù)計(jì)入用穩(wěn)定ID而非設(shè)備ID分流注意SRM一旦觸發(fā)不要試圖解釋它。很多人的第一反應(yīng)是哦可能是新版本加載慢導(dǎo)致的用戶跑了然后繼續(xù)看數(shù)據(jù)。正確的做法是終止實(shí)驗(yàn)、排查根因、修復(fù)后重跑。用被污染的數(shù)據(jù)下結(jié)論是拿業(yè)務(wù)決策賭運(yùn)氣。4.4 偷看數(shù)據(jù)與序貫檢驗(yàn)還有個(gè)特別隱蔽的坑叫偷看數(shù)據(jù)Peeking。很多團(tuán)隊(duì)跑實(shí)驗(yàn)時(shí)每天都看一遍顯著性看到p0.05就宣布勝利、停止實(shí)驗(yàn)。這個(gè)做法在統(tǒng)計(jì)上是錯(cuò)誤的它會(huì)大幅拉高假陽性率。原因在于經(jīng)典的假設(shè)檢驗(yàn)要求你在實(shí)驗(yàn)開始前就固定樣本量跑滿后再看一次。如果你反復(fù)看、隨時(shí)可能停止那你就相當(dāng)于給了數(shù)據(jù)很多次變得顯著的機(jī)會(huì)。哪怕新版本完全沒效果你每天看一眼連續(xù)看兩周出現(xiàn)一次p0.05的概率遠(yuǎn)高于5%實(shí)測能到20%~30%。這就好比你在賭場里一直下注總覺得下一把會(huì)贏但最終是概率在收割你。解決這個(gè)問題有兩條路。第一條是老老實(shí)實(shí)跑滿樣本量再看簡單粗暴但有效。第二條是采用序貫檢驗(yàn)Sequential Testing方法它專門處理反復(fù)看數(shù)據(jù)的場景通過對(duì)每次檢驗(yàn)的閾值做動(dòng)態(tài)調(diào)整來控制整體的假陽性率。業(yè)界常用的有SPRT序貫概率比檢驗(yàn)和Always-Valid p-value?，F(xiàn)在一些實(shí)驗(yàn)平臺(tái)默認(rèn)就用了這類方法允許你隨時(shí)看、隨時(shí)停但解釋起來更復(fù)雜需要團(tuán)隊(duì)有一定的統(tǒng)計(jì)學(xué)基礎(chǔ)。我個(gè)人的建議是如果你的團(tuán)隊(duì)統(tǒng)計(jì)功底一般就老老實(shí)實(shí)跑滿再看如果實(shí)驗(yàn)很頻繁、流程要求實(shí)時(shí)決策那就統(tǒng)一用序貫方法別讓兩套標(biāo)準(zhǔn)混用。5. 指標(biāo)、多重比較與結(jié)果解讀實(shí)驗(yàn)跑完了數(shù)據(jù)處理也做對(duì)了接下來是解讀環(huán)節(jié)。這一步看起來簡單其實(shí)是魔鬼藏在細(xì)節(jié)的重災(zāi)區(qū)。指標(biāo)定錯(cuò)了、結(jié)論會(huì)跑偏多重比較沒校正、會(huì)撿到假顯著辛普森悖論沒注意、整體贏了局部輸了。這一節(jié)我逐條拆開講。5.1 主指標(biāo)、護(hù)欄指標(biāo)、代理指標(biāo)怎么定一次實(shí)驗(yàn)只盯一個(gè)指標(biāo)非常容易走偏。我的習(xí)慣是設(shè)計(jì)一個(gè)主指標(biāo) 若干護(hù)欄指標(biāo) 可選代理指標(biāo)。主指標(biāo)Primary Metric這是你做這次實(shí)驗(yàn)想優(yōu)化的核心指標(biāo)一次實(shí)驗(yàn)最好只有一個(gè)。比如改版商品詳情頁主指標(biāo)就是下單轉(zhuǎn)化率。定多了會(huì)引出多重比較問題下面會(huì)講而且會(huì)讓人模糊焦點(diǎn)。護(hù)欄指標(biāo)Guardrail Metric這些指標(biāo)不是你要提升的而是要保證不被搞壞的。比如你為了提升下單轉(zhuǎn)化可能會(huì)加很多引導(dǎo)按鈕但用戶體驗(yàn)可能變差導(dǎo)致退款率上升、客服投訴率上升、頁面加載時(shí)長上升。護(hù)欄指標(biāo)的作用就是兜底一旦某個(gè)護(hù)欄指標(biāo)顯著惡化哪怕主指標(biāo)漲了也要謹(jǐn)慎上線。代理指標(biāo)Proxy Metric當(dāng)你關(guān)心的長期指標(biāo)比如用戶留存、NPS很難在實(shí)驗(yàn)周期內(nèi)觀察到時(shí)可以用短期相關(guān)的代理指標(biāo)。比如用7日復(fù)訪率代理長期留存用加購率代理下單率。用代理指標(biāo)的好處是靈敏但代價(jià)是它和真實(shí)目標(biāo)的關(guān)系只是相關(guān)而非因果結(jié)論要打折扣表述。指標(biāo)類型作用舉例使用注意主指標(biāo)衡量改動(dòng)是否達(dá)成目標(biāo)下單轉(zhuǎn)化率只設(shè)一個(gè)提前定義護(hù)欄指標(biāo)防止體驗(yàn)或業(yè)務(wù)倒退退款率、投訴率、加載時(shí)長惡化即亮紅燈需解釋代理指標(biāo)短期替代長期目標(biāo)7日復(fù)訪率相關(guān)性需論證慎下結(jié)論5.2 辛普森悖論整體贏局部輸辛普森悖論是數(shù)據(jù)分析里最反直覺的現(xiàn)象之一在分組數(shù)據(jù)里A組每個(gè)子集都比B組好但合起來看A組反而更差。放在A/B test里就是整體看實(shí)驗(yàn)組贏了但拆開每個(gè)細(xì)分人群看實(shí)驗(yàn)組都輸了或者反過來。它的成因是組間構(gòu)成比例不同。我舉個(gè)具體的例子。假設(shè)你的實(shí)驗(yàn)涉及新老兩類用戶新用戶轉(zhuǎn)化率天然低老用戶轉(zhuǎn)化率天然高。對(duì)照組老用戶100人轉(zhuǎn)化30%新用戶100人轉(zhuǎn)化10% → 整體轉(zhuǎn)化20%實(shí)驗(yàn)組老用戶20人轉(zhuǎn)化40%新用戶180人轉(zhuǎn)化20% → 整體轉(zhuǎn)化21.8%你看實(shí)驗(yàn)組在每個(gè)細(xì)分人群里都贏了40%30%20%10%但整體實(shí)驗(yàn)組的轉(zhuǎn)化率21.8%比對(duì)照組的20%高看起來好像也是實(shí)驗(yàn)組贏。這是因?yàn)樾掠脩舻恼急仍趯?shí)驗(yàn)組里大幅提高了——嗯這個(gè)例子里剛好沒體現(xiàn)出悖論。我再構(gòu)造一個(gè)能體現(xiàn)的。對(duì)照組老用戶200人轉(zhuǎn)化率30%新用戶800人轉(zhuǎn)化率5% → 整體200×0.3 800×0.05/1000 10%實(shí)驗(yàn)組老用戶800人轉(zhuǎn)化率40%新用戶200人轉(zhuǎn)化率10% → 整體800×0.4 200×0.1/1000 34%這種情況下兩邊的細(xì)分都贏了整體也贏了。要構(gòu)造悖論需要人群占比發(fā)生方向相反的傾斜?？傊?dāng)實(shí)驗(yàn)組和對(duì)照組的人群構(gòu)成顯著不同時(shí)聚合指標(biāo)的比較可能完全誤導(dǎo)。所以實(shí)戰(zhàn)里我強(qiáng)烈建議看到顯著的聚合結(jié)果時(shí)一定要做細(xì)分拆解Segmentation Analysis看看是不是某個(gè)子人群的變化被平均掉了或者放大了。常見的拆解維度有新老用戶、設(shè)備類型、地域、渠道來源、活躍度分層。當(dāng)然拆得太多又會(huì)掉進(jìn)多重比較的坑所以要配合校正手段使用。5.3 多重比較跑20個(gè)指標(biāo)總有一個(gè)顯著**多重比較Multiple Comparisons**是假陽性的重災(zāi)區(qū)。道理很簡單如果每個(gè)檢驗(yàn)都是α0.05那單獨(dú)一個(gè)檢驗(yàn)的假陽性率是5%但如果你獨(dú)立跑20個(gè)檢驗(yàn)至少有一個(gè)假陽性的概率是1 - (1 - 0.05)^20 ≈ 0.642也就是說你跑20個(gè)指標(biāo)即使所有改動(dòng)其實(shí)完全無效也有約64%的概率至少看到一個(gè)顯著的結(jié)果。這就像拋20次硬幣總會(huì)遇到幾次連著正面一樣是純粹的概率現(xiàn)象。解決手段主要有兩個(gè)。Bonferroni校正最保守也最簡單。把每個(gè)檢驗(yàn)的顯著性閾值從α改成α/mm是檢驗(yàn)次數(shù)。比如你跑20個(gè)指標(biāo)那每個(gè)指標(biāo)的閾值就設(shè)成0.05/20 0.0025。這種方法能嚴(yán)格控制假陽性但代價(jià)是功效下降嚴(yán)重容易漏掉真實(shí)效果。Benjamini-HochbergBHFDR校正控制的是假發(fā)現(xiàn)率False Discovery Rate比Bonferroni溫和得多是實(shí)際用起來更舒服的方法。它的思路是把所有p值從小到大排序找到最大的那個(gè)滿足 p_i ≤ (i/m) × α 的位置該位置及其之前的所有假設(shè)都判為顯著。import numpy as np def bh_correction(p_values, alpha0.05): p np.array(p_values) m len(p) order np.argsort(p) sorted_p p[order] thresholds np.arange(1, m 1) / m * alpha # 找到滿足條件的最大的 i passed sorted_p thresholds if not passed.any(): return np.zeros(m, dtypebool) k np.max(np.where(passed)[0]) significant np.zeros(m, dtypebool) significant[order[:k 1]] True return significant pvals [0.001, 0.008, 0.02, 0.04, 0.06, 0.2, 0.5] print(bh_correction(pvals))實(shí)戰(zhàn)建議如果實(shí)驗(yàn)里只跑了一個(gè)主指標(biāo)不用校正如果拆了10個(gè)細(xì)分人群或者跟蹤了多個(gè)指標(biāo)至少要做一次FDR校正否則你的發(fā)現(xiàn)里摻了多少假貨自己都不知道。注意校正不是萬能的。它只解決你主動(dòng)做了多次檢驗(yàn)的問題不解決你看數(shù)據(jù)挑指標(biāo)的問題。如果先看哪個(gè)指標(biāo)顯著就把它當(dāng)主指標(biāo)那校正也救不了你。主指標(biāo)一定要在實(shí)驗(yàn)前就定死。5.4 從顯著性到?jīng)Q策別把p0.05當(dāng)成圣旨最后一個(gè)環(huán)節(jié)是從統(tǒng)計(jì)結(jié)論到業(yè)務(wù)決策。這中間隔著一條很寬的溝很多團(tuán)隊(duì)容易一頭扎進(jìn)p0.05就上線的簡單邏輯里。我的決策框架是這樣的分三層。第一層看統(tǒng)計(jì)顯著性p值是否達(dá)標(biāo)、置信區(qū)間是否跨0。這層決定數(shù)據(jù)支不支持這個(gè)結(jié)論。第二層看業(yè)務(wù)顯著性效應(yīng)量夠不夠大。一個(gè)提升0.02%的改動(dòng)哪怕p0.0001上線的人力成本都未必回得來。我會(huì)算一筆賬這個(gè)提升在全年大盤能帶來多少收益能不能覆蓋開發(fā)和維護(hù)成本。第三層看風(fēng)險(xiǎn)與護(hù)欄相關(guān)護(hù)欄指標(biāo)有沒有惡化、細(xì)分人群里有沒有人明顯吃虧、實(shí)驗(yàn)周期內(nèi)有沒有被特殊事件大促、事故污染。這層決定能不能上、什么時(shí)候上、要不要分批上。這三層都過了才叫可以上線。任何一層不過就需要補(bǔ)測、或者小流量灰度、或者干脆放棄。單純盯著p值做決策是把業(yè)務(wù)當(dāng)成了統(tǒng)計(jì)學(xué)考試。6. 落地實(shí)操一套能跑起來的最小實(shí)驗(yàn)流程前面五節(jié)都是拆解原理這一節(jié)我把它們串成一條能落地的流程。不管你是用現(xiàn)成的商業(yè)實(shí)驗(yàn)平臺(tái)還是自己搭一套輕量系統(tǒng)這套流程和關(guān)鍵節(jié)點(diǎn)都適用。6.1 技術(shù)架構(gòu)的最小閉環(huán)一套能用的A/B實(shí)驗(yàn)系統(tǒng)其實(shí)不一定需要多復(fù)雜我把它拆成五個(gè)關(guān)鍵模塊缺哪個(gè)都不行。分桶服務(wù)Bucketing Service負(fù)責(zé)根據(jù)用戶ID決定他落入哪個(gè)組。就是前面講的哈希分流邏輯。這個(gè)服務(wù)要做得快——每次請(qǐng)求都要校驗(yàn)分組如果它拖慢了主流程用戶體驗(yàn)會(huì)倒退所以通常用本地緩存 布隆過濾器來加速。配置中心Config Service存儲(chǔ)每個(gè)實(shí)驗(yàn)的配置實(shí)驗(yàn)ID、分流比例、生效范圍比如僅限某幾個(gè)城市、某幾個(gè)渠道、時(shí)間窗口。分桶服務(wù)拿到用戶分組后結(jié)合配置中心判斷這個(gè)用戶是否真的進(jìn)入實(shí)驗(yàn)。配置中心最好支持熱更新這樣你調(diào)整實(shí)驗(yàn)參數(shù)不用重啟服務(wù)。埋點(diǎn)上報(bào)Event Tracking用戶的行為數(shù)據(jù)曝光、點(diǎn)擊、下單要打上實(shí)驗(yàn)標(biāo)簽和分組信息方便后續(xù)歸因。這一步最容易出bug務(wù)必保證曝光埋點(diǎn)在用戶真實(shí)看到版本時(shí)上報(bào)而不是在進(jìn)入頁面時(shí)上報(bào)否則會(huì)虛高。指標(biāo)計(jì)算Metric Aggregation把埋點(diǎn)數(shù)據(jù)按實(shí)驗(yàn)、按組聚合算出各種指標(biāo)。這一步往往是離線批處理天級(jí)更新。要注意數(shù)據(jù)口徑的統(tǒng)一別讓實(shí)驗(yàn)組和對(duì)照組用了不同的分母。分析平臺(tái)Analysis Reporting把聚合數(shù)據(jù)做統(tǒng)計(jì)檢驗(yàn)算p值、置信區(qū)間、SRM檢驗(yàn)結(jié)果生成實(shí)驗(yàn)報(bào)告。這一步可以簡單到一個(gè)腳本也可以復(fù)雜到一整套可視化平臺(tái)。6.2 常見問題速查表我把這些年遇到的高頻問題整理成表方便你對(duì)照排查。這些問題基本涵蓋了A/B test執(zhí)行中出現(xiàn)狀況的八成?，F(xiàn)象可能原因排查/解決辦法p值總在0.05附近反復(fù)橫跳樣本量不足在功效邊緣補(bǔ)樣本或放大MDE實(shí)驗(yàn)組樣本數(shù)明顯偏多/偏少SRM分流或埋點(diǎn)bug卡方檢驗(yàn)p0.001就終止排查AA檢驗(yàn)出現(xiàn)顯著差異分流邏輯或埋點(diǎn)不一致固定ID跑分流單測檢查上報(bào)延遲多個(gè)指標(biāo)都顯著多重比較假陽性做BH或Bonferroni校正整體顯著但拆開看都輸了辛普森悖論人群構(gòu)成傾斜按人群分層重算看加權(quán)結(jié)果第一天大漲后面回落新鮮感效應(yīng)/首因效應(yīng)拉長周期看穩(wěn)態(tài)數(shù)據(jù)實(shí)驗(yàn)跑不動(dòng)樣本攢不齊流量太小或MDE定太小用CUPED降方差或放大MDE每次看數(shù)據(jù)結(jié)果都不一樣偷看數(shù)據(jù)Peeking跑滿再看或改用序貫檢驗(yàn)主指標(biāo)漲了但投訴變多護(hù)欄指標(biāo)被忽視建立護(hù)欄指標(biāo)看板主指標(biāo)護(hù)欄一起決策實(shí)驗(yàn)結(jié)論無法復(fù)現(xiàn)分流不穩(wěn)定或環(huán)境差異檢查鹽值、埋點(diǎn)口徑、是否被其他實(shí)驗(yàn)干擾6.3 我自己踩過的坑和幾條經(jīng)驗(yàn)寫到這兒我把這些年做實(shí)驗(yàn)積累的幾條經(jīng)驗(yàn)擺出來都是花錢買來的教訓(xùn)希望你能少走點(diǎn)彎路。第一條實(shí)驗(yàn)前一定要寫清楚假設(shè)。別只寫改版詳情頁要寫成我認(rèn)為把購買按鈕置頂能提升下單轉(zhuǎn)化率因?yàn)闇p少了用戶的視覺搜索成本預(yù)期提升幅度在5%~15%。把假設(shè)寫細(xì)你才能在跑完之后判斷是假設(shè)本身錯(cuò)了還是假設(shè)對(duì)但實(shí)現(xiàn)沒做好。這一步很多團(tuán)隊(duì)省了導(dǎo)致實(shí)驗(yàn)做完只有數(shù)字沒有認(rèn)知。第二條MDE不要拍腦袋要從業(yè)務(wù)倒推。我見過太多人把MDE定得特別小想著我要測出1%的提升結(jié)果實(shí)驗(yàn)跑了兩個(gè)月都攢不夠樣本。正確的做法是先問業(yè)務(wù)我們至少要提升多少才值得上線那個(gè)數(shù)就是MDE。業(yè)務(wù)說5%才有意義你就按5%算樣本別去追那1%。第三條永遠(yuǎn)先跑AA檢驗(yàn)。哪怕你的實(shí)驗(yàn)系統(tǒng)用了半年沒出過事也別跳過AA。分流邏輯、埋點(diǎn)、日志統(tǒng)計(jì)任何一環(huán)改過代碼都要重新跑AA。AA通過是實(shí)驗(yàn)數(shù)據(jù)能用的最低門檻。第四條別迷信一次實(shí)驗(yàn)的結(jié)論。一個(gè)顯著的實(shí)驗(yàn)結(jié)果如果跟你的業(yè)務(wù)直覺嚴(yán)重不符先懷疑數(shù)據(jù)別急著慶?；蛘呖车簟Ｎ矣鲞^一個(gè)實(shí)驗(yàn)實(shí)驗(yàn)組轉(zhuǎn)化率暴漲30%大家狂喜結(jié)果排查發(fā)現(xiàn)是實(shí)驗(yàn)組的推薦位恰好命中了一個(gè)爆款商品。這種假提升披著統(tǒng)計(jì)顯著的外衣最容易被當(dāng)成真效果。第五條把失敗的實(shí)驗(yàn)也存檔。很多團(tuán)隊(duì)只記錄成功的實(shí)驗(yàn)失敗的實(shí)驗(yàn)隨手丟了。這是巨大的浪費(fèi)。失敗的實(shí)驗(yàn)告訴你什么方向走不通也是有價(jià)值的信息。更實(shí)際的是當(dāng)你三個(gè)月后又想試同一個(gè)方向時(shí)翻出歷史實(shí)驗(yàn)?zāi)軒湍闶∠乱惠喠髁俊Ｎ医ㄗh給每個(gè)實(shí)驗(yàn)都建個(gè)記錄假設(shè)、設(shè)計(jì)、結(jié)果、結(jié)論、后續(xù)動(dòng)作。第六條實(shí)驗(yàn)文化比實(shí)驗(yàn)工具更重要。一個(gè)團(tuán)隊(duì)能不能做實(shí)驗(yàn)不取決于有沒有好平臺(tái)而取決于愿不愿意用數(shù)據(jù)推翻自己的主觀判斷。如果產(chǎn)品經(jīng)理覺得我就知道這個(gè)改動(dòng)是對(duì)的然后無視實(shí)驗(yàn)結(jié)論硬推上線那再好的實(shí)驗(yàn)系統(tǒng)也是擺設(shè)。工具解決的是怎么測文化解決的是測了之后信不信。后者難得多也重要得多。關(guān)于這個(gè)主題后續(xù)還能延伸出很多有意思的方向比如怎么用實(shí)驗(yàn)做長期效應(yīng)評(píng)估實(shí)驗(yàn)結(jié)束后繼續(xù)跟蹤、怎么做跨實(shí)驗(yàn)的影響分析多個(gè)實(shí)驗(yàn)同時(shí)跑會(huì)不會(huì)互相干擾、以及大規(guī)模實(shí)驗(yàn)平臺(tái)的分層正交設(shè)計(jì)。每一個(gè)都值得單獨(dú)寫一篇。不過就原理層面來說把隨機(jī)化、假設(shè)檢驗(yàn)、樣本量、分流、多重比較這五個(gè)環(huán)節(jié)吃透你已經(jīng)超過市面上八成的從業(yè)者了。