第一種：對比分析法

“無對比，不分析”，對比分析法也叫對比法，是數據分析中最常見也是最基礎的分析方法，

如果我們對數據的評估和匯報缺少了對比，就無法說明效果是好還是壞。

1. 絕對數對比 與 相對數對比

首先我們需要了解絕對數對比和相對數對比：

• 在數據分析中，絕對數對比一般是指正數之間的對比，如支付人數、DAU、GMV等；
• 而相對數對比一般是相對數之間的對比，如轉化率、增長率、完成率等。

如下圖登錄用戶量的對比就屬于絕對數對比，用戶留存率的對比則屬于相對數對比。

2. 環比分析

環比，表示連續2個統計周期內的量級變化比，例如連續兩日、兩周、兩月的量級變化比，都可以稱為環比。環比分析一般體現該時間段對比上個連續時間段的數據變化情況。

計算公式：環比增長率=（本期數-上期數）/上期數 × 100%

舉個環比分析簡單例子：我們在9月第三周針對50%的隨機用戶A群進行了活動營銷激勵，整體GMV環比第二周上升50%。

這里就是將第二周看做基準，默認第三周自然GMV為100萬。通過活動營銷激勵后，第三周實際GMV為150萬，對比第二周增長了50萬，環比增長率為50%。

這個例子來說，如果在正常情況下，環比分析給出的50%增長，可以證明活動帶來了明顯的GMV增長，效果好像不錯，但是環比分析結果也會存在騙人的時候，我們繼續往下看下面的例子：

看到活動效果良好，我們在9月第四周又取了剩下的隨機用戶群B進行了活動營銷激勵，GMV環比第三周反而下降了7%。同樣的激勵策略，不僅沒有得到環比提升50%的數據效果重現，反而下降了7%。

在這里就體現出了一個環比分析法的弊端：無法消除周期波動變化的影響。

原因是我們的產品在節假日前期數據波動特別大，僅通過該環比數據沒有辦法客觀的進行運營效果評估。如9月第四周是國慶前的最后一周，用戶的交易數據會有明顯的下降，營銷動作是很難提升GMV超過上周（上期）的量級水平，如果通過僅僅通過環比給出的數據結果，一定是本期對比上期環比下降x%。

遇到這種周期波動特別大的分析場景，則需要加入同比分析法，與環比分析法共同進行分析。

3. 同比分析法

同比，表示本期與上年同期的量級變化比，例如本日、本周、本月內的量級變化對比去年同日、同周、同月的量級變比。

計算公式與環比增長率相同：

同比增長率=（本期數-上期數）/上期數 × 100%

同樣國慶前做活動的例子，通過環比分析，因為節假日因素波動，沒有辦法得到真實的營銷增長情況，那么通過環比+同比分析，就可以對比出9月第四周對比上年同期的增長情況：

• 18年環比：18年9月第四周 環比 第三周，GMV下降20%；
• 19年環比：而19年9月第四周 環比 第三周，GMV僅下降7%，下降幅度小于去年下降水平；
• 19年同比：且19年9月第四周 同比 18年9月第四周，GMV上漲75%，而第三周的同比上漲僅為50%；

綜上的環比與同比分析，我們可以對19年9月第四周的運營策略做出真實評估：有效的帶來GMV增長。

此外，我們還可以根據18年9月第四周的環比降幅，預估19年9月第四周的自然GMV，從而評估19年9月第四周的GMV增長量為20萬：

• 19年9月第四周GMV增長=實際GMV-自然GMV
• 19年9月第四周GMV增長=實際GMV-19年第三周GMV*（1+19年9月第三周同比增長率）
• 19年9月第四周GMV增長=140萬-150萬*（1-20%）= 20萬

同比主要是為了消除可能存在的周期變動的影響，當連續兩個周期波動特別大的時候，就不能只用環比去進行效果評估了，則需要將同比與環比放在一起進行分析。

那么同比和環比都用上了，就能保證數據結果的正確性嗎？

不一定，接著上面的活動來說，我們預估2019年9月第四周的自然GMV，是默認2018年9月第四周是沒有進行任何對GMV產生波動動作的自然環比下降，但如果2018年9月第四周有進行用戶激勵的運營動作，那真實的環比降幅可能就不止20%，甚至更高。

考慮到這種未知的干擾情況，影響我們對數據結果的評估與分析，我們就需要換一種能夠減少未知干擾的分析方法——控制變量分析法。

第二種：控制變量分析法

1. 什么是控制變量法

控制變量法是在蒙特卡洛方法中用于減少方差的一種技術方法。該方法通過對已知量的了解來減少對未知量估計的誤差。

控制變量法簡單來講，就是我們工作中最常見的A/B test。制定兩種方案，將用戶隨機分成實驗組與對照組，實驗組用戶進行產品功能或營銷激勵的單一變量干預，對照組不進行任何干預自然運行，一段時間后分別統計兩組用戶的數據表現，評估功能或激勵效果。

A/B test 的優化內容主要有6個方向，可以根據不同的內容設計不同的優化方案，進行效果測試；

2. 控制變量法分析過程

我們以發放6元無門檻紅包激勵用戶下單為例，看下A/B test在營銷中分析過程；

1. 將目標用戶群隨機劃分為實驗組和對照組，每組各10萬人，保證兩組用戶隨機分布；
2. 將實驗組進行單一變量營銷，如發放6元無門檻紅包，對照組不進行營銷，用于觀測自然轉化情況；
3. 觀察一段時間內的轉化率及客單價數據，評估支付人數提升與GMV提升效果；

提升支付人數：對實驗組進行干預后提升了轉化率，實際提升支付人數2000人。

GMV提升：將提升的支付人數結合客單價進行計算，統計最終的GMV提升40萬。

3. 特別注意兩點

通過ABtest只能減少未知情況帶來的干擾，無法做到完全排除未知情況帶來的干擾，所以在落地的過程中，仍有兩點需要特別注意，不要被數據欺騙：

（1）實驗組與對照組的用戶群樣本量太少

實驗組和對照組的樣本量不需要完全一致，但至少需要保障一定的量級，如果樣本量級太小，很容易受到個體的影響，導致結果異常。

若想降低個體影響可以參考以下兩種方案：

• 擴大試驗樣本：提高實驗組或對照組的用戶群，降低個體影響；
• 延長試驗時間：將數據監控的時間延長，讓數據結果盡可能的收斂；

（2）實驗組和對照組的用戶群沒有做到絕對的隨機

例如，產品或技術同學通過尾號單雙來進行實驗組和對照組的劃分，進行產品新功能的實驗。此時運營同學又針對尾號0和1的用戶進行營銷測試，最后肯定會導致雙方的實驗結果異常，得出錯誤的結論。

參考方法：不要通過簡單規則分組，盡量通過隨機數或者隨機序列進行隨機分組。

總結

通過對比分析法對數據進行環比、同比等多維度的評估，通過控制變量分析法減少未知干擾的誤差，做到數據分析的相對科學，才能為業務提供正確的數據指導。