跟着各项业务精辟化运营和发展的需求，越来越多的AB实验被用来措置新的居品格式是否上线，新的算法模子是否推全等战术决策问题。AB实验因其总能给出实在度较高的论断而看成决策的黄金准则。但在一些情况下黑丝 在线，AB实验的论断也饱受质疑，比如SRM（Sample Ratio Mismatch）问题和AA问题等。所谓AA问题，实质上指的是在一次给定的AB实验中，分流是否均匀的问题。为了更具象化这个问题，咱们对其中较为轮廓的名词作如下界说：
AB实验的范围：
实验周期不朝上一个月的按东说念主群分流的立时实验；这里的礼貌条款主要讲解的是咱们优先体恤的是短期，有历史数据且无收集效应存在时的AB实验，因此关于长久hold-out实验，订单分流实验（无历史数据）以实时辰片实验（收集效应下的实验行为）均不在这次筹办的范围内。
仅包含一个实验组与一个对照组；这个礼貌仅为了更好地讲解和展示，其自身并不零落一般性，咱们不错将其拓展至多个实验组与一个对照组的问题上。
均匀分流的界说：
假定对实验东说念主群莫得进行实验，保捏蓝本的实验分组，不雅测到两组间核神思划互异不权贵
在界说完问题之后，咱们也对均匀分流的紧迫性（参考图1）进行浅易的讲解：由于咱们无法平直不雅测到政策是否有用的事实，进而只能从实验数据中对事实进行推断，因此分流不均匀很可能导致咱们得到与事实违反的论断。
均匀分流紧迫性的示例
关于AA问题，常见的措置面目有三种——AA测试、重立时和回想性AA分析，这三种面目别离作用于实验的不同阶段却又相反相成：
AA问题常用措置行为汇总表
具体为何需要这三种行为以及履行中若何使用这三种行为将鄙人文伸开详确的先容
AA测试
启动AA测试的原因
AA测试，除了对实验组和对照组使用雷同的政策，其他的行为均与AB实验完全一致。其通过重现实验的举座历程，不错匡助识别在履行启动实验时的罗网和漏洞，具体不错参考如下：
AA测试常见问题checklist
Tips：AA测试无法考据某些需要启动AB实验才会出现的漏洞，举例收集效应，针对性触发实验以及多政策间下发的冲破礼貌
若何启动AA测试
实践一个AB测试系统前老是需要启动一系列AA测试。在期许景象下，不错启动1000个AA测试，然而由于其上流的资本，这里更推选使用【重播历史的数据】的行为，其历程为：
从数据库中赢得既定实验周期前一段时辰的当前流量域的用户名单与一个感兴味的核神思划的数据
选拔一个对用户分组的立时化哈希种子
使用哈希种子对用户分组，并瞎想该分组下计算组间互异的p值
重迭才能2～3弥散多的次数（举例1000次），将得到的p值绘画成直方图
淌若p值的直方图为均匀散播，讲解计算是实在赖的计算（关于p值是均匀散播的原因及判断尺度，请参考寥落讲解1&2）
寥落讲解1：为什么AA测试中P值散播是均匀的
表面推导：（其中为累计散播函数，以下讲解以单边西席为例）
逻辑解释：中枢点在于概率与频率的一致性。这里咱们先举一个浅易的例子，假定有一枚均匀的硬币，当咱们抛掷它时，其出现正面的概率是0.5，淌若咱们抛掷其1000次，那么出现正面的次数毛糙在500次傍边，此时咱们瞎想出现正面的频率也应该在0.5傍边（0.5=500/1000）。当今回到AB实验中，咱们闲居会将权贵性水平设为0.05，权贵性水平也被称为一类乖张率，所谓一类乖张指的是在原假定缔造的条款下拒却了原假定，而一类乖张率指的是犯一类乖张的概率；在AA测试中，由于两组的政策一致，因此咱们东说念主为创造了一种原假定一定缔造的情况（原假定为实验组与对照组的核神思划非常），因此使用判断为权贵的情况并不是二者有互异，而是犯了一类乖张，因此淌若咱们作念1000次AA测试，那么得到的犯一类乖张的频率为0.05傍边（意义与抛硬币的例子相易）。咱们总结一下，即是使用对p值作念判断时，p值小于等于0.05的频率是0.05；此时淌若咱们把调理为0.1，那么咱们应该得到p值小于等于0.1的频率是0.1，故p值的直方图是均匀散播。
寥落讲解2：若何判断P值的直方图是均匀散播
判断面目：不错使用一条水平的直线来援救判断；更严谨的，不错进行拟合优度测试（Goodness-of-fit），举例KS西席（Kolmogorov-Smirnoff Test），来判断散播是否是均匀散播（原假定是样本数据来自均匀散播，若p值小于0.05则拒却原假定）
示例展示：
p值为均匀散播的示例图（KS西席的p值为0.3844）
Tips：该面目竖立在存储了干系的原始数据的基础上，因此这个行为也有一些礼貌，即无法发现履行启动实验时才会出现的性颖悟系的问题大略共享资源的问题，举例LRU缓存问题
当AA测试欠亨落后若何措置
当p值的直方图不是均匀散播时，闲居是因为以下三种常见的情况：散播估量乖张，离群值以及散播中存在一些点很大的粗疏，咱们也将对这三种情况伸开详确的讲解：
具体发达1
分表发达：散播偏畸且彰着不接近均匀散播时
图例：
寥落讲解
关于正态性西席的假定，提供两种面目：
使用教会法例作判断，关于均值类计算欢畅正态散播的最小样本量为，其中为计算的样本散播的偏态总共，即
通过扩大流量回放历史数据的面目，生成一个零落播（零假定下统计量的散播）的直方图，然后不错通过统计权贵西席行为，举例Kolmogorov-Smirnov test，来西席零落播是否为正态散播
具体发达2
分表发达：p值散播存在一个或多个峰值
图例：
寥落讲解
值得详确的是：离群值会使得政策更瑕玷易权贵（请参考寥落讲解3）
当p值的直方图有一个峰值时，讲解存在一个离群值；当有多个峰值时，讲解存在多个离群值（两个离群值的情况参考下图）；需要寥落详确的是淌若离群值过多（毛糙30个傍边）的话，使用直方图无法援救判断，一是因为直方图的分块数目有限，二是因为峰值过多会使得其趋近于均匀散播
具体发达3
分表发达：散播中的一些点有很大的粗疏
图例：
寥落讲解
这种情况发生在数据是单一值（举例0）时，但有一些稀零的例子黑白零的。这种情况的均值的增量只能能是几个闹翻值，因此p值也只能能是几个值（不错参考左侧图例）。此时，t西席在这种情况下是不准确的，但平允是，淌若一个新的实验组形成稀零事件闲居发生，那么实验效应很大且统计权贵（稀零事件闲居发生的情况参考下图）
寥落讲解3：离群值会使得政策更瑕玷易权贵的原因
重立时
外部调研
关于重立时，咱们分学界和工业界两条清澈伸开了详确的调研：
其中，学界关于立时实验中的协变量均衡问题有两大类解题的念念路（如下图所示），一个是在实验的瞎想阶段使用重立时进行措置，行为的上风是不错提前回避不均匀分流的风险但瑕玷是统计推断需要破钞无数算力；另一个是在实验的分析阶段使用回想调理进行措置，行为的上风是瞎想精炼明了但瑕玷是无法提前回避不均匀分流的风险；而这两种同归殊途，相反相成，最终丁鹏真挚于2020年竖立的重立时与回想调理的长入框架，交融了两者的上风，为协变量均衡问题提供了新的解题念念路。
学界协变量均衡问题眉目梳理
而工业界中也不乏对重立时和回想调理的长入框架大范围诈欺的案例，以微软为例，其无数博客与文件中都有着对Seedfiner和CUPED的先容（其中Seedfiner为重立时，CUPED为回想调理）。
启动重立时的原因
重立时不错匡助咱们在实验前有用减小不均匀分流出现的可能
Tips：这里需要寥落强调一下，咱们只能减小不均匀分流出现的可能，不成阻毫不均匀分流的出现，因此即使在使用了重立时之后，仍然有小概率出现不均匀的分流，具体的原因请参见【启动重立频频的详确事项】，关于各场景下重立时的履行着力请参见【重立时在真确场景下的考据】
若何启动重立时
重立时的作念法是关于给定的东说念主群使用弥散多的哈希种子（闲居是100个种子大略1000个种子），选拔在核神思划上最均匀的种子用于AB实验的分流，其中最均匀的含义是将最不均匀的计算分的最均匀，这里咱们提供一个使用三个核神思划进行重立时的数值示例，重立时的才能为：
生成弥散多的哈希种子；这里咱们以10个哈希种子为例进行讲解；
关于每个哈希种子，对每个计算瞎想t统计量的完满值；t统计量是用来推测两组样本背后总体期望是否一致的有费用量，此时的环境肖似于AA测试，咱们仍是知说念背后的真相 -- 两组总体期望一致，而咱们但愿计算越均匀越好，因此t统计量的完满值越小讲解两组越均匀；
关于每个哈希种子，录取统计量的完满值的最大值为该种子的代表值；每个哈希种子下因为有多个计算的存在，是以一定有些计算分的相对均匀，有一些计算不那么均匀，这里咱们选出t统计量完满值的最大值，看成最不均匀情况的表征
录取代表值最小的哈希种子；咱们但愿在选出的最不均匀的情况中，调遣最均匀的一个，这是一种相对保障的处理面目，即选出的立时种子下计算互异的最差情况亦然不错接管的，从示例中不错看出最终录取的是第2个哈希种子
重立时数值示例
启动重立频频的详确事项
在启动重立频频，咱们需要体恤：东说念主群重合度，计算干系性和使用CUPED进行评估。
关于东说念主群重合度：
示例讲解：淌若咱们固定AA期计算和AB期计算的干系性为100%，那么当东说念主群重合度为100%时，咱们完全不错通过拉王人AA期计算进而拉王人AB期计算；当东说念主群重合度为0%时，由于立时实验中样本是互相零丁的，咱们无法通过拉王人某东说念主群的AA期计算进而去拉王人另一东说念主群的AB期计算。因此在重立频频，咱们但愿用于重立时的东说念主群和最终实验的东说念主群两者的重合度要尽可能的高。
关于计算干系性：
示例讲解：淌若咱们固定东说念主群重合度为100%，那么当AA期计算和AB期计算的干系性为100%时，咱们完全不错通过拉王人AA期计算进而拉王人AB期计算；当计算干系性为0%时，即两者互相零丁，AA期计算无法提供任何相关AB期计算的信息时，即使对相易的东说念主群，重立时也无法减小不均匀分流的可能。因此在重立频频，咱们需要用于重立时的计算和最终实验的核神思划的干系性要尽可能高。
旨趣讲解：定理1浮现的是重立时对协变量均匀性的改造，定理2浮现的是重立时改善了协变量的均匀性后是通过何种函数关系反馈到核神思划的均匀性上的，淌若计算干系性为0%，那么定理2中的，此时咱们不管若何拉王人AA期计算，也无法有用拉王人AB期计算。
定理1：重立时拉王人协变量
定理明细：淌若使用进行重立时况且况且协变量的均值是多元正态的；
浮现图：
重立时不错拉王人协变量
定理2：重立时拉王人核神思划间的互异
浮现图：
重立时通过拉王人协变量进而拉王人核神思划
关于使用CUPED进行评估：
示例讲解：在区组实验中，咱们需要将区组看成示性函数添加至回想模子中进行后续的分析，区组是闹翻型立时变量，亦然一个特例；在重立时中，咱们使用的是AA期的计算，是纠合型立时变量，此时也能当然的梦预见将其添加至回想模子中进行分析，淌若不进行添加，也不错从区组实验中得到洞见，咱们会乖张的高估方差，进而缩小实验的统计功效。因此在使用重立时后，咱们需要使用CUPED进行评估。
旨趣讲解：定理3浮现的是重立时后政策着力估量的方差，
因此该定理浮现使用重立时后使用双样本t西席会乖张的高估方差，而定理4浮现的是使用回想调理得到的方差在大样本下是真确方差的正确估量。
定理3：重立时后t检测方差变化
定理4：重立时后使用回想得到正确方差估量
数据模拟：
CUPED进行评估干系旨趣3与旨趣4对应模拟图（重立时比立时方差小，回想不错得到方差的正确估量）
Tips：当前的重立时相配于对不同的协变量赋予了相易的权重，履行顶用户对不同的协变量的诉求不同，不错考虑使用不同的权重。
重立时在真确场景下的考据
咱们也在各业务场景下测试了重立时的着力：
关于部分场景，由于AA期数据的缺失大略AA期与AB期东说念主群基本莫得重合，重立时莫得缩减不均匀分流的可能，一类乖张率依旧保捏在5%
关于其他场景，跟着东说念主群重合度和计算干系性的擢升，重立时减少不均匀分流的能力也有所提高，最多不错将一类乖张率缩小至0.3%
表3. 不同行务场景下重立时着力汇总表
回想性AA分析
启动回想性AA分析的原因
回想性AA分析通过在实验后不雅测AB期东说念主群在AA期的发达，来增多咱们关于实验罢了的实在赖进度；淌若咱们明白了重立时中东说念主群重合度和计算干系性的真理，那么在回想性AA分析不错视为重立时中的一种非常情况，即东说念主群重合度为100%，与干系性较高的情况（因为在实验完毕阶段，咱们仍是知说念参与实验的东说念主群，是以东说念主群完全重合；而与是不同期期的并吞计算，是以计算的干系性会比拟高）。因此，淌若莫得权贵性互异时，咱们对均匀的分流的信心是更强的；相对的，淌若有权贵性互异时，咱们对分流的均匀性可能会产生质疑，进而会质疑实验论断的可解释性与实在赖进度。
若何启动回想性AA分析
咱们对X不错按如下才能进行回想性AA分析：
淌若X中含有缺失，需要先将其中的缺失值补为0
对X对实验分组的东说念主群进行双样本t西席，得到对应的p值
使用p值看成分流均匀性的参考
启动回想性AA分析时的详确事项
在启动回想性AA分析时需要详确以下三点：
定理5：录取评估面目错估方差进而带来的功效折损
浮现图：
录取评估面目错估方差进而带来的功效折损
Tips：回想性AA分析形容了实验组与对照组均值上的互异，并不等价于实验组与对照组完全同质/散播相易。
其他待措置问题
关于AA干系的问题，仍有一部分待措置的问题：
长久实验：由于AB期的时辰过长，很难找到与干系性高的，因此对长久实验若何诈欺重立时与回想性AA分析仍有待探索
东说念主群重合度低：关于重立频频的东说念主群重合度问题，可能Adaptive自稳妥分流是一个措置决策
区组实验：固然重立时不错一定进度上措置闹翻性协变量的问题，但不一定是最优决策，同期需要考虑多区组时瞎想着力的问题
参考文件
1.Patterns of Trustworthy Experimentation: Pre-Experiment Stage
2.p-Values for Your p-Values: Validating Metric Trustworthiness by Simulated A/A Tests
3.Rerandomization and regression adjustment
4.A randomization-based theory for preliminary testing of covariate balance in controlled trials黑丝 在线