终止条件应在试验开始前就写清楚,并且分成两类:一类是“必须停”的硬条件,比如崩溃率、关键流程失败率或收入相关指标明显恶化;另一类是“可以继续观察”的软条件,比如目标指标没有变化但也没有变差。只有硬条件触发时才立即回退,软条件触发时应先核对数据采集口径和外部变化,再决定是保留、改写还是退出。
很多团队把“终止”理解成回退,其实从试验页推广到全站时,至少有三个不同动作。
这三种动作对应不同前提。保留要求试验页与全站的核心路径足够接近;改写要求你能定位到具体变量;退出则要求回退方案已经可用。如果回退方案没有准备好,就不应该开始推广。
硬条件不是“目标指标没涨”,而是“出现了不能接受的损失”。可以按下面几类设置:
硬条件一旦触发,动作应是立即回退或关闭开关,而不是继续观察。因为硬条件绑定的是不可接受的损失,继续观察只会扩大损失。
软条件通常表现为“目标指标没有明显变化”或“部分指标变好、部分指标变差”。这时不能直接判定改动无效,因为至少还有几种合理解释:
因此软条件触发时,先做一次核对:把试验页和全站的数据按同一口径重新拉取,确认差异是否仍然存在。如果差异消失,继续按原计划观察;如果差异仍在,再判断是改写还是退出。
假设某APP把首页推荐模块的布局从A改成B,先在试验页验证,再计划推广到全站。推广前约定:硬条件是首页到详情页的点击率低于试验前基线的90%,或崩溃率超过试验前基线的1.5倍;软条件是点击率变化在正负3%以内。
推广第一天,点击率下降2%,没有触发硬条件,但触发了软条件。团队先核对埋点,发现统计窗口从7天改成了1天,重新按7天口径计算后,点击率实际下降0.5%。此时不应退出,而应继续观察。如果重新计算后点击率仍下降2%,且持续一周,就需要判断是改写布局参数,还是回退到A版本。
这个例子的关键不是数字本身,而是:硬条件用于止损,软条件用于判断是否值得继续投入。两类条件的动作不同,不能混用。
多个角色对同一事实有不同理解时,终止条件可以变成一份可核对的清单。每个条件至少写清楚四件事:指标名称、比较对象、触发阈值、触发后的动作。例如:
当争议出现时,先回到这份清单,确认争议的是阈值、数据口径还是动作选择。如果争议在阈值上,就重新讨论可接受的损失范围;如果争议在数据口径上,就先统一统计方法;如果争议在动作上,就明确谁有权触发回退。这样,分歧就不再是“我觉得不行”,而是可以逐项核对的项目。
推广到全站前,先把终止条件写进同一份操作记录,并确认回退方案可用。这样无论结果是保留、改写还是退出,下一步都有明确依据。