结论先给:额度有限时,优先选择“能把两种解释分开”的样本,而不是覆盖最多关键词的样本。也就是说,样本的价值取决于它能否排除一个竞争性解释,而非它代表了多少查询量。如果做不到这一点,扩大样本只会得到更多无法归因的数字。
挑选样本前先明确要回答的问题类型,不同问题对样本的要求完全不同。
如果连问题属于哪一类都没定,任何样本都会显得信息量不足。这一步的实际动作是:把要回答的问题写成一句可验证的话,例如“改动后,目标词的结果位置是否稳定前移”。写不出来,就先别消耗额度。
有信息量的样本,本质上是帮你排除一种可能的解释。挑选时问自己:如果这个样本的结果是 A,我能排除什么;如果是 B,我又能排除什么。两种情况都排除不了任何东西的样本,就是低信息量样本。
假设你怀疑结果波动来自查询时段差异,而不是改动本身。此时最有信息量的样本,是同一批查询对象在两个不同时段各查一次,其余条件不变。如果两个时段结果一致,时段差异这个解释就被削弱;如果不一致,时段就是需要先控制的变量。这个例子是假设的,用于说明比较方法,不代表任何工具的实际表现。
反过来,如果只在一个时段查一批新词,即使结果很漂亮,也无法区分是改动起效还是时段本身的影响。样本再多,也只是重复同一个无法归因的观察。
有一种情况会让“优先排除解释”的策略失效:当查询对象本身处于不稳定状态时。例如目标对象正在被频繁改动、页面结构尚未固定,或者查询口径在两次查询之间发生了变化。此时无论样本怎么挑,结果差异都可能来自对象自身的变化,而不是你要验证的因素。
识别这个反例的证据是:同一查询对象在短时间内重复查询,结果就不一致,且这种不一致没有规律。出现这种情况时,先固定查询对象和查询口径,再谈样本挑选。否则额度消耗完,得到的仍是一堆无法解释的差异。
每一步的结果都会影响下一步:如果第一步就发现输出口径与你预期不符,第二步应改为核对口径,而不是继续扩大查询。如果前两步结果互相矛盾,说明还有未控制的变量,此时扩大样本只会放大矛盾。
用完一批额度后,不要只记录结果数字,同时记录这次查询排除了哪种解释、留下了哪种解释。下一次查询应优先针对留下的那种解释设计样本。这样即使额度有限,每次查询都在缩小不确定性,而不是单纯增加数据量。
至于具体工具的额度规则、按钮位置和当前功能,不同版本可能不同,需要以你实际使用的版本为准进行核对。方法层面的判断可以先按上面的顺序执行,工具层面的细节留到核对时再确认。