先给结论:把在小样本上有效的操作原样放大,往往失败在“样本同质性”上。复现的关键不是重复操作,而是先找出小样本里被隐含固定的变量,再判断这些变量在批量场景中是否仍然成立。下面用一个明确标为假设的情境串起整个决策过程。
假设你负责一个内容站,在360搜索下做标题与摘要的调整。你先挑了10个页面,统一把标题前半段改成更贴近用户提问的表述,两周后这10个页面的点击率看起来变好了,于是你决定把同一套改法推给200个页面。
批量上线后,整体点击率没有同步变好,部分页面甚至变差。这时不能直接判定“方法无效”,因为小样本和批量之间至少有三处不同:样本挑选方式、页面之间的差异、以及观察窗口内的需求变化。假设那10个页面本来就是站内表现较好、主题集中的页面,而200个页面里混入了大量主题分散、内容较薄的页面,那么操作本身没变,适用条件却变了。
复现前要做的第一件事,是把小样本的“隐含前提”写出来。可以按下面几类逐条对照:
这一步的实际动作是:从批量样本中反向抽出“与小样本最像”的一批页面,先只对这批页面复现操作。如果这批页面结果接近小样本,说明差异来自样本构成;如果仍然无效,才需要怀疑操作本身在更大范围内不成立。
批量无效可能来自几种不同原因,它们的证据形态不一样,可以据此区分:
这里要强调一点:某个指标的请求量或抓取量归零,不能单独证明操作正确或错误。它也可能是统计延迟、抓取调度变化、页面被合并等合理解释。判断时要找能同时解释“同类页面正常、异类页面异常”的原因。
假设你已经确认差异主要来自页面类型,那么复现顺序可以这样安排:
每一步的结果决定下一步:如果扩到30个同类页面就失效,说明原来的10个更像偶然波动,应先检查统计口径;如果同类页面稳定、跨栏目开始失效,说明适用边界在“主题集中度”,批量操作时就该按栏目分批,而不是全站一次性替换。
做前后比较时,要把季节和搜索需求变化考虑进去。假设改动发生在需求上升期,未改动页面也在涨,那么涨幅不能全部归给操作。可以设一个未改动的对照页面组,用它的变化幅度做参照,再判断改动组是否多出可解释的差异。这只是比较方法,不代表固定见效时间。
把结论落成一句可执行的话,比写“效果不错”更有用。例如:该标题改法在主题集中的问答页上复现有效;跨栏目页面需先补正文再改标题;主题分散页面暂不适用。
这样下次别人接手时,不会把一次小样本结果当成全站通用规则。批量操作前先问三个问题:小样本隐含固定了哪些条件、批量样本是否满足这些条件、如果只放开一个条件结果会怎样。回答清楚,复现才有依据,边界也才划得住。