先给结论:当同一轮观察里,进店访客被随机或按规则分到不同页面版本、不同活动入口或不同承接路径时,你看到的流量变化不一定是版本本身造成的。识别样本污染的关键,是先把“谁被分到了哪一组”还原成可核对的分配记录,再判断两组访客在进店来源、进店时段和既有行为上是否可比。如果分配记录无法还原,或两组在来源结构上差异过大,那么这轮数据更适合保留为线索,而不是直接当作版本优劣的结论。
样本污染不一定发生在分流那一刻。常见有三种位置:一是分配层,同一访客反复进出被分到不同版本;二是曝光层,某个版本只在特定入口或特定时段被展示;三是承接层,两个版本面对的人群相同,但页面加载、库存或客服响应不同。区分方法不是看总访客数,而是看每条进店记录能否对应到一个稳定的分组标识。如果同一访客标识在短时间内出现两个版本,优先怀疑分配层;如果分组标识稳定,但某个版本的进店来源高度集中,优先怀疑曝光层。
这一步的实际动作,是把最近一段时间的进店明细按访客标识、进店时间、来源入口和版本标识四列导出,先做重复标识检查。若重复标识占比明显偏高,说明分流规则本身需要先修正,此时讨论版本效果没有意义,下一步应转向核对分流配置,而不是继续加量观察。
即使分配记录干净,两组访客也可能因为来源结构不同而不可比。比如一个版本主要承接站内推荐位,另一个版本主要承接搜索进店,这两类访客的购买意图、浏览深度和停留习惯本来就有差异。此时把转化差异归给版本,属于把来源差异误当版本差异。
可操作的判断依据有三条:第一,对比两组的来源入口占比,若某一来源在两组间差距过大,先按来源分层再看版本;第二,对比进店时段分布,若某版本集中在活动高峰、另一版本集中在平峰,时段本身就是干扰项;第三,对比新老访客比例,老访客对页面变化的反应通常不同于新访客。三条里只要有一条明显失衡,就应先分层再比较,而不是直接看总体均值。
假设一个例子:某店铺把进店访客按到店时间轮流分到A、B两个详情页版本。粗看B版本转化更高。但拆开来源后发现,B版本承接的推荐位访客占比更高。此时不能得出B版本更优,正确做法是把推荐位访客单独分组,在来源一致的前提下再比较两个版本。这个假设只说明比较方法,不代表任何真实店铺的结果。
保留适用于分配记录可还原、两组来源结构接近、且差异方向在多个时段一致的情况。此时可以把当前结论作为继续观察的起点,但仍需注意第三方估算流量、站内统计和平台报告的口径差异,不能用一个指标互相印证成因果。
改写适用于分配层存在问题、但版本差异本身值得继续验证的情况。动作是先修正分流规则,让同一访客在观察期内稳定归属同一组,再重新积累数据。改写的代价是观察周期被拉长,收益是后续比较的分母更干净。
退出适用于两种情况:一是无法获得可核对的分配记录,二是两组在来源和时段上长期无法拉平。此时继续观察只会积累更多不可解释的差异,退出这轮版本比较、回到单一版本稳定承接,反而是更稳妥的选择。退出的前提是承认当前数据不足以下结论,而不是认定某个版本一定更差。
识别样本污染时,单个指标的涨跌很容易被误读。访客数归零、某个入口流量骤降,都可能来自统计口径调整、入口下线或抓取变化,不能单独证明分流处理正确或错误。更稳的做法是串起一条证据链:分配记录能对应到访客、来源结构在两组间可比、差异在多个时段方向一致。三条同时成立,结论才值得保留;缺一条,就应先补证据再决定去留。
具体到执行顺序:先导出进店明细并检查重复标识,再按来源和时段分层,最后才比较版本表现。前一步的结果直接决定下一步能不能做——如果重复标识过多,后面的分层比较就不必进行,应先回到分流配置。这样处理,能避免把样本污染误当成版本效果,也能让后续的流量提升动作建立在可复核的依据上。