怎样比较才公平：随机实验

目标：为两个点单流程设计一个能够解释组间差异的简单随机实验。

店长把周一叫作旧流程 A，周六叫作新流程 B，发现周六平均更慢。这证明新流程失败了吗？还不能。周六可能客流更大、员工不同、订单更复杂。流程和这些因素一同变化，它们混在一起，形成混杂。

随机抽样帮助回答「样本能代表谁」，随机分配帮助回答「组间差异是否可归因于处理」。随机抽到的人未必被随机分配；随机分配的志愿者也未必代表所有顾客。两种随机化解决不同问题。

写出可以执行的方案

沿用第 13 课的目标午间普通单人订单，课程中的正式实验计划纳入 400 张符合条件、来自不同顾客的订单。为便于手算，假定实验安排能避免两套流程争用同一瓶颈而相互影响，并且记录完整；现实门店必须先核查这些假设。

方案如下：在开始前生成含 200 个 A、200 个 B 的随机排列，按符合条件订单进入的顺序分配。分配表不能由店员根据顾客看起来着急与否临时更换。两组使用一致的时间戳定义，保留每张分配过的订单。

先设主要结果，避免分析完几十个指标后只挑显得有效的一个。先定收集范围，避免每天看一次结果，恰好显著时就停。第 18、19 课会说明这些行为为什么改变错误率。

如果早午段与晚午段差异很大，可以先按时段分块，再在每块内部随机分配 A/B，叫随机区组设计。这使两种流程在重要条件上更可比，但分析也应保留区组信息，不能随意把相关观测当成独立样本。

如果同一个员工分别试两种操作任务，可以配对比较。每对先作差，例如同一员工旧流程 5 分钟、新流程 4 分钟，差为 −1。配对能控制个体差异，但需要随机或平衡顺序，防止练习与疲劳影响。第 17 课会对独立两组和配对作出区分。本课程正式 400 单案例采用独立两组设计，不是配对实验。

设店员把容易制作的订单交给 B，复杂订单交给 A；统计时又删掉 B 组发生故障的五单。

参考处理

按难度分配破坏了随机比较；删掉 B 的故障订单属于按结果选择数据，会美化 B。应执行预先生成的随机分配，并按预先约定处理故障和缺失，保留分配、执行和排除记录。可报告按原分配分析以及透明的补充分析；不能发现不好看后才挑排除规则。更多样本不能自动修复选择偏差。

提出一个两流程会互相影响的实际情境，并说明应如何调整实验单位。再写一句解释：为什么仅随机分配午间顾客，不足以证明夜间也有同样效果？

参考答案

例如 B 点单更快却把全部制作任务压到共享吧台，改变了 A 的排队时间。可以改为随机分配完整时段或门店，并在分析中把时段或门店作为相应单位，不能继续假设每单独立。午间随机分配支持目标午间场景的因果比较，跨到夜间需要额外的代表性与机制证据。

将方案保存在笔记里。后面的数字都会用这个事先约定解释，而不是让结果倒过来决定研究问题。