错判与漏判：检验功效

目标：从同一个检验规则计算第一类错误和特定效果下的功效，并解释样本量与判断门槛的取舍。

一次检验只能作决策，不能保证决策永远正确。H0 为真却拒绝它，是第一类错误；H0 为假却未拒绝，是第二类错误。第二类错误概率用 β 表示，检验功效是 1−β，即特定真实效果存在时检测到它的概率。

真实状态	不拒绝 H0	拒绝 H0
H0 为真	正确决策	第一类错误
H0 为假	第二类错误	检测到偏离

α 控制 H0 下的误报，不直接等于「所有显著结果中有多少是假阳性」。后者还涉及研究中真实效果的比例和功效，和第 5 课的条件方向问题一样。

一个可以算到底的设计

计划观察 20 个独立订单，检验 H0：p=0.5，对 H1：p>0.5。事先规定「准时数 X≥15 就拒绝 H0」。不是先看到数据才选阈值。

使用第 9 课的二项概率，把 15 到 20 的概率相加。H0 下，实际第一类错误率为 P(X≥15|p=0.5)≈0.020695。虽然目标 α 可以定为 0.05，离散计数可用的阈值是整数，实际大小未必恰等于 0.05。

现在假设真实成功率为 0.7。仍使用同一个拒绝规则，功效为 P(X≥15|p=0.7)≈0.416371，漏检概率约 0.583629。一个检验很少误报，不代表它一定能抓住真实改善。

这些数都来自 Σ C(20,k)p^k(1−p)^(20−k)，求和从阈值到 20。用计算器逐项相加即可复核；本表同时提供直接用于练习的数值。阈值放宽，功效上升，但第一行已超过 5% 的误报预算。

真实 p=0.51 与 p=0.90 对同一检验有不同功效，因此不能只说「这项研究功效 80%」却不说想检测什么效果。应在实验前给定有意义的最小效果、可接受 α、所需功效，再规划样本量。

增加独立样本通常提高区分能力；减少测量噪声也有帮助。把样本复制十遍不会产生十倍独立信息。已经做完实验后再算一个由观察效果推出来的「事后功效」，通常不如直接报告效果区间有用。

正式咖啡店实验预定收满 400 单，这只是教学中的固定设计，不声称其已完成某个功效目标的规划。要确认「至少缩短 0.5 分钟」，应基于该门槛和合理波动估计另外规划下一轮实验。

核对答案

误报率减少约 0.014786，即 1.48 个百分点；功效减少约 0.178863，即 17.89 个百分点。更保守的规则能减少误报，但也会更容易漏掉 p=0.7 的真实效果。不能只报告较小的 α，把降低的检出能力藏起来。

假设 20 个互相独立的检验，其 H0 都成立，各自误报率恰为 0.05。求至少出现一次误报的概率。再说明为什么反复查看同一个实验、显著就停也需要额外设计。

参考答案

没有误报的概率为 0.95²⁰≈0.358486，至少一次为约 0.641514。若检验相关，该乘法不再精确，但多重尝试仍需考虑。反复查看同一实验也提供了更多触发拒绝的机会，固定样本检验的 5% 不会自动保持；需要事先设计序贯规则。本课程选择固定终点、一个主要指标，次要指标作辅助解释。