跳到主内容

四次培训的效果追踪:通过率是否随培训次数变化?

研究背景

某公司对 12 名员工进行了 4 次操作规范培训,每次培训后进行一次通过/不通过考核。人事部门想知道多次培训后通过率是否有变化,以判断培训是否真的见效。

研究问题

4 次考核的通过率是否存在显著差异?若有,是哪几次之间不同?

数据说明

12 行 × 4 列的 0/1 矩阵,行 = 员工(被试),列 = 4 次考核,1 = 通过、0 = 未通过。同一批人被重复测量,因此各次结果不独立。

示例数据

第一次,第二次,第三次,第四次
0,0,0,1
0,0,0,1
0,0,0,0
0,0,1,1
0,0,1,1
0,1,0,1
0,1,1,1
0,1,1,1
1,0,1,1
0,1,1,1
0,1,1,1
1,1,1,1

分析步骤

  1. 步骤 1:确认数据是相关样本 + 二分类

    同一批被试在多个条件下的 0/1 结果,属于相关样本。若各条件之间是被试不同的独立分组,应改用卡方独立性检验;若结果是有序或连续的,应改用 Friedman 检验或重复测量 ANOVA。

    提示:只有 2 个条件时,Cochran's Q 退化为 McNemar 检验,两者结论一致。

  2. 步骤 2:检查编码是否为严格 0/1

    原始数据若是「通过/未通过」文字或 1/2 编码,必须先用数据处理工具重编码为 0/1,否则会报错。

  3. 步骤 3:看 Q 统计量与 p 值

    Q 服从自由度 k−1 的卡方分布。p < 0.05 说明各条件阳性率不全相等,但 Q 检验是「整体检验」,不告诉你是哪两次之间不同。

  4. 步骤 4:做事后两两 McNemar 比较

    4 个条件需做 6 次两两比较,必须用 Bonferroni 校正(α = 0.05/6 ≈ 0.0083)判断,否则会抬高假阳性率。b 与 c 分别是不一致对的两个方向,b + c 较小时使用精确二项 p 值。

  5. 步骤 5:结合阳性率解读实际意义

    即使 Q 显著,也要看各条件阳性率的绝对水平与变化幅度。本例通过率从第一次的 16.7% 单调升到第四次的 91.7%,是大幅度的持续改善;如果只是在 50% 上下小幅波动,即使统计显著也未必有实际价值。

结果解读

结论

4 次考核的通过率存在统计学显著差异,Cochran's Q 检验 Q(3) = 15.55, p = .001;通过率依次为 16.7%、50.0%、66.7%、91.7%,呈单调上升。事后两两 McNemar 比较共 6 对,在 Bonferroni 校正阈值 α = 0.0083 下,只有「第一次 vs 第四次」达到显著(p = .004);「第一次 vs 第三次」p = .031 虽小于 0.05,但未通过校正,其余各对均不显著。

为什么这样解读?

Cochran's Q 是 Friedman 检验在 0/1 数据上的特例。注意本项目的 Friedman 实现未做平级校正,对二分类数据算出的统计量与 Q 不同、方向也可能不同,因此二分类重复测量必须用 Q 而不是 Friedman。本案例最值得记住的一点是:整体检验显著只说明「至少有一对不同」,而相邻两次之间(如第三次 vs 第四次,p = .25)都检不出差异,只有跨度最大的首尾比较通过校正。这符合「每次培训只带来小幅提升、累积四次才形成可检出的差异」的实际情况,也说明事后比较不能只看未校正的 p 值——「第一次 vs 第三次」的 p = .031 若不做校正就会被当成发现,实际在 6 次比较的膨胀假阳性率下并不可靠。

如何在论文中报告

采用 Cochran's Q 检验考察 12 名员工在 4 次考核中通过率的差异(α = 0.05)。各次通过率分别为 16.7%、50.0%、66.7%、91.7%,总阳性数 27。Q(3) = 15.55, p = .001,4 次考核通过率存在统计学显著差异。事后两两 McNemar 检验采用 Bonferroni 校正(α = 0.0083),仅「第一次 vs 第四次」达到显著(b = 0, c = 9, p = .004),其余 5 对比较均未通过校正(最小 p = .031,为第一次 vs 第三次)。结果表明多次培训后通过率呈累积式提升,但相邻两次之间的单次提升尚不足以在 12 人的样本量下被检出。

常见错误

对二分类重复测量数据使用 Friedman 检验

Friedman 基于秩,在 0/1 数据上会产生大量平级,统计量与 Q 不一致。二分类相关样本应使用 Cochran's Q;k=2 时使用 McNemar 检验。

把独立分组数据当成相关样本

若各条件由不同被试完成(独立分组),应使用卡方独立性检验而非 Q 检验。判断依据是「同一批人是否被重复测量」。

事后比较不做多重比较校正

k 个条件需做 k(k−1)/2 次比较,假阳性率会迅速膨胀。必须使用 Bonferroni(α ÷ 比较次数)或 Holm 等校正,并按校正后的阈值下结论。

Q 不显著仍逐对比较找「显著的那一对」

整体检验不显著时继续做事后比较属于数据挖掘,任何「显著」结果都不可信。应先接受整体结论,再考虑是否样本量不足。

动手跑一遍

用本案例数据打开 Friedman 检验 计算器,亲手复现统计量、p 值与置信区间,数据只在浏览器内处理。

打开 Friedman 检验 →