跳到主内容

数据清洗:识别问卷中的异常值

研究背景

某研究者收集了 17 名被试的反应时间数据(毫秒)。大部分数据在 200-800ms 之间,但有一个值高达 50000ms,可能是被试走神或设备故障导致的异常值。

研究问题

数据中是否存在异常值?应该如何处理?

数据说明

17 个反应时间数据点,其中包含一个极端值(50000ms)。

分析步骤

  1. 步骤 1:为什么需要检测异常值

    异常值会严重影响均值和标准差,进而影响 t 检验、ANOVA 等参数检验的结果。一个极端值就可以把"不显著"变成"显著"。

    提示:在做任何假设检验之前,先检查数据中的异常值。

  2. 步骤 2:选择检测方法

    IQR 法:适用于中小样本、对称分布。Z-score 法:适用于大样本(n>30)、正态分布。本案例用 IQR 法。

  3. 步骤 3:决定如何处理

    检测到异常值后,有三种选择:(1) 删除(如果是录入错误或设备故障);(2) winsorize(替换为边界值);(3) 保留但使用稳健统计方法(如中位数代替均值)。

结果解读

结论

IQR 法检测到 1 个极端异常值(50000ms),远超上界。该值可能是设备故障或记录错误。

为什么这样解读?

如果不处理这个异常值,均值会被严重拉高(从约 476ms 变成约 3394ms),标准差也会大幅增加。这可能导致后续的 t 检验或 ANOVA 得出错误结论。

如何在论文中报告

对反应时间数据进行了异常值检测(IQR 法)。检测到 1 个极端异常值(50000ms,超出上界 XXms),经核查为设备故障导致,予以删除。删除后数据均值为 XXms(SD=XXms)。

常见错误

自动删除所有异常值

异常值可能是真实的极端情况(如天才学生的高分),不一定是错误。应先调查原因再决定处理方式。

只看均值不看异常值

均值对异常值敏感。应同时报告中位数,如果均值和中位数差距大,说明数据有偏态或异常值。

用小样本的 Z-score 法

Z-score 法要求大样本(n>30)和正态分布。小样本应用 IQR 法,因为 Z-score 的阈值(2 或 3)在小样本下不可靠。