一、先选设计,再谈分析
设计决定了你能回答哪类问题。横断面问卷适合看关联和现状,实验适合看因果,准实验和纵向设计介于两者之间。 不要用横断面数据去支撑“影响”,也不要用实验数据只做一张相关表。
| 设计 | 能回答 | 不能回答 | 常见分析 |
|---|---|---|---|
| 横断面 | 某一时点的分布、关联、组间差异 | 随时间的变化、因果方向 | 描述、相关、回归、t 检验 |
| 实验 | 随机分组后的处理效应 | 长期效果通常需纵向设计;生态效度常受限 | t 检验、ANOVA、ANCOVA |
| 准实验 | 非随机分组下的组间比较 | 完全排除选择偏差 | ANCOVA、分层回归 |
| 纵向 | 随时间的变化、先后顺序 | 仍然不能轻言因果 | 重复测量 ANOVA、混合模型 |
先写下“不能回答什么”
二、抽样与样本边界
抽样部分要写清四件事:目标人群是谁、从哪里招募、纳入和排除标准是什么、样本能代表谁。 “大学生”不是一个足够具体的人群,至少要说学校类型、年级范围和招募渠道。
- 目标人群:某高校在读本科生;纳入标准:18 岁及以上、过去一个月有使用短视频。
- 排除标准:正在接受睡眠障碍治疗、问卷填写时间明显异常、关键变量缺失。
- 招募方式:课程群与校园公告,属于便利抽样,不是概率抽样。
- 代表性:结果只描述参与调查的这群人,不外推到全部大学生。
便利样本不是原罪,假装它是随机样本才是。报告里写清招募渠道和样本构成, 读者才能判断结果能推广到哪一步。
三、样本量:写清依据,不写拍脑袋的数字
样本量估算至少需要四个输入:预期效应量、显著性水平 α、统计效力(通常 .80)、单侧还是双侧。 如果预计有无效问卷,还要按比例多收。输出不是一个神奇的数字,而是一套可以被别人复核的假设。
站内工具能算什么
样本量估算目前覆盖两组均值差、配对 t、单均值、两比例差、相关、单因素 ANOVA、多元回归和卡方检验八类设计, 并给出实际功效。每种设计都有自己的效应量口径:均值差用 Cohen's d,ANOVA 用 f,多元回归用 f², 相关用 r。选错类型,算出来的 n 就没有意义。
案例的计算
主分析是相关与回归。案例在 样本量估算中选择“相关分析”设计, 输入 r = 0.20、α = .05、双侧、power = .80,得到 194 人(Fisher z 近似,向上取整)。 这个数可以直接在站内复算,不需要换软件。
实际收集 220 份,预留了约 13% 的无效问卷空间,最终有效 218 份。 方法部分写清工具、设计类型与四个输入,读者才能核对这个数字怎么来的。
效应量从哪来
样本量公式里的效应量不能凭空设定。常见来源有三种:同类研究已发表的效应量(取偏保守的值)、 预试数据(样本小,只能作参考)、以及“最小有意义效应”——低于它,即使显著也没有实际价值。 案例用 r = 0.20 正是按最小有意义效应设定,而不是从文献里挑一个最大的。
如果算出的样本量远超你能收集的数量,正确做法是缩小研究问题或降低结论强度, 而不是把 power 改到 .50 硬凑。方法部分要写清输入假设,让读者知道这个样本能支持多细的分析。
四、测量:量表、题项与预试
测量方案要能让别人复现:量表来源、题项数量、计分范围、总分怎么算、反向题怎么处理。 如果使用现成量表,说明版本和翻译;如果自己编题,至少做预试和信度检查。
- 依赖量表:5 道 1–5 级题,其中第 5 题在预试中表现不佳,后续会做删除决策。
- 睡眠量表:4 道 1–5 级题,分数越高表示主观睡眠质量越好。
- 基本信息:年龄、性别、年级;不收集姓名、学号、手机号。
- 注意力检查:真实问卷建议设置一道“本题请选择 2”的题并记录作答时长;本模拟案例为简化演示未设置该字段,因此没有相关剔除记录。
预试阶段可以先用信度分析看内部一致性,用效度分析看 KMO 与因子结构。预试样本不并入正式样本,除非你事先说明并处理重复。
五、把设计写成一张表
做完这一步,把下面几项写进研究计划:设计类型、目标人群与招募方式、纳入排除标准、 样本量计算的四项输入与结果、测量工具与计分、预试计划、设计局限。
这张表会在数据清洗和报告阶段反复用到。样本量理由、缺失处理和局限说明, 都不是最后写论文时再补的,而是设计阶段就应当留下的记录。