非量表问卷的信度分析可通过定性编码、主题一致性评估、专家评审等方法实现,核心在于确保数据的稳定性和可重复性。 不同于量表问卷的定量统计(如Cronbach's α),非量表问卷需结合数据特性灵活选择方法,重点关注回答模式的逻辑一致性和分类可靠性。
定性编码是基础步骤。将开放式回答逐条编码并归类,通过多轮独立编码检验编码者间一致性(如Kappa系数),若结果≥0.6则表明信度达标。例如,三位研究者对同一批回答独立编码后比较分类差异,差异率低于15%即视为可信。
主题一致性评估适用于探索性研究。通过反复提炼回答中的高频主题,计算不同分析周期或不同分析者间的主题重合度。若核心主题重复出现且无矛盾,则说明数据具有内在稳定性。例如,用户反馈中“价格敏感”主题在两次分析中均占60%以上,可确认其可靠性。
专家评审能补充主观偏差。邀请领域专家对编码结果或主题分类进行盲审,评估其是否符合理论预期。专家认可度超过80%即可增强结论的可信度。例如,医疗问卷中“治疗副作用”类别的专家复核一致率为85%,验证了分类有效性。
重测法可用于可重复收集的数据。间隔一段时间后对同一群体再次提问,对比两次回答的核心观点是否一致。注意时间间隔需短于研究周期,避免外部因素干扰。例如,员工满意度访谈中,两个月后重复提问的关键意见匹配率达75%,表明数据可靠。
非量表问卷的信度需多维度验证,建议结合编码检验、主题分析和专家评审,同时透明披露分析过程以符合EEAT标准。