外部效度的干扰因素可归纳为以下几点:
1、 测量效度
试验中的前测可能使实验主体对于自变量的变化产生不同的反应,并影响其在后测中的表现。当研究结果推广到未曾接受前测的总体中,便会产生误差。
2、 样本的代表性
实验主体是否有代表性是外部效度的关键问题。实际上,研究实验中要在任何已知总体中找到真正有代表性的样本并非易事。实验主体一般都是自愿参与,多少受到某种利益或兴趣的驱使,同时,研究者也总是选取就近和便于合作的实验主体。由于这些主观偏好因素,从样本得出的结果推广到更一般的总体中,外部效度就可能有问题。当然,可以采取强制性安排实验主体,但这类受试者对参与实验缺乏兴趣甚至抵触,不一定会按实验引导的方向作出反应,在涉及人的管理研究试验中,要妥善选择自愿和强制实验主体。
3、 实验环境效应
实验环境本身导致参与实验的人们失去“平常心”,而采取与日常不同的行为。实验环境具有一些需求特征,要求受试者该做什么不该做什么,要求和研究者密切合作,以致受试者原本不愿去做的繁琐枯燥的事,在实验条件下却可能会认真去做,这就影响到实验结论的普遍适用性。前述的霍桑实验就是在影响生产率因素的实验研究中,发现了实验研究环境本身对研究主体产生的效应。
实验的需求特征和研究者的期望可能引起因变量的变化,这就是实验环境造成的干扰,变量和干扰两者的影响容易混淆。为了减少实验环境的干扰,可采取“盲试”的办法,不让实验主体了解实验的意图和欲验证的假设,如果能让受试者感觉不到自己在被试之中,效果会更好。当然,从理论角度来说,被试者不应受蒙蔽,待试验后期应予解释清楚。
研究者由于对实验抱有主管期望,对符合自己期望的观测值较敏感,予以重视。反之,对不符合的则忽略或赋予种种开脱性解释,让研究者自己也不知道实验主体谁属于实验组,谁属于控制组,不明白实验主体的回答是支持还是否定所期望的结果。
在运用实验法观测和发现变量间关联方面,自然科学和工程技术取得成果和积累的知识,远远超过管理领域。实验研究结果清晰、可信、可验证、可重复并能用科学语言来说明问题,这就是管理研究者渴望应用的一种科学观测方法。
实验法有不少优点。首先,实验研究者有独立自主性,可完全按照自己提出的的假设
来决定研究哪些变量、设计变量的属性和取值等,而不用完全遵守现实环境的“自然状态”。后述的其他一些研究方法,受现有数据和观测值的约束较多。其次,从时序角度看,实验法是序贯式研究。实验在一段时间内进行,按多个时期进行测量,得以研究变量的动态变化,而其他研究方法想问卷调查等,只有某一时刻的测量值,不能直接观测出一段时期内的变化。第三,实验法的耗费通常比其他研究方法要省,因为控制变量、样本数都比较小,而现场研究、问卷等方法的出差费、专访费用都比较大。
实验法的主要缺点是“非自然状态”。研究者人为的营造实验条件,实验的特定需求又影响到受试者和研究者的行为,容易引起外部效度差的问题。此外,样本也难以完备,实验只是限于某时间和少数样本,样本增加研究成本随之增大,而小样本使得测量误差问题愈显重要,结果的推广性愈差。