问卷调查:设置“开放题”是一种失误

来源:《社会科学研究》2008年第3期
作者:潘绥铭,黄盈盈,王东

摘 要:在调查问卷中设置“开放题”其实是把定量调查变为定性调查,而这两种资料如何共同使用,学术界尚未解决这一问题。我们无法使用“开放题”来进行社会学调查所要求的“假设一检验”操作,而且“开放题”等于问卷设计者的无原则放权,很难保证调查的质量。即使在封闭式问卷的备选答案中,也应该慎用“其他”这个选项(半开放题),因为它不仅会增加大量的缺失值,而且实际上用处很有限。笔者最后推论:在调查问卷中不应该设置任何一种直接询问“原因”的提问,因为谁都无法涵盖任何一个现象的所有原因。

关键词:社会调查方法;定量研究;问卷设计;开放题;调查操作化

在调查问卷中设置无备选答案的“开放题”,由被调查者自由回答,调查员记录,这是我国社会调查中常用的方法。但笔者认为这是一种出于对问卷调查的性质缺乏了解而产生的失误。

一、笔者的主要理由

第一,调查的主体被倒置。“开放题”与“封闭题”绝对不仅仅是题型的差异,而是调查的方法论的根本不同,涉及到这样一个问题:在一个调查的过程中,究竟谁是主体?谁听谁说?

所有的封闭题都是以研究者为主体的,是研究者在说,被访者在听。这样的调查,其实就是研究者首先拿出自己对于某个问题的一套看法。然后看看被访者同意其中的哪一个;也就是研究者主动输出,被访者被动反应。这是沿用自然科学的方法,用研究者自己预设出来的尺度来衡量现实生活,就像用尺子量布一样。从这个意义来说,所谓的问卷调查其实就是“测量生活”,是“客观的”与“科学的”。

开放题在性质上与定性访谈的区别不大。所有的开放题都是仅仅提出问题,没有备选答案,要求被访者无拘无束地充分发表自己的看法,研究者仅仅是如实记录而已。这样,被访者就成为主体了,是被访者在说,研究者在听;是被访者主动输出,研究者被动反应。这是“主体建构视角”的一种表现,是“让生活告诉我们”的思路。这样的调查其实是沿用艺术的方法,当然是“非科学的”(并不是不科学,更不是反科学)。[1]

上述对立,非同小可,涉及到最根本的认识论争论:究竟谁是第一性的?封闭题其实是“科学主义”的典型反映,而开放题则是后现代主义思潮的标志之一。但是,至少在目前的国际学术界,关于两者如何结合甚至能否结合的讨论,尚不足以给我们提供任何一种可操作的解决办法,因此在问卷调查中这两者不应该同时使用。

第二,由于开放题无法“预设答案”,也无法“强制选择”,因此也就无法进行假设与检验的设计,无法运用于社会学的调查。

“相关假设”是社会学问卷设计的灵魂,而任何相关假设只有在预知所有可能的调查结果的前提之下,才可能提出与设置。这个“预知的可能结果”就是封闭题里面的有限的备选答案。如果调查的结果超出了备选答案,那么并不能检验这个假设是否正确,只能证明它本身不成立,证明研究者的设计失误了。

例如在我们的调查实践里,[2]我们假设“爱情程度”与“性生活满意度”相关,前者的备选答案是从“完全不爱”到“非常相爱”;后者的选项中从“非常不满意”到“非常满意”。这是封闭题,因此很容易统计分析出二者是否相关。封闭题其实就是我们已经预设了答案,被访者无论如何也逃不出我们的“陷阱”;或者说,我们拒不采信被访者的任何其他回答。只有在这样的前提条件下,我们的相关假设才是可以成立的,也就当然是可以统计分析的。

可是,如果把这两个提问设计为开放题,没有了“圈套”,那么就有可能出现这样的回答:在爱情程度上是“既爱又恨”,在性生活频率上是“时而满意,时而厌恶”。这样的评价在日常生活中屡见不鲜,人数不少。可是我们却从来也没有假设过“既爱又恨”与“时而满意,时而厌恶”之间究竟可能是什么关系,那么我们还应不应该来统计这样回答的这两个问题之间的关系呢?即使强制统计了,又能检验什么呢?因此我们只能说,我们原来的那个假设,仅仅在封闭题中才能够成立,在开放题里就不成立。

极端地说(以期引起讨论),从任何两个开放题的回答中都无法提出任何对于双方关系的相关假设,除非把原始的回答设法转化为类似封闭题的备选答案的量化数据。可是,且不说这样可以不可以,早知今日,何必当初,为什么原来还要设置开放题呢?若说开放题还有一些定性调查的意味,那我们不如直接去做纯粹的定性调查。

封闭题是削足适履,就是用研究者自己的框框来套社会,就是强制被访者在给定的范围之内进行有限的选择。封闭题就是社会学定量研究的望远镜或显微镜,不但是“眼睛”(研究者)唯一可以借助的测量工具,而且是“心灵”(假设一检验设置)的唯一载体。尤其是,仅仅是因为它像望远镜或显微镜的焦距与视界那样预选了社会而且封闭了该预选,我们才能够使用它。

第三,开放题最终还是要转化为封闭题的选项,因此是多此一举。

无论开放题所获得的回答多么丰富多彩,由于问卷中的所有其他提问都是封闭题,所以我们就不得不把开放题的内容转化为封闭题,才能进行相关分析。且不说这种转化其实是很大程度上的信息扭曲,就算可以做到,如果一个被访者在开放题里仅仅回答20个字,那么1000个样本就会有两万字的文字记载;我们最后把这两万字的资料又变成不超过lO个选项(在相关分析中最好不超过5个),这岂不是自己折腾自己?还不如一开始就把这些选项设置好,除非是由于没有做过试调查而设计不出来。

当然,试调查也并不是万能的,但凡是封闭题,或多或少都会冒着设计失误的风险。这是问卷调查的无奈,我们所说的仅仅是:这种无奈其实无法靠设置开放题来解决。

也许有人认为,开放题可以“搂草打兔子”地顺便获得一些定性访谈资料。但是这首先是把试调查(预调查)给混进来了,只能说明自己的准备不足,根本就不应该仓促上马。其次,定性调查对于调查者的许多独特要求是问卷调查员所达不到的,反而会分散问卷调查员的精力。二者混同,只能把两者的质量一起降低。

第四,开放题是研究者的无原则放权,因此无法保证调查的高质量。

在日常生活中,无论针对什么问题,大概从来没有一个人会像我们所设计的封闭题的备选答案那样来自主地表述。在问卷调查中也是如此,因此调查执行者往往必须在提出问题之后,马上就宣读备选答案,然后再急不可待地宣布“纪律”:只允许在这里面选择一个答案。否则,被访者可能就会开始天南海北地自主表述了。

可是,这不仅是必须的而且是有效的,有利于保证质量。由于有备选答案的制约,双方都无法“离题万里”,因此只要调查执行者认真,那么被访者的选择就会被忠实地记录下来,就会成为足够可靠的原始信息。

开放题则恰恰相反。无论研究者怎样进行精心设计,只要不是自己亲自去操作调查,那么就等于让别人去启发、引导、控制与记录被访者的所有表述;就是问卷设计者把自己的学术权力授给了那些很可能不足以承担这个工作的调查员,让他们替你做了第一道筛选。这样获得的资料,严谨的研究者恐怕是不敢贸然使用的。尤其要命的是,即使研究者明知道其中存在误差,也没有办法进行检验,更无法修正。

在我们所了解到的一些调查中,有的研究者干脆让调查员当场把被访者的表述“择其要”地记录下来。其实,与其如此,还不如自己一开始就设计出封闭题来,反而更加可靠一些。

二、慎用“其他”选项——半开放题讨论

首先需要说明,任何提问都必须设置至少三个选项:(此题)不适用、不知道、不回答。这些都不属于我们下面要讨论的“其他”。因为前三者都是因无法回答也无法记录实际内容,与现有的备选答案都是不同质的;可是“其他”却被作为同质的回答列入备选答案而且必须作为实际内容予以记录。

半开放题是很多人经常采用的,其典型形式就是在备选答案中有一个“其他”的选项,有的研究者还专门写上“请详细记录”这一类的字眼。一般来说,这样做是为了涵盖所有的可能的回答,但是它的失误也恰恰在这里。

第一,“其他”的应用很有限。

这个选项很难运用于“等级测定”的各种提问之中,例如从“很差”到“很好”这样的提问,就很难加进去一个“其他”的选项。

第二,“其他”必须确保是小概率。

它往往是在调查各种“事实”的时候才使用,是为了涵盖某些我们在设计问卷的时候还不知道其存在的情况。例如在我们的性调查里,在考察人们的居住环境的时候就会提问:“现在,您自己住在什么样的地方?”备选答案是:“1.集体宿舍、合租房、工作场所,等等;2.自己一个人单独居住;3.住在自己的父、母、子女的家里;4.住在岳父母、公婆的家里;5.住在自己的小家(只有爱人或者孩子);6.住在自己的小家里,但还有其他亲属;7.其他情况。”

在这个设计里,“其他”就是为了“查漏补遗”。据我们所知,其中可能包括孙子女与祖父母的跨代共同居住、两个陌生人的合租或合住甚至群租、寄宿在非直系亲属的人家里等等。

可是,若“其他”的被选择概率稍大,整个提问就可以说作废了。如果从严要求,若回答“其他”的被访者超过10%,这个变量就很难再进行相关统计分析了,即使是分布统计与百分数统计也很勉强,大概只有绝对数统计还有些意义。

这是因为,如果我们没有详细记录下“其他”的具体内容,那么其实就是不知道它是什么。这就等于是被访者拒答,等于是缺失值,在做相关分析的时候不得不删除,在做分布分析或者百分比分析的时候也缺乏实际意义。关于缺失值的统计处理方法,已经有很多学者予以讨论,但是笔者在这里讨论的是:我们何必让“其他”选项来增加缺失值呢?

所以说,如果我们要在问卷中设置“其他”这个选项,那么我们一定要有充足的文献依据或者生活知识,坚信它的被选择率不会超过10%,最好不超过5%。可是,这是有风险的、难于控制的,因此我们建议最好不设置“其他”。

第三,“其他”实际上是亡羊补牢。

研究者往往是因为在试调查(预调查)中没有获得充分的认识,甚至没有进行过试调查,因此在设计问卷的时候拿不准,无法穷尽所有的可能回答,就不得不设置一个“其他”选项,用半开放题来解决。这等于在正式调查里补充进行试调查,然后希望在事后的统计中加以弥补。

与其这样,还不如把试调查做得更加全面深入一点,做得规模稍微大一点,使你的正式问卷更加符合实际情况。也就是说,为了慎用“其他”这个选择,我们唯一可以推荐的方法就是扩大与强化试调查(预调查),在其中尽可能多地了解到所询问的情况的多种可能性,然后在正式调查的问卷中用明确的备选答案尽量涵盖之。

第四,“其他”的编码很有风险。

如果是当场编码的,就变成设计者无限赋权给调查员,由他来决定每个编码之下的具体内容究竟是什么。其中的风险不在于调查员的水平高低,而在于每个调查员在编码时的具体操作基本上无法统一起来。这不仅会削弱数据的可比性,而且“假数真算”的可能性也极大地提高了。

如果是事后编码,不让调查员当场编码,而是研究者拿回原始记录来进行编码,其风险往往更大一些。这基本上是闭门造车。如果我们既没有见过这个人,也不知道现场的情境,不了解前因后果,就把人家的弥散式的回答内容给编码了,那就与修改数据差不多了。

第五,“其他”永远还需要一个“其他”。

从方法论的层次来看,所有的封闭题都意味着:问卷设计者人为地、硬性地排除了被访者出现其他任何表述的可能性,他说什么也不会被记录下来。可是“其他”这个选项却必须是不管被访者说什么都要记录下来。虽然我们可以忠实地详细地做到这一点,但是我们所记录下来的具体情况很可能千奇百怪,因此只要其中有一种情况是我们无法归类的,那么我们就不得不再次设置一个“其他”。

第六,“其他”其实就是不要“其他”。

严格来说,对于“其他”的编码是越多越好,因为对于一个记录主体表述的资料来说,编码的种类越多才越能少损失信息。可是我们所设计的另外的提问却基本上是封闭题,而它的备选答案却恰恰是较少为宜。这样一来,我们在进行相关分析的时候,不得不把可能有数十种之多的原编码再次抽象为很少几种。其实际效果,就是舍弃了“其他”这个选项中很可能占大多数的“其他情况”。

第七,“其他”的真正用途。

当然,“其他”选项也还是有价值的,但不是在问卷设计方面,而是在调查的操作过程中,通过设置“其他”可以帮助我们避免作假或者避免被访者的信息失真。例如总会有些被访者觉得,我们所设置的所有备选答案都不符合自己的意思,可是他又只能在这个范围之内选择其中的一个。结果他就很可能勉强地选择,甚至可能乱答一通。如果我们设置了一个“其他”,那么他就可以选择这个了。不过,这种“其他”必须注明:这是被访者的“其他选择”,而不是被访者真的有“其他情况”。因此,我们不建议非熟练的研究者使用这种方法。

三、启示:操作决定质量

此处关于开放题的论述可以提示我们:在设计问卷的时候,我们就必须考虑到这个问卷的具体实施方案,尤其是我们准备使用什么样的调查员、用什么样具体的方法来进行调查,因为调查的质量实际上掌握在他们的手中。

绝对地来说,如果具体操作的调查员是新手(包括低年级的大学生),那么问卷中一定不要设置任何形式的开放题或者“其他”选项。因为这样做,所获得的信息会很严重地失真,等到数据拿上来,问卷设计者就连修正的可能性都几乎没有。如此,我们为什么要自己折磨自己呢?

四、推论:严格限用“原因提问”

为了引起讨论,我们很极端地说,在问卷调查中,不是需要不需要、应该不应该的问题,而是根本就不可以直接用任何一种形式的提问去调查任何现象的任何原因。

这仅仅是因为,如果我们去调查任何一个现象的原因,那么无论我们多么高明或者多么努力,我们所设计出来的备选答案都不可能达到封闭题最起码的四条要求:界定、归类、涵盖、互斥。

为什么说得这么斩钉截铁?仅仅是因为任何一种现象只要是人类活动的结果,那么它的原因就必定是雾状的。我们无法知道原因有多少个。这不是因为数不过来,而是因为就像我们无法把雾切成块一样,我们也不可能把原因人为地进行归类;结果也就无法计数,也就根本不存在究竟有几个原因的问题。这样一来,我们怎么可能设计出既不知道内容又不知道个数的备选答案来呢?

在这方面,我们有过教训。在1997年之前对于大学生的问卷调查中,我们曾经设计过这样一个提问:(如果被访者没有发生过人际性行为,那么)您为什么没有进一步做下去?(请填写选中的答案的序号)第一位重要的原因是:……;第二位的原因是……。1.怕对方拒绝;2.怕别人非议;3.怕影响自己的前途;4.怕学校处分我;5.怕影响对方的前途;6.做下去就不道德;7.不愿勉强对方;8.没有合适的机会;9.违背家庭的期望;lO.没条件;11.怕怀孕;12.怕失贞;13.对方不答应;14.我没有进一步做的欲望;15.感情还没到应有地步;16.其他(写出)。我们的这个提问,全方位地失误了。

首先,我们怎么能够界定什么叫原因,什么不叫原因呢?

在日常生活中,我们经常说别人:“你说的那个不叫理由。”这就是说,虽然他自己说那是个原因,可我们却不承认。那么我们在设计问卷的时候,是不是凡是我们不承认的原因,就统统不列入备选答案呢?我们又根据什么来决定承认或者不承认呢?在上面的例子里,如果有的大学生说:“我没有做爱,是因为印度洋发生了大海啸。”那么笔者是不是需要设置一个“胡说八道”的备选答案让他来回答呢?

其次,我们究竟根据什么,事先就设计出原因的分类呢?

在上面的例子里,笔者当年觉得自己设计的分类已经非常精致了,但是一位女同学回答说:“我不是‘怕影响自己的前途’(选项3),而是怕影响自己未来的婚姻。”笔者说:“婚姻也是一种前途啊。”但是她坚决不同意,说那是两码事。结果只好把她的回答归入“其他”。这就是说,我们事先根本不可能知道我们设计出来的分类是不是符合生活实践,只好强迫被调查者往我们的“陷阱”里钻。如果人家不愿意钻,我们就只好把她“开除”,拒绝了她所提供的信息。

第三,我们能够做到“涵盖”吗?

笔者当年以为我们已经涵盖了所有的原因。可是,我们居然漏掉了一个常见的原因:“我不做下去,是因为我怕被对方缠住。”这个失误不是学问不深或者工作不努力的问题,而是因为“涵盖”本身就有些像是永恒之梦。大千世界,无奇不有,任凭你是久经考验的大专家,也只能是把自己认为最普遍的原因给罗列出来,其他的一概不问。可是,这究竟是在收集客观世界的客观信息,还是在按照自己的尺子去剪裁生活?

当然,我们有技术手段,可以设置一个“其他原因”就一劳永逸了。可是,在问卷调查中,“其他”必须是小概率发生的,否则就是杂音,是干扰,常常是统计不下去的罪魁祸首。那么,我们事先怎么知道“其他”以外的那些原因就一定不是大概率的呢?或者说,如果我们能够事先就知道,那为什么还要去调查呢?

第四,在上面的例子里,笔者当年确实认为已经做到了各种备选答案的互相排斥、非此即彼。可是调查结果却显示出:几乎是任何两个原因,都有人回答说:两者同时都有,并列第一,根本排不出顺序。还有人添加了第三个与第四个原因,但是也坚持说全都是并列的。

看到这样的结果,笔者扪心自问:我们就能够把自己做任何事情的原因给排出一二三吗?这些原因真的不可能是“半斤对八两”吗?于是笔者知道了自己傻。

绝对地说到底,所谓的“原因调查”其实就是削足适履,用我们的框框去套生活,就是“假数真算”,人为制造统计结果。与其让这样的调查结果来混淆视听,还不如禁止直接询问原因。

当然,笔者主张要禁止的仅仅是直接询问原因。在假设一检验的设计中,却是可以询问原因的,因为我们并不是要查明这些原因究竟是什么,而是事先已经假设了这些原因可能对我们所设置的目标变量发挥作用。也就是说,我们可以调查那些已经假设出相关关系的原因。

但是在这样的设计中,我们必须注意三点:

首先,如果是为了检验相关假设而去询问原因,那么问卷中的提问就不能是“都有下列哪些原因”,而应该是“有没有这个原因”。例如,女性中存在着回避夫妻性生活的现象。如果直接去询问其原因,就必然设计出一大堆可能的原因,造成我们前面所说的那种失误。但是在假设一检验的设计中,笔者已经假设:害怕怀孕可能促使女性主动放弃自己的部分性权利。笔者所关心的是这样一个命题是否成立,而不是要去了解女性为什么会回避性生活。因此笔者在两次性调查中的提问就变成:“有些女人,因为害怕自己怀孕,不大愿意过性生活。您自己在最近的12个月里,是不是曾经有过这种情况呢?”备选答案:1.经常有;2.偶尔;3.没有。

其次,我们必须充分地意识到,这样的提问无论得到什么样的结果,都绝不能用来解释“女性回避夫妻性生活”这个现象,不能说“害怕自己怀孕”是该现象的原因之一,因为“由于害怕怀孕而回避性生活”这个命题仅仅是笔者自己的假设,不是调查结果,笔者也没有真的去询问“女性回避夫妻性生活”的原因究竟是什么。

第三,这样的问卷设计存在小概率的风险。因为“由于害怕怀孕而回避性生活”这个命题是事先假设的,如果在实际生活中很少有人是这样,那么笔者的检验很可能就做不下去了。

说到最后,可能有人问:如果我非要调查“原因”不可,那我就没办法啦?笔者的回答是:为什么非要在问卷调查这一棵树上吊死呢?定性调查更加海阔天空啊。

参考文献:

[1]潘绥铭,黄盈盈.“主体建构”:性社会学研究视角的革命及本土发展空间[J].社会学研究,2007,(3):174—193.

[2]潘绥铭,等.当代中国人的性行为与性关系[M].北京:社会科学文献出版社,2004;潘绥铭,等.中国性革命成功的实证:全国成年人口随机抽样调查结果简报,2000年与2006的对照研究[M].台湾高雄:万有出版社,2008.

[3]潘淑清.统计调查中无回答的影响及传统控制方法的不可行性(J].江苏统计,2002,(4).