把实验设计的思想引入用研

用研的目的是为了获得准确的数据来指导或者解决我们在实际工作中出现的问题。为了达到这个目的，我们不妨借鉴一些心理学研究的方法来改进我们的研究设计，让我们的研究更加科学、准确、可信。心理学的实验设计分为两种，一种是真实验设计，一种是准实验设计。当然，真实验设计和准实验设计这两个名字是相对而言的，也就是说准实验设计的控制条件没有真实验设计那么严格。

心理学实验室研究中一个很重要的部分是研究人的心理过程，为了更好的研究心理过程，一个心理学实验的要尽量做到研究任务的物理属性尽量相同，而结果的不同仅仅是由于执行了不同的心理过程才产生的。例如下图的实验流程，被试在不同的实验试次中分布执行两个不同的任务，判断目标图片的语义（如山峰）或结构（开放性，闭合性，温度高低等）。 实验结果的不同完全是由于执行不同的任务所造成的，也就是说这两个不同的任务卷入的心理过程的差异造成了结果的差异。当然一个精密的心理学实验不会仅仅是这么简单，我们单拿出一点来举个例子方便大家理解。

图1 一个心理学实验流程示意图

但是在我们的现实工作中，我们需要的研究设计应该是恰恰相反的，即保证用户执行的是相同的心理过程，结果的不同是由于物理属性的不同而引起的。例如，在交互设计没变的基础上的网站改版所引起的点击量差异等，就属于这类。

1.随机化

实验研究中非常重要的一点就是随机化，包括被试样本随机化，刺激试次随机化等。我们的研究对象是人，也没有两个人是完全一样的，所以为了平衡实验组间的条件，我们尽量的采取随机化原则，来避免因为个体差异对研究结果带来的影响，但是这个原则不适用于对不同用户群体的差异性研究（请参考随机区组实验设计）；实验试次随机化是为了消除定式对研究结果产生的影响。心理学实验最理想的结果是任务试次完全随机，实验被试完全随机。但是这种情况只能无限的接近，所以如果我们的研究条件不能达到随机化，那就尽量匹配各个任务组和被试组的条件。

2.控制组

或者叫做对照组，做基线、做比较、结果做运算，好用又方便。

                                          图2 加减乘除

3.增加前后测而不是简单的事后比较

说到结果做运算，就不得不提一下前测和后测，比仅仅只做事后比较好处多，实验组和控制组后测成绩分别减去各自前测成绩，得到的结果可以消除一定的历史和成熟的作用，使得到的结果更准确。好处就是原来显著的可能不显著了，原来显著的可能显著了，我可没教你作弊，我只是说这样得到的结果可能更准确。

4.迫选法

图3 A、B、C、D…K，选一个你觉得好的方案

记得我参观过的一项研究，研究者要被试在林林总总不下10个设计方案中选出一个被试最喜欢的，结果怎么样？用户完全选不过来了，常常是看过了前面的，忘记后面的。这个时候引入迫选法比较适用。每次呈现2个方案，让用户案选出一个最喜欢的，然后继续和其他方案比较。

5.重视预实验，研究者不要想当然

上一个例子里，研究者给被试看10几个方案，让被试全看一遍，再做出的选择，其实这样得到的结果并不是研究想要的结果。因为这样做出的选择只是这些方案中用户比较偏爱的，而不是用户心目中真正喜欢的产品，相当于矬子里拔大个儿一样。所以在正式研究之前，研究者不妨先做几个预实验，很多时候，研究设计中存在的问题就可以在这个阶段中暴露出来的。比如我曾经参与的一个实验，比较的是朋友、自己、陌生人的面孔与语义概念的批评，以此研究自我概念，其中一个水平是当面孔水平旋转角度达到150°以上时，自我条件下的结果与其他面孔条件下的结果差异就不明显了，为什么呢？因为这个角度下的自我面孔脱离了正常人的视角范围，我们很少能看到自己的后脑勺。那如果我们在预实验中发现了这个问题，在正式实验中改进，就不用费心费力又费钱做这组实验了。所以正式实验之前最好进行一下预实验，并改进从中发现的问题，可以有效的节约人力物力成本。特别是研究者不要想当然的认为自己经验丰富，实验设计严密，就忽略预实验的作用，甚至违反了实验设计所必备的一些限制条件，要时刻谨记并遵守（切记，切记，这是前人的血泪总结，可以省掉我们很多不必要的麻烦）比如样本数量之类，小样本虽然不一定不准确，但是带来的风险也高，所以我建议研究的样本数量一定要足够多。

6.慎用统计方法

这个问题很难一句两句说清，不过图表总是比数字更容易理解，简单的统计方法能说明的问题，就不要选择复杂的统计方法来做，明确每种统计方法的适用条件。想起过去看过的一句话：Statistics never lie, but liars use statistics. 很说明问题。接下来我会写一些结合具体工作实例的文章，另外推荐给大家一本统计学入门读物:机械工业出版社出版的《统计学原理学习指南与习题集》，边学边做；再推荐果壳网的一篇文章《一秒钟看穿统计陷阱》，爱科学，爱生活！

图4 统计学原理学习指南与习题集

本文作者：wt　转载请注明来自：携程设计委员会

转载本站文章《把实验设计的思想引入用研》,
请注明出处：https://www.zhoulujun.cn/html/design/ur/2016_0202_506.html