格格党

手机浏览器扫描二维码访问

第二 可修改答案的计算机化自适应测验设计与方法（第6页）

首先在建立题库的参数估计阶段就要投入更大的成本，每个题目都要收集足够多的正确和错误作答的实测数据，也就是说要有比传统CAT更多的实测样本来估计参数。

而且对于少数题目来说可能绝大部分人都答对了或者答错了，那么这些少数题目就要再找一批被试来估计，直到收集到足够的答对和答错的样本数据为止。

在得到题目参数以后如何进行等值分析也是需要解决的一个问题，另外在题库的动态维护方面该模型也需要投入更多的成本来实现。

除了题库的建设方面面临较大的问题之外，该模型的建立还要满足严格的假设条件，在真实的RCAT中能否满足也有待进一步的研究。

从应用的角度来看，该模型只具有诊断被试是否作弊的功能，诊断出之后要想消除作弊带来的不良影响还要投入更多的成本，也就是说该模型并不能在过程中达到限制被试作弊的效果。

当然在测验过程中也不能弥补由于修改题目引起的“人题”

不匹配的误差。

（三）综合评分模型

纵观以上RCAT的研究发现，研究者在估计被试能力时仅考虑了修改后的答案，并没有考虑修改前的答案。

陈平和丁树良（2008）认为RCAT中应该把被试修改前后的作答信息综合起来考虑，然后再来估计被试的真实能力。

据此，陈平等基于3PLM提出了一种新的综合评分模型，公式如下：

被试第一次正确作答给Beta（0≤Beta≤1）分，第二次正确作答给（1-Beta）分。

Uaj表示被试a在第j个题目的第一次作答反应，Ua，j+m表示被试a在第j题目上修改后的作答反应（Uaj∈{0，1}，Ua，j+m∈{0，1}，j=1，2，…，m），Vaj表示两次作答的综合得分。

通过模拟研究发现：当Beta=0时，即只考虑被试修改后的结果，实验误差达到了最大。

当Beta=1时，即只考虑被试第一次作答结果，实验误差达到了次大值。

只有当Beta=0.5时，也即综合考虑两次作答结果，并分别赋予0.5的权重时实验误差为最小。

另外，将新的评分模型运用到对抗Wainer策略中，结果发现能力估计值与真值存在很大的误差，并且随着能力的增加误差也在增大。

如果综合考虑EAP和MLE能力估计值，并分别赋予0.4和0.6的权重后求和得到的能力估计值，在一定程度上对抗了Wainer策略的影响。

已有的关于RCAT的研究者只关注了修改后的结果，并没有考虑第一次作答结果。

该模型记录了两次作答结果，并在能力估计阶段利用了两次作答的信息，一来反映被试的认知转变过程，并为主试提供更多的信息，二来一定范围内降低了能力估计的误差。

然而模型的模拟阶段采用了传统二级评分方法（答对得1分，答错得0分），意味着所有被试在修改阶段改对一个题目后只能得到0.5分，改错不得分。

在实际应用中可能会造成测验的不公平，假设某个被试完全有能力答对某一题，但由于紧张、误读等意外因素而答错了，最后改为正确之后该题只得到0.5分，而实际上被试的真实水平是得满分。

反之，如果一个被试完全不知道答案的情况下却在修改阶段猜对了，也会得到0.5分。

换句话说，不管被试有多大把握答对某一题（自适应阶段答错了，修改阶段改为正确），最终该题的得分都是0.5分。

在实际应用中被试也可能无法理解改对了却只能得一半分数这样的做法。

因此，综合评分模型通过模拟实验得到的0.5的权重是不是最优的？在确定最优权重方面是不是可以考虑因人而异的设置？例如，将每个被试答对的真实概率作为权重，修改之后的综合得分用真实概率乘题目满分来计算最后得分。

最优权重的确定这一问题有待未来做进一步的研究。

另外，综合评分模型并没有对“人题”

不匹配引起的误差进行有效的弥补，模拟实验结果也发现在对抗Wainer策略方面的效果不理想。

四、总结与展望

（一）总结

CAT以其高效准确测量被试能力水平而逐渐得到广泛的应用，然而，不允许修改答案的CAT对于已经习惯传统纸笔测验的大众而言是一个难以接受的选择。

研究发现允许被试修改答案的CAT提高了能力估计的准确性，并降低了被试测试的紧张及焦虑程度。

同时可修改答案也会给CAT带来很大的影响，涉及CAT的各个方面，甚至对于不同的测验内容、测验长度，RCAT造成的影响也可能不同。

因此，无论是实验室的模拟研究还是实际中的应用，必须要全面考虑到RCAT的一系列不利因素，权衡各方面因素的影响来找到最优解决方案。

国内外学者已经在这方面做出了初步的探索和研究，这些研究对RCAT的应用与推广具有重要的意义。

纵观这些已有的RCAT的控制方法各有优缺点，仍有进一步改善的空间。

表7-2-1、表7-2-2和表7-2-3更为直观、全面地简述了目前国内外研究中RCAT的各种控制方法的特点及其优劣，供读者参考。

表7-2-1RCAT测验设计方法及其优缺点