格格党

手机浏览器扫描二维码访问

第二 可修改答案的计算机化自适应测验设计与方法（第1页）

第二节可修改答案的计算机化自适应测验设计与方法

banner"

>

一、基于测试设计视角的RCAT

针对RCAT的两个缺陷：一是被试使用“作弊”

策略，二是测验效率的下降，有研究者从测验设计的角度入手针对性地提出了一些解决方案。

为了防止被试使用“作弊”

策略，研究者提出通过控制被试修改作答的方式来控制。

另外，Waddell和Blankenship（1994）研究发现在一次测验中被试修改的题目数只占总题量的很少部分（平均只有5.1%）。

因此，如果只允许被试修改一定数量的题目，一定程度上可以提高RCAT测验的效率。

目前有关RCAT的测验设计主要包括：Stog的限制被试修改机会的设计；优化的Stog设计；题目口袋设计；区块题目袋方法；重新安排题目顺序的设计。

接下来分别从测验设计的基本思想、优缺点以及它们之间的关系进行阐述。

（一）Stog的限制被试修改机会的设计

1.限制被试修改机会的三种设计方案

Stog（1997）提出了三种RCAT设计。

设计一：允许被试修改固定数量的题目。

在作答前主试会告知被试作答完所有题目后，可以返回检查并修改固定数量的题目。

设计二：允许被试修改单独限时题目单元内的答案。

在测验过程中将题目按照先后顺序划分为固定长度的题目单元。

题目单元长度根据实际需要而规定。

并以题目单元的形式呈现给被试作答，被试可以在单元内对题目进行检查并修改，计算机根据被试当前单元的作答来选择下一个单元，提交答案后的单元不允许再次返回修改。

设计三：只允许被试修改单独限时属于共同刺激物（表格、图画、阅读材料等）组成的题目单元，题目单元的长度随着测验内容的变化而变化，因此每个被试作答的题目单元的内容和长度是因人而异的。

2.三种设计方案的比较与评价

为了验证这三种设计在对抗Wainer策略中是否有效，Stog（1997）通过模拟和真实的数据研究，发现在设计一中当只允许修改2个题目时（定长28题），能力估计精度和传统CAT很接近。

但是随着可修改题目数的增加，由Wainer策略导致的误差也会随之增加，换句话说设计一并不能有效对抗Wainer策略。

当把设计二中的测验题目分隔为4个或4个以上的单元时，能力估计精度接近于传统CAT。

因此，在对抗Wainer策略方面设计二比设计一更有效。

同时结果也表明设计三与设计二在抵抗Wainer策略方面具有类似的效果。

与设计一相比，被试在设计二中对测验有更多的掌控，不管测验被分割为多少个小单元，设计二中被试还可以修改所有的题目，但设计一中只能修改固定数量的题目。

另外，设计二中被试修改单元内答案会影响下一个单元的选择，即计算机会根据被试修改后的能力估计值选择下一个单元。

而设计一中修改题目之后的能力估计值并没有体现在自适应选题上。

从这点来看设计二比设计一更符合CAT的规则。

与设计二相比设计三既保留了设计二的优点，但也具有自身独有的优点。

设计三的单元由具有共同刺激物的题目组成。

而设计二中的单元只是按照题目顺序随意组合而成，单元内容可能毫不相关。

对于一些习惯将所有相关联的题目综合考虑之后，再进行作答的被试，设计三更符合他们的认知过程。

另外，在设计一中，在测验开始前需告知被试只能修改很少量的题目，这可能给被试造成额外的考试压力。

设计二和设计三都没有考虑到增加修改选项后会引起测验效率的下降。