格格党

手机浏览器扫描二维码访问

第一 概述（第2页）

二、在线标定的基本流程

图9-1-1说明了在线标定的基本流程。

首先，一批试测题（可以是新写的题目，也可以是修改后需要标定的题目）形成试测题库。

然后，在正式的CAT考试中，当考生到达预先指定的试测题嵌入位置时（考试中的第几题，可以是固定的位置，也可以是有规则的随机位置），计算机根据某种选题法从试测题库中选出一道题并呈现给考生。

一次考试中可以安排多个试测题嵌入位置，在考生每一次达到嵌入位置时则重复第二步。

在每个考生完成整个考试后，计算机对考试中嵌入的所有试测题进行参数估计。

随着CAT考试的连续施测，试测题的参数值不断被更新，而取样的最佳值也随之自动调整。

当一道试测题的题目达到取样终止条件时（如样本量足够大，或参数估计值足够准确），这道题则被从试测题库输出，即完成试测阶段。

图9-1-1在线标定基本流程图

需要注意的是，在第二步选择试测题时，自适应选题法需要利用题目参数值的临时值，也就是不断被更新、精度不断提高的题目参数估计值。

而在试测的初始期，试测题并没有任何参数值信息，这时有不同的解决方法。

方法一，出题专家可以根据主观判断大致估计题目的初始参数（Wainer＆Mislevy，1990）；方法二，试测初期可不采用自适应选题法，而是随机选择测试题，在积累了一定样本量后，题目参数可以完成初步估计，估计值则可以用于下一阶段的自适应选题（Ban，Hanson，Wang，Yi＆Harris，2001；，Wang＆g，2012；Kingsbury，2009）。

相比之下，第二种方法更容易操作。

三、在线标定与最优设计

在线标定与最优设计（OptimalDesign）存在一定的联系。

最优设计是现代统计学中非常活跃的一个分支。

这一分支的总研究目标是从统计学的角度寻找实验或取样设计的最佳方案，从而提高效率，降低成本。

最优设计的一系列理论目前已经被应用在很多领域，如工程、化工、教育、生化药学、市场营销、环境科学等（Berger＆Wong，2005）。

在教育测量领域中，最优设计的应用主要有两个方面：一方面，是选取最优的题目，用以优化考生能力水平的估计效率，也就是CAT；另一方面，则是选取最优的考生样本，用以优化题目参数的估计效率，也就是在线标定的目标之一。

目前最常用的试测取样方法是简单随机取样，这种方法的好处是所取得的样本对总体最具有代表性。

这也是在纸笔测验的试测中最实际的一种方法。

而在CAT环境下，当试测题可以被实时选用，考生的能力水平估计值也可知时，从理论上来说，前人通过计算机模拟研究得出结论，如根据考生能力水平和题目参数值来有规则地取样，参数标定的效率就可以提高（Berger，1991；Lord，1962）。

这里参数标定的效率是通过同一样本量下的参数估计标准误来反映的。

在样本量等同时，参数估计的标准误越小，效率越高。

换个角度说，要达到同样的估计精度，最优设计需要的样本量较小，节约了成本。

然而在实践中，考生能力水平和题目参数的真实值都是不可知的。

那么一个折中的方法则是利用在CAT中估计出的考生能力水平值，以及从已有数据中估计出的临时题目参数值。

这些临时题目参数值将随着试测的进行、新样本的积累，不断地更新，而这种方法则称为“最优序贯设计”