将标准化考试转向线上无法解决考试问题

将卷面考试转向线上会增加应考和安全问题。布尔·赛图斯(Burr Settles)称,线上考试应该“数字化优先”

六月 20, 2020
Source: iStock

点击阅读英文原文


由于新冠疫情,2020年5月的美国大学预修课程考试(Advanced Placement)转向线上。此举导致了各种技术和安全问题,并引发了针对该考试创办机构——美国大学理事会(College Board)的诉讼

同时,在美国大学入学考试中广泛被采用的标准化考试SAT的春季和夏季考试日期也被取消。美国大学理事会首席执行官戴维·科尔曼(David Coleman)表示,如果高中在秋季也关闭,应该将这些传统的面对面测试转向线上。

尽管让尽可能多的学生参加这些考试是重要且令人钦佩的,但考试主办方应该注意到,仅仅将这些纸质测试转向线上是不够的。尤其是在全球性的疫情下,把一切都数字化的需求对时间表造成了很大压力。把考试转向线上带来了技术上的挑战,并引发了有关安全性和应考的问题。

1926年,首次有高中生参加了SAT考试。尽管这些年来,SAT经历了几次形式和评分变化,但设置仍保持不变:大批学生聚集在房间里同时进行相同的测试。

在2018年,大学理事会允许某些州的地区以数字化方式提供考试。虽然他们采取了安全措施来测试建筑物的网络强度并防止潜在的试题失窃,但试题本身基本与纸质版相同。

问题的症结在于,纸质考试或任何静态、固定形式的考试,哪怕在计算机上进行,也旨在适应考试地点,而不是考生本人。从根本上讲,它们并不是“数字化优先”。

在线进行纸质测试的一个问题是环境不再标准化。在传统环境中,学生会拿到相同的测试表格,并在同一地点、同一时间,使用相同的设备进行考试。但是远程测试引入了许多新的变量,比如不同的计算机硬件或互联网速度。要减小这些差异的影响,方法之一是将考试设计得更短且更有效,以最大程度地减少在各种设备上可能出现的技术问题。

第二个相关问题是,传统的纸质考试都设计得很长。这是因为考试必须用涵盖从基础到高级的整个能力范围内的问题来对学生进行评估。因此,SAT可能需要3个小时才能完成。如果学生选择了论文部分(这一部分是许多一流高校要求或强烈建议的),则将花费近4个小时。

测试疲劳是切实存在的。在2016年参加了当时的新版本考试后,许多学生都评论说他们在试后感到筋疲力尽。

但我们现在有更好的工具,应该使用它们。几年前,测试开发人员认识到了电脑适应性测试的潜力。这种测试可以根据对问题的回答来适应学生的能力,并允许软件根据学生表现来调整和加大难度。

适应性测试已被证实可在保持统一准确分数的同时,在短时间内被完成。研究生入学考试(Graduate Record Examination, GRE)和经企管理研究生入学考试(Graduate Management Admission Test, GMAT)就是两个例子。

第三个问题是测试的完整性和安全性。进行纸质测试的一种常见策略是在计划的考试之前保证试卷的安全和运输试卷。电脑适应性测试有助于解决这一问题,因为每一份试卷都为不同学生量身定制。然而,这仅在试题库足够大的情况下有效。不幸的是,大多数现代电脑适应性测试仍在考试中心进行。这些地点较难复制和传播试题,因此他们可以设计较小的试题库。

数字化优先的测试可以并且应该利用人工智能和机器学习,来帮助生成成千上万的试题。这一壮举几乎不可能通过更传统的测试开发流程高效且一致地执行。

举例来说,如果一个学生要参加多邻国英语测试(Duolingo English Test)——我参与创建的一种使用人工智能辅助试题开发的在线适应性测试,学生需要参与约1000次考试才会碰到重复的试题。随着学生在全球不同时区参加标准化考试,这是确保基本的考试完整性的重要方面。

在全球性危机期间将笔试转为数字化考试的第四个也是最后一个问题是,缺乏时间来开发适当的指导和安全协议。人工智能在这里也可以发挥重要作用:计算机视觉和生物识别技术可以与实时或异步远程人为监控共同使用。不管从道德还是技术上来说,验证学生的身份或锁定他们的浏览器都不是一件小事。这些系统可能需要数月或数年的开发时间,因此不应在一夜之间随意部署。

线上数字化优先的考试提供了与传统纸质静态考试不一样的教学经验。从设计上讲,它们是灵活的,始终如一的,并且是由经验驱动的。考试主办方有机会学会变得更加敏锐,并重新思考如何开发考试来满足应试者而非考试中心的需求。与仅在纸质测试中观察相比,这一机遇需要更多的研究和工作量。

布尔·赛图斯(Burr Settles)是一位专攻数据机器学习和人机交互的科学家和软件工程师。他是多邻国(Duolingo)的研究主任,帮助建立了多邻国英语测试项目。

本文由陆子惠为泰晤士高等教育翻译。

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
注册
Please 登录 or 注册 to read this article.