用一份有明确错误的模拟作业检查AI评语,说明量规、修订动作、人工复核与完整工作量怎样一起核对。
老师收到一段自动评语,“结构完整,论证清楚,建议加强细节”,看起来几乎适用于每一份作业。学员读完却问,具体该改哪句?AI能快速生成反馈,课程方要检查的是它有没有指向作品里的真实问题。近期AI教育讨论升温,Coursera官方也公开说明了AI评分作业与评分量规的关系。对准备采用类似方法的成人培训班,可以从一份脱敏样稿做起。
先选一处能解释的错误
不要先拿最完美的作业测试。找一份经过许可或完全自制的示例,里面放一个你能明确解释的问题。比如客户邮件答复里承诺了原材料没有提供的交货日期,或者培训记录把箱数当成了件数。先由老师写下为什么错、会影响哪个判断、希望学员怎样修正。把这几行作为核对依据,再看工具给出的反馈是否提到同一问题。
有时工具只改语气,完全忽略了事实。也有时指出问题但误解了原始条件。遇到这样的例子,先记录误读位置,而不用反复换措辞追求一段更像老师的话。反馈若不能回到作品里的具体句子,学员很难知道自己要做什么。
评分依据让教师和学员都看得到
Coursera有关AI评分问题的帮助说明,介绍了由教师决定使用的作业及其评分量规。这个产品说明适用于相应课程,不能据此推断所有线上作业都由同一种方式评分。机构自建任务时,也可以先给出少量可观察标准,例如是否保留原始条件、是否区分已知与待确认、是否交代下一步。每一项配一条正例或反例,教师核对自动反馈时才有参照。
如果量规写得太抽象,工具和人可能都各自理解。比如“专业性”可以拆成引用准确、术语前后一致、权限边界清楚。学员知道标准后,也能指出评语是否误判。课程中应该留出让老师查看原稿和必要材料的办法,尤其是反馈会影响成绩或后续学习安排时。
改完以后问学员准备做什么
把反馈给一位不知道测试目标的人,请他按评语修改。能不能找到需要改的那句?是否知道到哪里核对原始数据?修改后有没有引入另一个错误?例如评语让人“补充具体日期”,学员随手编了一个日期,说明下一步指令还不够明确。可以改成“此处缺少发货方确认,请写明待确认,并列出应向谁询问”。可行动的反馈应让学习者知道核对途径。
同一段话对不同基础的人也可能不够用。初学者可能需要看到一处示范,再改下一处。已有经验的人更适合被问为什么这样判断。老师可以根据学员反应调整支持程度,并记录哪类错误要由人工处理。这样收集到的都是实际任务里的问题,能帮助下一轮选择更合适的工具使用范围。
把时间节省放到完整流程里看
如果自动生成评语用了很短时间,但教师要花很久检查,课程方应把后面的工作也算上。需要关注的还有学员收到反馈后能否完成修订。若许多人仍重复同一个错误,可能要重新讲解概念或改任务说明。批注写得多,并不自动意味着支持到位。
Stanford近期综述提示教学情境和实施方式会影响结果,不能仅凭某种工具形式预测效果。成人培训班可以先用少量授权样稿测试,记录误读、修订和人工接手情况。对外描述时明确哪些反馈来自工具、哪些由教师确认,避免让学员误以为每一段评语都经过教师逐字审核。
还可以准备一份工具容易误读的第二样稿,例如把同一问题改成委婉说法,或把关键限制放进附件。若第一份能找对,第二份却漏掉,就要限定适用范围,并让教师优先查看有附件和复杂条件的作业。样稿持续保留,有助于系统换版以后重新核对,而无需每次凭印象判断好坏。
