Skip to content

AI 阅卷 ​

主观题阅卷是考试流程里最耗人力的一环。 砚考的 AI 阅卷定位很清楚:替你打草稿,不替你做决定。

基本流程 ​

text
考生交卷
   │
   ▼
客观题  → 自动判分(不需要 AI)
   │
   ▼
主观题  → 点「AI 预评」
   │        ├─ 逐题给建议分 + 理由 + 要点命中
   │        └─ 标出哪些「需要人工确认」
   │
   ▼
教师复核 → 采纳 / 改分 / 重判
   │
   ▼
提交最终分

AI 分不会自动变成最终分

AI 给的是建议分,写在单独的 ai_score 字段, 不会覆盖人工分。

最终分永远由你确认提交。

怎么用 ​

  1. 进入阅卷页,打开待阅考试
  2. 选要评的题目(可批量选)
  3. 点「AI 预评」
  4. 看结果,逐题确认或改分
  5. 提交

批量预评是并发执行的,默认并发 4(可在服务端配到 16)。

看懂评分结果 ​

一条评分结果包含:

字段含义
score建议分(0 ~ 满分)
confidence置信度 0~1
matched_points[]要点命中明细:每个要点是否答到、给几分
reason面向教师的评分说明
comment面向学生的评语
need_human是否需要人工确认

matched_points 是最有用的字段—— 它告诉你 AI 为什么给这个分,你可以逐条核对:

text
✓ 提到 SYN      3 分
✓ 提到 SYN-ACK  3 分
✗ 提到 ACK      0 分
→ 建议 6/10

如果 AI 判「没答到」,但学生其实写了,就是要点拆得不对, 你可以手动改分并保留意见。

置信度:什么时候必须自己看 ​

置信度含义你要做什么
≥ 0.9要点清晰,很有把握批量采纳即可
0.6 ~ 0.9基本可判,可能有表述歧义扫一眼
< 0.6判断不了必须自己判,AI 分仅供参考

置信度 < 0.6 的结果会被自动标记 need_human,系统会明显标出来。

空白卷反而置信度最高

如果学生交白卷、复制题干、完全答非所问, AI 会直接给 0 分,置信度给 1.0。

这是刻意的——白卷是最确定的情况, 不该因为「置信度低」又推给老师重判一遍。

评分自检(Reflection) ​

不确定 AI 分准不准?开评分自检,让 AI 再复核一遍。

它会检查:

  • 是否超出了参考答案的评分要点
  • 给分理由是否空泛
  • 是否存在宽严偏差

输出 accepted(是否认可原分)、adjusted_score(调整后分数)、 score_quality、issues[]、comment。

如果自检不认可原分,系统会改用 adjusted_score, 并把这条标记为必须人工确认——让你注意到这个分歧。

只需多一次调用

自检只多花一次模型调用,就能拦掉大部分宽严失当。 建议在大规模考试或分值高的题上开启。

雷同检测 ​

找出高度相似的主观题作答,辅助判定抄袭。

输入一道题的所有作答,输出相似度聚类结果。

提示词里明确要求区分「真正雷同」与「正常相似」—— 因为主观题的正确答案本来就长得很像:

text
学生 A:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK
学生 B:客户端发 SYN 包,服务端回 SYN-ACK,客户端最后发 ACK
→ 正常相似(都在复述标准答案)

学生 C:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK,完成连接建立
学生 D:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK,完成连接建立
→ 真正雷同(连措辞、句读都一样)

雷同不等于作弊

检测结果只是线索。判定必须由人来做, 这条能力的 need_human 是强制开启的。

评分校准 ​

怀疑 AI 打分偏松或偏紧?用校准对比一下。

输入:一批「AI 分 + 教师历史分」的配对样本。 输出:宽严偏差方向与校准系数。

text
样本:AI 7.0 / 教师 8.0
     AI 6.5 / 教师 7.5
     AI 8.0 / 教师 8.0
→ 结论:AI 整体偏紧约 1 分,建议校准系数 +0.12

什么时候该校准

  • 换了模型之后
  • 换了学科/题型之后
  • 发现最近 AI 分普遍偏高或偏低时

建议每学期做一次,样本取 20~30 条就够。

代码题判分 ​

代码题从两个维度评分:

维度说明
功能正确性测试结果(传入 test_result)
代码质量命名、结构、异常处理等

代码题也是 need_human=true 强制人工确认的类型。

阅卷双评 ​

如果需要更高的一致性保障,可以用「投票」模式: 让多个模型(或多次调用)独立评分。

text
模型 A:7.5    模型 B:8.0
→ 平均分 7.75,分差 0.5,无需仲裁

模型 A:4.0    模型 B:9.0
→ 分差 5.0,超出容差 → need_arbitration → 需要第三人仲裁

容差默认 1.0 分。

建议的工作方式 ​

大规模考试(几百份) ​

text
1. 全部跑 AI 预评(批量,并发)
2. 先看置信度 ≥ 0.9 的,快速批量采纳
3. 重点看 < 0.6 的,这些必须人工
4. 0.6~0.9 的抽看 20%
5. 开雷同检测扫一遍

这样能把工作量压到原来的 20~30%,且不会漏掉高风险卷。

小规模考试(几十份) ​

text
1. 跑 AI 预评
2. 全部人工过一遍(反正也不多)
3. AI 分当作「第二意见」——与自己判的差太多的重点看

AI 的第二意见能有效发现疲劳阅卷导致的误判。

常见坑 ​

现象原因怎么办
分数全是 0 且都标「需人工」服务跑在 MOCK 模式检查 AGENT_LLM_MOCK,生产必须关掉
AI 分普遍偏高缺少评分要点给题目标配 rubric,要点之外不加分
AI 分普遍偏低参考答案太简略补充参考答案,或传历史满分样例作锚点
同一个作答两次分不一样模型随机性正常现象;温度已调到 0.1,但不能保证完全一致
批量很慢并发度低或模型慢调大 max_parallel(1~16),注意模型侧的限流
报「AI 不可用」模型全挂了这是故意报错而非返回 0 分,检查模型配置

相关文档 ​

砚考 · 让每一次考试都经得起检验