AI 阅卷
主观题阅卷是考试流程里最耗人力的一环。 砚考的 AI 阅卷定位很清楚:替你打草稿,不替你做决定。
基本流程
考生交卷
│
▼
客观题 → 自动判分(不需要 AI)
│
▼
主观题 → 点「AI 预评」
│ ├─ 逐题给建议分 + 理由 + 要点命中
│ └─ 标出哪些「需要人工确认」
│
▼
教师复核 → 采纳 / 改分 / 重判
│
▼
提交最终分AI 分不会自动变成最终分
AI 给的是建议分,写在单独的 ai_score 字段, 不会覆盖人工分。
最终分永远由你确认提交。
怎么用
- 进入阅卷页,打开待阅考试
- 选要评的题目(可批量选)
- 点「AI 预评」
- 看结果,逐题确认或改分
- 提交
批量预评是并发执行的,默认并发 4(可在服务端配到 16)。
看懂评分结果
一条评分结果包含:
| 字段 | 含义 |
|---|---|
score | 建议分(0 ~ 满分) |
confidence | 置信度 0~1 |
matched_points[] | 要点命中明细:每个要点是否答到、给几分 |
reason | 面向教师的评分说明 |
comment | 面向学生的评语 |
need_human | 是否需要人工确认 |
matched_points 是最有用的字段—— 它告诉你 AI 为什么给这个分,你可以逐条核对:
✓ 提到 SYN 3 分
✓ 提到 SYN-ACK 3 分
✗ 提到 ACK 0 分
→ 建议 6/10如果 AI 判「没答到」,但学生其实写了,就是要点拆得不对, 你可以手动改分并保留意见。
置信度:什么时候必须自己看
| 置信度 | 含义 | 你要做什么 |
|---|---|---|
| ≥ 0.9 | 要点清晰,很有把握 | 批量采纳即可 |
| 0.6 ~ 0.9 | 基本可判,可能有表述歧义 | 扫一眼 |
| < 0.6 | 判断不了 | 必须自己判,AI 分仅供参考 |
置信度 < 0.6 的结果会被自动标记 need_human,系统会明显标出来。
空白卷反而置信度最高
如果学生交白卷、复制题干、完全答非所问, AI 会直接给 0 分,置信度给 1.0。
这是刻意的——白卷是最确定的情况, 不该因为「置信度低」又推给老师重判一遍。
评分自检(Reflection)
不确定 AI 分准不准?开评分自检,让 AI 再复核一遍。
它会检查:
- 是否超出了参考答案的评分要点
- 给分理由是否空泛
- 是否存在宽严偏差
输出 accepted(是否认可原分)、adjusted_score(调整后分数)、 score_quality、issues[]、comment。
如果自检不认可原分,系统会改用 adjusted_score, 并把这条标记为必须人工确认——让你注意到这个分歧。
只需多一次调用
自检只多花一次模型调用,就能拦掉大部分宽严失当。 建议在大规模考试或分值高的题上开启。
雷同检测
找出高度相似的主观题作答,辅助判定抄袭。
输入一道题的所有作答,输出相似度聚类结果。
提示词里明确要求区分「真正雷同」与「正常相似」—— 因为主观题的正确答案本来就长得很像:
学生 A:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK
学生 B:客户端发 SYN 包,服务端回 SYN-ACK,客户端最后发 ACK
→ 正常相似(都在复述标准答案)
学生 C:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK,完成连接建立
学生 D:客户端发送 SYN,服务端返回 SYN-ACK,客户端再发送 ACK,完成连接建立
→ 真正雷同(连措辞、句读都一样)雷同不等于作弊
检测结果只是线索。判定必须由人来做, 这条能力的 need_human 是强制开启的。
评分校准
怀疑 AI 打分偏松或偏紧?用校准对比一下。
输入:一批「AI 分 + 教师历史分」的配对样本。 输出:宽严偏差方向与校准系数。
样本:AI 7.0 / 教师 8.0
AI 6.5 / 教师 7.5
AI 8.0 / 教师 8.0
→ 结论:AI 整体偏紧约 1 分,建议校准系数 +0.12什么时候该校准
- 换了模型之后
- 换了学科/题型之后
- 发现最近 AI 分普遍偏高或偏低时
建议每学期做一次,样本取 20~30 条就够。
代码题判分
代码题从两个维度评分:
| 维度 | 说明 |
|---|---|
| 功能正确性 | 测试结果(传入 test_result) |
| 代码质量 | 命名、结构、异常处理等 |
代码题也是 need_human=true 强制人工确认的类型。
阅卷双评
如果需要更高的一致性保障,可以用「投票」模式: 让多个模型(或多次调用)独立评分。
模型 A:7.5 模型 B:8.0
→ 平均分 7.75,分差 0.5,无需仲裁
模型 A:4.0 模型 B:9.0
→ 分差 5.0,超出容差 → need_arbitration → 需要第三人仲裁容差默认 1.0 分。
建议的工作方式
大规模考试(几百份)
1. 全部跑 AI 预评(批量,并发)
2. 先看置信度 ≥ 0.9 的,快速批量采纳
3. 重点看 < 0.6 的,这些必须人工
4. 0.6~0.9 的抽看 20%
5. 开雷同检测扫一遍这样能把工作量压到原来的 20~30%,且不会漏掉高风险卷。
小规模考试(几十份)
1. 跑 AI 预评
2. 全部人工过一遍(反正也不多)
3. AI 分当作「第二意见」——与自己判的差太多的重点看AI 的第二意见能有效发现疲劳阅卷导致的误判。
常见坑
| 现象 | 原因 | 怎么办 |
|---|---|---|
| 分数全是 0 且都标「需人工」 | 服务跑在 MOCK 模式 | 检查 AGENT_LLM_MOCK,生产必须关掉 |
| AI 分普遍偏高 | 缺少评分要点 | 给题目标配 rubric,要点之外不加分 |
| AI 分普遍偏低 | 参考答案太简略 | 补充参考答案,或传历史满分样例作锚点 |
| 同一个作答两次分不一样 | 模型随机性 | 正常现象;温度已调到 0.1,但不能保证完全一致 |
| 批量很慢 | 并发度低或模型慢 | 调大 max_parallel(1~16),注意模型侧的限流 |
| 报「AI 不可用」 | 模型全挂了 | 这是故意报错而非返回 0 分,检查模型配置 |
相关文档
- 阅卷与成绩 —— 阅卷的完整流程
- AI 功能总览
- Skill 技能详解 —— 评分逻辑详解