智能体评测用例生成器的原理
智能体上线后「悄悄退化」很常见:换个问法就答错。评测用例生成器把你要覆盖的能力与边界写成「输入—预期—评判点」三件套,攒成一套题,每次模型或提示词变动后跑一遍,提前发现退化。
这个工具能做什么
- 批量生成结构化测试用例
- 覆盖正常 / 边界 / 异常场景
- 标注预期输出与评判点
- 辅助智能体回归评测
怎么使用(输入说明)
- 填能力:这个智能体要考什么。
- 填边界:容易翻车的输入长什么样。
- 生成:得到用例清单。
- 执行:拿去对照实际输出打分。
常见问题 FAQ
Q:自动判分吗?
A:不。本工具只产出「预期与评判点」,实际打分可由你或另一个评审模型完成。
Q:用例要多少条?
A:核心场景 20–50 条即可覆盖主路径,边界场景越多越稳。
Q:会上传吗?
A:不会,本地生成。