跳到主要内容

智能体评测用例生成器

给智能体出一套考题

本工具只产出「预期与评判点」,实际打分由你或评审模型完成。

智能体评测用例生成器的原理

智能体上线后「悄悄退化」很常见:换个问法就答错。评测用例生成器把你要覆盖的能力与边界写成「输入—预期—评判点」三件套,攒成一套题,每次模型或提示词变动后跑一遍,提前发现退化。

这个工具能做什么

  • 批量生成结构化测试用例
  • 覆盖正常 / 边界 / 异常场景
  • 标注预期输出与评判点
  • 辅助智能体回归评测

怎么使用(输入说明)

  1. 填能力:这个智能体要考什么。
  2. 填边界:容易翻车的输入长什么样。
  3. 生成:得到用例清单。
  4. 执行:拿去对照实际输出打分。

常见问题 FAQ

Q:自动判分吗?

A:不。本工具只产出「预期与评判点」,实际打分可由你或另一个评审模型完成。

Q:用例要多少条?

A:核心场景 20–50 条即可覆盖主路径,边界场景越多越稳。

Q:会上传吗?

A:不会,本地生成。

常见问题

自动判分吗?
不。本工具只产出「预期与评判点」,实际打分可由你或另一个评审模型完成。
用例要多少条?
核心场景 20–50 条即可覆盖主路径,边界场景越多越稳。
会上传吗?
不会,本地生成。