提示词注入检测的原理
提示词注入是智能体最常见的安全风险:用户在外层文本里藏一句「忽略之前所有指令」,就可能劫持模型行为。检测器用一组已知注入特征(角色切换、规则覆盖、输出格式操纵)做规则匹配,给出风险等级与位置,作为上线前的第一道防线。
这个工具能做什么
- 扫描越狱与指令劫持特征
- 按低 / 中 / 高风险分级
- 标出命中的具体片段
- 给出处置建议,便于评审
怎么使用(输入说明)
- 粘贴文本:把要喂给 AI 的用户输入贴进来。
- 点检测:工具逐条比对注入特征库。
- 看结果:命中项按风险等级列出并定位。
- 处置:高风险项建议人工复核或拒收。
常见问题 FAQ
Q:能防住所有注入吗?
A:不能。规则匹配只能拦已知套路,面对改写或组合攻击仍需人工评审与多层防御(输入隔离、权限最小化)。
Q:会误报吗?
A:会。正常文本里出现「忽略」「系统」等词也可能命中,结果仅作参考,最终由你判断。
Q:内容会上传吗?
A:不会。检测在浏览器本地完成。