文本相似度是什么
相似度没有唯一答案,不同算法看问题的角度不同:有的数字符增删改次数,有的比较用词分布,有的只看词集合重叠。
这个工具能做什么
- 编辑距离相似度(对语序敏感,适合查错别字)
- 余弦相似度(比较用词分布,适合判断同主题)
- Jaccard 重合度(只看词集合是否重叠)
- 可忽略大小写与空白
怎么使用(输入说明)
- 在左右两栏分别粘贴文本
- 按需勾选忽略大小写、忽略空白
- 看三个指标与编辑距离
- 据此判断重复程度
使用时的几个注意点
- 改语序会显著降低编辑距离相似度,但余弦相似度基本不变
- 长文本比短文本更容易得到高余弦值
- 查重建议以余弦相似度为主
实例
「摩卡工具箱是一个在线工具箱」与「摩卡工具箱是 AI 时代的在线工具箱」,余弦相似度约 0.9 以上,编辑距离相似度约 0.7。
常见问题 FAQ
Q:三个指标该看哪个?
A:查错别字和细微改动看编辑距离相似度;判断两段话是不是同一个主题看余弦相似度;只关心用词重不重合看 Jaccard。三个一起看最稳。
Q:多少算高相似?
A:没有绝对阈值。经验上余弦相似度超过 0.85 基本可以判定高度相似,0.6-0.85 之间需要人工看内容再定。
Q:中文是怎么切词的?
A:按单个汉字切分。这比依赖分词库更稳,不会因为分词器版本不同得出不一样的结果。