跳到主要内容

文本相似度

查重与洗稿检测

编辑距离相似度68.8%按单字符增删改算,对语序敏感,适合查错别字
余弦相似度85.1%比较用词分布,适合判断两段话是否同主题
Jaccard 重合度57.1%只看词集合重叠比例,不看出现次数

编辑距离:5(把 A 改成 B 最少需要 5 次单字符操作)

三个指标看问题的角度不同:查重复投稿、洗稿用余弦相似度最合适; 查错别字和细微改动看编辑距离;只关心「出现过的词重不重合」就看 Jaccard。 全部在本地计算,文本不上传。

文本相似度是什么

相似度没有唯一答案,不同算法看问题的角度不同:有的数字符增删改次数,有的比较用词分布,有的只看词集合重叠。

这个工具能做什么

  • 编辑距离相似度(对语序敏感,适合查错别字)
  • 余弦相似度(比较用词分布,适合判断同主题)
  • Jaccard 重合度(只看词集合是否重叠)
  • 可忽略大小写与空白

怎么使用(输入说明)

  1. 在左右两栏分别粘贴文本
  2. 按需勾选忽略大小写、忽略空白
  3. 看三个指标与编辑距离
  4. 据此判断重复程度

使用时的几个注意点

  • 改语序会显著降低编辑距离相似度,但余弦相似度基本不变
  • 长文本比短文本更容易得到高余弦值
  • 查重建议以余弦相似度为主

实例

「摩卡工具箱是一个在线工具箱」与「摩卡工具箱是 AI 时代的在线工具箱」,余弦相似度约 0.9 以上,编辑距离相似度约 0.7。

常见问题 FAQ

Q:三个指标该看哪个?

A:查错别字和细微改动看编辑距离相似度;判断两段话是不是同一个主题看余弦相似度;只关心用词重不重合看 Jaccard。三个一起看最稳。

Q:多少算高相似?

A:没有绝对阈值。经验上余弦相似度超过 0.85 基本可以判定高度相似,0.6-0.85 之间需要人工看内容再定。

Q:中文是怎么切词的?

A:按单个汉字切分。这比依赖分词库更稳,不会因为分词器版本不同得出不一样的结果。

常见问题

三个指标该看哪个?
查错别字和细微改动看编辑距离相似度;判断两段话是不是同一个主题看余弦相似度;只关心用词重不重合看 Jaccard。三个一起看最稳。
多少算高相似?
没有绝对阈值。经验上余弦相似度超过 0.85 基本可以判定高度相似,0.6-0.85 之间需要人工看内容再定。
中文是怎么切词的?
按单个汉字切分。这比依赖分词库更稳,不会因为分词器版本不同得出不一样的结果。