在线CSV去重,支持相似内容模糊匹配
上传 CSV 即可自动删除重复行并保留首条记录。仅在字母大小写、多余空格或标点符号上有差异的行也可作为重复项剔除,并单独提供一份明细,清晰列出所有已删记录及其对应的原始行。1,000 行以内的文件完全免费;更大文件最高支持 200,000 行,一次付费仅需 $5。
如何清除 CSV 中的重复行
-
1
上传 CSV 文件
拖入文件,选择比对“整行”或指定用作去重依据的列。如果数据可能存在拼写细节差异,可勾选“模糊匹配”。
-
2
查看统计数据
查看识别出的重复行与空行数量,并预览清洗后的前几行数据。
-
3
下载结果
下载清洗后的文件及已删行清单。超过 1,000 行的文件,只需 $5 即可解锁完整结果。
完全重复与近似重复
常见的去重工具通常按字符逐字比对,若两行数据仅仅因末尾多了一个空格、大小写不同或公司名后多了一个逗号,就会被当作两条不同记录保留。开启模糊匹配后,系统会为每行生成对比键,自动忽略字母大小写、空格和标点符号,并在公司列中忽略 Inc、LLC、Ltd、GmbH 等法律后缀。比对键相同的行即被视为重复行。
在比对之前,系统会预处理每个单元格:去除首尾空格、合并连续空格,并剔除不换行空格、零宽空格等不可见字符。这些不可见字符往往是两行数据在屏幕上看起来一模一样、但在精确比对下却无法去重的主要原因。
清洗后可核对的内容
没有任何数据会被悄无声息地删除。导出的已删行 CSV 包含了每条被删记录的原始数据、原行号以及它所重复的目标行号,方便您随时查对,必要时恢复误删记录。全空行也会一并移除,并在页面上显示统计数量。
工具的工作方式、费用以及文件处理方式,请见 CSV数据清洗 页面;所有工具的价格请见 价格 页面。
最后更新于
常见问题
可以免费在线对 CSV 去重吗?
可以,1,000 行以内的文件完全免费下载。更大文件可免费查看统计数据和前几行清洗预览;解锁完整文件仅需一次付费 $5。
重复项中会保留哪一条?
保留首次出现的记录及其原位置。后续重复记录将被剔除,并在清单中注明其重复的原行。
如果两行只是空格或大小写不同,也能算作重复吗?
可以,只需开启模糊匹配。系统会自动忽略字母大小写、空格和标点符号,并在公司列中自动忽略企业后缀。
我的文件会被发送给 AI 模型吗?
不会。数据清洗全部在我们的服务器上本地运行。仅当您主动勾选了“AI 姓名规范化”选项时,姓名列中去重后的姓名才会发送给 AI 模型处理。
我的文件安全私密吗?
只有您能访问自己的任务。无需注册上传的任务将在 7 天后自动删除,您也可以随时手动彻底删除任何任务。