Удаление дубликатов из CSV онлайн, включая неточные совпадения
Загрузите CSV и скачайте файл без дубликатов, сохранив первую копию каждой строки. Строки, различающиеся только регистром букв, лишними пробелами или пунктуацией, также можно считать дубликатами. В отдельном файле будет список всех удалённых строк с указанием оригинала. Файлы размером до 1,000 строк бесплатны полностью; файлы покрупнее (до 200,000 строк) — за разовый платёж $5.
- Первая копия каждого дубликата остаётся на своём месте
- Неточное сопоставление игнорирует регистр, пробелы, знаки препинания и суффиксы компаний (Inc., LLC и др.)
- В отчёте CSV перечислены все удалённые строки с номерами строк-оригиналов
- Исходный разделитель и кодировка сохраняются, заголовок не меняется
- Бесплатно полностью до 1,000 строк; до 200,000 строк за $5
Как удалить дубликаты из CSV
-
1
Загрузите CSV
Перетащите файл и оставьте вариант «Вся строка целиком» или выберите столбцы, определяющие уникальность записи. Включите неточное сопоставление, если строки могут немного отличаться в написании.
-
2
Проверьте количество
Посмотрите, сколько найдено дубликатов и пустых строк, а также оцените первые строки после очистки.
-
3
Скачайте результат
Скачайте очищенный файл и список удалённых строк. Если в файле больше 1,000 строк, открыть полный результат можно за $5.
Точные дубликаты и неточные совпадения
Большинство инструментов сравнивают строки посимвольно. Две строки, различающиеся лишь пробелом на конце, заглавной буквой или запятой в названии компании, останутся двумя отдельными записями. При включённом неточном сопоставлении для каждой строки создаётся ключ сравнения: он игнорирует регистр, пробелы и пунктуацию, а в столбцах с названиями компаний — организационно-правовые формы вроде Inc, LLC, Ltd и GmbH. Строки с одинаковым ключом признаются дубликатами.
Перед сравнением каждая ячейка очищается: удаляются начальные и конечные пробелы, двойные пробелы сжимаются в одинарные, а невидимые символы (например, неразрывные пробелы и символы нулевой ширины) вырезаются. Именно эти скрытые символы часто приводят к тому, что визуально одинаковые строки не определяются как дубликаты при точном сравнении.
Что можно проверить после очистки
Ничего не удаляется без следа. CSV-файл со списком удалённых строк содержит все исходные значения, номер удалённой строки и номер строки-оригинала — так вы сможете легко сопоставить их и восстановить нужные данные, если с чем-то не согласны. Полностью пустые строки также удаляются, а их число отображается на экране.
Как работает инструмент, сколько он стоит и как обрабатываются ваши файлы — на странице Очистка CSV; цены на все инструменты — на странице цены.
Обновлено
Вопросы и ответы
Можно ли бесплатно удалить дубликаты из CSV онлайн?
Да, для файлов размером до 1,000 строк, включая скачивание. Для файлов покрупнее статистика и первые очищенные строки показываются бесплатно, а весь файл можно получить за разовый платёж $5.
Какая копия дубликата сохраняется?
Первая, на своём исходном месте. Последующие копии удаляются и заносятся в отчёт со ссылкой на строку-оригинал.
Считаются ли дубликатами строки с разным регистром или лишними пробелами?
Да, если включено неточное сопоставление. В этом режиме регистр, пробелы и пунктуация игнорируются, как и суффиксы компаний в соответствующих столбцах.
Отправляется ли мой файл в ИИ-модель?
Нет. Очистка выполняется на нашем сервере. ИИ-модели передаются только уникальные имена из столбцов с именами, и только если вы включите опцию исправления имён с помощью ИИ.
Сохраняется ли конфиденциальность файла?
Доступ к вашей задаче есть только у вас. Задачи, загруженные без регистрации, удаляются через 7 дней, а вручную удалить задачу можно в любой момент.