Очистка CSV
Удаление дубликатов и очистка CSV: имена, email и лишние пробелы
Загрузите файл CSV или Excel и получите его обратно без дубликатов и пустых строк, с удалёнными лишними пробелами и невидимыми символами, адресами email в нижнем регистре и именами, приведёнными к единому стилю. Дубликатами могут считаться как строки целиком, так и строки с одинаковым email или компанией, причём неточные совпадения вроде «ACME, Inc.» и «acme inc» тоже считаются одинаковыми. В отдельном списке показаны все удалённые строки с указанием повторённого оригинала. Файлы до 1,000 строк обрабатываются полностью бесплатно; файлы большего объёма — за $5 (разовый платёж).
- До 1,000 строк полностью бесплатно, без регистрации
- Весь файл за $5, разовый платёж: до 200,000 строк
- Поиск дубликатов по всей строке или по отдельным колонкам (например, Email)
- Неточные совпадения: регистр, пробелы, знаки препинания и формы вроде Inc/LLC/Ltd игнорируются
- Единое написание имён и компаний, адреса email в нижнем регистре
- Список всех удалённых строк с привязкой к оригиналу
Что вы получите
Очищенную копию файла (например, contacts.clean.csv) и список удалённых строк. Ещё до оплаты на экране отобразится количество найденных дубликатов, пустых строк и исправленных ячеек, а также первые очищенные строки.
- На входе CSV — на выходе CSV с тем же разделителем, кодировкой и заголовком. На входе Excel — на выходе Excel в виде чистого листа значений (форматирование и формулы не переносятся, сохраняются результаты вычислений).
- Первая копия каждого дубликата остаётся на своём исходном месте, последующие — удаляются.
- В каждой ячейке убираются пробелы по краям, сжимаются двойные пробелы, удаляются неразрывные пробелы, символы нулевой ширины и управляющие символы. Колонки с названиями вроде Email переводятся в нижний регистр.
- Колонки с именами и названиями (Name, Company, Customer, Contact, Vendor или указанные вами): слова, набранные ТОЛЬКО ЗАГЛАВНЫМИ или только строчными, пишутся с заглавной буквы («maria GARCIA» превращается в «Maria Garcia»), а правовые формы компаний приводятся к единому виду (например, Inc., LLC, Ltd и GmbH).
- Файл CSV со всеми удалёнными строками, их исходными значениями и номером строки, которую они продублировали.
Очистка файла: чат-бот против нашего инструмента
Чат-бот с поддержкой кода может справиться с небольшим файлом, а табличные редакторы удаляют точные дубликаты. Главные сложности — это неточные совпадения, сохранение отчёта об удалённых строках и файлы, которые невозможно вставить в чат целиком.
| Ситуация | Чат-бот | Этот инструмент |
|---|---|---|
| Небольшой список с явными повторами | Обычно справляется | Справляется, до 1,000 строк бесплатно |
| 100 000 строк | Не может прочитать в диалоге; пишет скрипт, который нужно проверять вам | Очищает весь документ до 200,000 строк за $5 |
| «ACME, Inc.» и «acme inc» | Считает разными, если не составить точнейший запрос | Считает одинаковыми при включённом поиске неточных совпадений |
| Один и тот же человек, email заглавными буквами | Часто пропускает | Сравнивает адреса email в нижнем регистре |
| Что именно удалили? | Редко показывает построчный отчёт | CSV со всеми удалёнными строками и номерами дубликатов |
| Повторный запуск в следующем месяце | Новый диалог с риском применить другие правила | Одинаковые правила каждый раз |
Как удалить дубликаты из CSV
-
1
Загрузите файл и выберите способ сопоставления
Перетащите файл .csv, .tsv или .xlsx. Выберите поиск дубликатов по всей строке или по ключевым колонкам (например, Email), а также укажите, учитывать ли неточные совпадения.
-
2
Проверьте статистику и первые строки
Посмотрите, сколько дубликатов и пустых строк найдено и как выглядят первые строки после очистки. Небольшие файлы обрабатываются полностью бесплатно.
-
3
Скачайте результат
Скачайте очищенный файл и список удалённых строк; для файлов больше 1,000 строк откройте полный результат за $5.
Почему сложно удалять неточные дубликаты
Удаление точных дубликатов сравнивает строки посимвольно, поэтому записи «ACME, Inc.» и «acme inc» или «[email protected]» и «[email protected]» останутся как две разные строки. В базе контактов это приведёт к дублированию писем клиенту, а в списке поставщиков — к двум отдельным аккаунтам для одной компании.
Этот инструмент создаёт ключ сравнения для каждой строки на основе выбранных колонок. При включённом поиске неточных совпадений ключ игнорирует регистр букв, пробелы и знаки препинания, а в колонках компаний — ещё и правовые формы (Inc, LLC, Ltd, GmbH, S.A. и др.). Строки с одинаковым ключом считаются дубликатами: первая сохраняется, остальные выносятся в список удалённых. Строки с пустыми значениями в ключевых колонках никогда не считаются дубликатами друг друга.
Для чего используют инструмент
- Очистка базы контактов или лидов перед импортом в CRM или сервис рассылок
- Объединение выгрузок из двух систем и удаление пересечений
- Списки поставщиков и клиентов, где одна и та же компания записана по-разному
- Выгрузки опросов или регистраций с повторными отправками
- Удаление пустых строк и лишних пробелов перед использованием функции ВПР (VLOOKUP) или импортом в базу данных
- Исправление имён, набранных заглавными буквами в форме регистрации
Опция: исправление вариантов названий с помощью ИИ
Обычные правила не могут знать, что «Intl Business Machines» и «IBM» — это одна и та же компания. Включите опцию ИИ, и уникальные значения из колонок с именами будут отправлены в модель ИИ: она выберет единый вариант написания для каждого человека или компании и исправит явные опечатки, оставив спорные случаи без изменений. Эта обработка выполняется уже после поиска дубликатов, поэтому она влияет только на написание названий в итоговом файле, а не на то, какие строки удаляются. Если опция выключена, данные в модель ИИ не отправляются.
Ограничения, о которых стоит знать
Один файл на задачу, размером до 100 МБ; в файлах Excel обрабатывается первый лист со строкой заголовков. Разовый платёж покрывает до 200,000 строк, а тариф Unlimited — до 500,000; строки сверх лимита дописываются в конец файла без изменений. Имена со смешанным регистром вроде «DeShawn» или «McKenzie» остаются как есть, а короткие слова из одних заглавных букв вроде IBM воспринимаются как аббревиатуры.
По языкам и ситуациям
Удалить дубликаты из CSV онлайн
Загрузите CSV и скачайте файл без дубликатов, сохранив первую копию каждой строки. Строки, различающиеся тольк...
Читать далее →Удалить дубликаты строк в большом файле Excel
Загрузите файл .xlsx и получите чистый .xlsx без дубликатов: первая копия каждой строки останется на месте, а...
Читать далее →Удалить дубликаты из списка контактов по email
Загрузите список контактов в формате CSV или Excel и получите файл, где на каждый email останется ровно одна с...
Читать далее →Очистить данные в CSV
Загрузите неотформатированный файл CSV или Excel и получите чистую таблицу: лишние пробелы по краям обрезаны,...
Читать далее →Цены
Небольшие файлы
Бесплатно
Файлы размером до 1,000 строк очищаются полностью бесплатно, включая скачивание. Для файлов большего размера статистика и первые строки выводятся на экран без регистрации.
Весь файл
$5
Разовый платёж за один файл: до 200,000 строк вместе со списком удалённых строк. Без подписки, без ограничений по сроку действия.
Unlimited
$19 в неделю
Все инструменты на сайте с файлами размером до 500,000 строк.
Вопросы и ответы
Может ли ChatGPT удалить дубликаты из CSV?
С небольшим файлом — да, обычно написав скрипт. Большой файл просто не поместится в диалог, неточные совпадения вроде «ACME, Inc.» и «acme inc» легко упустить, а список удалённых строк вы вряд ли получите. Этот инструмент применяет одни и те же правила ко всей таблице и показывает каждую удалённую строку.
Какая из копий остаётся?
Самая первая, на своём исходном месте. Последующие копии удаляются и заносятся в список с указанием номера строки, которую они продублировали.
Можно ли удалять дубликаты только по email?
Да. Выберите «По столбцам» и укажите Email или любые другие столбцы, определяющие запись, например «Имя», «Фамилия» и «Компания». Строки, где эти столбцы не заполнены, сохраняются.
Что считается неточным совпадением?
При включённом поиске неточных совпадений регистр букв, пробелы и знаки препинания игнорируются, а в столбцах с названиями компаний — ещё и организационно-правовые формы вроде Inc., LLC, Ltd и GmbH.
Изменятся ли мои данные?
Только в рамках заявленных правил: удаляются лишние пробелы и невидимые символы, адреса email приводятся к нижнему регистру, имена, написанные полностью заглавными или строчными, форматируются с заглавной, суффиксы компаний приводятся к единому виду, а дубликаты и пустые строки удаляются. Остальные значения остаются без изменений.
Файл какого размера можно обработать?
До 200,000 строк за разовый платёж $5 и до 500,000 строк с Unlimited в файлах размером до 100 МБ.
Это бесплатно?
Да, для файлов до 1,000 строк сервис полностью бесплатен, включая скачивание. Для файлов большего размера статистика и первые строки показываются бесплатно, а очищенный файл целиком доступен за $5 (разовый платёж).
Конфиденциальны ли мои файлы?
Только вы можете открыть свою задачу. Очистка выполняется на нашем сервере, и данные не отправляются в AI-модель, если вы сами не включите соответствующую опцию; даже в этом случае передаются только уникальные значения из столбцов с именами. Задачи, загруженные без регистрации, удаляются через 7 дней, при этом вы можете удалить любую задачу самостоятельно в любое время.
Обновлено 25 октября 2026 г. · APPFACT STUDIO LTD