オンラインでCSVの重複を削除（表記揺れにも対応）
CSVをアップロードするだけで、最初の1行を残して重複行を削除したファイルを取得できます。大文字・小文字、余分なスペース、記号だけが異なる行も重複として判定可能。削除された全行と重複元の行番号をまとめたリストも別ファイルで出力されます。1,000 行までは完全無料、最大 200,000 行までの大容量ファイルも一回払いのみの $5 でご利用いただけます。
- 重複データは最初の1行を元の位置にそのまま保持
- あいまい一致は大文字・小文字、スペース、記号、さらに Inc. や LLC などの会社法人表記を無視
- 削除された行と、その重複元の行番号を一覧化した CSV を出力
- 区切り文字やエンコードは元のまま、ヘッダーも変更せず維持
- 1,000 行までは完全無料。最大 200,000 行までは $5
CSVから重複を削除する手順
-
1
CSVをアップロード
ファイルをドロップし、「行全体」を選択するか、レコードを識別する列を指定します。表記揺れがある可能性がある場合は、あいまい一致にチェックを入れてください。
-
2
件数を確認
検出された重複行や空行の件数、およびクレンジング後の先頭行のプレビューを確認します。
-
3
ダウンロード
クレンジング済みのファイルと削除された行のリストをダウンロードします。1,000 行を超えるファイルは、$5 でロック解除してからダウンロードできます。
完全一致の重複とあいまいな重複（表記揺れ）
一般的な重複削除ツールは行を1文字ずつ厳密に比較します。そのため、末尾のスペース、大文字・小文字、会社名の後のカンマだけが異なる2行は、別々のレコードとして残ってしまいます。あいまい一致を有効にすると、大文字・小文字、スペース、記号、そして会社名列における Inc、LLC、Ltd、GmbH などの法人格の表記を無視した比較キーが各行に生成されます。このキーが一致する行は重複として処理されます。
比較を行う前に、すべてのセルがクレンジングされます。前後のスペースの削除、連続するスペースの統合、ノーブレークスペースやゼロ幅スペースなどの不可視文字の除去が行われます。画面上では全く同じに見える2つの行が完全一致の比較で削除されない場合、こうした不可視文字が原因であることがよくあります。
処理結果の確認
意図しないデータ削除を防ぐため、削除内容はすべて可視化されます。削除された行の CSV には、削除された各行の元の値、その行番号、重複元の行番号が記録されるため、両方を突き合わせて意図に沿わない削除を確認・復元できます。完全に空白の行も削除され、画面上に件数が表示されます。
ツールの仕組み、料金、ファイルの扱いについてはCSVデータクレンジングのページを、全ツールの料金は料金のページをご覧ください。
最終更新日
よくある質問
オンラインでCSVの重複を無料で削除できますか？
はい、1,000 行までのファイルならダウンロードも含めて完全無料です。それ以上のファイルでも、検出件数とクレンジング後の先頭行のプレビューは無料で確認でき、ファイル全体は一回払いのみの $5 で処理できます。
重複データのうち、どちらの行が残りますか？
最初に出現した行が元の位置のまま残ります。後から出現した重複行は削除され、重複元の行番号とともにリストに記録されます。
スペースの有無や大文字・小文字の違いがあっても重複として判定されますか？
はい、あいまい一致を有効にすれば判定されます。大文字・小文字、スペース、記号が無視され、会社名の列では法人格の表記（Inc. など）も無視されます。
ファイルはAIモデルに送信されますか？
いいえ、クレンジング処理は当社のサーバー上で行われます。オプションの「AI名前修正」にチェックを入れた場合にのみ、氏名列の一意な名前データがAIモデルに送信されます。
ファイルのプライバシーは保護されますか？
作業内容（ジョブ）はお客様ご本人のみが閲覧できます。アカウント不要でアップロードされたジョブは 7 日後に自動削除され、お客様自身でいつでも手動削除できます。