GUIDE
CSV重複・表記ゆれクリーナーの使い方
CSV重複・表記ゆれクリーナーは、顧客・商品・在庫などのCSVから、指定したキー列が完全一致する行と、空白・全角半角・英字大小・指定記号の違いを整えると同じになる行をグループ表示する無料ツールです。曖昧な候補を自動削除せず、各グループで残す元行を利用者が確認します。整理済みCSVと除外行CSVには元行番号などの監査列を追加するため、元データと照合しながら安全に整理できます。
このツールでできること
完全一致と表記ゆれ候補を分けて確認
キー列を1つ選び、完全に同じ値の重複と、選択した正規化条件を適用すると一致する表記ゆれ候補をグループ表示します。キーが空の行は自動的にまとめず、判定対象外の元行番号として表示します。
残す行を利用者が明示的に選択
候補ごとに元行番号と先頭列の内容を比較し、残す1行を選択します。表記ゆれ候補を曖昧一致で自動削除しないため、住所や連絡先など別列の違いを見て判断できます。
元へ戻せる監査列付きCSV
整理済みCSVへ元行番号、除外行CSVへ元行番号・除外理由・残した元行番号を追加します。最大10MBのUTF-8 CSVを端末内だけで処理し、入力データや結果を外部送信しません。
かんたん3ステップ
- 1見出し行とデータを含むUTF-8 CSVを読み込みます。初めての場合は、列名と入力例を含むサンプルまたはテンプレートCSVを保存して形式を確認できます。
- 2顧客ID、メール、商品コード、氏名など重複確認に使うキー列を選び、前後空白、連続空白、全角半角、英字大小、指定記号をどこまで無視するかを設定して候補を確認します。
- 3各グループで残す元行を選び、整理済み行数と除外行数を確認します。監査列付きの整理済みCSVと除外行CSVを保存し、元ファイルと照合します。
こんな方におすすめ
ECの商品・在庫CSV、顧客名簿、移行データを扱うEC運営者、バックオフィス担当者、制作会社、データ移行担当者に向いています。同じ人や商品が空白、全角半角、大文字小文字などの違いで重複している可能性を確認し、残す行を自分で判断したい場面で利用できます。
利用上の注意
- 初期版はUTF-8・10MB以下のカンマ区切りCSVと単一キー列が対象です。正規化は前後空白、連続空白、Unicode NFKCによる全角半角、英字大小、画面に示した空白・ハイフン・指定記号の扱いに限定します。読み込みと保存はRFC 4180の一般的なCSV形式を基準にします。
- 本ツールは同一人物・同一商品を断定しません。氏名や住所が似ていても別データの場合があるため、他の列と元データを確認して残す行を選んでください。元CSVは変更せず保管し、整理後のデータは少量で取込テストしてください。
よくある質問
似ている行は自動的に削除されますか？
削除されません。選択した正規化条件で同じになる候補をグループ表示しますが、各グループで残す行を利用者が選ぶまで出力CSVを保存できません。編集距離などの曖昧一致は初期版では行いません。
空欄のキーは重複として扱われますか？
扱いません。空欄同士を同じ人や商品と判断すると誤整理につながるため、キーが空の行は判定対象外として元行番号を表示し、整理済みCSVには残します。
除外した行を後から確認できますか？
はい。除外行CSVへ元の全列に加えて、元行番号、除外理由、同じグループで残した元行番号を出力します。整理済みCSVにも元行番号を付けるため、元CSVと照合できます。
次に使える関連ツール
同じ目的の作業を続けて進められる無料ツールです。