So entfernen Sie doppelte Zeilen: Excel, Notepad++, Befehlszeile und der schnelle Weg
Das Entfernen doppelter Zeilen aus einer Liste klingt trivial, bis Sie es tatsächlich mit echten Daten tun müssen. Wenn Sie zwei Mailinglisten zusammenführen, kollidieren sie an der Nahtstelle. Wenn Sie einen Keyword-Bericht exportieren, kommt derselbe Begriff fünfzehn Mal vor. Fügen Sie eine Protokolldatei ein und wiederholen Sie die Hälfte der Zeilen. Es gibt mehrere Möglichkeiten, eine Liste zu deduplizieren, und jede hat einen Haken, der in den Kurzanleitungen selten erwähnt wird, insbesondere im Hinblick auf die Beibehaltung der ursprünglichen Reihenfolge und das Abfangen von Duplikaten, die nicht genau identisch sind.
Die Excel-Methode und wo sie scheitert
Excel verfügt über eine integrierte Schaltfläche „Duplikate entfernen“ unter der Registerkarte „Daten“, und für saubere Daten funktioniert diese einwandfrei: Wählen Sie Ihre Spalte aus, klicken Sie auf die Schaltfläche, fertig. Die Probleme beginnen mit unordentlichen Daten. Das Excel-Tool entfernt nur Zeilen, die genau identisch sind, sodass „apple“ und „apple“, eines mit einem nachgestellten Leerzeichen, als unterschiedlich behandelt werden und beide überleben. Das Gleiche gilt für „Apple“ im Vergleich zu „apple“, wenn Sie eine Übereinstimmung ohne Berücksichtigung der Groß- und Kleinschreibung benötigen. Der Standardvergleich von Excel behält beides bei. Und Sie müssen Ihre Liste zuerst in eine Tabelle laden und sie als richtige Spalte einrichten, was problematisch ist, wenn Sie nur einen Textblock haben.
Excel ist eine vernünftige Wahl, wenn Ihre Daten bereits in einer Tabelle vorliegen und sauber sind. Für eine schnelle Deduplizierung von eingefügtem Text oder wenn Leerzeichen und Inkonsistenzen in der Groß- und Kleinschreibung im Spiel sind, ist dies oft mehr Aufwand als es wert ist.
Notepad++ und das Bestellproblem
Notepad++ kann doppelte Zeilen über sein TextFX-Plugin entfernen, das bei Windows-Entwicklern beliebt ist. Es gibt jedoch einen entscheidenden Haken: Die TextFX-Funktion „Doppelte Zeilen entfernen“ sortiert Ihre Zeilen als Nebeneffekt auch alphabetisch. Wenn die Reihenfolge Ihrer Liste wichtig ist, ein chronologisches Protokoll, eine Rangliste oder eine Abfolge von Schritten, wird Notepad++ sie durcheinander bringen. Sie erhalten eindeutige Zeilen, jedoch nicht in der Reihenfolge, in der Sie begonnen haben. Für viele Aufgaben ist das ein Dealbreaker.
Die Befehlszeile: sort und uniq
Unter Linux und macOS ist der klassische Ansatz der uniq-Befehl. Der Haken hier ist grundlegend: Uniq entfernt nur doppelte Zeilen, die nebeneinander liegen. Wenn Ihre Duplikate in der Datei verstreut sind, werden sie von Uniq übersehen. Die Standardlösung besteht darin, die Datei zuerst zu sortieren und an uniq weiterzuleiten, aber das Sortieren zerstört wiederum Ihre ursprüngliche Reihenfolge. Es gibt fortgeschrittenere Einzeiler mit awk, die die Ordnung wahren, aber jetzt schreiben Sie Code für eine Ein-Klick-Aufgabe, und es ist leicht, einen Fehler zu machen.
Die Befehlszeile ist leistungsstark und skriptfähig, ideal, wenn die Deduplizierung Teil einer größeren automatisierten Pipeline ist. Für einen einmaligen Auftrag auf einer Liste, die Ihnen vorliegt, sind die Einrichtungskosten hoch.
Der Haken, den sie alle haben: Beinahe-Duplikate
Jede der oben genannten Methoden erfasst standardmäßig nur exakte Duplikate. Aber reale Duplikate sind oft nicht exakt. Die gleiche E-Mail-Adresse wird als „Name@site.com“ und „name@site.com“ angezeigt. Derselbe Eintrag enthält in einer Zeile ein Leerzeichen am Ende. Derselbe Name wird unterschiedlich groß geschrieben. Diese Beinahe-Duplikate schlüpfen durch Exakt-Match-Tools und hinterlassen eine Liste, die sauber aussieht, es aber nicht ist. Um eine Liste wirklich zu bereinigen, müssen Sie beim Vergleich die Groß- und Kleinschreibung ignorieren und Leerzeichen entfernen können. Diese Optionen bieten Ihnen Excel und Basic Uniq nicht ohne weiteres.
Der schnelle Weg: ein Browser-Tool, das für Ordnung sorgt
Für den allgemeinen Fall, dass Sie eine Liste haben, eindeutige Zeilen wünschen und die ursprüngliche Reihenfolge beibehalten möchten, ist ein browserbasiertes Tool der schnellste Weg. Fügen Sie die Liste ein und erhalten Sie sofort das deduplizierte Ergebnis, wobei das erste Vorkommen jeder Zeile genau dort bleibt, wo sie war. Kein Tabellenkalkulations-Setup, kein Plugin, kein zu merkender Befehl, keine erzwungene Sortierung. Mit guten Tools können Sie auch die Groß-/Kleinschreibung beim Vergleich und das Entfernen von Leerzeichen umschalten, sodass Sie die Beinahe-Duplikate erkennen, die bei den anderen Methoden übersehen werden.
Da ein clientseitiges Tool alles in Ihrem Browser verarbeitet, wird nichts hochgeladen, was wichtig ist, wenn es sich bei der Liste um eine E-Mail-Liste oder um Daten handelt, die Sie nicht an einen Server senden möchten. Und es gibt keine praktische Grenze über den Speicher Ihres Browsers hinaus, sodass Zehntausende von Zeilen sofort verarbeitet werden.
Ein üblicher Arbeitsablauf: Duplikate entfernen und dann sortieren
Deduplizierung und Sortierung sind oft zwei Hälften einer Bereinigungsaufgabe. Ein häufiges Muster besteht darin, zunächst Duplikate zu entfernen, die Reihenfolge beizubehalten und dann das saubere Ergebnis bewusst zu sortieren, genau das, was Sie möchten, wenn Sie eine übersichtliche Referenzliste, einen sauberen Satz von Schlüsselwörtern oder ein alphabetisches Glossar erstellen. Wenn Sie dies in dieser Reihenfolge tun, führen Sie einen sauberen Durchgang für die Einzigartigkeit und einen bewussten Durchgang für die Ordnung durch, anstatt Ihre Liste als unerwünschten Nebeneffekt von einem Tool sortieren zu lassen.
Welche Methode soll verwendet werden?
Wählen Sie Excel, wenn die Daten bereits in einer sauberen Tabelle vorliegen. Wählen Sie die Befehlszeile, wenn die Deduplizierung ein Schritt in einem automatisierten Skript ist. Greifen Sie zu einem Browser-Tool, wenn Sie eine Liste vor sich haben und diese in Sekundenschnelle deduplizieren möchten, wobei die Reihenfolge erhalten bleibt und Beinahe-Duplikate abgefangen werden, was für die meisten Menschen meistens genau der Fall ist.