Remove Duplicate Lines

Paste a list and remove all duplicate lines, keeping only unique occurrences. Options to ignore case and trim surrounding spaces.

Ähnliche Tools

Zeilen und Listen

Sort Lines

Sort lists alphabetically, by length or randomly.

Zeilen und Listen

Prefix & Suffix per Line

Add text before and after every line.

Zeilen und Listen

Number Lines

Add sequential numbering to each line.

Zeilen und Listen

Text teilen

Teile Text anhand eines Trennzeichens in einzelne Zeilen.

Was dieses Tool macht

Wenn Sie eine Liste einfügen, entfernt dieses Tool jede doppelte Zeile und hinterlässt nur eine Kopie jedes eindeutigen Eintrags. Dies ist die schnellste Möglichkeit, eine Liste mit angesammelten Wiederholungen, eine E-Mail-Liste, eine Reihe von URLs, eine aus einer Tabelle exportierte Spalte oder einen beliebigen Text zu bereinigen, bei dem jede Zeile ein separates Element ist. Die ursprüngliche Reihenfolge des ersten Auftretens jeder Zeile bleibt erhalten.

Häufige Verwendungen

Vermarkter deduplizieren E-Mail- und Kontaktlisten vor dem Import und vermeiden so, dass dieselbe Nachricht zweimal gesendet wird. Entwickler bereinigen Listen mit URLs, IDs oder Protokolleinträgen. SEO-Spezialisten entfernen sich wiederholende Schlüsselwörter aus einem Rechercheexport. Wer zwei Listen zusammenführt, landet mit Duplikaten an der Nahtstelle, und dieses Tool reduziert sie in einem Schritt, anstatt sie nach Augenmaß zu sortieren und zu scannen.

Die Optionen erklärt

Zwei Optionen ändern die Art und Weise, wie Duplikate erkannt werden. „Groß-/Kleinschreibung ignorieren“ behandelt „Apple“ und „apple“ als dieselbe Zeile, sodass nur eine überlebt. Dies ist nützlich, wenn die Groß- und Kleinschreibung inkonsistent ist, die Einträge aber tatsächlich identisch sind. „Leerzeichen kürzen“ entfernt führende und nachfolgende Leerzeichen vor dem Vergleich, sodass eine Zeile mit einem versehentlichen nachgestellten Leerzeichen als Duplikat derselben Zeile ohne Leerzeichen erkannt wird. Zusammen fangen sie Duplikate ein, die bei einem strengen Zeichen-für-Zeichen-Vergleich übersehen würden.

Warum es in Ihrem Browser läuft

Kontaktlisten und exportierte Daten enthalten oft persönliche oder geschützte Informationen. Da dieses Tool alles lokal in Ihrem Browser verarbeitet, wird Ihre Liste niemals hochgeladen oder gespeichert. Sie können eine Kundenliste oder einen internen Export deduplizieren, ohne dass diese jemals Ihren Computer verlassen.

Wer muss doppelte Zeilen entfernen?

Dies ist ein Arbeitstier für viele Aufgaben. E-Mail-Vermarkter entfernen die Duplikate von Abonnentenlisten vor dem Versand, sodass niemand dieselbe Nachricht zweimal erhält und die Liste sauber bleibt. SEO-Spezialisten fügen einen Keyword-Export mit Tausenden von Zeilen ein und entfernen die Wiederholungen. Datenanalysten bereinigen CSV-Spalten und Datensätze vor dem Import. Entwickler filtern Listen von IDs, URLs oder Protokollzeilen nach eindeutigen Werten. Lehrer und Autoren ordnen Listen mit Namen, Referenzen oder Vokabeln. Jeder, der zwei Listen zusammengeführt hat, weiß, dass sie an der Nahtstelle kollidieren. Dieses Tool reduziert jede Wiederholung in einem Durchgang.

Vergleich mit Excel, Notepad++ und der Befehlszeile

Excel kann Duplikate entfernen, hat jedoch Probleme mit Duplikaten, die durch inkonsistente Leerzeichen oder Groß-/Kleinschreibung verursacht werden, und Sie müssen die Daten zunächst als Tabelle einrichten. Notepad++ kann dies über das TextFX-Plugin tun, aber dieses Plugin sortiert auch Ihre Zeilen und ändert die Reihenfolge. Unter Linux besteht der klassische Ansatz darin, die Sortierung an Uniq weiterzuleiten, aber Uniq entfernt nur Duplikate, die nebeneinander liegen, es sei denn, Sie sortieren zuerst, wodurch wiederum die ursprüngliche Reihenfolge verloren geht. TextCaret behält standardmäßig die ursprüngliche Reihenfolge bei, ignoriert optional die Groß-/Kleinschreibung und schneidet Leerzeichen ab und erfordert keine Einrichtung, kein Plugin oder Befehl, den Sie einfügen und anklicken.

Umgang mit großen Listen

Es gibt keine feste Grenze für die Anzahl der Zeilen, die Sie verarbeiten können. Die Einschränkung ist der Speicher Ihres Browsers. In der Praxis können Sie Zehntausende Zeilen einfügen: einen Rechercheexport mit 50.000 Schlüsselwörtern, eine lange Protokolldatei, eine große CSV-Spalte. Alles wird sofort in Ihrem Browser verarbeitet, ohne dass etwas hochgeladen wird. Bei extrem großen Dateien, die einen Tab belasten könnten, sorgt die Aufteilung der Liste in einige Abschnitte dafür, dass alles reaktionsfähig bleibt.

Häufige Fragen

Bleibt beim Entfernen von Duplikaten die ursprüngliche Reihenfolge erhalten?
Ja. Das erste Vorkommen jeder eindeutigen Zeile bleibt an seiner ursprünglichen Position und nur die späteren Wiederholungen werden entfernt. Wenn Sie möchten, dass die Liste auch sortiert wird, verwenden Sie anschließend das Werkzeug „Linien sortieren“.
Kann es Unterschiede in der Großschreibung ignorieren?
Ja. Wenn Sie „Groß-/Kleinschreibung ignorieren“ aktivieren, werden Zeilen, die sich nur in der Groß- und Kleinschreibung unterscheiden, wie „Email“ und „email“, als Duplikate behandelt, sodass nur eine übrig bleibt.
Was bewirkt die Option „Trennräume“?
Vor dem Zeilenvergleich werden führende und nachgestellte Leerzeichen entfernt, sodass ein Eintrag mit einem versehentlichen zusätzlichen Leerzeichen immer noch als Duplikat der sauberen Version erkannt wird. Dadurch werden Duplikate abgefangen, die sonst durchschlüpfen würden.
Gibt es eine Grenze für die Anzahl der Zeilen, die ich verarbeiten kann?
Nur der Speicher Ihres Browsers. Listen mit Tausenden von Zeilen werden sofort verarbeitet; Bei extrem großen Listen kann es einen Moment dauern, aber sie funktionieren immer noch vollständig auf Ihrem Gerät.
Wird meine Liste irgendwo hochgeladen?
Nein. Alles geschieht in Ihrem Browser. Ihre Liste wird niemals an einen Server gesendet, wodurch sie für Kontaktlisten und geschützte Daten sicher ist.
Behält es die ursprüngliche Zeilenreihenfolge bei?
Ja, standardmäßig. Das erste Vorkommen jeder eindeutigen Zeile bleibt genau dort, wo es war, und nur spätere Wiederholungen werden entfernt. Im Gegensatz zum Notepad++ TextFX-Plugin oder einer Sort-Uniq-Pipeline gibt es keine erzwungene Sortierung. Verwenden Sie anschließend das Werkzeug „Linien sortieren“, wenn Sie eine Reihenfolge wünschen.
Kann es Duplikate mit unterschiedlicher Großschreibung oder zusätzlichen Leerzeichen finden?
Ja. Aktivieren Sie „Groß-/Kleinschreibung ignorieren“, um „Apple“ und „apple“ als Duplikate zu behandeln, und „Leerzeichen kürzen“, um Zeilen abzufangen, die sich nur durch ein verirrtes führendes oder nachfolgendes Leerzeichen unterscheiden. Diese Optionen finden Duplikate, die das integrierte Tool von Excel häufig übersieht.
Gibt es eine Begrenzung der Zeilenanzahl?
Kein festes Limit, nur der verfügbare Speicher Ihres Browsers. Listen mit Zehntausenden von Zeilen werden sofort verarbeitet. Alles läuft lokal, sodass selbst sehr große Listen Ihr Gerät nie verlassen.
Kann ich damit eine E-Mail-Liste bereinigen?
Ja. Es ist eine häufige Verwendung. Fügen Sie Ihre Liste ein, ignorieren Sie optional die Groß- und Kleinschreibung, sodass „Name@site.com“ und „name@site.com“ als gleich behandelt werden, und kopieren Sie das deduplizierte Ergebnis. Da nichts hochgeladen wird, bleiben die Kontaktdaten privat.