Remove Duplicate Lines

Paste a list and remove all duplicate lines, keeping only unique occurrences. Options to ignore case and trim surrounding spaces.

Outils similaires

Lignes et listes

Sort Lines

Sort lists alphabetically, by length or randomly.

Lignes et listes

Prefix & Suffix per Line

Add text before and after every line.

Lignes et listes

Number Lines

Add sequential numbering to each line.

Lignes et listes

Découper le texte

Découpez le texte avec un séparateur pour créer des lignes distinctes.

Ce que fait cet outil

Collez une liste et cet outil supprime chaque ligne en double, ne laissant qu'une seule copie de chaque entrée unique. C'est le moyen le plus rapide de nettoyer une liste qui a accumulé des répétitions, une liste de diffusion, un ensemble d'URL, une colonne exportée à partir d'une feuille de calcul ou tout texte dans lequel chaque ligne est un élément distinct. L'ordre original de la première occurrence de chaque ligne est conservé.

Utilisations courantes

Les spécialistes du marketing déduisent les listes de courriers électroniques et de contacts avant de les importer, évitant ainsi d'envoyer deux fois le même message. Les développeurs nettoient les listes d'URL, d'identifiants ou d'entrées de journal. Les spécialistes du référencement suppriment les mots-clés répétés d’une exportation de recherche. Quiconque fusionne deux listes se retrouve avec des doublons au niveau de la couture, et cet outil les réduit en une seule étape au lieu de les trier et de les analyser à l'oeil nu.

Les options expliquées

Deux options modifient la façon dont les doublons sont détectés. "Ignorer la casse" traite "Apple" et "apple" comme la même ligne, donc une seule survit, ce qui est utile lorsque la majuscule est incohérente mais que les entrées sont réellement identiques. "Couper les espaces" supprime les espaces de début et de fin avant la comparaison, de sorte qu'une ligne avec un espace de fin accidentel est reconnue comme un double de la même ligne sans cet espace. Ensemble, ils détectent les doublons qu'une comparaison stricte caractère par caractère manquerait.

Pourquoi il s'exécute dans votre navigateur

Les listes de contacts et les données exportées contiennent souvent des informations personnelles ou exclusives. Étant donné que cet outil traite tout localement dans votre navigateur, votre liste n'est jamais téléchargée ni stockée. Vous pouvez dédupliquer une liste de clients ou un export interne sans qu'elle ne quitte votre ordinateur.

Qui doit supprimer les lignes en double

Il s’agit d’un outil performant dans de nombreux emplois. Les spécialistes du marketing par courrier électronique déduisent les listes d'abonnés avant un envoi afin que personne ne reçoive le même message deux fois et que la liste reste propre. Les spécialistes du référencement collent une exportation de mots clés avec des milliers de lignes et suppriment les répétitions. Les analystes de données nettoient les colonnes et les ensembles de données CSV avant l'importation. Les développeurs filtrent les listes d'identifiants, d'URL ou de lignes de journalisation jusqu'à des valeurs uniques. Les enseignants et les écrivains rangent des listes de noms, de références ou de vocabulaire. Quiconque a fusionné deux listes sait qu'elles se heurtent au niveau de la couture, cet outil réduit chaque répétition en un seul passage.

Comment cela se compare-t-il à Excel, Notepad++ et à la ligne de commande

Excel peut supprimer les doublons, mais il a du mal avec les doublons causés par des espaces ou des majuscules incohérents, et vous devez d'abord configurer les données sous forme de tableau. Notepad++ peut le faire via le plugin TextFX, mais ce plugin trie également vos lignes, en modifiant l'ordre. Sous Linux, l'approche classique consiste à trier dans uniq, mais uniq ne supprime que les doublons les uns à côté des autres, à moins que vous ne triiez en premier, ce qui perd à nouveau l'ordre d'origine. TextCaret conserve l'ordre d'origine par défaut, ignore éventuellement la casse et coupe les espaces, et ne nécessite aucune configuration, plugin ou commande, vous collez et cliquez.

Gestion de grandes listes

Il n'y a pas de limite fixe sur le nombre de lignes que vous pouvez traiter, la contrainte est la mémoire de votre navigateur. En pratique, vous pouvez coller des dizaines de milliers de lignes : un export de recherche de 50 000 mots clés, un long fichier journal, une grosse colonne CSV. Tout se déroule immédiatement dans votre navigateur, sans rien télécharger. Pour les fichiers extrêmement volumineux susceptibles de surcharger un onglet, diviser la liste en quelques morceaux permet de conserver la réactivité.

Questions fréquentes

La suppression des doublons conserve-t-elle l’ordre d’origine ?
Oui. La première occurrence de chaque ligne unique reste dans sa position d'origine et seules les répétitions ultérieures sont supprimées. Si vous souhaitez également trier la liste, utilisez ensuite l'outil Trier les lignes.
Peut-il ignorer les différences de capitalisation ?
Oui. Activez « ignorer la casse » et les lignes qui diffèrent uniquement par la majuscule, comme « E-mail » et « e-mail », sont traitées comme des doublons, n'en laissant qu'un.
À quoi sert l’option Découper les espaces ?
Il supprime les espaces de début et de fin avant de comparer les lignes, de sorte qu'une entrée avec un espace supplémentaire accidentel est toujours reconnue comme un double de la version propre. Cela capture les doublons qui, autrement, passeraient à travers.
Y a-t-il une limite au nombre de lignes que je peux traiter ?
Uniquement la mémoire de votre navigateur. Des listes de milliers de lignes sont traitées instantanément ; les listes extrêmement volumineuses peuvent prendre un moment mais fonctionnent toujours entièrement sur votre appareil.
Ma liste est-elle téléchargée quelque part ?
Non. Tout se passe dans votre navigateur. Votre liste n'est jamais envoyée à un serveur, ce qui la rend sécurisée pour les listes de contacts et les données propriétaires.
Est-ce qu'il conserve l'ordre des lignes d'origine ?
Oui, par défaut. La première occurrence de chaque ligne unique reste exactement là où elle se trouvait et seules les répétitions ultérieures sont supprimées. Il n'y a pas de tri forcé, contrairement au plugin Notepad++ TextFX ou à un pipeline sort-uniq. Utilisez ensuite l'outil Trier les lignes si vous souhaitez qu'il soit ordonné.
Peut-il trouver des doublons avec des majuscules différentes ou des espaces supplémentaires ?
Oui. Activez « ignorer la casse » pour traiter « Apple » et « apple » comme des doublons, et « couper les espaces » pour capturer les lignes qui diffèrent uniquement par un espace de début ou de fin parasite. Ces options détectent les doublons qui manquent souvent à l'outil intégré d'Excel.
Y a-t-il une limite au nombre de lignes ?
Aucune limite fixe, uniquement la mémoire disponible de votre navigateur. Des listes de dizaines de milliers de lignes sont traitées instantanément. Tout s'exécute localement, de sorte que même les très grandes listes ne quittent jamais votre appareil.
Puis-je l'utiliser pour nettoyer une liste de diffusion ?
Oui. C'est un usage courant. Collez votre liste, ignorez éventuellement la casse afin que "Nom@site.com" et "nom@site.com" soient traités de la même manière, et copiez le résultat dédupliqué. Comme rien n'est téléchargé, les données de contact restent privées.