Comment supprimer les lignes en double : Excel, Notepad++, ligne de commande et méthode rapide

Supprimer les lignes en double d'une liste semble trivial jusqu'à ce que vous ayez réellement besoin de le faire sur des données réelles. Fusionnez deux listes de diffusion et elles entrent en collision. Exportez un rapport de mots clés et le même terme apparaît quinze fois. Collez un fichier journal et répétez la moitié des lignes. Il existe plusieurs façons de dédupliquer une liste, et chacune comporte un problème que les didacticiels rapides mentionnent rarement, notamment en ce qui concerne la préservation de l'ordre d'origine et la détection des doublons qui ne sont pas exactement identiques.

La méthode Excel et ses échecs

Excel dispose d'un bouton "Supprimer les doublons" intégré sous l'onglet Données, et pour des données propres, cela fonctionne bien : sélectionnez votre colonne, cliquez sur le bouton, c'est fait. Les problèmes commencent par des données désordonnées. L'outil d'Excel supprime uniquement les lignes exactement identiques, donc "pomme" et "pomme", l'une avec un espace de fin, sont traitées comme différentes et les deux survivent. Il en va de même pour « Apple » par rapport à « apple » si vous avez besoin d'une correspondance insensible à la casse ; La comparaison par défaut d'Excel conservera les deux. Et vous devez d'abord charger votre liste dans une feuille de calcul et la configurer comme une colonne appropriée, ce qui est une friction si vous n'avez qu'un bloc de texte.

Excel est un choix raisonnable lorsque vos données se trouvent déjà dans une feuille de calcul et sont propres. Pour une déduplication rapide d'un texte collé, ou lorsque des incohérences entre les espaces et les majuscules sont en jeu, cela pose souvent plus de problèmes que cela n'en vaut la peine.

Notepad++ et le problème de commande

Notepad++ peut supprimer les lignes en double via son plugin TextFX, populaire parmi les développeurs sous Windows. Mais il y a un problème important : la fonction "supprimer les lignes en double" de TextFX trie également vos lignes par ordre alphabétique comme effet secondaire. Si l'ordre de votre liste compte, un journal chronologique, une liste classée, une séquence d'étapes, Notepad++ le brouillera. Vous obtenez des lignes uniques, mais pas dans l’ordre avec lequel vous avez commencé. Pour de nombreuses tâches, c’est un problème.

La ligne de commande : trier et uniq

Sous Linux et macOS, l'approche classique est la commande uniq. Le problème ici est fondamental : uniq supprime uniquement les lignes en double adjacentes les unes aux autres. Si vos doublons sont dispersés dans le fichier, uniq les manquera. La solution standard consiste à trier d'abord le fichier et à le diriger vers uniq, mais le tri, encore une fois, détruit votre ordre d'origine. Il existe des one-liners plus avancés avec awk qui préservent l'ordre, mais maintenant vous écrivez du code pour ce qui devrait être une tâche en un clic, et il est facile de se tromper.

La ligne de commande est puissante et scriptable, idéale lorsque la déduplication fait partie d'un pipeline automatisé plus vaste. Pour un travail ponctuel sur une liste que vous avez sous les yeux, le coût de mise en place est élevé.

Le piège qu’ils partagent tous : des quasi-doublons

Chaque méthode ci-dessus, par défaut, ne détecte que les doublons exacts. Mais les doublons réels ne sont souvent pas exacts. La même adresse e-mail apparaît sous la forme « Nom@site.com » et « nom@site.com ». La même entrée comporte un espace de fin parasite sur une ligne. Le même nom prend une majuscule différente. Ces quasi-doublons passent par des outils de correspondance exacte, vous laissant avec une liste qui semble propre mais qui ne l'est pas. Véritablement nettoyer une liste signifie être capable d'ignorer la casse et de réduire les espaces pendant la comparaison, des options qu'Excel et Basic Uniq ne vous offrent pas facilement.

La voie rapide : un outil de navigation qui préserve l'ordre

Dans le cas courant, vous avez une liste, vous voulez des lignes uniques et vous souhaitez conserver l'ordre d'origine, un outil basé sur un navigateur est le chemin le plus rapide. Collez la liste et obtenez instantanément le résultat dédupliqué, la première occurrence de chaque ligne restant exactement là où elle se trouvait. Pas de paramétrage de tableur, pas de plugin, pas de commande à retenir, pas de tri forcé. De bons outils vous permettent également d'activer la correspondance insensible à la casse et la suppression des espaces, afin de détecter les quasi-doublons que les autres méthodes manquent.

Étant donné qu'un outil côté client traite tout dans votre navigateur, rien n'est téléchargé, ce qui est important lorsqu'il s'agit d'une liste de diffusion ou de données que vous ne souhaitez pas envoyer à un serveur. Et il n'y a aucune limite pratique au-delà de la mémoire de votre navigateur, donc des dizaines de milliers de lignes sont traitées instantanément.

Un workflow courant : déduplication puis tri

La déduplication et le tri constituent souvent les deux moitiés d'une même tâche de nettoyage. Un modèle fréquent consiste à supprimer d'abord les doublons, en gardant l'ordre, puis à trier délibérément le résultat propre, exactement ce que vous souhaitez lors de la préparation d'une liste de références bien rangée, d'un ensemble propre de mots-clés ou d'un glossaire alphabétique. Le faire dans cet ordre signifie que vous effectuez une passe propre pour l'unicité et une passe délibérée pour l'ordre, plutôt que de laisser un outil trier votre liste comme un effet secondaire indésirable.

Quelle méthode utiliser

Choisissez Excel lorsque les données se trouvent déjà dans une feuille de calcul vierge. Choisissez la ligne de commande lorsque la déduplication constitue une étape dans un script automatisé. Recherchez un outil de navigation lorsque vous avez une liste devant vous et souhaitez qu'elle soit dédupliquée en quelques secondes avec un ordre préservé et des quasi-doublons capturés, ce qui, pour la plupart des gens la plupart du temps, est exactement la situation.