Remover Linhas Duplicadas

Cole uma lista e remova todas as linhas duplicadas, mantendo apenas as ocorrências únicas. Opções para ignorar maiúsculas e espaços nas bordas.

Ferramentas relacionadas

Linhas & Listas

Ordenar Linhas

Ordene listas em ordem alfabética, por tamanho ou aleatória.

Linhas & Listas

Prefixo e Sufixo por Linha

Adicione texto antes e depois de cada linha.

Linhas & Listas

Numerar Linhas

Adicione numeração sequencial a cada linha.

Linhas & Listas

Dividir Texto

Divida o texto por um separador em linhas individuais.

O que esta ferramenta faz

Cole uma lista e esta ferramenta removerá todas as linhas duplicadas, deixando apenas uma cópia de cada entrada exclusiva. É a maneira mais rápida de limpar uma lista que possui repetições acumuladas, uma lista de e-mail, um conjunto de URLs, uma coluna exportada de uma planilha ou qualquer texto onde cada linha seja um item separado. A ordem original da primeira ocorrência de cada linha é preservada.

Usos comuns

Os profissionais de marketing eliminam a duplicação de e-mails e listas de contatos antes de importá-los, evitando enviar a mesma mensagem duas vezes. Os desenvolvedores limpam listas de URLs, IDs ou entradas de log. Os especialistas em SEO removem palavras-chave repetidas de uma exportação de pesquisa. Qualquer pessoa que mescle duas listas acaba com duplicatas na costura, e essa ferramenta as recolhe em uma única etapa, em vez de classificar e digitalizar a olho nu.

As opções explicadas

Duas opções alteram a forma como as duplicatas são detectadas. "Ignore case" trata "Apple" e "apple" como a mesma linha, portanto apenas uma sobrevive, útil quando a capitalização é inconsistente, mas as entradas são realmente idênticas. "Cortar espaços" remove os espaços em branco à esquerda e à direita antes da comparação, de modo que uma linha com um espaço à direita acidental é reconhecida como uma duplicata da mesma linha sem ele. Juntos, eles capturam duplicatas que uma comparação estrita caractere por caractere deixaria passar.

Por que funciona no seu navegador

As listas de contatos e os dados exportados geralmente contêm informações pessoais ou proprietárias. Como esta ferramenta processa tudo localmente no seu navegador, sua lista nunca é carregada ou armazenada. Você pode desduplicar uma lista de clientes ou uma exportação interna sem sair do seu computador.

Quem precisa remover linhas duplicadas

Esta é uma ferramenta robusta para muitos trabalhos. Os profissionais de marketing por e-mail eliminam a duplicação das listas de assinantes antes do envio, para que ninguém receba a mesma mensagem duas vezes e a lista permaneça limpa. Os especialistas em SEO colam uma exportação de palavras-chave com milhares de linhas e eliminam as repetições. Os analistas de dados limpam colunas e conjuntos de dados CSV antes da importação. Os desenvolvedores filtram listas de IDs, URLs ou linhas de log até valores exclusivos. Professores e escritores organizam listas de nomes, referências ou vocabulário. Qualquer pessoa que tenha mesclado duas listas sabe que elas colidem na costura, esta ferramenta recolhe cada repetição em uma única passagem.

Como ele se compara ao Excel, Notepad++ e à linha de comando

O Excel pode remover duplicatas, mas luta com duplicatas causadas por espaços em branco ou letras maiúsculas inconsistentes, e você deve primeiro configurar os dados como uma tabela. O Notepad++ pode fazer isso através do plugin TextFX, mas esse plugin também classifica suas linhas, alterando a ordem. No Linux, a abordagem clássica é a classificação canalizada para o uniq, mas o uniq remove apenas duplicatas próximas umas das outras, a menos que você classifique primeiro, o que novamente perde a ordem original. TextCaret mantém a ordem original por padrão, opcionalmente ignora maiúsculas e minúsculas e corta espaços em branco e não precisa de configuração, plugin ou comando, você cola e clica.

Lidando com listas grandes

Não há limite fixo de quantas linhas você pode processar, a restrição é a memória do seu navegador. Na prática, você pode colar dezenas de milhares de linhas: uma exportação de pesquisa de 50.000 palavras-chave, um longo arquivo de log, uma grande coluna CSV. Tudo é processado imediatamente no seu navegador, sem nada carregado. Para arquivos extremamente grandes que podem sobrecarregar uma guia, dividir a lista em alguns pedaços mantém a capacidade de resposta.

Perguntas frequentes

A remoção de duplicatas mantém o pedido original?
Sim. A primeira ocorrência de cada linha única permanece em sua posição original e apenas as repetições posteriores são removidas. Se você quiser que a lista também seja classificada, use a ferramenta Classificar linhas posteriormente.
Pode ignorar diferenças na capitalização?
Sim. Habilite “ignorar maiúsculas e minúsculas” e as linhas que diferem apenas na capitalização, como “E-mail” e “e-mail”, são tratadas como duplicadas, deixando apenas uma.
O que a opção de aparar espaços faz?
Ele remove os espaços iniciais e finais antes de comparar as linhas, de modo que uma entrada com um espaço extra acidental ainda seja reconhecida como uma duplicata da versão limpa. Isso captura duplicatas que, de outra forma, passariam despercebidas.
Existe um limite de quantas linhas posso processar?
Apenas a memória do seu navegador. Listas de milhares de linhas são processadas instantaneamente; listas extremamente grandes podem demorar um pouco, mas ainda funcionam inteiramente no seu dispositivo.
Minha lista é carregada em algum lugar?
Não. Tudo acontece no seu navegador. Sua lista nunca é enviada para um servidor, o que a torna segura para listas de contatos e dados proprietários.
Ele mantém a ordem da linha original?
Sim, por padrão. A primeira ocorrência de cada linha única permanece exatamente onde estava e somente as repetições posteriores são removidas. Não há classificação forçada, ao contrário do plugin Notepad++ TextFX ou de um pipeline sort-uniq. Use a ferramenta Classificar linhas posteriormente se desejar ordenar.
Ele consegue encontrar duplicatas com letras maiúsculas diferentes ou espaços extras?
Sim. Ative "ignorar maiúsculas e minúsculas" para tratar "Apple" e "apple" como duplicatas e "cortar espaços" para capturar linhas que diferem apenas por um espaço perdido à esquerda ou à direita. Essas opções encontram duplicatas que a ferramenta integrada do Excel muitas vezes perde.
Existe um limite para o número de linhas?
Sem limite fixo, apenas a memória disponível do seu navegador. Listas de dezenas de milhares de linhas são processadas instantaneamente. Tudo funciona localmente, portanto, mesmo listas muito grandes nunca saem do seu dispositivo.
Posso usar isso para limpar uma lista de e-mail?
Sim. É um uso comum. Cole sua lista, opcionalmente ignore maiúsculas e minúsculas para que "Nome@site.com" e "nome@site.com" sejam tratados como iguais e copie o resultado desduplicado. Como nada é carregado, os dados de contato permanecem privados.