strumento unix per rimuovere le righe duplicate da un file

Question

Ho uno strumento che genera test e predice l'output. L'idea è che se ho un fallimento posso confrontare la previsione con l'output effettivo e vedere dove si sono separati. Il problema è che l'output effettivo contiene alcune righe due volte, il che confonde lo diff. Voglio rimuovere i duplicati, in modo da poterli confrontare facilmente. Fondamentalmente, qualcosa come sort -u ma senza l'ordinamento.

C'è qualche strumento di comando unix in grado di farlo?

Answer 1

uniq(1)

RIEPILOGO

uniq [OPZIONE] ... [INPUT [OUTPUT]]

DESCRIZIONE

Elimina tutti tranne uno successive linee identiche da INPUT (o input standard), scrivendo su OUTPUT (o output standard).

Oppure, se si desidera rimuovere non adiacenti linee duplicate così, questo frammento di perl lo farà:

while(<>) { 
    print $_ if (!$seen{$_}); 
    $seen{$_}=1; 
} 

Answer 2

Se siete interessati a rimuovere adiacenti linee duplicate, utilizzare uniq .

Se si desidera rimuovere tutte le righe duplicate, non solo quelle adiacenti, quindi è più difficile.

Answer 3

Ecco cosa mi è venuto in mente mentre stavo aspettando una risposta qui (anche se la prima risposta (e accettata) è arrivata in circa 2 minuti). Ho usato questa sostituzione in VIM:

%s/^\(.*\)\n\1$/\1/ 

Il che significa: cerca linee dove, dopo il ritorno a capo che abbiamo la stessa di prima, e sostituirli solo con quello che abbiamo catturato nella prima riga.

uniq è decisamente più semplice, però.

Answer 4

Complementare alle risposte uniq, che funzionano benissimo se non ti dispiace sort prima di tutto. Se è necessario rimuovere le linee non adiacenti (o se si desidera rimuovere i duplicati, senza riordinare il file), il seguente Perl one-liner dovrebbe farlo (rubato da here):

cat textfile | perl -ne '$H{$_}++ or print' 

Answer 5

Ecco un'implementazione awk , nel caso in cui l'ambiente non abbia/permetta perl (non ne ho ancora visto uno)! PS: se ci sono più di una linea duplicata, allora stampa le copie duplicate.

awk '{ 

# Cut out the key on which duplicates are to be determined. 
key = substr($0,2,14) 

#If the key is not seen before, store in array,else print 
if (! s[key]) 
    s[key] = 1; 
else 
    print key; 
}'