Selezionare valori univoci o distinti da un elenco nello script della shell UNIX

Question

Ho uno script ksh che restituisce un lungo elenco di valori, newline separati e voglio vedere solo i valori univoci/distinti. È possibile farlo?

Ad esempio, dire la mia uscita è suffissi dei file in una directory:

tar 
gz 
java 
gz 
java 
tar 
class 
class 

Voglio vedere un elenco come:

tar 
gz 
java 
class 

Answer 1

Si potrebbe desiderare per guardare le applicazioni uniq e sort.

 
./yourscript.ksh | sort | uniq 

(A proposito, sì, il genere è necessario in questa riga di comando, uniq strisce solo linee duplicate che sono immediatamente dopo l'altro)

EDIT:

Contrariamente a quanto è stato pubblicato da Aaron Digulla in relazione alle opzioni della riga di comando uniq:

Dato il seguente input:

 
class 
jar 
jar 
jar 
bin 
bin 
java 

uniq uscita volontà tutte le linee esattamente una volta:

 
class 
jar 
bin 
java 

uniq -d uscita volontà tutte le linee che appaiono più di una volta, e li stamperà una volta:

 
jar 
bin 

uniq -u uscita volontà tutto linee che compaiono esattamente una volta e le stamperà una volta:

 
class 
java 

Answer 2

Condurle tramite sort e uniq. Questo rimuove tutti i duplicati.

uniq -d fornisce solo i duplicati, uniq -u fornisce solo quelli univoci (strisce duplicati).

Answer 3

Per i set di dati più grandi in cui l'ordinamento non può essere desiderabile, è anche possibile utilizzare il seguente script Perl:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }' 

Questo fondamentalmente solo ricorda ogni uscita di linea in modo che lo fa ancora una volta non è uscita.

Ha il vantaggio rispetto alla soluzione "sort | uniq" in quanto non è necessario alcun ordinamento in anticipo.

Answer 4

Con zsh si può fare questo:

zsh-5.0.0[t]% cat infile 
tar 
more than one word 
gz 
java 
gz 
java 
tar 
class 
class 
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}" 
tar 
more than one word 
gz 
java 
class 

Oppure si può utilizzare AWK:

zsh-4.3.9[t]% awk '!_[$0]++' infile  
tar 
more than one word 
gz 
java 
class 

Answer 5

./script.sh | sort -u 

Questo è lo stesso monoxide'sanswer, ma un po 'più conciso.

Answer 6

Unico, come richiesto (ma non ordinato);
utilizza meno risorse di sistema per meno di ~ 70 elementi (come testato con il tempo);
scritto di prendere input da stdin,
(o modificare e inserire in un altro script):
(Bash)

bag2set() { 
    # Reduce a_bag to a_set. 
    local -i i j n=${#a_bag[@]} 
    for ((i=0; i < n; i++)); do 
     if [[ -n ${a_bag[i]} ]]; then 
      a_set[i]=${a_bag[i]} 
      a_bag[i]=$'\0' 
      for ((j=i+1; j < n; j++)); do 
       [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0' 
      done 
     fi 
    done 
} 
declare -a a_bag=() a_set=() 
stdin="$(</dev/stdin)" 
declare -i i=0 
for e in $stdin; do 
    a_bag[i]=$e 
    i=$i+1 
done 
bag2set 
echo "${a_set[@]}" 

Answer 7

Con AWK si può fare, lo trovo più veloce di sorta

./yourscript.ksh | awk '!a[$0]++'