Prodotto cartesiano di due file (come insiemi di righe) in GNU/Linux

Question

Come è possibile utilizzare shell one-liner e strumenti GNU comuni per concatenare le righe in due file come nel prodotto cartesiano? Qual è il modo più succinto, bello e "linuxy"?

Per esempio, se ho due file:

$ cat file1 
a 
b 
$ cat file2 
c 
d 
e 

Il risultato dovrebbe essere

a, c 
a, d 
a, e 
b, c 
b, d 
b, e 

Answer 1

Ecco script di shell per farlo

while read a; do while read b; do echo "$a, $b"; done < file2; done < file1 

Anche se questo sarà piuttosto lento. Non riesco a pensare a nessuna logica precompilata per realizzare questo. Il prossimo passo per la velocità sarebbe quello di fare quanto sopra in awk/perl.

awk 'NR==FNR { a[$0]; next } { for (i in a) print i",", $0 }' file1 file2 

Hmm, che ne dici di questa soluzione hacky per utilizzare la logica precompilata?

paste -d, <(sed -n "$(yes 'p;' | head -n $(wc -l < file2))" file1) \ 
      <(cat $(yes 'file2' | head -n $(wc -l < file1))) 

Answer 2

Edit: Oops ... Mi dispiace, ho pensato che questo è stato taggato python ...

Se si dispone di Python 2.6:

from itertools import product 
print('\n'.join((', '.join(elt) for elt in (product(*((line.strip() for line in fh) for fh in (open('file1','r'), open('file2','r')))))))) 

a, c 
a, d 
a, e 
b, c 
b, d 
b, e 

Se si dispone di python pre-2.6:

def product(*args, **kwds): 
    ''' 
    Source: http://docs.python.org/library/itertools.html#itertools.product 
    ''' 
    # product('ABCD', 'xy') --> Ax Ay Bx By Cx Cy Dx Dy 
    # product(range(2), repeat=3) --> 000 001 010 011 100 101 110 111 
    pools = map(tuple, args) * kwds.get('repeat', 1) 
    result = [[]] 
    for pool in pools: 
     result = [x+[y] for x in result for y in pool] 
    for prod in result: 
     yield tuple(prod) 
print('\n'.join((', '.join(elt) for elt in (product(*((line.strip() for line in fh) for fh in (open('file1','r'), open('file2','r')))))))) 

Answer 3

Soluzione 1:

perl -e '{use File::Slurp; @f1 = read_file("file1"); @f2 = read_file("file2"); map { chomp; $v1 = $_; map { print "$v1,$_"; } @f2 } @f1;}'

Answer 4

Il modo meccanico per farlo in guscio, non utilizzando Perl o Python, è:

while read line1 
do 
    while read line2 
    do echo "$line1, $line2" 
    done < file2 
done < file1 

Il comando join volte può essere utilizzato per queste operazioni - tuttavia, non sono chiaro che può fare un prodotto cartesiano come un caso degenerato.

Un passo avanti rispetto al doppio anello sarebbe:

while read line1 
do 
    sed "s/^/$line1, /" file2 
done < file1 

Answer 5

Edit:

DVK tentativo s' mi ha ispirato a fare questo con eval:

script='1{x;d};${H;x;s/\n/\,/g;p;q};H' 
eval "echo {$(sed -n $script file1)}\,\ {$(sed -n $script file2)}$'\n'"|sed 's/^ //' 

O uno script più semplice sed:

script=':a;N;${s/\n/,/g;b};ba' 

che si desidera utilizzare senza l'interruttore -n.

che dà:

a, c 
a, d 
a, e 
b, c 
b, d 
b, e 

---

risposta originale:

In Bash, si può fare questo. Essa non legge da file, ma è un trucco:

$ echo {a,b}\,\ {c,d,e}$'\n' 
a, c 
a, d 
a, e 
b, c 
b, d 
b, e 

Più semplicemente:

$ echo {a,b}{c,d,e} 
ac ad ae bc bd be 

Answer 6

awk 'FNR==NR{ a[++d]=$1; next} 
{ 
    for (i=1;i<=d;i++){ 
    print $1","a[i] 
    } 
}' file2 file1 

# ./shell.sh 
a,c 
a,d 
a,e 
b,c 
b,d 
b,e 

Answer 7

OK, questa è la derivazione della soluzione di Dennis Williamson sopra da quando ha notato che il suo lo fa non leggere dal file:

$ echo {`cat a | tr "\012" ","`}\,\ {`cat b | tr "\012" ","`}$'\n' 
a, c 
a, d 
a, e 
b, c 
b, d 
b, e 

Answer 8

Una soluzione con join, awk e il processo s ubstitution:

join <(xargs -I_ echo 1 _ < setA) <(xargs -I_ echo 1 _ < setB) 
    | awk '{ printf("%s, %s\n", $2, $3) }' 

Answer 9

non ho intenzione di far finta questo è abbastanza, ma ...

join -t, -j 9999 -o 2.1,1.1 /tmp/file1 /tmp/file2 

(aggiornato grazie a Iwan Aucamp sotto)

- join (coreutils GNU) 8.4

Answer 10

una funzione ricorsiva BASH generica potrebbe essere qualcosa di simile:

foreachline() { 

    _foreachline() { 

     if [ $# -lt 2 ]; then 
      printf "$1\n" 
      return 
     fi 

     local prefix=$1 
     local file=$2 
     shift 2 

     while read line; do 
      _foreachline "$prefix$line, " $* 
     done <$file 
    } 

    _foreachline "" $* 
} 

foreachline file1 file2 file3 

Saluti.

Answer 11

Non ci sarà una virgola per separare, ma utilizzando solo join:

$ join -j 2 file1 file2 
a c 
a d 
a e 
b c 
b d 
b e