Leggere un file dal server con ssh usando python

Question

Sto provando a leggere un file da un server usando ssh da python. Sto usando paramiko per connetterti. Posso connettermi al server ed eseguire un comando come 'cat filename' e recuperare i dati dal server, ma alcuni file che sto cercando di leggere hanno circa 1 GB o più di dimensione.

Come posso leggere il file sul server riga per riga usando python?

Ulteriori informazioni: ciò che viene fatto regolarmente è eseguire un comando "nomefile cat" e memorizzare il risultato in una variabile e risolverlo. Ma dal momento che il file qui è abbastanza grande, sto cercando un modo per leggere un file riga per riga dal server.

MODIFICA: Sono in grado di leggere una serie di dati e dividerli in righe ma il problema è che i dati ricevuti nel buffer non sempre includono le righe complete. per esempio, se il buffer ha 300 linee, l'ultima riga può essere solo metà della linea sul server e la prossima metà verrà recuperata nella successiva chiamata al server. Voglio le linee complete

EDIT 2: quale comando è possibile utilizzare per stampare linee in un file in un determinato intervallo. Come stampare le prime 100 righe, poi le successive 100 e così via? In questo modo il buffer conterrà sempre linee complete.

Answer 1

Paramiko'sSFTPClient classe consente di ottenere un oggetto simile a file per leggere i dati da un file remoto in modo Pythonic.

Supponendo di avere un dialogo aperto SSHClient:

Answer 2

Cosa intendete per "linea per linea" - ci sono molti buffer di dati tra gli host di rete e nessuno di essi è orientato alla linea.

Così puoi leggere un mucchio di dati, quindi dividerli in linee all'estremità vicina.

ssh otherhost cat somefile | python process_standard_input.py | do_process_locally 

Oppure si può avere un processo di lettura una serie di dati in fondo, disgregare e formattare riga per riga e inviarlo a voi.

scp process_standard_input.py otherhost 
ssh otherhost python process_standard_input.py somefile | do_process_locally 

L'unica differenza che mi interessa è il modo in cui riduce il volume dei dati su un tubo di rete limitato. Nella tua situazione potrebbe, o potrebbe non avere importanza.

Non c'è niente di sbagliato in generale con l'utilizzo di cat su una pipe SSH per spostare gigabyte di dati.

Answer 3

#!/usr/bin/env python 
import paramiko 
import select 
client = paramiko.SSHClient() 
client.load_system_host_keys() 
client.connect('yourhost.com') 
transport = client.get_transport() 
channel = transport.open_session() 
channel.exec_command("cat /path/to/your/file") 
while True: 
    rl, wl, xl = select.select([channel],[],[],0.0) 
    if len(rl) > 0: 
     # Must be stdout 
     print channel.recv(1024) 

Answer 4

Ecco una proroga per @Matt Good's answer:

from contextlib  import closing 
from fabric.network import connect 

with closing(connect(user, host, port)) as ssh, \ 
    closing(ssh.open_sftp()) as sftp, \ 
    closing(sftp.open('remote_filename')) as file: 
    for line in file: 
     process(line)