Terminale Linux input: lettura input utente da linee di troncamento terminali con limite di caratteri 4095

Question

In uno script bash, provo a leggere le righe da input standard, utilizzando il comando integrato read dopo aver impostato IFS=$'\n'. Le righe vengono troncate al limite di 4095 caratteri se si incolla l'input nella lettura. Questa limitazione sembra provenire dalla lettura dal terminale, perché questo ha funzionato perfettamente bene:

fill= 
for i in $(seq 1 94); do fill="${fill}x"; done 
for i in $(seq 1 100); do printf "%04d00$fill" $i; done | (read line; echo $line) 

provo lo stesso comportamento con script Python (non accettava più di 4095 di ingresso dal terminale, ma accettato dal tubo):

#!/usr/bin/python 

from sys import stdin 

line = stdin.readline() 
print('%s' % line) 

programma Anche C funziona allo stesso, utilizzando read(2):

#include <stdio.h> 
#include <unistd.h> 

int main(void) 
{ 
    char buf[32768]; 
    int sz = read(0, buf, sizeof(buf) - 1); 
    buf[sz] = '\0'; 
    printf("READ LINE: [%s]\n", buf); 
    return 0; 
} 

In tutti i casi, non posso entrare più lungo di circa 4095 caratteri. Il prompt di input smette di accettare caratteri.

Question-1: C'è un modo per leggere interattivamente dal terminale più di 4095 caratteri nei sistemi Linux (almeno Ubuntu 10.04 e 13.04)?

Question-2: Da dove viene questa limitazione?

Sistemi interessati: ho notato questa limitazione in Ubuntu 10.04/86 e 13.04/86, ma Cygwin (versione recente almeno) non troncare ancora a più di 10000 caratteri (non prova più da quando ho bisogno di ottenere questo script funzionante in Ubuntu). Terminali utilizzati: Virtual Console e KDE konsole (Ubuntu 13.04) e gnome-terminal (Ubuntu 10.04).

Answer 1

Non ho una soluzione per te, ma posso rispondere alla domanda 2. In linux PIPE_BUF è impostato su 4096 (in limits.h) Se fate una scrittura di più di 4096 ad un tubo sarà troncato.

Da /usr/include/linux/limits.h:

#ifndef _LINUX_LIMITS_H 
#define _LINUX_LIMITS_H 

#define NR_OPEN   1024 

#define NGROUPS_MAX 65536 /* supplemental group IDs are available */ 
#define ARG_MAX  131072 /* # bytes of args + environ for exec() */ 
#define LINK_MAX   127 /* # links a file may have */ 
#define MAX_CANON  255 /* size of the canonical input queue */ 
#define MAX_INPUT  255 /* size of the type-ahead buffer */ 
#define NAME_MAX   255 /* # chars in a file name */ 
#define PATH_MAX  4096 /* # chars in a path name including nul */ 
#define PIPE_BUF  4096 /* # bytes in atomic write to a pipe */ 
#define XATTR_NAME_MAX 255 /* # chars in an extended attribute name */ 
#define XATTR_SIZE_MAX 65536 /* size of an extended attribute value (64k) */ 
#define XATTR_LIST_MAX 65536 /* size of extended attribute namelist (64k) */ 

#define RTSIG_MAX  32 

#endif 

Answer 2

Questo è risposta parziale. Impostazione del terminale in modalità non canonica consente di leggere più di 4096 caratteri (dove il carattere # 4096 deve essere una nuova riga).

In uno script bash questo può essere fatto in questo modo:

IFS=$'\n'  # Allow spaces and other white spaces. 
stty -icanon # Disable canonical mode. 
read line  # Now we can read without inhibitions set by terminal. 
stty icanon # Re-enable canonical mode (assuming it was enabled to begin with). 

Dopo questa modifica di aggiungere stty -icanon è possibile incollare più di 4096 stringa di caratteri e leggerlo con successo bash built-in read comando (I con successo provato più di 10000 caratteri).

Il limite per il buffer della linea terminale è probabilmente impostato da qualche kernel.

TODO:

1. programma C per dimostrare questo (utilizzando tcgetattr() e tcsetattr())
2. di prova con l'architettura/Linux x86_64 - potrebbe avere limite diverso.
3. Trova dove nel kernel è definito (forse N_TTY_BUF_SIZE definito in ${linux_source_path}/include/linux/tty.h).

Answer 3

Il problema non è sicuramente il read(); in quanto può leggere fino a qualsiasi valore intero valido. Il problema deriva dalla memoria heap o dalle dimensioni del tubo .. poiché sono gli unici possibili fattori limitanti alle dimensioni.