Errore di importazione di Cassandra .csv: batch troppo grande

Question

Sto cercando di importare i dati da un file .csv in Cassandra 3.2.1 tramite comando di copia. Nel file ci sono solo 299 righe con 14 colonne. Ottengo l'errore:

Impossibile importare 299 righe: InvalidRequest - codice = 2200 messaggio [Query non valida] = "batch troppo grande"

ho usato il seguente copia COMAND e tryied per aumentare la dimensione del lotto :

copy table (Col1,Col2,...)from 'file.csv' with delimiter =';' and header = true and MAXBATCHSIZE = 5000;

Penso 299 righe non sono troppo da importare in Cassandra o mi sbaglio?

Answer 1

L'errore che si verifica è un messaggio di errore sul lato server, dicendo che la dimensione (in termini di numero di byte) dell'inserto inserito è troppo grande.

Questa dimensione del lotto è definito nel file cassandra.yaml:

# Log WARN on any batch size exceeding this value. 5kb per batch by default. 
# Caution should be taken on increasing the size of this threshold as it can lead to node instability. 
batch_size_warn_threshold_in_kb: 5 

# Fail any batch exceeding this value. 50kb (10x warn threshold) by default. 
batch_size_fail_threshold_in_kb: 50 

Se si inserisce un sacco di grandi colonne (in termini di dimensioni) si può raggiungere rapidamente questa soglia. Cercare di ridurre MAXBATCHSIZE a 200.

Maggiori informazioni sulle opzioni COPIA here