Utilizzo di JavaScript per troncare il testo a una determinata dimensione (8 KB)

Question

Utilizzo l'API Zemanta, che accetta fino a 8 KB di testo per chiamata. Sto estraendo il testo da inviare a Zemanta dalle pagine Web utilizzando JavaScript, quindi sto cercando una funzione che troncherà il mio testo esattamente a 8 KB.

Zemanta dovrebbe eseguire questo troncamento da solo (cioè, se si invia una stringa più grande), ma ho bisogno di spostare questo testo un po 'prima di effettuare la chiamata API, quindi voglio mantenere il carico utile piccolo come possibile.

È sicuro assumere che 8 KB di testo siano 8.192 caratteri e troncare di conseguenza? (1 byte per carattere, 1.024 caratteri per KB, 8 KB = 8,192 byte/caratteri) Oppure, è impreciso o vero solo in determinate circostanze?

Esiste un modo più elegante per troncare una stringa in base alle dimensioni effettive del file?

Answer 1

Se si utilizza una codifica a byte singolo, sì, 8192 caratteri = 8192 byte. Se si utilizza UTF-16, 8192 caratteri (*) = 4096 byte.

(In realtà 8192 code-punti, che è una cosa un po 'diversa a fronte di surrogati, ma cerchiamo di non preoccuparsi di questo perché JavaScript non lo fa.)

Se si utilizza UTF-8, c'è un trucco veloce è possibile utilizzare per implementare un UTF-8 encoder/decoder in JS con codice minimo:

function toBytesUTF8(chars) { 
    return unescape(encodeURIComponent(chars)); 
} 
function fromBytesUTF8(bytes) { 
    return decodeURIComponent(escape(bytes)); 
} 

Ora è possibile troncare con:

function truncateByBytesUTF8(chars, n) { 
    var bytes= toBytesUTF8(chars).substring(0, n); 
    while (true) { 
     try { 
      return fromBytesUTF8(bytes); 
     } catch(e) {}; 
     bytes= bytes.substring(0, bytes.length-1); 
    } 
} 

(il motivo per il try-c è possibile che se tronchi i byte nel mezzo di una sequenza di caratteri multibyte otterrai un flusso UTF-8 non valido e decodeURIComponent si lamenterà.)

Se si tratta di un'altra codifica multibyte come Shift-JIS o Big5, sei da solo.

Answer 2

No, non è sicuro assumere che 8 KB di testo siano 8192 caratteri, poiché in alcune codifiche di caratteri, ogni carattere occupa multiple bytes.

Se stai leggendo i dati dai file, non puoi semplicemente prendere il file? O leggerlo in blocchi di 8KB?

Answer 3

Come dice Dominic, la codifica dei caratteri è il problema - se è possibile veramente garantire che avrete a che fare solo con i caratteri a 8 bit (improbabile, ma possibile) o assumere caratteri a 16 bit ea limitarsi a metà lo spazio disponibile, vale a dire 4096 caratteri, quindi è possibile provare questo.

È una cattiva idea affidarsi a JS per questo, anche perché può essere banalmente modificato o ignorato e si hanno complicazioni di escape char e codifica da affrontare ad esempio. È meglio usare JS come filtro di prima scelta e utilizzare qualsiasi lingua lato server disponibile (che aprirà anche la compressione).