Files.lines per saltare linee spezzate in Java8

Question

Sto leggendo un file molto grande (500mb) con Files.lines (...). Si legge una parte del file, ma ad un certo punto si rompe con java.io.UncheckedIOException: java.nio.charset.MalformedInputException: lunghezza ingresso = 1

penso che il file ha linee con diversi set di caratteri. C'è un modo per saltare queste linee spezzate? So che lo stream restituito è supportato da un Reader e con il lettore so come saltare, ma non so come ottenere il Reader dallo stream per configurarlo come preferisco.

List<String> lines = new ArrayList<>(); 
    try (Stream<String> stream = Files.lines(Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()), Charset.forName("UTF-8"))) { 
     stream 
      .filter(s -> s.substring(0, 2).equalsIgnoreCase("aa")) 
      .forEach(lines::add); 
    } catch (final IOException e) { 
     // catch 
    } 

Answer 1

Non è possibile filtrare linee con caratteri non validi dopo la decodifica quando il decoder preconfigurato ferma già la decodifica con un'eccezione. Devi configurare un CharsetDecoder manualmente per dirgli di ignorare l'input non valido o di sostituire quell'input con un carattere speciale.

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder() 
        .onMalformedInput(CodingErrorAction.IGNORE); 
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()); 
List<String> lines; 
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1); 
    BufferedReader br=new BufferedReader(r)) { 
     lines=br.lines() 
       .filter(s -> s.regionMatches(true, 0, "aa", 0, 2)) 
       .collect(Collectors.toList()); 
} 

Questo semplicemente ignora gli errori di decodifica del set di caratteri, saltando i caratteri. Per saltare intere linee contenenti errori, è possibile lasciare che il decodificatore inserire un carattere di sostituzione (default '\ufffd') per errori e filtrare le righe che contengono quel carattere:

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder() 
        .onMalformedInput(CodingErrorAction.REPLACE); 
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()); 
List<String> lines; 
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1); 
    BufferedReader br=new BufferedReader(r)) { 
     lines=br.lines() 
       .filter(s->!s.contains(dec.replacement())) 
       .filter(s -> s.regionMatches(true, 0, "aa", 0, 2)) 
       .collect(Collectors.toList()); 
} 

Answer 2

In questa situazione, la soluzione sta per essere complessa e più incline ai bug quando si utilizza l'API di Streams. Suggerisco di usare solo un normale ciclo per leggere da un BufferedReader e quindi acquisire MalformedInputException. Ciò consente inoltre di distinguere altre eccezioni IO:

List<String> lines = new ArrayList<>(); 

try (BufferedReader r = new BufferedReader(path,StandardCharsets.UTF_8)){ 
    try{ 
      String line = null; 
      while((line=r.readLine())!=null){ 
       if(line.substring(0, 2).equalsIgnoreCase("aa")){ 
        lines.add(line); 
       } 
    }catch(MalformedInputException mie){ 
      // ignore or do something 
    } 
}