Come analizzare un file da 7 GB, con Data.ByteString?

Question

devo analizzare un file, e in effetti un dovere leggerlo prima, qui è il mio programma:

import qualified Data.ByteString.Char8 as B 
import System.Environment  

main = do 
args  <- getArgs 
let path = args !! 0 
content <- B.readFile path 
let lines = B.lines content 
foobar lines 

foobar :: [B.ByteString] -> IO() 
foobar _ = return() 

ma, dopo la compilazione

> ghc --make -O2 tmp.hs 

l'esecuzione passa attraverso il seguente errore quando chiamato con un file 7Gigabyte.

> ./tmp big_big_file.dat 
> tmp: {handle: big_big_file.dat}: hGet: illegal ByteString size (-1501792951): illegal operation 

grazie per qualsiasi risposta!

Answer 1

Strict ByteString s supporta solo fino a 2 GB di memoria. È necessario utilizzare lazy ByteStrings perché funzioni.

Answer 2

La lunghezza di ByteString s è Int. Se Int è a 32 bit, un file da 7 GB supererà l'intervallo di Int e la richiesta di buffer avrà una dimensione errata e può facilmente richiedere una dimensione negativa.

Il codice per readFile converte la dimensione del file per Int per la richiesta di buffer

readFile :: FilePath -> IO ByteString 
readFile f = bracket (openBinaryFile f ReadMode) hClose 
    (\h -> hFileSize h >>= hGet h . fromIntegral) 

e se questo overflow, un errore "formato ByteString illegali" o un errore di segmentazione sono le più probabili esiti.

Se possibile, utilizzare lazy ByteString s per gestire file così grandi. Nel tuo caso, devi praticamente renderlo possibile, poiché con 32 bit Int s, è impossibile creare un 7GB ByteString.

Se è necessario le linee di essere rigorosi ByteString s per la lavorazione, e nessuna linea è estremamente lungo, si può passare attraverso pigri ByteString s per raggiungere tale

import qualified Data.ByteString.Lazy.Char8 as LC 
import qualified Data.ByteString.Char8 as C 

main = do 
    ... 
    content <- LC.readFile path 
    let llns = LC.lines content 
     slns = map (C.concat . LC.toChunks) llns 
    foobar slns 

ma se è possibile modificare la trasformazione di trattare con pigro ByteString s, che sarà probabilmente migliore nel complesso.