2013-01-09 5 views
5

Quindi, creo un file eseguibile C++ per unire i file. Ho 43 file con una dimensione di 100 MB ciascuno. quindi un totale di circa 4,3 GB.L'unione di file senza spazio è più veloce che con lo spazio

due casi:

One: Se il nome del file sono 1, 2, 3, 4, 5, 6, ..., 43 ci vogliono circa 2 minuti per finire la fusione.

Due: Se il nome del file è Questo file.ova0, Questo file.ova1, ..., Questo file.ova42 impiegherà circa 7 minuti per terminare l'unione.

Questo è lo stesso file esatto, ho appena rinominato il file. Qualche idea di cosa c'è che non va?

Questo è il codice C++

#include <iostream> 
#include <fstream> 

#include <vector> 
#include <string> 

#include "boost/filesystem.hpp" 

namespace bfs = boost::filesystem; 

#pragma warning(disable : 4244) 


typedef std::vector<std::string> FileVector; 
int main(int argc, char **argv) 
{ 

    int bucketSize = 3024 * 3024; 

    FileVector Files; 

    //Check all command-line params to see if they exist.. 
    for(int i = 1; i < argc; i++) 
    { 
     if(!bfs::exists(argv[i])) 
     { 
      std::cerr << "Failed to locate required part file: " << argv[i] << std::endl; 
      return 1; 
     } 

     //Store this file and continue on.. 
     std::cout << "ADDING " << argv[i] << std::endl; 
     Files.push_back(argv[i]); 
    } 

    //Prepare to combine all the files.. 
    FILE *FinalFile = fopen("abc def.ova", "ab"); 

    for(int i = 0; i < Files.size(); i++) 
    { 
     FILE *ThisFile = fopen(Files[i].c_str(), "rb");  

     char *dataBucket = new char[bucketSize]; 

     std::cout << "Combining " << Files[i].c_str() << "..." << std::endl; 

     //Read the file in chucks so we do not chew up all the memory.. 
     while(long read_size = (fread(dataBucket, 1, bucketSize, ThisFile))) 
     { 
      //FILE *FinalFile = fopen("abc def.ova", "ab"); 
      //::fseek(FinalFile, 0, SEEK_END); 
      fwrite(dataBucket, 1, read_size, FinalFile); 
      //fclose(FinalFile); 
     } 

     delete [] dataBucket; 
     fclose(ThisFile); 
    } 
    fclose(FinalFile); 

    return 0; 
} 

ho eseguito attraverso bat file in questo modo:

@ECHO OFF 

Combiner.exe "This File.ova0" "This File.ova1" "This File.ova2" 

PAUSE 

o

@ECHO OFF 

Combiner.exe 1 2 3 

PAUSE 

sia file .bat va fino alla fine del nome del file, ho appena scritto 3 file qui, altrimenti sarà troppo lungo

Grazie

+1

Avete eseguito più volte per essere sicuri che questo è il comportamento comman? – hmatar

+0

sì .. Lo eseguo quasi 10 volte ciascuno, e questo è il tempo che ho. – Harts

+4

Dato che stai usando C++ e non C, staresti meglio con 'fstream' che' fopen'. – Foggzie

risposta

1

Per impostazione predefinita, Windows memorizza nella cache i dati dei file letti dai dischi e scritti nei dischi. Ciò implica che le operazioni di lettura leggano i dati del file da un'area nella memoria di sistema nota come cache del file di sistema, piuttosto che dal disco fisico. Corrispondentemente, le operazioni di scrittura scrivono i dati del file nella cache del file di sistema piuttosto che nel disco e questo tipo di cache viene indicato come una cache write-back. La memorizzazione nella cache è gestita per oggetto file: Ulteriori informazioni: File Caching

Problemi correlati