Digest :: CRC32 with Zlib

Question

Nel mio codice, ho bisogno di file hash che utilizzano una varietà di algoritmi, incluso CRC32. Poiché sto anche utilizzando altre funzioni hash crittografiche nella famiglia Digest, ho pensato che sarebbe stato utile mantenere un'interfaccia coerente per tutti.

Per la cronaca, ho trovato digest-crc, una gemma che fa esattamente quello che voglio. Il fatto è che Zlib fa parte della libreria standard e ha un'implementazione funzionante di CRC32 che vorrei riutilizzare. Inoltre, è scritto in C, quindi dovrebbe offrire prestazioni superiori in relazione a digest-crc, che è un'implementazione di puro rubino.

Implementazione Digest::CRC32 in realtà sembrava abbastanza semplice in un primo momento:

%w(digest zlib).each { |f| require f } 

class Digest::CRC32 < Digest::Class 
    include Digest::Instance 

    def update(str) 
    @crc32 = Zlib.crc32(str, @crc32) 
    end 

    def initialize; reset; end 
    def reset; @crc32 = 0; end 
    def finish; @crc32.to_s; end 
end 

Tutto sembra giusto:

crc32 = File.open('Rakefile') { |f| Zlib.crc32 f.read } 
digest = Digest::CRC32.file('Rakefile').digest!.to_i 
crc32 == digest 
=> true 

Purtroppo, non tutto funziona:

Digest::CRC32.file('Rakefile').hexdigest! 
=> "313635393830353832" 

# What I actually expected was: 
Digest::CRC32.file('Rakefile').digest!.to_i.to_s(16) 
=> "9e4a9a6" 

hexdigest restituisce fondamentalmente Digest.hexencode(digest), 012.330.. Non sono sicuro di come funzioni quella funzione, quindi mi chiedevo se è possibile ottenere ciò con il numero intero restituito da Zlib.crc32.

Answer 1

Digest si aspetta che il digest restituisca i byte grezzi che costituiscono il checksum, vale a dire nel caso di un crc32 i 4 byte che compongono tale numero intero a 32 bit. Comunque stai invece restituendo una stringa che contiene la rappresentazione di base 10 di quel intero.

si desidera qualcosa di simile

[@crc32].pack('V') 

trasformare questo intero in byte che rappresentano questo.Andate a leggere su pack e sui suoi vari specificatori di formato - ci sono molti modi per impacchettare un intero a seconda che i byte debbano essere presentati in endianità nativa, big-endian, little-endian ecc, quindi dovreste capire quale una adatta alle vostre esigenze

Answer 2

Spiacente, questo in realtà non rispondere alla tua domanda, ma potrebbe aiutare ..

In primo luogo, durante la lettura di un file, assicurarsi che si passa il parametro "rb". Vedo che non sei su Windows, ma se per caso il vostro codice non finire per ottenere corse su una macchina Windows il codice non funziona lo stesso, soprattutto quando la lettura dei file Ruby in Esempio:.

crc32 = File.open('test.rb') { |f| Zlib.crc32 f.read } 
#=> 189072290 
digest = Digest::CRC32.file('test.rb').digest!.to_i 
#=> 314435800 
crc32 == digest 
#=> false 

crc32 = File.open('test.rb', "rb") { |f| Zlib.crc32 f.read } 
#=> 314435800 
digest = Digest::CRC32.file('test.rb').digest!.to_i 
#=> 314435800 
crc32 == digest 
#=> true 

Il sopra funzionerà su tutte le piattaforme e tutti i rubini .. che io conosca .. Ma non è quello che hai chiesto ..

Sono quasi sicuro che i metodi esadecimali e di digitazione nell'esempio precedente funzionano come dovrebbero ..

dig_file = Digest::CRC32.file('test.rb') 

test1 = dig_file.hexdigest 
#=> "333134343335383030" 

test2 = dig_file.digest 
#=> "314435800" 

def hexdigest_to_digest(h) 
    h.unpack('a2'*(h.size/2)).collect {|i| i.hex.chr }.join 
end 

test3 = hexdigest_to_digest(test1) 
#=> "314435800" 

Quindi sto indovinando ei Quindi il .to_i.to_s (16) sta eliminando il risultato atteso o il risultato atteso potrebbe essere sbagliato? Non è sicuro, ma tutto il meglio

Answer 3

funziona bene, assicurarsi di utilizzare sempre l'ordine di byte di rete, in questo modo:

def finish; [@crc32].pack('N'); end