Differenze tra hflush e hsync api in HDFS

Question

Qualcuno può evidenziare i dettagli tecnici e quando usare quale.

Answer 1

Nell'attuale implementazione di HDFS (0.23.3), hflush e hsync sono gli stessi. hsync invoca hflush. hflush garantisce che i dati scaricati diventino visibili ai nuovi lettori. Non è garantito che i dati siano stati scaricati nell'archivio permanente sul datanode. Pertanto, l'utilizzo di hflush potrebbe causare la perdita di alcuni dati se si verificano errori del datanode. hsync è progettato per garantire che tutti i dati vengano scritti sul dispositivo disco ma non è ora implementato.

Nell'alpha HDFS 2.0. *, hsync è implementato correttamente.

È possibile ottenere ulteriori dettagli in HBase, HDFS and durable sync.