Sto usando l'algoritmo di Clustream e ho capito che ho bisogno di normalizzare i miei dati. Ho deciso di utilizzare l'algoritmo min-max per farlo, ma penso che in questo modo i valori dei nuovi oggetti dati in arrivo saranno calcolati in modo diverso in quanto i valori di min e max potrebbero cambiare. Pensi che io sia corretto? In tal caso, quale algoritmo dovrò usare?metodi di normalizzazione per i dati di streaming
risposta
Durante la normalizzazione dei dati di flusso è necessario utilizzare le proprietà statistiche del set di treni. Durante lo streaming è sufficiente tagliare valori troppo grandi/bassi su un valore minimo/massimo. Non c'è altro modo, è un flusso, lo sai.
Ma come compromesso, è possibile raccogliere continuamente le proprietà statistiche di tutti i dati e riqualificare il modello di volta in volta per adattarsi ai dati in evoluzione. Non conosco Clustream ma dopo breve googling: sembra essere un algoritmo per aiutare a fare tali compromessi.
Invece di calcolare il min-max globale basato sull'intero dato, è possibile utilizzare una nomadizzazione locale basata su una finestra scorrevole (ad esempio utilizzando solo gli ultimi 15 secondi di dati). Questo approccio è molto importante per calcolare il filtro locale sul segnale e l'elaborazione delle immagini.
Spero possa aiutarti.
- 1. Streaming dei dati per i panda df
- 2. Come gestire i dati di streaming in PHP?
- 3. Struttura dati Java ideale per lo streaming di dati
- 4. SQL: normalizzazione della banca dati, pur mantenendo i vincoli
- 5. jqGrid: utilizzo di più metodi per filtrare i dati
- 6. Colonne di normalizzazione Weka
- 7. Streaming di dati e Hadoop? (non Hadoop Streaming)
- 8. Getter/setter mandrino per la normalizzazione dei dati
- 9. Approssimazione dell'istogramma per lo streaming dei dati
- 10. Streaming di dati con Python e Flask
- 11. Spark Streaming - elaborazione file di dati binari
- 12. Evitare i metodi di estensione .NET per i tipi di dati numerici?
- 13. Streaming di dati audio in HTML5
- 14. Usa flume per lo streaming di dati su S3
- 15. socket.io streaming dati binari
- 16. normalizzazione delle caratteristiche - vantaggio della normalizzazione l2
- 17. Cocoa NSCollectionView non chiama i dati Metodi di risorsa
- 18. Normalizzazione MinMax in scala
- 19. Metodi per salvare i dati del modello Backbone.js?
- 20. Riduce i riduttori nidificati o lo stato di normalizzazione?
- 21. Intellisense per i metodi di estensione?
- 22. Normalizzazione h/w
- 23. Normalizzazione Unicode
- 24. Quali sono i metodi di accesso "primitivi" per i dati principali?
- 25. Normalizzazione dei valori delle funzioni per SVM
- 26. I metodi LINQ sono metodi di estensione?
- 27. Utilizzare Protobuf-net per lo streaming di file di dati di grandi dimensioni come IEnumerable
- 28. Prima PCA o normalizzazione prima?
- 29. Streaming per Android MediaPlayer
- 30. Normalizzazione caratteri ASCII