apache-spark-ml

11calore

3risposta

Qual è la differenza tra HashingTF e CountVectorizer in Spark?

Cercando di fare la classificazione del doc in Spark. Non sono sicuro di cosa faccia l'hashing in HashingTF; sacrifica ogni precisione? Ne dubito, ma non lo so. La scintilla doc dice che usa il "trucc

5calore

2risposta

spark.ml StringIndexer genera l'etichetta "Non visibile" su misura()

Sto preparando un esempio di giocattolo spark.ml. Spark version 1.6.0, in esecuzione su Oracle JDK version 1.8.0_65, pyspark, notebook ipython. In primo luogo, non ha praticamente nulla a che fare con

5calore

1risposta

Spark ML - Save OneVsRestModel

Sono nel mezzo del refactoring del mio codice per sfruttare il DataFrames, Estimators, and Pipelines. Inizialmente utilizzavo MLlib Multiclass LogisticRegressionWithLBFGS su RDD[LabeledPoint]. Mi piac

9calore

2risposta

Parametri di ottimizzazione per implicita pyspark.ml Modello di fattorizzazione della matrice ALS tramite pyspark.ml CrossValidator

Sto tentando di ottimizzare i parametri di un modello di fattorizzazione della matrice ALS che utilizza dati impliciti. Per questo, sto cercando di utilizzare pyspark.ml.tuning.CrossValidator per scor

5calore

1risposta

Come creare un trasformatore scrivibile personalizzato?

Sto scrivendo un trasformatore spark.ml personalizzato estendendo Transformer. tutto bene, tuttavia non sono in grado di salvare l'istanza di questo trasformatore poiché non si estende da DefaultParam

5calore

1risposta

Spark, dataframe: applicare trasformatore/stimatore sui gruppi

Ho un dataframe che assomiglia segue: +-----------+-----+------------+ | userID|group| features| +-----------+-----+------------+ |12462563356| 1| [5.0,43.0]| |12462563701| 2| [1.0,8.0]| |124625

5calore

1risposta

Applicazione di IndexToString al vettore di funzioni in Spark

Contesto: Ho un frame di dati in cui tutti i valori categoriali sono stati indicizzati utilizzando StringIndexer. val categoricalColumns = df.schema.collect { case StructField(name, StringType, nullab

8calore

1risposta

Come ottenere probabilità corrispondenti alla classe dalla foresta casuale Spark ML

Ho utilizzato org.apache.spark.ml.Pipeline per attività di apprendimento automatico. È particolarmente importante conoscere le probabilità effettive anziché solo un'etichetta prevista, e ho difficoltà

8calore

2risposta

SPARK, ML, Tuning, CrossValidator: accedere alle metriche

Al fine di costruire un classificatore multiclasse NaiveBayes, sto usando un CrossValidator per selezionare i migliori parametri della mia condotta: val cv = new CrossValidator() .setEstimator(p

8calore

5risposta

Spark, ML, StringIndexer: gestione etichette non visualizzate

Il mio obiettivo è creare un classificatore multicals. Ho costruito una pipeline per l'estrazione di funzionalità e include come primo passo un trasformatore StringIndexer per mappare ogni nome di cla