Come creare ClassTag per Spark SQL DataFrame Mapping?

Question

Le query Spark SQL 1.2.0 restituiscono JavaRDD. Le query Spark SQL 1.3.0 restituiscono DataFrame. La conversione di DataFrame in JavaRDD da DataFrame.toJavaRDD sembra richiedere un po 'di tempo. Ho cercato di usare il DataFrame.map() e ottenuto un problema sconcertante: "?"

DataFrame df = sqlSC.sql(sql); 
RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

     @Override 
     public String apply(Row t1) { 
      return t1.getString(0); 
     } 


    }, ?); 

dovrebbe essere scala.reflect.ClassTag. Ho usato ClassManifestFactory.fromClass (String.class) e non ha funzionato. Cosa dovrei inserire in "?".

Tra l'altro, l'esempio dato da http://spark.apache.org/docs/1.3.0/sql-programming-guide.html s' Interoperabilità con sezione RDDs codice Java non è corretto: Ha usato 'mappa (nuova function() {' la 'funzione' non è accettabile non ci dovrebbe.. essere "Function1"

Answer 1

Prova questo:.

RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

    @Override 
    public String apply(Row t1) { 
     return t1.getString(0); 
    } 

}, ClassManifestFactory$.MODULE$.fromClass(String.class)); 

Answer 2

Prova questo:

RDD<String> rdd = df.map(new AbstractFunction1<Row, String>(){ 

    @Override 
    public String apply(Row t1) { 
     return t1.getString(0); 
    } 


}, scala.reflect.ClassManifestFactory.fromClass(String.class)); 

Answer 3

provare questo: (funzionato per me)

RDD<String> rdd = df.toJavaRDD().map(new Function<Row, String>(){ 

@Override 
public String call(Row t1) { 
    return t1.getString(0); 
} 
});