Importazione dati da server sql per l'accensione locale

Question

Voglio importare una tabella da SQL Server per avviare locale utilizzando il driver JDBC ed eseguire spark sql su di esso. Ho scaricato sqljdbc per SQL Server e aggiunto questa linea al spark-env.sh nella directory conf:

SPARK_CLASSPATH= "C:/Program Files/Microsoft SQL Server/sqljdbc_4.0/enu/sqljdbc4.jar" ./bin/spark-shell 

Come suggerito da here

E utilizzare questa linea per caricare i dati

df = sqlContext.load(source="jdbc", url="jdbc:sqlserver:dd", dbtable="Reporting.dbo.datatable") 

Tuttavia, si genera un errore come:

Py4JJavaError: An error occurred while calling o28.load. 
: java.sql.SQLException: No suitable driver found for jdbc:sqlserver:PC-BFS2 
     at java.sql.DriverManager.getConnection(Unknown Source) 
     at java.sql.DriverManager.getConnection(Unknown Source) 
     at org.apache.spark.sql.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:118) 
     at org.apache.spark.sql.jdbc.JDBCRelation.<init>(JDBCRelation.scala:128) 
     at org.apache.spark.sql.jdbc.DefaultSource.createRelation(JDBCRelation.scala:113) 
     at org.apache.spark.sql.sources.ResolvedDataSource$.apply(ddl.scala:269) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:114) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) 
     at java.lang.reflect.Method.invoke(Unknown Source) 
     at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231) 
     at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379) 
     at py4j.Gateway.invoke(Gateway.java:259) 
     at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) 
     at py4j.commands.CallCommand.execute(CallCommand.java:79) 
     at py4j.GatewayConnection.run(GatewayConnection.java:207) 
     at java.lang.Thread.run(Unknown Source) 

Answer 1

Quindi le versioni precedenti di Spark potrebbero avere questo problema se non è impostato anche sul percorso della classe del driver, quindi puoi provare ad aggiungere il jar anche al percorso della classe del driver (che può essere specificato con --driver-class-path) .. I ' Non ho molta familiarità con la distribuzione su sistemi Windows, ma potresti anche voler impostare le tue proprietà in conf/spark-env.cmd come suggerito in http://spark.apache.org/docs/latest/configuration.html.

Answer 2

Aggiungere la seguente riga di suscitare-defaults.conf

spark.driver.extraClassPath  "C:/Program Files/Microsoft SQL Server/sqljdbc_4.0/enu/*" 

Answer 3

Un altro modo per farlo sarebbe quello di passare la posizione del conducente quando si fa scintilla presentare quanto di seguito (che funziona bene per me)

./bin/spark-submit --driver-class-path C:/Program Files/Microsoft SQL Server/sqljdbc_4.0/enu/sqljdbc4.jar --master spark://ip:7077 mycode.py 

si prega di assicurarsi di avere la posizione al di sopra di sqljdbc aggiunto $ SPARK_HOME/conf/scintilla default.conf e sotto spark.jars proprietà