Come analizzare gli oggetti JSON nidificati in spark sql?

Question

Ho uno schema come mostrato di seguito. Come posso analizzare gli oggetti nidificati

root 
|-- apps: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- appName: string (nullable = true) 
| | |-- appPackage: string (nullable = true) 
| | |-- Ratings: array (nullable = true) 
| | | |-- element: struct (containsNull = true) 
| | | | |-- date: string (nullable = true) 
| | | | |-- rating: long (nullable = true) 
|-- id: string (nullable = true) 

Answer 1

Supponendo che si legge in un file JSON e stampare lo schema che ci stanno dimostrando in questo modo:

DataFrame df = sqlContext.read().json("/path/to/file").toDF(); 
    df.registerTempTable("df"); 
    df.printSchema(); 

Quindi è possibile selezionare oggetti nidificati all'interno di uno stru Tipo di ct in questo modo ...

DataFrame app = df.select("app"); 
     app.registerTempTable("app"); 
     app.printSchema(); 
     app.show(); 
DataFrame appName = app.select("element.appName"); 
     appName.registerTempTable("appName"); 
     appName.printSchema(); 
     appName.show(); 

Answer 2

Prova questo:

val nameAndAddress = sqlContext.sql(""" 
    SELECT name, address.city, address.state 
    FROM people 
""") 
nameAndAddress.collect.foreach(println) 

Fonte: https://databricks.com/blog/2015/02/02/an-introduction-to-json-support-in-spark-sql.html

Answer 3

Hai provato a fare direttamente dalla query SQL come

Select apps.element.Ratings from yourTableName 

Questo probabilmente restituisce un array e si può più facilmente accedere agli elementi al suo interno. Inoltre, utilizzo questo visualizzatore JSON in linea quando devo gestire strutture JSON di grandi dimensioni e lo schema è troppo complesso: http://jsonviewer.stack.hu/