Sto avendo uno Spark SQL DataFrame
con i dati e quello che sto cercando di ottenere sono tutte le righe precedenti alla riga corrente in un dato intervallo di date. Quindi per esempio voglio avere tutte le righe da 7 giorni precedenti la riga data. Ho capito che ho bisogno di usare un Window Function
come:Spark Window Functions - range Between date
Window \
.partitionBy('id') \
.orderBy('start')
e qui viene il problema. Voglio avere un rangeBetween
7 giorni, ma non c'è nulla nei documenti Spark che potrei trovare su questo. Spark fornisce anche questa opzione? Per ora sto solo ricevendo tutte le righe precedenti con:
.rowsBetween(-sys.maxsize, 0)
ma vorrei realizzare qualcosa di simile:
.rangeBetween("7 days", 0)
Se qualcuno mi può aiutare su questo sarò molto grato. Grazie in anticipo!
grazie, pensavo a qualcosa di simile, bene avere confermato! – Nhor