binning Quantile/Mediano/2D in Python

Question

conosci una soluzione Python/Scipy/Numpy rapida ed elegante per il seguente problema: Hai un set di coordinate x, y con i valori associati w (tutti gli array 1D). Ora bin xey su una griglia 2D (dimensione BINSxBINS) e calcolare quantili (come la mediana) dei valori w per ciascun bin, che dovrebbe al risultato finale in una matrice 2D BINSxBINS con i quantili richiesti.

Questo è facile da fare con un ciclo annidato, ma sono sicuro che esiste una soluzione più elegante.

Grazie, Mark

Answer 1

Questo è quello che mi è venuta, spero che sia utile. Non è necessariamente più pulito o migliore dell'uso di un ciclo, ma forse ti porterà a qualcosa di meglio.

import numpy as np 
bins_x, bins_y = 1., 1. 
x = np.array([1,1,2,2,3,3,3]) 
y = np.array([1,1,2,2,3,3,3]) 
w = np.array([1,2,3,4,5,6,7], 'float') 

# You can get a bin number for each point like this 
x = (x // bins_x).astype('int') 
y = (y // bins_y).astype('int') 
shape = [x.max()+1, y.max()+1] 
bin = np.ravel_multi_index([x, y], shape) 

# You could get the mean by doing something like: 
mean = np.bincount(bin, w)/np.bincount(bin) 

# Median is a bit harder 
order = bin.argsort() 
bin = bin[order] 
w = w[order] 
edges = (bin[1:] != bin[:-1]).nonzero()[0] + 1 
med_index = (np.r_[0, edges] + np.r_[edges, len(w)]) // 2 
median = w[med_index] 

# But that's not quite right, so maybe 
median2 = [np.median(i) for i in np.split(w, edges)] 

prendere anche uno sguardo al numpy.histogram2d

Answer 2

Grazie mille per il vostro codice. Sulla base di esso ho trovato la seguente soluzione del mio problema (solo una piccola modifica del codice):

import numpy as np 
BINS=10 
boxsize=10.0 
bins_x, bins_y = boxsize/BINS, boxsize/BINS 
x = np.array([0,0,0,1,1,1,2,2,2,3,3,3]) 
y = np.array([0,0,0,1,1,1,2,2,2,3,3,3]) 
w = np.array([0,1,2,0,1,2,0,1,2,0,1,2], 'float') 

# You can get a bin number for each point like this 
x = (x // bins_x).astype('int') 
y = (y // bins_y).astype('int') 
shape = [BINS, BINS] 
bin = np.ravel_multi_index([x, y], shape) 


# Median 
order = bin.argsort() 
bin = bin[order] 
w = w[order] 
edges = (bin[1:] != bin[:-1]).nonzero()[0] + 1 
median = [np.median(i) for i in np.split(w, edges)] 

#construct BINSxBINS matrix with median values 
binvals=np.unique(bin) 
medvals=np.zeros([BINS*BINS]) 
medvals[binvals]=median 
medvals=medvals.reshape([BINS,BINS]) 

print medvals 

Answer 3

Con NumPy/SciPy va in questo modo:

import numpy as np 
    import scipy.stats as stats 

    x = np.random.uniform(0,200,100) 
    y = np.random.uniform(0,200,100) 
    w = np.random.uniform(1,10,100) 

    h = np.histogram2d(x,y,bins=[10,10], weights=w,range=[[0,200],[0,200]]) 
    hist, bins_x, bins_y = h 
    q = stats.mstats.mquantiles(hist,prob=[0.25, 0.5, 0.75]) 

    >>> q.round(2) 
    array([ 512.8 , 555.41, 592.73]) 

    q1 = np.where(hist<q[0],1,0) 
    q2 = np.where(np.logical_and(q[0]<=hist,hist<q[1]),2,0) 
    q3 = np.where(np.logical_and(q[1]<=hist,hist<=q[2]),3,0) 
    q4 = np.where(q[2]<hist,4,0) 

    >>>q1 + q2 + q3 + q4 
    array([[4, 3, 4, 3, 1, 1, 4, 3, 1, 2], 
    [1, 1, 4, 4, 2, 3, 1, 3, 3, 3], 
    [2, 3, 3, 2, 2, 2, 3, 2, 4, 2], 
    [2, 2, 3, 3, 3, 1, 2, 2, 1, 4], 
    [1, 3, 1, 4, 2, 1, 3, 1, 1, 3], 
    [4, 2, 2, 1, 2, 1, 3, 2, 1, 1], 
    [4, 1, 1, 3, 1, 3, 4, 3, 2, 1], 
    [4, 3, 1, 4, 4, 4, 1, 1, 2, 4], 
    [2, 4, 4, 4, 3, 4, 2, 2, 2, 4], 
    [2, 2, 4, 4, 3, 3, 1, 3, 4, 4]]) 

prob = [0.25, 0.5 , 0.75] è il valore predefinito per le impostazioni di quantile, è possibile modificarlo o lasciarlo.

Answer 4

Sto solo provando a farlo da solo e sembra che tu voglia il comando "scipy.stats.binned_statistic_2d" da te puoi trovare la media, la mediana, la deviazione standard o qualsiasi funzione definita per il terzo parametro dato i bin .

Mi rendo conto che questa domanda ha già avuto risposta, ma credo che questa sia una buona soluzione integrata.