Come calcolare le statistiche "t-test" con numpy

Question

Sto cercando di generare alcune statistiche su un modello che ho creato in python. Mi piacerebbe generare il t-test su di esso, ma mi chiedevo se esistesse un modo semplice per farlo con numpy/scipy. Ci sono buone spiegazioni in giro?

Per esempio, ho tre insiemi di dati correlati che assomigliano a questo:

[55.0, 55.0, 47.0, 47.0, 55.0, 55.0, 55.0, 63.0] 

Ora, vorrei fare t-test dello studente su di loro.

Answer 1

In un pacchetto scipy.stats ci sono alcune funzioni . Vedi l'esempio da here:

>>> print 't-statistic = %6.3f pvalue = %6.4f' % stats.ttest_1samp(x, m) 
t-statistic = 0.391 pvalue = 0.6955 

Answer 2

Dopo aver ottenuto i t-valore, ci si potrebbe chiedere come interpretare come una probabilità - l'ho fatto. Ecco una funzione che ho scritto per aiutarti.

Si basa sulle informazioni che ho ricavato da http://www.vassarstats.net/rsig.html e http://en.wikipedia.org/wiki/Student%27s_t_distribution. risposta

# Given (possibly random) variables, X and Y, and a correlation direction, 
# returns: 
# (r, p), 
# where r is the Pearson correlation coefficient, and p is the probability 
# of getting the observed values if there is actually no correlation in the given 
# direction. 
# 
# direction: 
# if positive, p is the probability of getting the observed result when there is no 
#  positive correlation in the normally distributed full populations sampled by X 
#  and Y 
# if negative, p is the probability of getting the observed result, when there is no 
#  negative correlation 
# if 0, p is the probability of getting your result, if your hypothesis is true that 
# there is no correlation in either direction 
def probabilityOfResult(X, Y, direction=0): 
    x = len(X) 
    if x != len(Y): 
     raise ValueError("variables not same len: " + str(x) + ", and " + \ 
         str(len(Y))) 
    if x < 6: 
     raise ValueError("must have at least 6 samples, but have " + str(x)) 
    (corr, prb_2_tail) = stats.pearsonr(X, Y) 

    if not direction: 
     return (corr, prb_2_tail) 

    prb_1_tail = prb_2_tail/2 
    if corr * direction > 0: 
     return (corr, prb_1_tail) 

    return (corr, 1 - prb_1_tail) 

Answer 3

del furgone usando SciPy è esattamente a destra e utilizzando le funzioni scipy.stats.ttest_* è molto conveniente.

Ma sono venuto in questa pagina cercando una soluzione con puro numpy, come indicato nell'intestazione, per evitare la dipendenza da scipy. A tal fine, vorrei farvi notare l'esempio qui riportato: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.standard_t.html

Il problema principale è che il numpy non ha funzioni di distribuzione cumulative, quindi la mia conclusione è che si dovrebbe usare veramente scipy. Ad ogni modo, usando solo numpy è possibile:

Dalla domanda iniziale, immagino che tu voglia confrontare i tuoi set di dati e giudicare con un t-test se c'è una deviazione significativa? Inoltre, che i campioni sono accoppiati? (Vedere https://en.wikipedia.org/wiki/Student%27s_t-test#Unpaired_and_paired_two-sample_t-tests) In tal caso, è possibile calcolare la T e p-value in questo modo:

import numpy as np 
sample1 = np.array([55.0, 55.0, 47.0, 47.0, 55.0, 55.0, 55.0, 63.0]) 
sample2 = np.array([54.0, 56.0, 48.0, 46.0, 56.0, 56.0, 55.0, 62.0]) 
# paired sample -> the difference has mean 0 
difference = sample1 - sample2 
# the t-value is easily computed with numpy 
t = (np.mean(difference))/(difference.std(ddof=1)/np.sqrt(len(difference))) 
# unfortunately, numpy does not have a build in CDF 
# here is a ridiculous work-around integrating by sampling 
s = np.random.standard_t(len(difference), size=100000) 
p = np.sum(s<t)/float(len(s)) 
# using a two-sided test 
print("There is a {} % probability that the paired samples stem from distributions with the same means.".format(2 * min(p, 1 - p) * 100)) 

questo stampa There is a 73.028 % probability that the paired samples stem from distributions with the same means. Dal momento che questo è di gran lunga al di sopra qualsiasi intervallo di confidenza sano di mente (ad esempio 5%), si dovrebbe non concludere nulla per il caso concreto.