2016-01-26 13 views
6

Utilizzando la funzione StratifiedKFold di sklearn, qualcuno può aiutarmi a capire l'errore qui?StratifiedKFold: IndexError: troppi indici per array

La mia ipotesi è che abbia qualcosa a che fare con il mio array di input di etichette, noto che quando li stampo (i primi 16 in questo esempio) l'indicizzazione va da 0 a 15, ma uno 0 in più è stampato sopra Non mi aspettavo. Forse sono solo un noob in pitone, ma sembra strano.

Chiunque vede il goof-up qui?

Documentazione: http://scikit-learn.org...StratifiedKFold.html

Codice:

import nltk 
import sklearn 

print('The nltk version is {}.'.format(nltk.__version__)) 
print('The scikit-learn version is {}.'.format(sklearn.__version__)) 

print type(skew_gendata_targets.values), skew_gendata_targets.values.shape 
print skew_gendata_targets.head(16) 

skew_sfold10 = cross_validation.StratifiedKFold(skew_gendata_targets.values, n_folds=10, shuffle=True, random_state=20160121) 

Risultato

The nltk version is 3.1. 
The scikit-learn version is 0.17. 
<type 'numpy.ndarray'> (500L, 1L) 
    0 
0 0 
1 0 
2 0 
3 0 
4 0 
5 0 
6 0 
7 0 
8 0 
9 0 
10 0 
11 0 
12 0 
13 0 
14 1 
15 0 
--------------------------------------------------------------------------- 
IndexError        Traceback (most recent call last) 
<ipython-input-373-653b6010b806> in <module>() 
     8 print skew_gendata_targets.head(16) 
     9 
---> 10 skew_sfold10 = cross_validation.StratifiedKFold(skew_gendata_targets.values, n_folds=10, shuffle=True, random_state=20160121) 
    11 
    12 #print '\nSkewed Generated Dataset (', len(skew_gendata_data), ')' 

d:\Program Files\Anaconda2\lib\site-packages\sklearn\cross_validation.pyc in __init__(self, y, n_folds, shuffle, random_state) 
    531   for test_fold_idx, per_label_splits in enumerate(zip(*per_label_cvs)): 
    532    for label, (_, test_split) in zip(unique_labels, per_label_splits): 
--> 533     label_test_folds = test_folds[y == label] 
    534     # the test split can be too big because we used 
    535     # KFold(max(c, self.n_folds), self.n_folds) instead of 

IndexError: too many indices for array 

risposta

11

Controllare la forma del skew_gendata_targets.values. Vedrai che non è un array 1d (shape (500,)) come previsto da StratifiedKFold, ma piuttosto una matrice (500,1). SKlearn tratta questi separatamente piuttosto che costringerli a essere lo stesso. Fammi sapere se ciò aiuta

+0

La stampa è presente nell'output nella domanda: tipo di stampa (skew_gendata_targets.values), skew_gendata_targets.values.shape, è una matrice numpy (500,1). Sono un drogato matlab gettato in una buca di pitoni e non conosco la differenza tra una matrice 500x1 e una matrice/matrice/500xnada. Almeno in un mondo MATLAB non c'è differenza. –

+2

Sì, è sfortunato e un po 'confuso. La differenza è importante quando si eseguono operazioni come "*". In un caso, Pandas/numpy eseguirà una moltiplicazione elementare, mentre farà una moltiplicazione di matrice sull'altro. Spero che l'operazione StratifiedKFold abbia funzionato dopo averlo forzato a un array (500,). – Brian

+1

Vedo, le matrici di rimodellamento sono qualcosa che un matlaber può capire, questo sembra averlo risolto: np.reshape (skew_gendata_targets.values, [500,]), grazie !! –

Problemi correlati