Come posso velocizzare le generazioni di array in python?

Question

Sto pensando che ho bisogno di usare numpy o qualche altra libreria per riempire questi array abbastanza velocemente ma non ne so molto. In questo momento questa operazione richiede circa 1 secondo su un PC Intel quad-core, ma ho bisogno che sia il più veloce possibile. Qualsiasi aiuto è molto apprezzato. Grazie!

import cv 

class TestClass: 

    def __init__(self): 

    w = 960 
    h = 540 

    self.offx = cv.CreateMat(h, w, cv.CV_32FC1) 
    self.offy = cv.CreateMat(h, w, cv.CV_32FC1) 

    for y in range(h): 
     for x in range(w): 
     self.offx[y,x] = x 
     self.offy[y,x] = y 

Answer 1

si sta generando un milione e mezzo di numeri interi e la creazione di oltre un milione di riferimenti, mentre siete a questo. Sarei solo felice che ci vuole solo 1 secondo.

Se si sta facendo molto questo, si dovrebbe pensare ai modi per memorizzare i risultati nella cache.

Inoltre, essere su un quad-core qualsiasi cosa non aiuta in un caso come questo, si sta eseguendo un'operazione seriale che può essere eseguita solo su un core alla volta (e anche se lo si è threadato, CPython può solo eseguendo un thread Python puro alla volta a causa del Global Interpreter Lock).

Answer 2

Il mio computer di otto anni (lento) è in grado di creare un elenco di elenchi delle stesse dimensioni della matrice in 127 millisecondi.

C:\Documents and Settings\gdk\Desktop>python -m timeit "[[x for x in range(960)] 
for y in range(540)]" 
10 loops, best of 3: 127 msec per loop 

Non so cosa sia il modulo cv e come crei le matrici. Ma forse questa è la causa del codice lento.

Numpy può essere più veloce. La creazione di una serie di (Python int) 1s:

C:\Documents and Settings\gdk\Desktop>python -m timeit -s "from numpy import one 
s" "ones((960, 540), int)" 
100 loops, best of 3: 6.54 msec per loop 

è possibile confrontare i tempi per la creazione di matrici utilizzando moduli diversi per vedere se c'è un vantaggio a cambiare: timeit module

Answer 3

Se si sta creando la stessa matrice più e più volte, potrebbe essere più veloce inizializzarlo usando cv.SetData()

Answer 4

Bene, è possibile utilizzare atlanticamente xrange invece di intervallo. intervallo crea un intero elenco di tutti quei numeri. xrange li genera 1 per 1. Dato che li stai usando solo uno alla volta, non hai bisogno di un elenco di essi.

Answer 5

Il codice in Numpy che fa esattamente quello che hai fatto in OpenCV Python è

import numpy as np 
offsetx, offsety = np.meshgrid(range(960),range(540)) 

Se si sta utilizzando Python, considerare l'apprendimento delle diverse funzioni di NumPy vi aiuterà enormemente. Le funzioni OpenCV possono funzionare direttamente anche con gli array numpy. La sintassi di numpy in Python è molto meglio di OpenCV.

Ecco sono i tempi delle due versioni nel mio i7

time python test.py 

real 0m0.654s 
user 0m0.640s 
sys 0m0.010s 

La mia versione:

time python test2.py 

real 0m0.075s 
user 0m0.060s 
sys 0m0.020s 

Answer 6

non ho capito completamente quello che stavi cercando di raggiungere. Ma qui ci sono due esempi concreti e benchmark che potrebbero aiutarti. Entrambi fanno la stessa cosa, riempiono l'immagine 960x540 (matrice) con il rosso.

lento.py utilizza per cicli ad occupare matrice

import cv2 
import numpy as np 

width, height = 960, 540 
image = np.zeros((height, width, 3), np.uint8) 
# Fill array with red 
for y in range(height): 
    for x in range(width): 
     image[y, x] = (0, 0, 255) 

cv2.imwrite('red.jpg', image) 

Durata

$ time python slow.py 
real 0m2.240s 
user 0m2.172s 
sys 0m0.040s 

fast.py utilizza NumPy ad occupare matrice

import cv2 
import numpy as np 

width, height = 960, 540  
image = np.zeros((height, width, 3), np.uint8) 
# Fill array with red 
image[:] = (0, 0, 255) 
cv2.imwrite('red.jpg', image) 

Durata

$ time python fast.py 
real 0m0.134s 
user 0m0.084s 
sys 0m0.024s 

Utilizzando NumPy invece di cicli for è quasi 17x più veloce